KR102533544B1 - 향상된 컨텐츠 트래킹 시스템 및 방법 - Google Patents
향상된 컨텐츠 트래킹 시스템 및 방법 Download PDFInfo
- Publication number
- KR102533544B1 KR102533544B1 KR1020197021518A KR20197021518A KR102533544B1 KR 102533544 B1 KR102533544 B1 KR 102533544B1 KR 1020197021518 A KR1020197021518 A KR 1020197021518A KR 20197021518 A KR20197021518 A KR 20197021518A KR 102533544 B1 KR102533544 B1 KR 102533544B1
- Authority
- KR
- South Korea
- Prior art keywords
- client device
- audio
- digital media
- track
- sections
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 97
- 230000001976 improved effect Effects 0.000 title description 2
- 230000007704 transition Effects 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 22
- 230000033764 rhythmic process Effects 0.000 claims description 21
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000005336 cracking Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 30
- 238000005070 sampling Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 17
- 241000214155 Anacrusis Species 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 241001342895 Chorus Species 0.000 description 11
- 238000012512 characterization method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000005562 fading Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000003139 buffering effect Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000036651 mood Effects 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241001533104 Tribulus terrestris Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 230000008867 communication pathway Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009192 sprinting Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/106—Enforcing content protection by specific content processing
- G06F21/1062—Editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/106—Enforcing content protection by specific content processing
- G06F21/1063—Personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/107—License processing; Key processing
- G06F21/1078—Logging; Metering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00166—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software
- G11B20/00181—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software using a content identifier, e.g. an international standard recording code [ISRC] or a digital object identifier [DOI]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/0071—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a purchase action
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
- G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/038—Cross-faders therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- G06F2221/0737—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2149—Restricted operating environment
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00855—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a step of exchanging information with a remote server
- G11B20/00862—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a step of exchanging information with a remote server wherein the remote server can grant the permission to use a content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
- G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/101—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measures for digital rights management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Technology Law (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrophonic Musical Instruments (AREA)
- Information Transfer Between Computers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
도 2에서의 시스템에 의해 도시된 것처럼, 본 발명은 디지털 음악 파일들과 같은 미디어 파일들의 클라이언트-측 컨텐츠 트래킹 시스템에 관한 것이다. 오디오 트래킹 - 또는 실제로는 멀티미디어 트래킹 - 은 클라이언트-측 견지에서 시프트되고, 식별된 소스 오디오 트랙에서의 상기 음악 섹션들 중 적어도 하나의 재생하는 것과 연관된 들어가는 점과 나가는 점들 중 적어도 하나와 식별된 소스 오디오 트랙이 어떻게 클라이언트 디바이스에서 사용되고, 수행되거나 조작되는지를 트래킹한 다음 서버에 업링크를 보고함으로써 선택된 소스 오디오 트랙을 사용하는 것을 확립하는 것이 클라이언트에게 일로서 과해진 것이다. 보고된 트래킹 데이터와 고유 식별자로의 그것의 링크에 관해 미디어 파일(예컨대, 소스 오디오 트랙)이 선택 및/또는 식별되고, 저장 또는 중계, 즉 아마도 구동 서비스와 컨텐츠 사용에 대한 청구서 작성 레짐의 상황에서 클라이언트 디바이스에서 또는 클라이언트 디바이스에 의해 소스 오디오 트랙의 적어도 일 부분의 사용에 관련된 데이터를 트래킹하는 것을 허용하게 하는 서버 기능성이 설계된다. 오디오의 상황에서 클라이언트 디바이스에서의 사용을 보고하는 것은 또한 제3자 데이터베이스(108)로부터 클라이언트 디바이스로의 관련된 멀티미디어 컨텐츠의 스트리밍을 일으킨다. 음악에 있어서, 완전한 오디오 트랙들의 섹션들로 들어가는 점과 그러한 섹션들로부터의 끝점들을 보고하는 것은 섹션들 사이의 음악적으로 끊김이 없는 오디오 추이들과 동시에 일어날 수 있다.
Description
본 발명은 일반적으로 컨텐츠(content) 트래킹 시스템과 관련된 방법에 관한 것이다. 특히 하지만 배타적이지 않게, 본 발명은 다운로드 또는 스트리밍(streaming)을 통해 더 넓은 공공 배포(public distribution)를 위해 의도된 컴파일(compile)되고 업-로드된(up-loaded) 미디어 클립(media clip)들 또는 파일들에 대한 제어를 관리하는 데 있어서 효과적인 시스템(그리고 방법론)에 관한 것이다. 더 구체적으로, 본 발명은 그러한 업로드된 미디어 클립들 및/또는 파일들 내에서 식별된 독점적인 오디오 및/또는 독점적인 비디오 컨텐츠의 보급(dissemination)에 대한 액세스(access)를 감시 및 조절하는 것과 그런 다음 그러한 보급에 대한 제어를 실행하는 시스템 및 방법에 관한 것이다.
음악, 필름 및 게임 산업 - 그리고 특히 컨텐츠의 제공에 관련되는 양상들 - 이 발전하고 있다. 이러한 점에서, (예를 들면) 스트림되거나 다운로드된 디지털 파일들로서의 음악 또는 사운드트랙(soundtrack)들의 판매 또는 배포가 그것들의 시장에서 주가 되고 있다. 이는 확립된, 하지만 이제는 약해지고 있는 고객 소매판매점들을 통한 컴팩트 디스크 및 DVD 기술들의 판매(또는, 역사적으로는 비닐 디스크들)와 대조하여 뚜렷이 두드러진다.
예를 들면 구매한 물리적 저장 미디어의 테이프에서 테이프로의 복사(tape-to-tape copying)에 의해 과거에 예언된 불법복제(unauthorized copying)가 항상 존재해왔다. 하지만, 유비쿼터스(ubiquitous) 디지털 저장 및 P2P(peer-to-peer) 파일 공유에 대한 능력은 저작권 보호된 예술 작품들에 대해 저작권 소유자들이 행할 수 있는 제어의 레벨을 크게 감소시켰다. 요컨대, 인터넷과 같은 넓은 영역의 디지털 도메인(digital domain)을 통한 미디어 컨텐츠(오디오, 필름 또는 다른 시각 미디어)의 제공과 재배포는 저작권 소유자의 권리들을 악용하거나 극악하게 무시하는 것을 상대적으로 쉽게 만드는데, 이는 최소한 저작권 작품들의 트래킹(tracking)(또는 저작권 작품들의 발췌들)이 현재 어렵고 사회 기반 시설(infrastructure), 즉 디지털 네트워크의 서버측(server-side) 내의 프로세스들에 의해 구동되기 때문인 것은 아니다.
"라벨(Label)들", 즉 대조된 저작권 자료들의 카탈로그들의 소유자들(Disney
사와 Warner 음악 그룹과 같은)에 대한 이슈(issue)는 그들의 보호된 오디오 및/또는 비디오 컨텐츠에 대한 액세스와 사용에 대한 합당한 지불을 어떻게 확실히 하는가이다. 이러한 이슈는 상업적인 고려 사항들이 가미되면서, 어떻게 (종종 승인되지 않은) 제3자들에 의한 멀티미디어 컨텐츠의 사용을 식별하고 조절하는 튼튼한 기술적 시스템을 구현하는 것이 가능할 것인지 또는 동일한 코인(coin)의 플립-측(flip-side)에서 파생 작업(derivative work) 또는 조종된 작업을 포함하여 어떻게 라벨이 그것의 자료들의 사용이 정확히 트래킹되고 보고되는지를 보장할 수 있는지로 감소시킨다.
효과적인 기술적 트래킹의 결과는 라벨이 지불에 대한 요구 사항을 주장하고, 그 후 예컨대 보호된 작업(들)의 각각의 특별한 사용 또는 부분 사용에 대한 적절한 균형 잡히거나(proportioned) 또는 완전한(full) 지불을 얻는 것을 허용한다.
미디어 컨텐츠의 사용에 대한 라벨로의 지불은, 실제로는 적용된 광고와, 선택된 음악 또는 비디오 세그먼트(video segment)들의 혼합에 의해 복잡해진 식별 프로세스, 및 그 후의 최초 작업에 대한 유래가 자주 불명료하거나 완전히 분실되는 추가 파생적 편찬(compilation)으로 동일한 선택되고 이미 혼합된 세그먼트들의 재편집에 또한 결부될 수 있다.
상황을 제공하기 위해, 아마도 가입자와 라벨들 - 그리고 특히, 라벨의 데이터베이스들 사이의 상호 작용들을 예를 들면 유튜브(YouTube
)의 소셜-공유 플랫폼을 통해, 고려할 가치가 있다. 유튜브는 다른 사용자들과 공유될 수 있는 겨인적으로 편집한 비디오들을 생성 및 업로드하는 능력을 제공하는 사용자-인터페이스를 가지고 온라인 비디오들을 보는 것을 쉽게 하는 무료 비디오 공유 웹사이트이다. 유튜브 자체는 자사의 서비스를 사람들이 전세계의 다른 사람들을 연결하고, 정보를 주고, 영감을 줄 수 있는 포럼이라고 설명하며, 그것은 최초 컨텐츠 제작자와 크고 작은 광고주를 위한 배포 플랫폼 역할을 한다.
가입자는 일반적으로 비디오 및/또는 스틸 이미지로 설정된 음악을 포함하는 미디어 파일로서 컨텐츠를 생성한다. 사실 비디오와 스틸 이미지는 가입자가 개인 비디오 녹화 장치나 카메라를 사용하여 고유하게 생성될 수 있지만, TV 이벤트, 필름 또는 스트리밍된 데이터를 포함한 다른 제3자 소스로부터 데이터를 캡처할 수도 있다. 그런 다음 이 미디어 파일은 서버 장비를 포함하는 네트워크에 접속되는 접속 가능한 데이터베이스에 저장할 수 있도록 가입자에 의해 네트워크를 통해 업로드된다.
이러한 네트워크는 월드-와이드 웹과 같은 와이드 에어리어 네트워크인 "WAN"이 될 수 있거나, 제어된 액세스를 제공하는 방화벽(firewall)이 있는 로컬 에어리어 네트워크인 "LAN"일 수 있다.
하지만, 생성된 미디어 파일의 저장이 일반적으로 승인되고 확실히 미디어 파일의 광범위한 배포가 허용되기 전에, 게이트키퍼 함수는 [일반적으로 라벨에 속하는 인공지능 "AI" 플랫폼에서 지원] 음악 및/또는 비디오의 구성 부분을 식별하기 위해 업로드된 미디어 파일을 분석한다. 예를 들어, 이 서버측 AI는 미디어 컨텐츠 그리고 미디어 컨텐츠의 캡처된 샘플(또는 전체 트랙들)과 라벨에 속하는 추가 데이터베이스에 저장된, 트랙 및 비디오와 같은 참조 데이터를 대조하여 적절한 컨텐츠 인식 및 컨텐츠 매칭을 착수한다.
라벨의 데이터베이스는 또한 유튜브와 같은 컨텐츠 플랫폼의 웹-서버와 같은 다른 서버측 장비에 의해 정책이 부과된 채로 그러한 라벨에 의해 설정되는 "규정된 사용자 정책(stipulated user policy)"을 저장하게 된다. 이러한 규정된 사용자 정책은 업로드된 미디어 파일이 생성된 미디어 파일로의 액세스를 요청하는 하나 이상의 제3자(또는 "오디언스(audience)") 가입자들에 의해 공급되고 액세스될 수 있는지를 고절한다. 규정된 사용자 정책은 특정 컨텐츠를 개정하거나 전체 업로드된 미디어 파일로의 액세스를 전적으로 거부할 수 있다. 대안적으로, 규정된 사용 정책은 온라인 프로모션들 또는 광고들에 의해 미디어 컨텐츠를 동반(또는 동반하지 않음)하는 것을 허용할 수 있다.
또한 미디어 파일과 함께 표시되는 광고들은, 예를 들어, 계정 소유자의 논리 MAC 주소에서 파생된 위치 때문에, 저장된 미디어 파일에 액세스하려고 시도하는 선택된 인구 통계 또는 계정 소유자를 대상으로 할 수 있다. 이러한 광고, 프로모션 및/또는 공시는 미디어 파일을 요청하는 오디언스 가입자(들)/계정 보유자로의 미디어 파일 스트리밍된 다운링크를 가지기 전에 미리 표시되거나, 스트리밍된 미디어 파일 외에 그리고 동시에 표시할 수 있다. 또한 저장된 미디어 파일에 대한 액세스 요청이 있을 때마다 웹 서버는 라벨로의 리포트를 생성하며, 이러한 리포트는 저장된 미디어 파일의 일부에 대한 액세스를 통해 재생/표시되는 컨텐츠를 식별한다.
하지만 문제점들은 (1) 서버측 컨텐츠 인식이 미디어 파일 내에서 편집되거나 파생된 원본 작업을 항상 포착하지 못하여 이들 미디어 파일이 결코 규정된 사용 정책의 적용을 받지 않고/않거나 (2) 오디언스 멤버에 의해 미디어 파일의 구성 컨텐츠들의, 추가적인 복사를 포함하는, 미디어 파일의 일부 또는 전부 또는 실제로는 임의의 관련 사용 내의 컨텐츠의 사용을 웹 서버가 전체 또는 부분적으로 보고하지 못하고/못하거나, (3) 적절한 리포트의 결여가 관련 광고 생성이 규정된 사용 정책이 절충되도록 일어나지 않는다는 것을 의미하는 것이다.
위에서 나타낸 바와 같이, 이들 문제점들 중 어느 것이든 전자 파일들(비디오, 오디오 또는 더 일반적으로는 데이터)의 배포 및/또는 사용에서 수익 손실과 제어의 부재를 야기한다. 더욱이 저장된 미디어 파일이 많은 수천 대의 디바이스에 즉시 스트리밍되거나 하루 중 임의의 시간에 스트리밍될 수 있다는 점을 고려할 때, 각 요청에 대해 사람이 결정하는 것을 채택하는 것은 간단하게 가능하지 않다. 액세스에 대한 각각의 요청을 비평하는 것 및/또는 요청자를 식별하기 것(많은 청중으로부터)을 해야 할 때 그리고 규정된 사용 정책을 만족시키는 적절한 보완적 광고를 식별해야 하는 경우 허용할 수 없는 지연이 있을 것이다. 또한 개인들로 구성된 팀이 원래 업로드된 미디어 파일 내의 또는 실제로 원래 업로드된 미디어 파일에서 추출한 파생 미디어 내에서의 특정 컨텐츠의 수준 또는 양을 평가하는 것은 단순하게 가능하지 않게 된다.
국제 표준 기록 코드들인 "ISRC"는 기록들을 고유하고 영구적으로 식별하기 위해 채택된 업계 표준이다. 이는 같은 아티스트가 서로 다른 시간에 녹음한 같은 노래가 각기 다른 독특한 ISRC 코드를 끌어들일 것이라는 의미이다. 비디오에 대한 유사한 관습(convention)들이 존재한다. ISRC는 2자(two-letter) 국가 코드(예: 미국의 경우)로 구성되며, 그 다음에 3자 등록자 코드를 사용하여 트랙에 책임이 있는 예술가를 고유하게 반영한다. 두 자리 숫자의 참조 연도는 등록자 코드를 따르고 다섯 자리 숫자로 트랙을 식별한다. 이는 모범적인 형태로 US-RTX-16-00007이 될 수 있는 음악 트랙에 대한 고유한 식별자를 산출한다. 다른 형식이 분명히 가능하지만, ISRC는 흔하고 받아들여진다.
본 발명의 일 양태에 따르면, 클라이언트 디바이스에서 재생 가능한 오디오 트랙의 사용을 트래킹하는 방법에 있어서,
상기 클라이언트 디바이스는 하나 이상의 음악 섹션들을 포함하는 복수의 소스 오디오 트랙들이 저장되는 제1 데이터베이스에, 제어된 액세스를 제공하게 배치되는 서버를 가지는 네트워크에 연결 가능하고, 상기 방법은:
상기 복수의 소스 오디오 트랙들 중 식별된 소스 오디오 트랙으로 액세스할 것을 상기 서버에 요청하는 단계로서, 상기 식별된 소스 오디오 트랙에 대한 상기 요청은 상기 클라이언트 디바이스에 의해 이루어지는, 상기 요청하는 단계;
상기 클라이언트 디바이스에 상기 식별된 소스 오디오 트랙으로의 액세스를 제공하는 단계로서, 상기 액세스는 상기 식별된 소스 오디오 트랙에 관련되는 고유한 식별자를 상기 클라이언트 디바이스에 이용 가능하게 하는 것을 포함하는, 상기 제공하는 단계; 및
상기 클라이언트 디바이스에서,
상기 식별된 소스 오디오 트랙에서의 상기 음악 섹션들 중 적어도 하나의 재생과 연관되는 진입 지점(entry point)과 출구 지점(exit point), 및
상기 식별된 소스 오디오 트랙이 상기 클라이언트 디바이스에서 어떻게 사용되는, 수행되는지 또는 조종되는지
중 적어도 하나를 트래킹함으로써 상기 클라이언트 디바이스에서 상기 식별된 소스 오디오 트랙의 사용(use)을 확립하는 단계;
상기 클라이언트 디바이스에서, (a) 진입 지점과 출구 지점 및/또는 (b) 상기 클라이언트 디바이스에서 상기 식별된 소스 오디오 트랙이 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 하나 또는 양쪽 모두에 대한 트래킹 데이터를 생성하는 단계;
상기 클라이언트 디바이스에서 선택된 소스 오디오 트랙의 적어도 일 부분의 국부적인 사용의 보고를 상기 네트워크를 통해 상기 서버에 송신하는 단계로서, 상기 보고는 상기 고유한 식별자와 상기 트래킹 데이터를 연관시키는, 상기 송신하는 단계;
상기 서버에서, 상기 트래킹 데이터와 상기 트래킹 데이터의 상기 고유한 식별자로의 연결을 고려하여, 상기 클라이언트 디바이스에 의해 상기 식별된 소스 오디오 트랙의 적어도 일 부분의 사용에 관련되는 트래킹 데이터를 저장 또는 중계(relay)하는 단계를 포함한다.
트래킹 데이터는 클라이언트 디바이스에서의 처리에 의해 어셈블리된, 상기 식별된 소스 오디오 트랙의 파생 작업; ⅱ) 상기 클라이언트 디바이스에서의 처리에 의해 유발된, 다른 미디어(media)와의 상기 식별된 소스 오디오 트랙의 동기화; 및 ⅲ) 상기 클라이언트 디바이스에서의 처리에 의해 개시된, 상기 클라이언트 디바이스에서의 상기 식별된 소스 오디오 트랙의 기계 또는 전기적 복사(mechanical or electronic copying) 중 적어도 하나의 존재를 유추 또는 보고할 수 있다
일 실시예에서, 제2 데이터베이스는 각각의 소스 오디오 트랙에서의 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드(cross-fade)들 또는 커트(cut)들을 규정하는 연관된 오디오 파일 디스크립션(audio file description)들을 저장하고, 실시간으로 하나의 지점(point)에 의해 규정된 각각의 섹션에서의 실행 가능한 크로스-페이드 또는 커트는 청각적으로 끊김없는 크로스-페이드가 선택된 섹션들의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하는 음악적 시간(musical time)의 지점에 대응하며,
상기 소스 오디오 트랙으로의 액세스를 제공하는 단계는 적어도 연관되는 오디오 파일 디스크립션을 요청하는 클라이언트 디바이스에 송신하는 것을 포함하고;
상기 방법은:
상기 요청하는 클라이언트 디바이스에서, 상기 소스 오디오 트랙에서의 상기 섹션들 중 적어도 일부 사이에서의 크로스-페이드들 또는 커트들에 대해서 전환 지점들을 실시간으로 식별하기 위해 상기 연관된 오디오 파일 디스크립션을 사용하는 단계로서, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간의 지점에 대응하는, 상기 사용하는 단계;
상기 식별된 소스 오디오 트랙과 상기 소스 오디오 트랙의 상기 고유한 트랙 식별자에 대한 상기 전환 지점들을 상기 서버에 송신하는 단계;
상기 서버에서, 특정 음악 섹션들의 사용을 보고하는 것을 허용하기 위해, 상기 전환 지점들과 상기 고유한 트래킹 식별자에 의해 식별된 상기 소스 오디오 트랙의 상기 특정 음악 섹션들을 분석하는 단계를 더 포함한다.
상기 제2 데이터베이스는 상기 복수의 소스 오디오 트랙들 중 적어도 일부 각각과 연관되는 업로드되는 파일(uploaded file)을 더 저장할 수 있고, 각각의 업로드되는 파일은 그것의 각각의 소스 오디오 파일의 편집(edit)을 규정하며, 상기 업로드되는 파일은 상기 업로드되는 파일이 상기 클라이언트 디바이스에 의해 판독되고 액세스 가능한 것으로 업로드되는 파일일 때 각각의 소스 오디오 트랙 내의 섹션들의 순서(order)의 선택을 허용한다.
본 발명의 또 다른 양태에서는, 디지털 오디오 파일 사용을 트래킹하는 시스템이 제공되고, 이러한 시스템은 적어도 하나의 음악 섹션들을 각각 포함하는 복수의 소스 디지털 오디오 파일들로의 제어된 액세스를 제공하기 위해 배치되는 서버를 포함하고, 상기 서버는: 상기 복수의 소스 디지털 오디오 파일들의 식별된 소스 오디오 파일로의 액세스를 위해 클라이언트 디바이스로부터 수신한 요청에 응답하여, 상기 식별된 소스 오디오 파일로의 액세스를 상기 클라이언트 디바이스에 제공하고; 액세스가 제공된 상기 식별된 소스 오디오 트랙에 관련되는 고유한 식별자를 상기 클라이언트 디바이스에 제공하며; 상기 클라이언트 디바이스로부터 상기 고유한 식별자에 링크되는 트래킹 데이터를 수신하는 것으로서, 상기 트래킹 데이터는: 상기 클라이언트 디바이스에서 상기 식별된 소스 오디오 트랙에서의 상기 음악 섹션들 중 적어도 하나의 재생과 연관되는 진입 지점과 출구 지점, 및 상기 클라이언트 디바이스에서 상기 식별된 소스 오디오 트랙이 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 적어도 하나에 관련되는, 상기 트래킹 데이터를 수신하는 것; 상기 클라이언트 디바이스에 의해 요청된 상기 식별된 소스 오디오 트랙의 상기 고유한 식별자에 링크되는 상기 트래킹 데이터를 저장 또는 중계함으로써 상기 식별된 소스 오디오 트랙을 사용을 트래킹하기 위해 배치되고, 상기 트래킹 데이터는 상기 클라이언트 디바이스에 의해 상기 식별된 소스 오디오 트랙의 적어도 일 부분의 사용에 관련된다.
상기 서버는 각각의 소스 오디오 트랙에서의 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드들 또는 커트들을 규정하는 연관된 오디오 파일 디스크립션들을 저장하는 데이터베이스로의 액세스를 클라이언트 디바이스들에 제공하는 것으로서, 실시간으로 하나의 지점에 의해 규정된 각각의 섹션에서의 각각의 실행 가능한 크로스-페이드 또는 커트는 청각적으로 끊김없는 크로스-페이드가 선택된 섹션들의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하는 음악적 시간의 지점에 대응하는, 상기 제공하는 것; 상기 소스 오디오 트랙에 관련되는, 연관된 오디오 파일 디스크립션을 상기 요청하는 클라이언트 디바이스에 송신하는 것; 상기 연관된 오디오 파일 디스크립션이 보내진 상기 클라이언트 디바이스로부터 상기 소스 오디오 트랙의 상기 고유한 식별자로 참조되는 전환 지점들을 수신하는 것으로, 상기 전환 지점들은 상기 소스 오디오 트랙에서 상기 섹션들 중 적어도 일부 사이의 연속적인 크로스-페이드들 또는 커트들을 실시간으로 식별하고, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간에서의 하나의 지점에 대응하는, 상기 수신하는 것; 특정 음악 섹션들의 사용을 보고하는 것을 허용하기 위해, 상기 전환 지점들과 상기 고유한 트래킹 식별자에 의해 식별된 상기 소스 오디오 트랙의 상기 특정 음악 섹션들을 분석하는 것을 위해 또한 배치될 수 있다.
특정 음악 섹션을 분석하는 것에 응답하여, 상기 서버는 (다수의 실시예들에서) 상기 소스 오디오 트랙 또는 상기 특정 음악 섹션들에 관련되는 것으로 미리 식별된 목표 정보를 식별하고, 이어서 요청하는 클라이언트 디바이스에 통신하게 할 수 있다.
바람직하게, 식별된 소스 오디오 트랙에 대한 전환 지점들은 서버에 의해, 소스 오디오 트랙의 편집의 표현으로서 데이터베이스에 저장된다.
실시예들은 그러한 편집이 재생되는 것을 허용하기 위해 클라이언트 디바이들에 전환 지점들로의 액세스를 제공함으로써, 이용 가능한 소스 오디오 트랙의 편집의 표현을 만든다. 그러한 전환 지점들은 오디오 트랙에서 메타데이터로서 바람직하게 끼워진다. 이러한 전환 지점들은 소스 오디오 트랙 내의 펄스 카운트(pulse count)와 같이, 실시간 값들일 수 있다. 그러한 전환들을 보고하는 다른 방법들이 당업자에 의해 이해될 것이다.
식별된 소스 오디오 트랙(또는 디지털 미디어 파일)은 요청하는 클라이언트 디바이스에 파일로서 다운로드되거나 스트리밍될 수 있다.
트래킹 데이터는 (ⅰ) 상기 클라이언트 디바이스에서의 처리에 의해 어셈블리된, 상기 식별된 소스 오디오 트랙의 파생 작업; (ⅱ) 상기 클라이언트 디바이스에서의 처리에 의해 유발된, 다른 미디어와의 상기 식별된 소스 오디오 트랙의 동기화; 및 (ⅲ) 상기 클라이언트 디바이스에서의 처리에 의해 개시된, 상기 클라이언트 디바이스에서의 상기 식별된 소스 오디오 트랙의 기계 또는 전기적 복사 중 적어도 하나의 존재를 유추 또는 보고할 수 있다.
적어도 하나의 실시예에서, 상기 서버는 a) 상기 클라이언트 디바이스; 및 b) 네트워크 및 상기 클라이언트 디바이스에 결합된 미디어 서버로서, 상기 네트워크를 가지고 상기 클라이언트 디바이스가 상기 미디어 서버와 상호 작용하는, 상기 미디어 서버 중 적어도 하나에 의해, 식별된 소스 오디오 트랙의 사용자에 대한 지불의 책임을 해결하게 또한 배치된다.
이러한 미디어 서버는 소셜 미디어 플랫폼 내에 있을 수 있다.
상기 소스 오디오 트랙의 적어도 일부 섹션들은, 적어도 하나의 선택되는 섹션과 함께 디스플레이하기 위해 동기화되는 적어도 하나의 이미지를 포함하는 멀티미디어 파일의 부분을 형성할 수 있다.
본 발명의 제3 양태에서는, 클라이언트 디바이스에서의 미디어 컨텐츠(media content)를 재생하고, 미디어 컨텐츠의 섹션들의 사용을 트래킹하는 방법이 제공되고, 이러한 방법은 각각 하나 이상의 섹션들을 가지는 다수의 디지털 미디어 파일들을 포함하는 데이터베이스로부터 선택된 디지털 미디어 파일을 선택하는 단계; 통신 네트워크를 통해, 상기 선택되는 디지털 미디어 파일로의 액세스를 수신하고, 상기 선택되는 디지털 미디어 파일에 관련되는 고유한 식별자를 더 수신하는 단계; 상기 클라이언트 디바이스에서, 상기 선택되는 디지털 미디어 파일의 적어도 하나의 섹션의 재생과 연관되는 진입 지점과 출구 지점, 및 상기 선택되는 디지털 미디어 파일이 상기 클라이언트 디바이스에서 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 적어도 하나를 트래킹함으로써 상기 클라이언트 디바이스에서 상기 선택되는 디지털 미디어 파일의 사용(use)을 확립하는 단계; (a) 진입 지점 또는 출구 지점 및/또는 (b) 상기 클라이언트 디바이스에서 상기 선택되는 디지털 미디어 파일의 적어도 일 부분의 국지적인 사용의 리포트를 상기 통신 네트워크를 통해 교신하는 단계를 포함하고, 상기 리포트는 상기 트래킹 데이터와 상기 고유한 식별자를 연관시킨다.
클라이언트 디바이스에서 미디어 컨텐츠를 재생하고, 미디어 컨텐츠의 섹션들의 사용을 트래킹하는 바람직한 방법은, 선택되는 디지털 미디어 파일에 대한 연관되는 파일 디스크립션을 수신하는 단계로서, 상기 파일 디스크립션은 상기 선택되는 디지털 미디어 파일에서의 섹션들 사이의 실행 가능한 크로스-페이드들을 규정하는, 상기 수신하는 단계, 및 상기 선택되는 디지털 미디어 파일에서의 복수의 섹션들 중 적어도 일부 선택되는 섹션들 사이의 연속적인 크로스-페이드들에 대해 실시간으로 전환 지점들을 식별하기 위해 상기 연관되는 파일 디스크립션을 사용하는 단계; 특정 섹션들의 사용의 보고를 허용하기 위해, 상기 선택되는 디지털 미디어 파일과 상기 고유한 식별자에 대한 상기 전환 지점들을 상기 네트워크를 통해 업링크 송신하는 단계를 더 포함한다.
클라이언트 디바이스에서 미디어 컨텐츠를 재생하고, 미디어 컨텐츠의 섹션들의 사용을 트래킹하는 상기 방법은, 상기 선택되는 디지털 미디어 파일에서의 오디오 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드들을 규정하는 연관되는 오디오 파일 디스크립션을 상기 선택되는 디지털 미디어 파일에 대해 수신하는 단계로서, 실시간으로 하나의 지점에 의해 규정되는 각각의 실행 가능한 크로스-페이드는 청각적으로 끊김없는 크로스 페이드가 상기 선택되는 디지털 미디어 파일의 선택되는 섹션들 내의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하기 위해 실행될 수 있는 음악적 시간에서의 하나의 지점에 대응하는, 상기 수신하는 단계, 및 상기 선택되는 디지털 미디어 파일에서의 복수의 오디오 섹션들 중 적어도 일부 선택되는 섹션들 사이의 연속적인 크로스-페이드들에 대해 실시간으로 전환 지점들을 식별하기 위해 상기 연관되는 오디오 파일 디스크립션을 사용하는 단계로서, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간에서의 하나의 지점에 대응하는, 상기 사용하는 단계; 특정 섹션들의 사용의 보고를 허용하기 위해, 상기 선택되는 디지털 미디어 파일과 상기 고유한 식별자에 대한 상기 전환 지점들을 상기 네트워크를 통해 업링크 송신하는 단계를 더 포함한다.
이러한 시스템과 방법들은, 소스 오디오 트랙의 음악적으로 적합한(compatible) 섹션들 내의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하기 위해, 소스 오디오 트랙의 섹션들을 선택하는 능력을 편집에서 함께 연속되게 크로스-페이드될 수 있는 섹션들로만 한정하게 배치될 수 있다.
소스 오디오 트랙의 편집된 버전에 액세스하는 것은 데이터 저장소(data repository)로의 게이트키퍼(gatekeeper)로서 작용하는 서버를 통해 이루어질 수 있고; 편집된 버전을 재생하는 것을 편집과 연관된 저장된 메터데이터로의 서버를 통한 액세스를 필요로 할 수 있으며, 이러한 메터데이터는 클라이언트 디바이스에서 편집된 버전이 재생되는 것을 허용하기 위해 전환 지점들을 규정한다.
본 발명의 또 다른 양태에서는 클라이언트 디바이스의 프로세서에 의해 실행될 때, 클라이언트 디바이스로 하여금 여기서 설명된 것과 같은 방법들의 단계들을 수행하게 하는 컴퓨터 프로그램 제품이다.
특별한 일 실시예에서는, 클라이언트 디바이스에서 재생 가능한 오디오 트랙의 섹션들의 사용을 트래킹하는 방법이 제공되고, 이러한 클라이언트 디바이스들은 적어도 하나의 데이터베이스로의 제어된 액세스를 제공하기 위해 배치된 서버를 가지는 네트워크에 연결 가능하고, 이러한 데이터베이스에는 각각의 소스 오디오 트랙에서의 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드들을 규정하는 연관된 오디오 파일 디스크립션들이 있는 복수의 섹션들을 포함하는 복수의 소스 오디오 트랙들이 저장되고, 각각의 섹션에서의 실행 가능한 크로스-페이드는 청각적으로 끊김없는 크로스-페이드가 선택된 섹션들의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하는 음악적 시간(musical time)에서의 하나의 지점에 실시간으로 대응하는 하나의 지점에 의해 규정되며, 상기 적어도 하나의 데이터베이스에는 복수의 소스 오디오 트랙들 중 적어도 일부 각각과 연관되고 각각 그것의 각각의 소스 오디오 파일의 편집을 규정하는 업로드된 파일이 저장되고, 업로드된 파일은 상기 업로드된 파일이 판독될 때 각각의 소스 오디오 트랙 내의 섹션들의 순서의 선택을 허용하고, 이러한 방법은: 식별된 소스 오디오 트랙에 액세스할 것을 서버에 요청하는 단계로서, 상기 요청은 요청하는 클라이언트 디바이스에 의해 이루어지는, 상기 요청하는 단계; 요청하는 클라이언트 디바이스에 소스 오디오 트랙으로의 액세스를 제공을 제공하고, 적어도 요청하는 클라이언트 디바이스에 연관된 오디오 파일 디스크립션을 송신하는 단계; 및 요청하는 클라이언트 디바이스에서, 소스 오디오 트랙에서의 섹션들 중 적어도 일부 사이의 연속적인 크로스-페이드들에 대해 실시간으로 전환 지점들을 식별하기 위해 연관된 오디오 파일 디스크립션을 사용하는 단계로서, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간에서의 하나의 지점에 대응하는, 상기 사용하는 단계; 식별된 소스 오디오 트랙에 대한 전환 지점들과 소스 오디오 트랙의 고유한 트랙 식별자를 서버에 송신하는 단계; 특정 음악 섹션들의 사용을 보고하는 것을 허용하기 위해, 상기 전환 지점들과 상기 고유한 트래킹 식별자에 의해 식별된 상기 소스 오디오 트랙의 특정 음악 섹션들을 서버에서 분석하는 단계를 포함한다.
오디오 트랙의 음악 섹션들의 사용을 트래킹하기 위한 시스템이 일 실시예는 다음과 같은 시스템을 발견하는데, 이러한 시스템에서는 서버가 적어도 하나의 데이터베이스로의 제어된 액세스를 제공하기 위해 배치되고, 이러한 데이터베이스에는 각각의 소스 오디오 트랙에서의 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드들을 규정하는 연관된 오디오 파일 디스크립션들이 있는 복수의 섹션들을 포함하는 복수의 소스 오디오 트랙들이 저장되고, 각 섹션에서의 각각의 실행 가능한 크로스-페이드는 청각적으로 끊김없는 크로스-페이드가 선택된 섹션들의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하는 음악적 시간에서의 하나의 지점에 실시간으로 대응하는 하나의 지점에 의해 규정되며, 상기 적어도 하나의 데이터베이스에는 복수의 소스 오디오 트랙들 중 적어도 일부 각각과 연관되고, 각각의 메타데이터 파일이 그것의 각각의 소스 오디오 파일의 편집을 규정하는 업로드된 파일이 저장되고, 그러한 메타데이터 파일은 그러한 메타데이터 파일이 판독될 때 각각의 소스 오디오 트랙 내의 섹션들의 순서의 선택을 허용하고, 이러한 서버는 복수의 소스 오디오 트랙들의 사용자 식별된 소스 오디오 트랙으로의 액세스를 제공하고, 적어도 사용자 식별된 소스 오디오 트랙에 관련된 오디오 파일 디스크립션과 상기 소스 오디오 트랙에 대한 고유한 식별자를 식별된 사용자 디바이스에 하향으로 송신하며, 식별된 사용자 디바이스로부터 ⅰ) 식별된 사용자 디바이스로의 액세스가 허가된 소스 오디오 트랙에서의 적어도 일부 섹션들 사이의 연속적인 크로스-페이드들에 대한 실시간에서의 전환 지점들로서, 상기 전환 지점들 각각은 섹션들 사이의 상기 청각적으로 끊김없는 전환을 실현하는 음악적 시간에서의 하나의 지점에 대응하는, 상기 전환 지점들과 ⅱ) 고유한 트랙 식별자를 수신하며, 그러한 특정 음악 섹션들의 사용을 보고하는 것을 허용하기 위해, 전환 지점들과 고유한 트랙 식별자에 의해 식별된 소스 오디오 트랙의 특정 음악 섹션들을 분석하도록 배치된다.
또 다른 실시예에서, 클라이언트 디바이스에서의 오이도 트랙을 재생하고, 그러한 오디오 트랙의 음악 섹션들의 사용을 트래킹하는 방법은: 데이터베이스로부터 복수의 섹션들을 가지는 소스 이동 트랙을 선택하는 단계; 선택된 오디오 트랙에 대한 연관된 오디오 파일 디스크립션을 수신하는 단계로서, 상기 오디오 파일 디스크립션은 소스 오디오 트랙에서의 섹션들 사이의 음악적으로 실행 가능한 크로스-페이드들을 규정하고, 각각의 실행 가능한 크로스 페이드는 청각적으로 끊김없는 크로스 페이드가 선택된 오디오 트랙의 선택된 섹션들 내에서 진입 지점과 출구 지점 사이에서 음악 리듬을 유지하기 위해 실행될 수 있는 음악적 시간에서의 하나의 지점에 실시간으로 대응하는 지점에 의해 규정되며, 상기 소스 오디오 트랙에서의 복수의 섹션들 중 적어도 일부 선택된 것들 사이의 연속적인 크로스-페이드들에 대해 실시간으로 전환 지점들을 식별하기 위해 연관된 오디오 파일 디스크립션을 사용하고, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간에서의 하나의 지점에 대응하는, 상기 수신하는 단계와, 네트워크를 통해 디바이스에 결합된 서버에, 특정 음악 섹션들의 사용을 보고하는 것을 허용하기 위해, 식별된 소스 오디오 트랙에 대한 전환 지점들과 소스 오디오 트랙의 고유한 트랙 식별자를 송신하는 단계를 포함한다.
이러한 방법의 양태들은 클라이언트 디바이스와 서버에서 프로세서들에 의해 실행 가능한 컴퓨터 프로그램 제품들로서 구현될 수 있다.
유리하게, 본 발명은 미디어 컨텐츠, 특히 오디오 컨텐츠(비록 그것의 원리들은 디지털 도메인에서의 미디어의 다른 형태들을 트래킹하기 위해 적용될 수 있더라도)를 트래킹하기 위해, 구성 요소들의 재배열과 편집들의 개수에 관계없이, 오디오 트랙(또는 유사한 것)의 구성 요소들과 본래의 소스 파일 사이의 관계를 유지하는 메타데이터의 사용을 통해, 클라이언트측(client-side) 메커니즘을 제공한다. 본 발명의 실시예들은 처음에 연속되지 않는 섹션들, 즉 상이한 샘플링된(sampled) 슬라이스들 사이의 크로스-페이드들이 각각의 음악적으로 뜻있는 오디오 섹션을 음악적 시간과 실시간 특징들 모두(이들 모두는 청각적으로 끊임이 없는 크로스-페이드를 달성하는 것이 요구된다)로 분석하는 오디오 파일 디스크립션의 처음 공급을 통해 지지되는 청각적으로 끊임이 없는 방식으로 오디오 파일을 편집하는 것을 허용한다. 개조된 본래 파일에 대한 크로스-페이딩을 규정하는 실시간 커트 전환 데이터를 끼워넣음으로써, 편집된 파일을 재생하는 디바이스가 특정 구성(오디오) 섹션들의 사용에 기초한 리포트를 업링크할 수 있다. 그런 다음 이러한 리포트는 컨텐츠 트래킹에 관계되는 추가 리포트를 생성하기 위해 서버측(server-side)에서 사용되고, 이러한 추가 리포트는 보고된 트래킹된 이벤트들에 기초한 라이센싱(licensing) 프로그램을 관리하고/하거나 업링크 리포트가 송신된 디바이스로의 섹션 관계된 보조 미디어 컨텐츠의 서빙(serving)을 일으키게 기능을 하는 상업용 서버(commercial server)로 송신될 수 있다. 유익하게, 오디오(및/또는 경우에 따라 비디오)의 특정 섹션들의 특정 용도들을 명백히 식별할 수 있는 것과 연관된 증가된 더 미세한 입도(finer granularity)는 본 발명의 시스템이 어셈블리되고 재생된 미디어 파일의 상이한 섹션들에 비례해서 공유하는 수입을 수여하는 것을 허용한다. 그러므로 본 발명은 기존의 서버-지향된(server-oriented) 솔루션으로부터의 컨텐츠 트래킹과 연관된 사회기반시설을 간단하게 하고, 컨텐츠 보고가 사용을 캐치(catch)하고 보고하는 증가된 능력을 가지고 향상된다는 점에서 증가하는 강인성을 제공한다(심지어 그러한 사용이 오디오의 사용된 섹션의 출처에 대한 관련 정보의 손실을 형식적으로 가져오는 편집 상황의 편집(edit-of-an-edit situation)을 따를 때에도).
이제 첨부 도면들을 참조하여 본 발명의 전형적인 실시예들이 설명될 것이다.
도 1은 기존의 미디어 공유 시스템의 개략도.
도 2는 바람직한 실시예의 컨텐츠 모으기, 전달 및 트래킹 시스템의 개략도.
도 3은 음악의 섹션과 같은, 오디오의 피스(piece)와 실세계 이벤트 사이에서 확립되고, 본 발명에 따라 확립되는 관계를 나타내는 도면.
도 4는 본 발명의 바람직한 실시예에 따른 시스템의 개략도.
도 5는 도 4의 시스템 내에서 사용된 섹션 모으기 인텔리전스(section assembly intelligence)의 기능도.
도 6은 바람직한 생성 프로세스에 따른 트랙 모으기 및 메타데이터 생성에 대한 기능도.
도 7은 오디오의 섹션들 내의 상이한 음악적 테마들(musical themes)로부터의 출구 지점과 그러한 테아들로의 진입 지점 사이의 바람직한 커트 전략(strategy)의 시간 도메인을 나타내는 도면.
도 8a, 도 8b 및 도 8c는 공통의 박자 기초(common time base)와 각각이 온셋 이벤트(onset event)들 모두에 대한 액티브 오디오 섹션과 데스티네이션 오디오 섹션 사이에 있고, 바람직한 실시예에 따르는 크로스-페이드 또는 커트를 보여주는 도면들.
도 9a 내지 도 9c로 구성되는 도 9는 음악의 상이한 섹션들의 스펙트럼 표현으로서, 이러한 섹션들은 본 발명의 바람직한 실시예에 따라 결정된 출구 지점 및 진입 지점을 가지는, 도면.
도 10은 음악의 상이한 섹션들에서의 상이한 시간 서명들 사이의 상대적 타이밍을 보여주는 타이밍도.
도 11a 내지 도 11d로 구성된 도 11은 도 8a 내지 도 8c에서 예시된 크로스-페이드 또는 커트를 착수시 바람직한 시스템에 의해 사용된 바람직한 프로세스를 보여주는 것으로, 이러한 프로세스에 의해 온셋이 결정되는, 도면.
도 12는 바람직한 일 실시예에 따르는 트랙 데이터베이스의 전형적인 구성을 보여주는 도면.
도 1은 기존의 미디어 공유 시스템의 개략도.
도 2는 바람직한 실시예의 컨텐츠 모으기, 전달 및 트래킹 시스템의 개략도.
도 3은 음악의 섹션과 같은, 오디오의 피스(piece)와 실세계 이벤트 사이에서 확립되고, 본 발명에 따라 확립되는 관계를 나타내는 도면.
도 4는 본 발명의 바람직한 실시예에 따른 시스템의 개략도.
도 5는 도 4의 시스템 내에서 사용된 섹션 모으기 인텔리전스(section assembly intelligence)의 기능도.
도 6은 바람직한 생성 프로세스에 따른 트랙 모으기 및 메타데이터 생성에 대한 기능도.
도 7은 오디오의 섹션들 내의 상이한 음악적 테마들(musical themes)로부터의 출구 지점과 그러한 테아들로의 진입 지점 사이의 바람직한 커트 전략(strategy)의 시간 도메인을 나타내는 도면.
도 8a, 도 8b 및 도 8c는 공통의 박자 기초(common time base)와 각각이 온셋 이벤트(onset event)들 모두에 대한 액티브 오디오 섹션과 데스티네이션 오디오 섹션 사이에 있고, 바람직한 실시예에 따르는 크로스-페이드 또는 커트를 보여주는 도면들.
도 9a 내지 도 9c로 구성되는 도 9는 음악의 상이한 섹션들의 스펙트럼 표현으로서, 이러한 섹션들은 본 발명의 바람직한 실시예에 따라 결정된 출구 지점 및 진입 지점을 가지는, 도면.
도 10은 음악의 상이한 섹션들에서의 상이한 시간 서명들 사이의 상대적 타이밍을 보여주는 타이밍도.
도 11a 내지 도 11d로 구성된 도 11은 도 8a 내지 도 8c에서 예시된 크로스-페이드 또는 커트를 착수시 바람직한 시스템에 의해 사용된 바람직한 프로세스를 보여주는 것으로, 이러한 프로세스에 의해 온셋이 결정되는, 도면.
도 12는 바람직한 일 실시예에 따르는 트랙 데이터베이스의 전형적인 구성을 보여주는 도면.
도 1은 기존의 미디어 공유 시스템(10)의 개략도이다.
도 1에서, 사용자는 구성하고 그 다음 네트워크(14)를 통해 미디어 파일(18)을 업로드(16)하기 위해 컴퓨터(12)(또는 스마트폰이나 PDA와 같은 유사한 것)를 이용한다. 이러한 미디어 파일은 보통 스틸(still) 이미지들 및/또는 비디오를 포함하는 오디오(22) 및/또는 이미지들(24) 중 적어도 하나의 형태로 된 컨텐츠(20)를 포함한다. 이미지들(24)은 비디오 카메라 등과 같은 국부적인 소스(26)로부터 컴퓨터 내로 입력될 수 있고, 컴퓨터(12)에 국부적으로 설치되거나 웹-기반의(web-based) 편집 애플리케이션(28)의 몇몇 형태를 거칠 수 있다. 미디어 파일에 대한 오디오에 대해서는, 이것이 국부적으로 얻어질 수 있거나 원격 데이터 저장소 또는 데이터베이스에 액세스한 다음 국부적인 편집을 허용하기 위해 자료들을 스트리밍(sereaming)하는 것으로부터 획득될 수 있다. 이러한 실례에서는 미디어 파일(18)의 성분 부분들의 도출을 중요하지 않고, 미디어 파일(18)이 사용자가 가입 미디어 컨텐츠 제공자(30)에 의해 지원된 채널의 일부 형태를 통해 발표하기를 바라는 데이터 - 이러한 데이터는 완전히 손대지 않은 본래의 예술 작품(artistic work)보다는 완전한 오디오 트랙 또는 비디오 클립(video clip)들의 샘플들/부분들일 수 있다 - 를 포함한다고 말하는 것으로 충분하다. 다시, 컨텐츠 제공자(30)가 비록 어느 경우든 사용자는 YouTube
와 같은 컨텐츠 제공자들이 잘 이해되는 것을 고려하면 바로 알게 되듯이, 등록의 몇몇 형태를 보통 가지게 되는 것처럼 유료 또는 무료 가입을 요구하는지 여부는 중요하지 않다. 보통, 가입 미디어 컨텐츠 제공자(30)는 서버와 관련된 데이터베이스들이 될 것이고, 이 경우 서버는 몇몇 적절한 인터페이스와 조작상의 제어 로직(제어기 모듈(31)에 의해 집합적으로 나타내어진)을 가진다. 액세스 가능한 데이터베이스들은 가입 미디어 컨텐츠 제공자(30)로부터 가까운 곳에 있거나 먼 곳에 있을 수 있다.
네트워크(14)의 성질에 대해서는, 이러한 네트워크(14)가 WAN, LAN, PLMN 중 임의의 하나 또는 이들이 혼합된 것일 수 있거나, 유선인 공중 네트워크일 수 있고, 데이터베이스들이 네트워크(14)를 통해 액세스되도록 더 넓게 확장될 수 있다. 네트워크(14)는 단지 온-디맨드 커뮤니케이션(on-demand communication) 경로들과, 다양한 종류의 사회기반시설 및 가입자 장비의 상호연결 및 상호작용을 허용하는 회로들(32 내지 36)을 제공하는데, 이러한 가입자 장비에는 미디어 파일(18)을 생성하기 위해 사용되는 컴퓨터(12)와 복수의 가입자 또는 청취 장비가 있을 수 있으며, 이러한 장비에는 스트림을 다운로드하기를 바라거나 그렇지 않으면 사용자에 의해 어셈블리된 업로드된 미디어 파일들(18) 일부 또는 전부를 청취 또는 시청하기를 바라는, 랩탑(laptop)(38)에 의해 예증된 것이 있다.
이제 이미더 파일(18)이 컴퓨터(12)에서 사용자에 의해 어셈블리되었고 가입 미디어 컨텐츠 제공자(30) 쪽으로 전해졌다고 가정하면, 미디어 파일은 청취자(38)에 의한 그것의 저장의 적합함과 더 넓은 제3자 액세스를 식별하기 위한 조사(interrogation)를 거친다. 이 점에 있어서, 서버측 게이트키핑(gatekeeping) 기능(40)(보통 인공 지능에 기초한)은 가입 미디어 컨텐츠 제공자(30)에 의해 유발된다. 게이트키핑 기능(40)은 가입 미디어 컨텐츠 제공자(30) 내에 있을 수 있거나 전술한 라벨과 같은 상이한 상업 주체(commercial entity)에 속하는 외부 서버에 위치할 수 있다. 게이트키퍼 기능(40)은 업로드된 미디어 파일의 구성 요소(또는 전체)에 대한 컨텐츠 인식/컨텐츠 매칭을 수행하도록 배치한 다음 업로드된 미디어 파일(18)을 저장(그리고 실제로 어느 정도까지)할 수 있는지와 업로드된 각 미디어 파일의 일부 또는 전체가 어떻게 저장될 수 있는지에 대한 결정에 기여한다. 이와 관련하여, 게이트키퍼 기능(40)은 구독 미디어 컨텐츠 공급자(30)와 업로드 및 다른 미디어 파일의 다양성, ii) 원본 오디오 트랙 및/또는 비디오 및/또는 스틸 이미지의 참조 데이터베이스, iii) 일반적으로 인구 통계 및/또는 주소 데이터에 기초한 개인들 또는 그룹들과 상호 참조되는 광고 또는 홍보 컨텐츠를 포함하는 광고 데이터베이스로 구성된 중앙 집중식 또는 분산형 데이터베이스 모두와 결합된다.
또한 게이트키퍼 기능(40)은 가입 미디어 컨텐츠 공급자(30), 중앙 집중식 또는 분산형 데이터베이스(44) 및 일종의 액세스 가능한 메모리(58)과 통신하는 커머스 서버(46)와 결합될 수 있으며, 이는 다시 말해서 규정된 사용 정책(50), 즉 업로드된 미디어 파일이 누구와인지 정의하는 것이다. 규정된 사용 정책(50)은 일반적으로 라벨(일반적으로 일반적으로 파선(52)로 둘러싸인 일부 또는 모든 기능으로 표시됨)에 의해 설정된다.
게이트키퍼 기능(40)으로 복귀한 업로드된 미디어 파일(18)은 원본 예술 작품과 관련된 사전 저장된 참조 자료와 미디어 파일의 전체 또는 구성 부분을 비교하여 평가되고 분류된다. 그러한 비교 기법은 잘 알려져 있을 뿐이며, 전통적인 시스템의 작동 방식과 관련되기 때문에 자세히 설명할 필요가 없다. 그러나 간단히 말해서, 게이트키퍼 기능(40)은 기본적으로 업로드된 각 미디어 파일(18)의 분석된 섹션과 참조 데이터 간의 유사성과 차이점을 찾는다. 업로드된 미디어 파일을 참조하는 방법(관련성이 있다고 판단되는 원본 예술 작품에 상대적)과, 예컨대, 그것의 컨텐츠 중 임의의 것이 식별된 또는 보완적인 광고들(광고 데이터베이스에 저장된)로의 액세스가 있거나 없이 보여지는지 또는 그것의 컨텐츠가 수정되든지 아니면 완전히 억제되든지와 같이, 업로드된 미디어에 대한 액세스를 제어하는 방법에 대해 결정한다. 따라서 명시된 사용 정책(50)은 라벨 규정 가능한 정책이고, [저장된] 업로드된 각 미디어 파일(18)에 대한 후속 액세스에 기반하여 라벨에 대한 수익을 창출하는 역할을 하는 정책이다.
액세스 측면에서 도 1은 네트워크(14)를 통해 가입 미디어 컨텐츠 제공자(30)에 연결된 노트북(38)과 같은 제3자 단말기를 보여준다. 물론 시스템에는 많은 제3자 단말기가 수시로 연결될 것이다. 사용 중, 제3자 단말기는 주소를 입력하거나 다른 방법으로 업로드되고 현재 승인되어 데이터베이스(44)에 저장되는 미디어 파일을 검색하는 사용자에 의해 운영될 것이다. 가입 미디어 컨텐츠 제공자(30)는 제3자 단말기에서 미디어 파일을 조작 및/또는 볼 수 있도록 액세스 요청을 관리하고 요청(저장) 미디어 파일의 경로를 제공한다. 경로는 직접 지점간 연결일 수 있지만, 대개는 간접적인, 즉 가입 미디어 컨텐츠 공급자(30)를 통한 것일 수 있다. 미디어 파일에 대한 액세스가 요청되거나 제3자 터미널로 미디어 파일을 스트리밍하거나 다운로드하는 경우, 서버측 시스템에 의해 리포트(60)가 생성되며, 이 리포트(60)은 커머스 서버(46)에 전달된다. 또한, 요청된 미디어 파일의 재생 또는 다운로드와 거의 동시에 업로드 및 저장된 미디어 파일(18)과 연관된 규정된 사용 정책이 사례를 들어 증명되고 제3자 단말기에서 미디어 파일의 보기로 다운로드로 적절한 광고(또는 적용된 편집)가 전달되게 하기 위해 적용된다. 리포트(60)는 원본 예술 작품을 사용하기 위해 이벤트 로그를 증분할 수 있도록 하고, 가입 미디어 컨텐츠 제공자 중 한 명 또는 그 밖의 30명 또는 제3자 단말기의 사용자에게 부과되는 원래 예술 작품의 사용에 대한 사용료 지불을 허용한다. 업로드된 데이터 파일(18)과 원본 예술 작품 및 규정된 사용 정책 간의 상호 참조가 기록되면 적절한 광고가 자동으로 제3자 터미널로 전달되며, 데이터베이스에 액세스하면 리포트(60)가 즉시 또는 누적적인-이벤트 인보이싱(invoicing) 목적들을 위해 커머스 서버(46)에 의해 저장소(48)에 기록되게 한다.
그러므로 도 1은 서버측 컨텐츠 식별 및 트래킹과, 전술한 바와 같은 생략 또는 기록되지 않은 리포팅에서의 에러들에 취약한 시스템 구성을 보여준다.
Ⅰ. 컨텐츠 트래킹
대조적으로, 현재의 발명은 식별을 트래킹하기 위해 고객 중심적인 접근법을 사용한다. 도 2의 시스템 구성은 트래킹 및 보고 프로토콜의 상당한 단순화와 기반구조 구성요소, 트랙 특성 및 보고 복잡성의 관련 단순화가 있지만 도 1의 시스템 구성과 일부 유사성을 공유한다. 네트워크(14)의 토폴로지는 시스템의 다양한 모듈과 구성요소가 상호 작용하고 데이터 연결이 가능하도록 하며, 이는 인프라 측면에서 구성요소가 일반적인 구매 모범적 기능적 연결성을 보여주는 상호연결로 물리적으로 분산될 수 있음을 의미한다.
도 2에서, 컴퓨터(12)의 사용자는 여전히 28개의 컨텐츠를 편집하여 미디어 파일을 조립하고 생성할 수 있지만, 오디오 트랙을 요청하고 매시트랙스 데이터베이스(104)에서 다운로드하는 동안 컨텐츠는 로컬 비디오 카메라(102) 또는 다른 이미지 라이브러리(원격 및 온라인일 수 있음)와는 다르게 제공될 가능성이 있다. 매시트랙스 데이터베이스(104)에 저장되어 있는 매시트랙스 오디오 트랙은 트랙을 잘라내거나 잘라내는 데 적합한 비트 전환 지점과 관련된 메타데이터를 포함하고 있으며, 이 메타데이터를 통해 매시트랙스 시스템이 공통적인 음악적 특성을 가진 트랙을 끊김없이 재정렬하고 결합할 수 있다. 메타데이터의 특성은 아래에 자세히 설명되어 있으며, 여기에서 참조 및 전체로 통합되는 PCT/GB2016/051862에 자세히 설명되어 있다. 매시트랙스 메타데이터는 오디오 트랙의 각 연속 섹션과 관련이 있으며, 각 오디오 트랙의 각 오디오 섹션에 대해 고유하고 영구적인 식별자를 제공한다. 따라서 메타데이터가 섹션과 영구적으로 연결되어 있기 때문에 각 섹션은 사용되거나 조작되는 방법에 관계없이 고유하고 영구적인 식별자를 통해 독립적으로 트래킹할 수 있으며, 시스템 내의 참조 데이터베이스는 각각의 고유하고 영구적인 식별자의 기록을 유지한다. 따라서 오디오를 포함하는 매시트랙스 미디어 파일의 어셈블리는 오디오 섹션이 복사본에서 추출되는지 여부에 관계없이 항상 매시트랙스 오디오 섹션의 원본 레코드를 포함한다. 즉, 원래의 매시트랙스 오디오(및 관련되는 메타데이터)의 측면이 포함된 파생 작품은 계속 고유하게 식별되며, 더욱이 이들의 구체적인 용도를 트래킹하여 보고할 수 있다.
이 맥락에서, "섹션"은 첫 번째 오디오 섹션에 내재된 음악 비트나 리듬에 대한 사용자가 허용할 수 있는 변화를 달성하지 못하는 다른 오디오 섹션과의 원활한 결합을 훼손하지 않고 더 짧은 길이의 오디오로 분할할 수 없는 단일 작품 또는 샘플의 오디오를 의미한다. 물론 섹션은 임의의 길이로 만들 수 있으며 이러한 길이는 소스 오디오 트랙의 주석자의 옵션으로 설정되지만, 섹션과 관계없이 크로스 페이드 동안 각 섹션의 출입이 가능한 음악적 감각과 속성을 가지고 있다. 따라서 "매시트랙스 메타데이터 파일"이라는 용어는 구현에 따라, 적어도 하나의 오디오 트랙에서 오디오 섹션들의 연결과 재순서화를 제때 정의하는 늘려진 매시트랙스 메타데이터와 관련될 수 있지만, 이 용어는 또한 관련된 편집된 오디오 트랙 또는 편집된 멀티미디어 이미지와 오디오 트랙 편집의 하나 또는 둘 다와 결합하여 내장된 매시트랙스 메타데이터를 모두 포함하는 복합 파일과 관련될 수 있다. 따라서 매시트랙스 메타데이터 파일은 메타데이터가 전달된 다운링크(즉, 메타데이터가 "오디오 파일 설명"인 경우 오디오 트랙의 잠재적 편집 또는 재생 목적) 또는 오디오 트랙의 재생 보고 및/또는 소스 오디오 파일의 편집에 대한 설명이 있는 업링크 인지에 따라 두 가지 대안 형식 중 하나를 취할 수 있다.
도 2로 되돌아가서, 사용자(일반적으로)는 라벨에 속하거나 관리하는 iTunes와 같은 라벨의 고유 데이터베이스(107)에서 소스 오디오 트랙을 획득하거나, 또는 다른 방법으로 매시트랙스 음악 편집 및 액세스 데이터베이스(도 2에서 매시트랙스 데이터베이스 104로 표시되며, 라벨에서 원래 오디오 트랙을 직접 획득한 데이터베이스 106으로 업로드)에서 소스 오디오 트랙을 획득한다. 라벨의 독점 데이터베이스의 위치는 중요하지 않으며, 사실 그것은 매시트랙스 음악 편집과 데이터베이스( 104 내지 106)의 일부가 될 수 있다. 소스 오디오의 초기 다운로드 배경은 단순히 사용자가 관심 트랙을 식별할 수 있도록 하기 위함이다. 이 식별은 원래 트랙의 재생 및/또는 적용 산업 표준 메타데이터를 어떤 오디오 트랙과 통합되거나 연관된 고유한 식별 ISRC의 형태로 검색하여 오디오 인식을 수반할 수 있다. 물론 사용자는 실제로 전용 음악 데이터베이스로 직접 가서 파생 작품을 다운로드(또는 스트리밍)할 수 있지만, 파생된 "편집"은 원래 소스 오디오 트랙과 다른 음악적 배열을 가지고 있기 때문에 잠재적으로 잘못 인식될 수 있다는 것을 이해하게 될 것이다. 따라서 이는 전적으로 선택 사항이고 "편집의 편집"은 현재 발명의 구현에 의해 고려되지만, 원래의 소스 오디오 트랙으로 편집 과정을 시작하는 것이 더 바람직할 수 있다.
소스 트랙은 또한 그 후 편집 프로세스에서 사용될 수 있다.
사용자의 컴퓨터, 스마트폰 등에 설치된 매시트랙스 편집 앱(101)은 사용자가 소스 오디오 트랙과 매시트랙스 음악 편집 및 액세스 데이터베이스 중 적어도 하나로의 액세스를 허용하기 위한 인터페이스를 제공한다. 편집 앱(101)은 또한 사용자 컴퓨터이 특정 소프트웨어가 요구되지 않을 수 있고 따라서 편집 앱(101)이 일시적이도록 웹-브라우저를 통해 액세스될 수 있다. 편집 앱(101)은 또한 데이터로의 업로드를 허용하고, 이는 연관된 매시트랙스 메타데이터가 있는 복합 미디어 파일일 수 있지만, 그 대신에 업로드는 단순히 증강된 매시트랙스 메타데이터 파일일 수도 있고 소스 오디오 트랙 또는 소스 오디오 파일 또는 오디오-비디오 컴파일 중 적어도 분할된 재배열을 지원하는 컴파일된 미디어 파일과 영구적으로 연관되는 관련 국부적으로 발생하는 이벤트의 보고 "로그"일 수도 있다.
A) 오디오 파일 설명
설명만을 위해, 목표는 현재 편집(발명의 구현으로도 지원됨)을 다시 편집하는 것이 아니라 소스 오디오 트랙의 첫 번째 편집이라고 가정한다. 매시트랙스 편집 앱(101)은 매시트랙스 서버(111)에 최소한 선택된 소스 오디오 파일에 대한 오디오 파일 설명을 제공하는 요청을 전송한다. 오디오 파일 설명에는 소스 트랙 내의 섹션이 매끄러운 방식으로 교차하는 방법에 대한 전체 정의가 포함되며, 따라서 소스 트랙의 각 식별된 섹션을 음악적 시간과 실시간 측면에서 정의할 수 있는 방법에 대한 세부 정보가 포함된다. 음악적 시간에 대한 정의는 청취자에게 음악적으로 감지할 수 있는 충격을 주지 않고 함께 으깨거나 잘라낼 수 있는 것을 설명해야 하는 반면, 실시간 정의는 디지털 처리 영역에서 절단이 실제로 일어나야 하는 시기를 정확하게 식별한다(뮤지컬 바 내의 펄스의 샘플링 속도 공간과 관련). 이 두 가지 다른 시간 측정은 음악적 시간이 실시간 표현으로 변환할 수 없는 의미론을 포함하기 때문에 필요하다. 또한 오디오 파일 설명에는 하위 파일 이름과 같은 보조 정보 및 동일한 트랙의 다른 음악 조각에 상대적인 음악의 특정 섹션(또는 "슬라이스")을 분류하는 데 적용되는 주관적 평가 정보가 포함될 수 있다. 예를 들면, 트랙은 내향과 각 아우트로, 합창(또는 합창들) 및 시(verse) 또는 시들 사이에 상대적인 음악적 의미(또는 "강성")를 포함할 수 있으며, 실제로는 시와 합창 사이의 상대적 강도(다른 식별할 수 있는 음악 섹션에 포함됨)가 존재한다. 더욱이, 예를 들어, 합창의 공통 주제 내에서 하나의 합창은 다른 합창에 비해 상대적으로 높은 음악적 의미를 갖는 것으로 인식될 수 있으므로, 일반적인 주제들 사이의 더 미세한 구별 수준은 오디오 파일 설명의 구조 내에서 정의될 수 있다.
오디오 파일 설명은 관련 소스 트랙에 적용될 때, 편집 및 재결합 목적을 위해 소스 트랙을 섹터화(또는 "세그먼트화")할 수 있도록 한다. 따라서 오디오 파일 설명(즉, 트랙의 각 섹션에 설명된 메타데이터)은 트랙의 섹션을 다른 순서 및 방식으로 재조립할 수 있는 위치와 방법을 정의하며, 예를 들어, 음악(오디오)의 부조화(jarring)가 없거나 실질적으로 존재하지 않는다.
오디오 파일 설명과 관련하여, 각 트랙은 각각 상대적인 음악 강도 또는 테마를 가진 섹션으로 구분된다. 예를 들어, 도입부, 합창, 시, 아우트로 등 이러한 세분화 또는 부문화는 사실상 각 오디오 트랙의 구성요소 부분의 높은 수준의 특성화다. 사실, 각 시구, 합창, 내향, 외향은 뮤지컬의 관점에서 나중에 여기에 기술된 기법을 사용하여 함께 조정하고 트래킹할 수 있는 더 작은 섹션으로 분할될 수 있다. 현재 공시의 전체성에 의해 다루어지는 이슈는 시간 구분된 부분을 효율적이고 매끄럽게 자르고 다시 결합하는 방법을 포함한다. 따라서 각 트랙의 선호 특성화는 수동으로(인간 주석기의 경우) 또는 적용된 인공지능(AI)으로(처리의 적용된 규칙들이 단면 길이들을 결정하게 된다), 각 트랙을 가능한 가장 작은 섹션 - 또는 실제적인 실시예에서는 주석기에게 음악적으로 의미가 있는 섹션 - 으로 분할한다.
그러므로 각 트랙의 오디오 파일 설명은
1. "슬라이스"의 사전, 즉. 식별된 트랙 내의 모든 슬라이스를 나열하는 "섹션" 상세 내역.
2. 식별된 트랙의 각 슬라이스에 대해, 샘플링 속도를 기준으로 한 숫자 값인 "크로스_페이드_기간"이다. cross_fade_duration은 가변적이며 동일한 트랙의 (일반적으로) 첫 번째 섹션 또는 사용자가 선택한 다른 섹션에서 희미해지는 데 사용되는 시간과 관련이 있다. 트랙을 분류할 때 시스템 관리자가 cross_fade_duration을 선택하고, 다른 장르의 음악 간에 변화하는 가청 크로스페이드 요구 사항을 반영하기 위해 선택한 지속시간이 표시된다는 점에 유의한다. 예를 들어, 대중음악에서 전형적인 크로스 페이드(cross pede)는 초당 4만4천백(44100개)의 공칭 샘플링 속도로 3㎳ 이상 발생할 수 있다. 반대로, 고전음악의 부분들 사이에 희미해지는 것은 대중음악에 비해 상당히 긴 시간에 걸쳐 일반적으로 발생하며, 그렇지 않으면 커트가 쉽게 인식될 수 있다.
3. 각 섹션/슬라이스(조작 목적으로 이름 문자열과 함께 제공될 수 있음)에 대해, 음악적 시간 및 실제 시간에서 섹션/슬라이스를 규정의는 타이밍 특성은 소스 오디오 트랙의 검사로 채워진 할당된 필드에 표시한다.
중 적어도 일부 또는 일반적으로는 전부를 포함한다. 더 구체적으로 그러한 필드들은 다음 내용을 포함한다:
a. "sample_start": 샘플링 속도에 따라 실시간으로 슬라이스의 정확한 시작 지점을 정의하는 정수 값으로 표현된다. 예를 들어, 이것은 표본 번호 27,603일 수 있다.
b. "샘플 지속시간": 실제 시간에서 44,100의 샘플링 속도에서 4363.9㎳초까지 해당하는 특정 슬라이스의 총 샘플 수를 정의하는 숫자 값으로 표현된다. 이 정보는 메타데이터의 다른 곳, 즉 "길이" 파라미터 내에 존재하기 때문에 실제로 선택적 필드 및 구현에 특정한 것이다.
c. "위치": 바(bar)들로 정의되며, 따라서 "비트", "움직임", "펄스" 및 "템포"로 정의된다. "Position"은 실시간 라인에 "sample_start"의 추상적인 숫자 값보다 맥락적인 음악적 시작점을 제공하는 음악적 시간에 대한 설명이다. 따라서 "위치"의 사용은 비트와 막대, 분수를 사용하여 원래 오디오 트랙의 소스의 특성과 원점을 보상하는 것과 함께, 매끄러운 오디오 의미에서 엔드 투 엔드로 결합될 수 있는 것을 정의한다. 예를 들어, 트랙이 매시트랙스 데이터베이스에 추가되고 그 트랙이 iTunes에서 획득된 경우(음악 저장소 Tidal보다는), 이벤트에 대한 실시간 위치가 일치하지 않을 수 있다. 반대로, 음악적 시간(즉, 바, 비트 및 분수) 측면에서 동일한 이벤트를 정의하면 다른 주석자 및/또는 다른 샘플링 속도로 조립된 소스 트랙을 허용하는 공통 타임베이스의 동기화와 생성을 허용한다. 즉, 2개의 서로 다른 데이터베이스 저장소는 명목상 동일한 레코딩을 위한 2개의 다른 오디오 파일을 가질 수 있다. 따라서 위치 매개변수는 바, 비트 및 분수를 효과적으로 정렬하기 위해 이러한 타이밍 차이를 보상한다.
d. "길이(length)": 단순히 어디에서 ("sample_duration") 절단이 필요한 것이 아니라, sample_duration에 해당하는 음악적 시간 표현과 실제로 음악적으로 절단이 가능한 것에 대한 정의. 길이는 중요한 요소로서 바, 비트 및 분수로 정의되는 커트 이벤트의 음악적 시간의 전환을 정의한다. 따라서 구현 관점에서 막대 및 비트는 각 정수 값이며, 분율은 부동 소수다. 또한 "길이"는 시간 영역과 절대 시간 측면에서 정의되며, 위치는 관련 펄스의 총 수로 표현된다. 예를 들어, 처리를 위해 바에는 576개의 하위 섹션(예: "펄스들(pulses)")이 설정될 수 있다. 예를 들어, 바의 지속시간은 오디오 트랙이 시간 서명을 바꿀 수 있고, 이는 섹션 간의 편집에도 시간 서명에서의 이러한 변경이 고려되는 것을 또한 필요할 수 있다는 것을 의미한다. 따라서 펄스는 공통 또는 복합 음악적 시간에 비트(beat)나 파벌(faction)을 나타낼 수 있는 가장 낮은 시간 참조 공통 분모로 간주될 수 있다. 따라서 "길이(Length)"는 음악적 의미와 음악적 시간에서 편집이 이루어져야 하기 때문에 호환 가능한 섹션 간에 교차 페이드/편집될 수 있기 때문에 중요하다. 따라서 음악적 시간에서 바, 비트 및 분수는 sample_duration과 같이 시간의 절대적 측정에서 손실되는 의미 정보를 포함한다. 바람직한 구현 관점에서 펄스는 (바 및 비트들과 같은) 정수 값이다. "Length"는 실시간 측정치인 length_in_sample을 포함하며, 이는 펄스 수의 산물의 함수인 실시간 숫자와 음악 부분의 시간 시그니처와 템포 모두를 포함한다. 따라서 "Length"는 지속시간을 음악적으로 나타내는 것이다. "Length"는 각 절/슬라이스의 속성이지만, 또한 각 아나크루시스와 출구 지점의 속성이다(아래 참조). '샘플'의 관점에서 볼 때 음악적 시간에 기간을 나타내는 것은 편집할 수 있는 위치를 결정하는 데 매우 중요하다. 따라서 "Length"는 각 음악 섹션의 복수의 속성에 대한 설명에 적용되며, 이러한 속성은 섹션, 희생물 및 출구 지점들을 포함한다.
e. "anacrusis_list: 각 섹션에 대해, 각 아나크루시스 자체는 길이로 정의되며(위 참조), "sample_offset" 및 "anacrusis_cross_fade_duration"이 하나 이상 있을 것이다. 샘플 오프셋은 샘플링 속도의 정수 값이며 Anacrusis와 선택된 음악 위치 사이의 샘플의 정수 값으로 시간 오프셋을 반영한다(도 7 및 도 9에서 나중에 보여지는 추상 진입/출구 지점임). Anacrusis_cross_fade_duration은 샘플의 정수 값이며 특정 anacrusis에 대한 특정 크로스페이드와 관련된 오버라이드 위치를 반영하므로 anacrusis_cross_fade_duration은 특정 음악 장르에 첨부된 일반적으로 설정된 cross_fade_duration을 대체한다.
f. "exit_point_list": 각 섹션에 대해, 후속적으로 도 9를 참조하여 설명한 것처럼, 적어도 하나의 출구 지점이 있을 것이다. 다시, 각 출구 지점은 음악적 시간에서 "길이" 변수의 관점에서 설명된다. 나중에 설명될 것처럼, 한 섹션은 크로스페이딩을 위한 많은 가능한 출구 지점(즉, 희생물)을 가질 수 있지만, 출구 아나크루스의 음악적 길이는 시간 이탈 슬라이스의 다음 진입 지점으로 사용할 아나크루스의 길이와 일치해야 한다. 커트의 경우 의미론적 음악 정보가 길이 내에 존재하지만 펄스와 연관된 절대 숫자가 아니기 때문에 펄스 카운트에 기반한 전환에 비해 길이가 더 바람직하다.
g. "슬라이스_강도: 이는 위에서 설명한 바와 같이 오디오 파일 설명을 조립하는 음악 엔지니어(또는 AI)가 할당한 주관적인 값이다. 표시된 대로, 일반적으로 전체 트랙의 컨텍스트 내에서 섹션의 측면 또는 테마를 트래킹/식별하는 데 사용할 수 있는 1과 7 사이의 정수 값이다. 슬라이스_강도와 연관되는 보조 데이터는 소프트웨어가 상이한 섹션, 즉 상이한 색상들로 표현될 오디오의 파형 표현 내에서, 하지만 색상(단지 검은색과 흰색 아우트라인 파형으로서보다는)으로 도시될 오디오의 호환되는 크로스페이드 섹션들을 위한 상이한 강도들을 나타내는 것을 허용하는 색상 값을 포함할 수 있다. 물론, 다른 시각적 식별 체계를 사용할 수 있다. 예를 들어, 도 3 파형의 T1, T2 및 T4 섹션은 2개 이상의 상이한 색상으로 표시하여 오디오 트랙의 변화된 측면을 반영할 수 있는 반면, T3 섹션의 순서를 다시 정하면 T2가 원래 트랙 앞에 있더라도 섹션 T2로 페이드되는 옵션이 후속적으로 제거될 수 있다. 이는 섹션 T2를 강조 해제(예: 페이드 옵션으로 효과적으로 선택 해제한 결과 이전에 적용된 모든 색상이 제거됨)하는 결과를 초래할 수 있다.
h. "자유형(free-form) 속성들": 음악 또는 기악 기능을 식별하거나 편집된 오디오 파일을 보조 비디오 데이터와 정렬할 수 있는 메타데이터를 저장하기 위해 배열된 하나 이상의 보조 필드에 의해 실현된다. 일반적으로 이러한 필드는 정확한 타이밍 입력 지점을 나타내므로 각각 특정 샘플을 가리키는 정수로서, 예를 들어 비디오(또는 이와 유사한 것)의 시작점이 부착되고 트리거될 수 있다.
오디오 파일 설명에는 선택적으로 일반 트래킹 세부 정보 및 시간 서명 데이터와 같은 다른 정보가 포함될 수 있다.
그러므로 오디오 파일 설명은 정형 오디오 트랙을 다시 편집하는 데 필요한 모든 데이터를 포함하는 구조화된 데이터 저장소다. 따라서 다른 인코딩 방식도 동일하게 사용 가능하지만 오디오 파일 설명은 예를 들어 JSON 파일로 내보낼 수 있다.
발명 및 그 다양한 구현에 따라 콘텐츠 트래킹이 수행되는 과정을 보다 상세히 고려하기 전에, 당업자는 요약에 의해 각 오디오 파일 설명이 음악 트랙의 각 섹션 또는 슬라이스에 적용되는 주석 세부사항을 포함한다는 것을 이해하고, 이들 적용된 (메타데이터) 세부 사항들이 전체 트랙 내의 다른 섹션과의 음악 호환성의 측면에서 섹션의 특성을 표현하거나 반영하여 각 섹션의 특징을 정하는 것을 이해한다. 그러므로 각 섹션의 세부 사항은 메타데이터로 각각의 섹션이 어떻게 사용될 수 있는지를 설명한다. 따라서 가장 중요한 것은 각각 하나 이상의 관련 행수 여잉음에 대한 정의를 포함하고 있는 들어가는 목록("anacrusis_list") 및 나가는 목록("exit_point_list")과 관련이 있다. 각각의 행수 여잉음은 음악적 시간에 바, 비트, 분수, 그리고 실시간 전환을 처리하고 정밀하게 식별하기 위한 펄스 및 샘플에서 길이를 사용하여 설명된다. 펄스의 길이는 희생물이 어느 진입과 일치할 수 있는지 결정하기 위해 사용된다. 샘플의 길이는 소프트웨어가 선택한 두 오디오 섹션의 페이드 교차 지점을 정확히 결정하기 위해 사용된다. 샘플들에서의 이러한 길이는 음악 타이밍 정보, 즉 시간 서명, 분당 비트 수 등을 사용하여 편집 도구에 의해 미리 계산되었다.
따라서 오디오 파일 설명 메타데이터는 섹션 순서를 서로에 대해 전환할 수 있는지 여부와, 만일 그렇다면, 연속적인 오디오 출력을 내기 위해 선택된 섹션들을 꿰매도록 허용하는 어떤 대안적인 방법이 존재하는지를 설명한다. 동일한 두 섹션을 잠재적으로 여러 가지 방법으로 청각적으로 매끄러운 교차 페이드로 결합할 수 있으며, 각 대안은 각 섹션 사이의 출구 및 진입을 위해 일치하는 한 쌍의 희생물을 선택해야 한다는 점에 주목한다.
B) 편집의 업로드
따라서 특정 편집은 재순서의 섹션의 시퀀스로 정의될 수 있으며, 각 섹션 간 전환에 대한 적절한 들어가는 행수 여잉음과 나가는 행수 여잉음의 대응하는 선택 측면에서 정의될 수 있다.
반환된 오디오 파일 설명은 이제 컴퓨터(12)(또는 이와 유사한 것)에서 실행되는 매시트랙스 편집 앱(101)에서 소스 트랙을 편집하여 독립 실행형 매시트랙스 메타데이터 편집 파일 또는 내장된 매시트랙스 편집 메타데이터를 포함하는 매시트랙스 미디어 파일을 편집하는 데 사용할 수 있다. 편집용 메타데이터는 많은 대체 형식을 취할 수 있지만, 선호되는 구현에서는 이 메타데이터가 각 전환에 대한 정확한 시점을 나타내는 숫자의 연속으로 생성된다고 본다. 따라서 이러한 숫자들은 "길이" 및 "위치"와 관련된 섹션 세부사항에서 사용되는 펄스와 시간 스탬프 전환으로 작용하는 숫자와 관련된다. 편집 메타데이터로 인코딩된 추가 정보에는 ISRC와 일치할 수 있는 트랙 식별자(선택적으로 일치하는 것)와 특정 오디오 편집의 식별된 지점에서 교차 페이딩 사진을 완성하는 적용된 교차 페이딩 지속 시간이 포함된다. 오디오 편집 배열은 오디오 소스 트랙과 관련된 오디오 파일 설명 내에서 식별된 시점을 규정함으로써 설명할 수 있다. 따라서 매시트랙스 편집 메타데이터에서 사용된 고유한 트랙 식별자는, 편집/재생에서 사용된 본래의 소스 오디오 트랙의 구성 부분들의 컨텐츠 트래킹을 허용하기 위해, 예를 들면 ISRC를 참조하는 고유한 맵핑일 수 있다.
여기에 편집의 컴파일 및 달성 방법이 설명되어 있다. 생산 및 매시트랙스 편집 메타데이터에 보고하는 지점에서 오디오 파일 설명은 특정 편집과 관련하여 그 목적을 달성했다. 그 결과 독립 실행형 매시트랙스 편집 메타데이터 파일(예: 트랙 식별자 및 타임 스탬프 전환) 또는 매시트랙스 미디어 파일(예: 오디오 트랙과 타임스탬프 전환의 조합)이 매시트랙스 데이터베이스(예: 데이터베이스(104))에 저장하기 위해 매시트랙스 서버를 통해 업로드된다.
편집의 편집은 최초 편집에 사용된 오디오의 하위 집합으로 정의될 수 있는데, 즉 최초 편집에 구조: Chorus1-Verse-Chorus2를 가진다면, 편집의 편집(ㄷedit-of-an-edit)의 알맞은 가능성들은 Verse의 Chorus1-1/2 또는 Chorus1-Chorus2일 수 있다.
첫 번째 경우에서는, 부분집합은 최초 편집의 연속적인 부분이기 때문에, 편집의 보고 메커니즘은 최초 편집(위에서 설명된)에서와 정확히 같다. 유일한 차이점은 원곡에서 나오는 소재가 적게 재생되기 때문에, 클라이언트측 리포트는 이것을 보고할 수 있다는 것이다. 따라서 클라이언트측에서는 여전히 원래 소스 오디오 트랙의 어떤 섹션이 사용되고 있는지 보고할 수 있다.
컨텍스트(context)를 제공하기 위해, 편집의 하위 또는 보조 편집이 있는 경우, 매시트랙스 편집 메타데이터는 그대로 유지되므로 크로스 페이드와 ISRC는 변경되지 않는다. 예를 들어, 두 오디오 편집의 서브셋을 함께 결합할 수 있으므로 양쪽 부분에서 사용되는 정확한 섹션에 대해 보고하는 것이 적절할 것이다. 따라서 두 편집 모두 오디오 섹션과 ISRC 또는 기타 트래킹 정보가 그대로 유지되는 원본 편집의 하위 세트이기 때문에 시스템은 구성되고 정확한 보고 정보를 전송할 수 있다.
두 번째 경우에서는, 새 편집은 기존 편집에서 생성되며, 이 새 편집은 서로 다른 교차 패드를 규정하는 편집으로 작성된다. 이 경우 편집 앱(101)은 최초 오디오 트랙과 오디오 파일 설명에 모두 액세스할 수 있어야 한다. 편집 앱(101)은 편집 앱이 시스템에서 매시트랙스 오디오 트랙과 연관된 매시트랙스 편집 메타데이터를 획득하였으므로 편집을 수정하도록 요청받았음을 결정하도록 구성되어 있다. 최초 편집은 새 편집의 템플릿으로 생각할 수 있지만, 편집의 구성 과정과 동일한 과정은 오디오 파일 설명을 필요로 한다. 이것만이 새 편집의 구성에 필요한 모든 정보를 가지고 있기 때문이다.
편집에 대한 파일 내용의 관점에서, 이것은 편집이 나중에 재현될 수 있는 범위까지 매시트랙스 시스템이 편집 내용을 이해할 수 있도록 하는 적절한 양식이 얼마든지 필요할 수 있다. 따라서 식별된 소스 파일 편집에 대한 편집의 모범적 형식은 다음과 같을 수 있다:
소스 파일 ISRC 코드 오디오 US-RTX-16-00007;
"MXAudioTimelineEntry @ 0.000000s : Bar 3 [0-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 1044 samples] -> 0[2] Exit[ / ->[4 0 0 0]] Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 512 samples]",
"MXAudioTimelineEntry @ 10.553016s : Bar 43 [0-3] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 132 samples] -> 0[0] Exit[Exit bar 47 / ->[4 0 0 0]] Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + 282 samples]",
"MXAudioTimelineEntry @ 20.851066s : Bar 55 [2-4] : Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + -813 samples] -> 0[0] Exit[Exit bar 59 / ->[4 0 0 0]] Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + -425 samples]",
"MXAudioTimelineEntry @ 31.067846s : Bar 47 [0-4] : Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + 282 samples] -> 0[2] Exit[Exit bar 51 / ->[4 0 0 0]] Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 432 samples]",
"MXAudioTimelineEntry @ 41.377506s : Bar 3 [0-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 1044 samples] -> 0[0] Exit[ / ->[4 0 0 0]] Anacrusis[-(0 3 0 0) / ->[0 0 0 -432] + 1034 samples]",
"MXAudioTimelineEntry @ 51.954195s : Bar 7 [1-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 512 samples] -> 0[0] Exit[Exit bar 11 / ->[4 0 0 0]] Anacrusis[-(0 3 0 0) / ->[0 0 0 -432] + 154 samples]"
또는 일반적인 JSON 형태로 나타낸 것으로는:
{
"ISRC": "US-RTX-16-00007",
"edit": [{
"section": {
"name": "Bars 3-6",
"start": {
"bar": 3,
"beat": 0,
"fraction": 0,
"pulse": 1728,
"sample": 47628000
},
"end": {
"bar": 7,
"beat": 0,
"fraction": 0,
"pulse": 4032,
"sample": 111132000
}
},
"entryAnacrusis": {
"length": {
"bars": 0,
"beats": 0,
"fractions": 0,
"pulses": 0,
"samples": 0
},
"sampleOffset": 1044
},
"exitAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 2,
"pulses": 1440,
"samples": 9922500
},
"sampleOffset": 282
}
}, {
"section": {
"name": "Bars 47-50",
"start": {
"bar": 47,
"beat": 0,
"fraction": 0,
"pulse": 27072,
"sample": 746172000
},
"end": {
"bar": 51,
"beat": 0,
"fraction": 0,
"pulse": 29376,
"sample": 809676000
}
},
"entryAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 2,
"pulses": 1440,
"samples": 9922500
},
"sampleOffset": -425
},
"exitAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 1,
"pulses": 1296,
"samples": 8930250
},
"sampleOffset": 282
}
}]
}
C) 편집과 리포트의 사용
매시트랙스 편집 메타데이터 파일의 업로드 후 발생하는 컨텐츠 트래킹의 특정 문제로 돌아가서, 가입자 장치(컴퓨터(38) 또는 실제로 편집이 조립된 디바이스를 작동하는 원래 사용자)가 가입 미디어 컨텐츠 제공자(30)로부터 직접적으로 또는 리-다이렉트(re-direct) 기능을 통해 간접적으로 매시트랙스 서버(111)에 액세스 한다. 매시트랙스 서버(111)에 액세스하기 위해, 가입자 장치는 국부적으로 설치되거나 웹 기반 응용 프로그램인 매시트랙스 소프트웨어(113)를 사용한다. 가입자 장치(38)는 이제 매시트랙스 편집 메타데이터, 특히 전환 지점과 교차 페이드 기간에 의해 규정된 대로 편집을 재생할 수 있다. 실제로는 오디오 파일을 가입자 디바이스가 재생할 수 있는 다음과 같은 3가지 방식이 존재한다:
ⅰ) 매시트랙스 소프트웨어(113)는 원래 오디오 파일과 매시트랙스 편집 메타데이터를 가입자 장치에 다운로드한 다음, 매시트랙스 편집 메타데이터에 의해 국부적으로 재구성하여 업로드된 편집을 복구할 수 있다. 이 파일들은 데이터베이스의 조합이나, 단지 매시트랙스 데이터베이스(104 내지 106)에서 보낼 수 있다.
ⅱ) 완전한 편집이 국부적으로 미리 저장되어 있고 따라서 다운로드할 준비가 되어 있으므로, 매시트랙스 소프트웨어(113)는 가입자 디바이스에 완전히 내장된 [및 영구적으로 사전 업로드된] 버전의 오디오 편집을 다운로드 또는 스트리밍하게 함으로써, 가입자 디바이스에서?M 처리를 단순화시키고 매시트랙스 서버(111)에서 처리 작업을 단순화시킨다.
ⅲ) 매시트랙스 소프트웨어(113)가 매시트랙스 서버 또는 가입 미디어 컨텐츠 공급자(30)의 제어기(31)로 하여금 즉시 그 자체가 (a) 매시트랙스 시스템 내에서 국부적으로 저장되고; (b) 액세스를 요청하는 가입자 디바이스에서 국부적으로 저장되거나; 또는 (c) 가입 미디어 컨텐츠 제공자(30)의 역할을 하는 데이터베이스에서 원격으로 저장되는 관련되고 식별된 소스 트랙으로 매시트랙스 편집 메타데이터 파일을 적용하게 한다. 일단 어셈블리되면 결과 편집은 그러한 편집을 요청한 가입자 디바이스에 파일로서 또는 스트리밍되는 데이터로서 다운스트림 전달된다.
오디오 편집(또는 실제로 오디오 편집을 포함하는 파일)을 위해 가입자에게 요청(매시트랙스 소프트웨어(113)를 사용)한 결과, 매시트랙스 서버(111)는 식별된 트랙의 섹션 사용을 상세히 설명하는 보고서를 생성한다. 요청에는 라벨의 음악 카탈로그에 교차 참조를 허용하는 고유한 트랙 ID가 포함되어 있으며, 매시트랙스 편집 메타데이터에서 제공되는 특정 타이밍은 재생되거나 재생되는 개별 트랙도 식별할 수 있도록 보장한다. 리포트는 요청을 수신하는 시점, 각 트랙이 재생되기 시작하는 시점 또는 예를 들어 매시트랙스 소프트웨어가 종료되거나 시간 초과된 시점의 주기적 보고서에서 생성될 수 있다. 리포팅이 가입자 장치의 편집 플레이에 기반한 경우 더 높은 가시성이 명확히 달성된다.
따라서 매시트랙스 편집 메타데이터는 오디오 트랙과 통합되거나 관련되는 국제 표준 기록 코드 "ISRC"에 보조적이다. 따라서 매시트랙스 편집은 원래의 오디오 트랙(일반적으로 디지털 형식으로 녹음)이었던 원래의 예술 작업을 파생한 것이며, 매시트랙스 시스템과 매시트랙스 편집[매시트랙스 오디오 파일 설명에 기반한]을 통한 액세스가 일관된 콘텐츠 트래킹을 제공한다.
따라서 매시트랙스 편집 메타데이터 파일은 매시트랙스 편집 앱(101)에 의해 조작을 위해 초기적으로 작성된 매시트랙스 오디오 파일 설명 내에서 코드화되었기 때문에 각 음악 섹션의 입증 내용이 항상 보존되므로 AI 질문을 받을 필요가 없다.
결과적으로, 현재 저장되어 있는 매시트랙스 편집 메타데이터 파일이 노트북(38)과 같은 가입자 장치에서 실행되는 매시트랙스 소프트웨어(113)에 의해 재생이 요청될 경우, 커머스 서버는 통화 내용을 기록하고 광고 데이터베이스(108)에 미리 저장되고 편집에 액세스하여 제공되는 보완적 미디어를 서비스하기 위해 규정된 사용 정책을 적용하기만 하면 된다. 실제로 보완 매체는 예를 들어 컴퓨터 주소의 사전 등록이나 편집을 요청하는 사용자를 식별하는 로그인 절차를 기반으로 하여 목표지정 방식으로 전달될 수 있다.
따라서 고유하고 영구적인 트랙 식별자를 중계하는 트래킹 가능한 리포트를 생성하고 구간 식별을 인프라스트럭처 구성 성분들, 즉 매시트랙스 서버(111), 상용 서버(46) 및 가입 미디어 컨텐츠 공급자(30) 중 적어도 하나로 표현하기 위해 각 섹션(매시트랙스 메타데이터 파일의) 재생이 배치되기 때문에 이들 구성 성분 모두가 거의 동시에(원한다면) 또는 그렇지 않으면 고정된 리포팅 시각에 있지 않다면 각 섹션의 출처가 기록되고 알려지므로 각 트랙 섹션의 사용에 대한 보고는 크게 단순화된다. 이는 현재 발명의 시스템을 따르는 경우, 컨텐츠의 트래킹은 언제 일어났는지와 트랙의 식별된 섹션이 얼마나 많이 사용되는지 둘 다 측면에서 현재 정확하다는 것을 의미한다. 더욱이, 도 2의 시스템은 재생되는 대로 개별 섹션을 트래킹할 수 있고 사용자 중심적이기 때문에(서버에 의한 것이 아니라), 시스템은 특별히 인기 있는 음악 부분을 식별하고, 원작 예술 작품의 저작권 소유주들 사이에서 정밀하게 허가된 음악 트랙(비디오를 포함하거나 포함하지 않은)의 재생과 관련된 수익을 분할할 수 있다.
도 2의 시스템 뒤의 과정을 요약하면, 컴퓨터(12)와 같은 로컬 편집 장치에서 오디오 파일(또는 매시트랙스 오디오 데이터가 포함된 멀티미디어 파일)의 물리적 어셈블러는 예를 들어, 원래의 음악 트랙을 다운로드하고 원래의 음악 트랙을 재생함으로써 최초의 음악 트랙을 식별한다. 사용자는 네트워크 및 시스템 요청을 통해 대응하는 매시트랙스의 오디오 파일 설명을 얻는다. 이 오디오 파일 설명은 오디오 파일 설명에서 특징으로 하는 것처럼 사용자가 공통적인 음악 주제와 행수 여잉음 사이의 음악 온셋의 비트, 바 및 시간적 정렬 사이의 공통성에 기초해 매시트랙스 트랙(들) 내의 섹션들의 시퀀싱을 조작할 수 있게 해준다.
바람직한 일 실시예에서 편집 애플리케이션은 원래 오디오 트랙에서 연속적으로 재생될 수 있도록 오디오 파형과 섹션에 대한 오디오 파일 설명을 조합하여 매시트랙스 트랙의 시각적 표현을 사례를 들어 증명한다. 그런 다음 사용자는 시작 트랙 섹션을 선택하고 첫 번째 섹션으로 절단할 수 있는 것보다 전체 오디오 트랙 내의 다른 섹션만 표시함으로써 새로운 트랙 편집을 생성할 수 있는 기능을 제공받으며, 동시에 인접한 섹션의 비트나 리듬에서 원활한 전환을 보존한다. 음악의 두 번째 교대 부분(음악 주제와 음악 강도가 다를 수 있음)을 선택한 후, 이 과정을 반복하거나 종료할 수 있으며, 따라서 다른 구간 시간선을 갖는 새로운 트랙 편집을 생성할 수 있다. 선택적으로, 저장된 편집은 비디오나 스틸 이미지로 증강될 수 있으며, 그 결과 컴파일은 매시트랙스 업로드 데이터베이스(106)에 업로드된다. 트래킹 식별 및 타이밍은 업링크를 전달하고 매시트랙스 데이터베이스(또는 기타 액세스 가능한 데이터베이스)에 저장된다.
컨텐츠 트래킹에 대한 이 클라이언트측 액세스 방식을 채택함으로써, 매시트랙스 메타데이터를 사용하는 업로드된 미디어 파일은 구체적으로 식별된 트랙 사용에 따라 정확한 수익 분배가 가능하도록 라벨의 규정된 사용 정책의 맥락에서 볼 수 있다. 실제로 이 시스템은 전체 오디오 트랙의 어느 부분이 사용되고 있는지, 파생 모델에서 섹션의 사용이 발생한 위치에 대해 보고할 수 있다. 이는 일반적으로 시스템이 각 섹션의 원점을 인지하고 있으며, 매시트랙스 응용 프로그램(113)을 실행하는 모든 기계에서 편집을 재생성하면 매시트랙스 데이터베이스(104 내지 106)에 접속할 수 있기 때문이다. 또한, 어떤 형태의 고유하고 영구적인 섹션 식별자(특정 트랙의 타임 스탬프로 기록됨)가 항상 보존되고 항상 존재하기 때문에 편집의 반복은 항상 원본 파일에 대한 증명서를 보존할 것이다.
반대로, 수신자가 특정 매시트랙스 편집의 일정 시간을 들었다는 지식을 고려하면, 시스템이 거꾸로 작동하여 원래 오디오 파일의 어떤 부분이 들렸는지를 정확히 결정할 수 있다.
따라서 매시트랙스 서버(111)에서 상용 서버(46) 및/또는 가입 미디어 컨텐츠 공급자의 제어기(31)까지 보고서는 편집을 재생하는 장치에서 업링크 요청 및/또는 업링크 보고서를 반영하기 위해 생성된 아래 표 1(각 트랙에 대한)에 표시된 모범적인 형태를 취할 수 있다. 정밀한 보고 형태는 이해되는 대로 자유롭게 조정할 수 있으며, 단순히 보고서를 ISRC(또는 이와 유사한 것)와 연결하고 재생된 편집에서 식별된 섹션의 사용을 식별하기 위한 충분한 정보를 포함할 필요가 있다. 특정 정보는 전적으로 선택사항인데, 예를 들어 사용자에게 친숙한 형식으로 표시되지만 제시된 다른 정보의 반복과 같이, 따라서 보고서의 해석을 돕기 위해 간단히 포함될 수 있다.
| ISRC 식별자 | 편집을 사용하는 디바이스들의 개수 | 아티스트 정보(선택적인) | 트랙 이름(선택적인) | 섹션 식별 | |
| 타이밍(샘블들 사이의) | 사용 | ||||
| US-RTX-16-00007 | 3 | Jean-Michel JARRE | Oxytene pt. 4 | 1102336-1606587(바들(15 내지 21)) | 4x |
| 683008-1102336(바들(10 내지 15)) | 1x | ||||
| 34127-683008(바들(2 내지 10)) | 1x | ||||
| 1943040-2280122(바들(25 내지 29)) | 2x | ||||
| 1606587-19943040(바들(21 내지 25)) | 1x | ||||
| 등등 | |||||
실제로 상용 서버는 가입 컨텐츠 공급자(30)의 제어기(31)가 될 수 있음이 주목된다.
편집을 재생하는 디바이스로부터의 업링크 리포트는 시간들(times)에 관한 상당히 더 많은 세부 사항을 포함할 수 있지만, ISRC와 같은 고유한 트랙 식별자와 적어도 섹션 식별을 포함하게 된다.
클라이언트, 즉 컴퓨터(38)가 단순히 원본(미편집 트랙)을 다운로드하려는 경우, 그럼에도 불구하고 매시트랙스 서버(111)는 오디오 파일 설명을 포함하는 편집 가능한 트랙을 제공한다. 전술한 "편집" 예와 유사한 맥락에서, 이 오디오 파일 설명은 원본 트랙의 편집되지 않은 원래 버전과 분리되거나 완전히 내장될 수 있다. 따라서 오디오 파일 설명의 제공은 항상 클라이언트가 연속적인 섹션 사이의 정확한 경계를 정의하는 실시간 데이터 지점을 편집하고 업로드할 수 있도록 한다. 그러나 편집이 없고 사용자가 편집되지 않은 원본(즉, 오디오 트랙의 원래 버전)만 재생하는 경우, 국부적으로 사례를 들어 증명된 소프트웨어(또는 경우에 따라 컴퓨터(58)에서 실행되는 웹 브라우저)는 사전 식별된 시점 사이의 전환 지점을 단순히 나열하는 리포트를 다시 전송하기 위해 작동한다. 행수 여잉음의 선택은 이것이 사실상 원래의 소스 트랙과 관련 오디오 파일 설명 내의 기본 위치에 있기 때문에 이미 해결되었다. 다시 말해, 클라이언트에서 최초 오디오 트랙을 재생할 때, 이 섹션들은 이미 인접한 섹션들 사이에 원활한 청각 전환이 있으며, 기존 연속 섹션들 사이의 기존 경계점을 실시간으로 보고함으로써 원래의 오디오 트랙의 흐름과 리듬을 유지한다. 그러나, 클라이언트 측에서 전환 지점을 다시 보고함으로써, 서버는 이제 재생이 처음부터 끝까지인지 아니면 오디오 트랙의 일부인지에 관계없이 이러한 섹션의 재생 상태를 스스로 확인할 수 있다. 그러면 매시트랙스 서버(111)는 자체적으로 상업 서버(46)에 대한 리포트를 생성하여 컨텐츠 트래킹/라이센싱 문제를 위해 트랙의 정확한 사용을 할당할 수 있다.
클라이언트의 사용 보고 및 고유 트랙 식별자(또는 타이밍에 의해 고유하게 식별된 경우 특정 음악 섹션)에 대한 트래킹 가능한 참조를 제공하는 적절한 데이터 로그 생성의 관점에서, 클라이언트의 로컬 운영 체제 "OS"는 또한 다음과 같은 로그(기존의 기본 OS 기능에 기반함)에서의 보조 정보를 제공할 수 있다. 예를 들어 OS는 클라이언트에서 로컬로 채택된 출력 메커니즘을 결정하고 보고하여 오디오 트랙 데이터를 재생, 처리 또는 다른 방법으로 조작할 수 있다. 즉, 클라이언트가 보고한 트래킹 데이터는 식별된 소스 오디오 트랙의 사용, 수행 또는 조작 방법에 대한 정보를 포함할 수 있다. 예를 들어 OS는 데이터를 선택된 트랙에서 오디오 데이터를 재생하거나 조작할 때 사용되는 클라이언트 장치 또는 스피커 소켓 또는 HDMI 포트에서 사용되는 라인 출력의 특성에 대한 로그로 코드화할 수 있다. 업링크된 리포트를 보완하는 데 사용할 수 있는 다른 OS 기능으로는 port_airplay, port_built-in_receiver 및 클라이언트 장치에서 Bluetooth 또는 광학 경로를 포함한 로컬 무선 통신 사용이 있다.
보고 가능한 통계는 예를 들어, 클라이언트에서 적어도 오디오 트랙의 일부가 재생되는 횟수(일반적으로 앱이 연속적으로 실행되는 시간 범위 내)를 포함할 수 있다. 보고된 재생의 다른 형태는 단순히 시작과 정지 위치일 수 있지만, 음악 섹션을 건너뛰는 탐색 과정을 통해 달성된 트랙의 디지털 샘플링과 시작 지점의 위치도 시작할 수 있다.
비록 업링크된 리포트의 통계가 추론할 수 있고, 따라서 서버에서 약간의 해석과 해결이 필요할 수 있지만, 클라이언트 장치에서 선택한 오디오 트랙의 재생 또는 수정의 특성을 정확하게 식별하도록 리포트를 구성할 수 있다.
선택된 오디오 트랙에 대한 트래킹 가능한 고유 식별자를 참조한, 즉 그러한 고유 식별자에 연결된 로그 및 리포트는 다음과 같은 사항을 이해하기에 충분하다:
● 클라이언트 장치에서 파생 작업 조립, 새로운 오디오 콘텐츠(예: 음성 오버, 노래 또는 기악 추가)를 포함함으로써 선택한 오디오 트랙의 편집 및/또는 증대를 포함하는 파생 작업;
● 다음 중 하나 이상을 포함한 오디오 트랙 동기화:
o 오디오 트랙과의 비디오 동기화
o 오디오 트랙과의 사진 동기화
o 사용자가 생성한 컨텐츠와의 동기화
● 다음을 포함한 오디오 트랙의 기계적 또는 전기적 복사:
o 오디오 트랙 샘플링
o 오디오 트랙에서 타이밍 정보를 추출하여, 예를 들어, 비디오 게임에서 일반적으로 사용되는 빛의 레벨, 드럼 비트, 비디오 효과 및 편집의 변화 등, 오디오 트랙과의 감지 가능한 효과의 동기화를 지원한다.
오디오 파일 설명의 제공은 일부 실시예들에서는 식별된 클라이언트 장치로 제한될 수 있다.
Ⅱ. 트랙 어셈블리 & 크로스-페이드 고러 대상들
이러한 점에서 어떻게 끊김없는 정렬이 하나 이상이 트랙들의 끊어짐이 없게 상이한 섹션들 사이에서 이루어지 수 있는지를 설명하는 것이 적절하다.
PCT/GB2016/051862는 실제 사건에 상대적인 디지털 오디오 트랙의 섹션(또는 슬라이스)의 상황 동기화가 이루어지는 시스템과 방법을 설명한다. 이 섹션들은 사용자 인식 및/또는 기계 기반 평가에서 각 오디오 섹션을 사용자 또는 기계에 제안된 인식된 "테마"의 관점에서 오디오 섹션(들)에서 감지되거나 오디오 섹션(들) 내에서 식별된 기본적인 리듬이나 비트에 의해 분류하는 것을 그 특징으로 한다.
PCT/GB2016/051862에는 2개의 오디오 섹션의 관련 메타데이터에 반영되는 사전 식별된 상황 테마를 갖는 두 오디오 섹션 사이에 서로 스플라이징하는 방법이 설명되어 있으며, 각각의 2개의 오디오 섹션에는 할당된 테마에 관련된 시작점과 끝점이 있다. 이는 대안적으로는 첫 번째 오디오 섹션과 대상 오디오 섹션, 첫 번째 오디오 섹션 및 대상 오디오 섹션 사이에 각각 오디오 트랙의 선택된 추상 출구 지점 또는 추상 진입 지점과 관련된 행수 여잉음과 관련된 시작을 포함하는 페이딩으로 간주할 수 있다.
스플라이징 방법은 각 오디오 섹션을 각각 식별된 템포를 갖는 리듬 비트로 분할하여 상기 2개의 오디오 섹션들 각각에 대한 첫 번째 시간 기초를 만드는 단계; 각각의 비트를 적어도 각 비트 내의 복수의 같거나 고르게 덜어진 시간 분할(time division)들로 나눔으로써 각 오디오 섹션의 각 비트를 측정 가능한 분수(fraction)들로 분할하여 두 번째 시간 기초를 만드는 단계; 첫 번째 오디오 섹션을 따르도록 제안되는 대상(destination) 오디오 섹션에서의 적어도 하나의 들어가는 행수 여잉음을 결정하는 단계로서, 상기 적어도 하나의 들어가는 행수 여잉음 각각은 대상 오디오 섹션에 대한 시작 지점에 대한 비트들과 분수들 면에서의 제1 타이밍 변위를 제공하는, 상기 결정하는 단계; 제1 오디오 섹션에서 적어도 하나의 나가는 행수 여잉음을 결정하는 단계로서, 상기 적어도 하나의 나가는 행수 여잉음은 제1 오디오 섹션에 대한 종료 지점에 대한 비트들과 분수들 면에서 제2 타이밍 변위를 제공하는, 상기 결정하는 단계; 제1 타이밍 변위와 제2 타이밍 변위 사이이 대응이 존재하는지를 식별하기 위해 제1 타이밍 변위와 제2 타이밍 변위를 대조하는 단계; 및 제1 타이밍 변위와 제2 타이밍 변위 사이에 대응이 존재하지 않는 경우에는 제1 오디오 섹션으로부터 대상 오디오 섹션으로이 잠재적인 스플라이스를 거부하고, 그렇지 않으면 제1 오디오 섹션이 제안된 대상 오디오 섹션과 양립하는 스플라이스인 것으로 인지하는 단계를 포함한다.
페이딩 방법은 제1 오디오 섹션과 대상 오디오 섹션에서 각각 이론상의 출구 지점과 니론상의 진입 지점들에 대해 시간상 대응하는 측정된 변위들을 가지는 행수 여잉음을 제1 오디오 섹션과 대상 오디오 섹션에서 선택하는 단계; 제1 오디오 섹션과 대상 오디오 섹션 사이에서 전환하기 위해 사용된 실제 출구 지점과 실제 진입 지점을 생성하기 위해 행수 여잉음들로부터 제1 오디오 섹션과 대상 오디오 섹션 각각에서의 온셋들의 시간 차이들을 측정하는 단계; 제1 오디오 섹션과 대상 오디오 섹션에서 정렬된 행수 여잉음들에 대해, 제1 오디오 섹션과 대상 오디오 섹션에서의 각각의 온셋 중 어느 것이 시간상 가장 빠르게 일어나는지를 평가하는 단계; 및 오디오 출력에서의 끊김없는 리듬 전환을 실현하기 위해 액티브 오디오 출력으로서 제1 오디오 섹션을 대상 오디오 섹션이 대체하도록, 상기 가장 빠른 온셋이 일어나기 시작하는 지점나 그 전에 제1 오디오 섹션과 대상 오디오 섹션 사이의 크로스-페이드를 실행하는 단계를 포함한다.
이러한 방법론은 확인된 음악적 구절이나 주제가 동기화되거나 그렇지 않으면 실제 사건과 연계될 수 있도록 한다. 이러한 맥락에서, "음악적 문구 또는 테마"는 상황 인식 및 시간 입력으로 표시되는 이벤트의 식별된 특성을 보완, 반영 또는 다른 방법으로 일치시키는 정의 가능한 특성을 가진 오디오의 "섹션"을 정의한다. 따라서 오디오의 섹션들은 사건의 맥락에서 "미관을 유지"한다. 달성된 동기화는 각각의 시간 서명, 강도, 키, 음악으로 정의된 다른 감정적 테마를 가진 잠재적으로 서로 다른 사전 식별된 음악 구절들 간에 존재하는 것으로 식별된 음악 서명 또는 비트와 정확하게 일치시키기 위해 타이밍 베이스를 사용하여 달성한 매끄러운 음악적 전환을 유익하게 실현한다. 음정 리듬 및/또는 음악적 표현 실제 세계에서 사용자의 전체적인 감각 경험은 주변 물리적 환경에서 발생하는 상황의 맥락 안에서 역동적으로 변화, 순서 변경 또는 반복, 그리고 나서 오디오 섹션을 재생함으로써 증강된다. 예를 들어, 단계적 수업에서 심장 운동과 스프린트 동안 음악 속도와 강도가 증가한다. 복구 기간 동안의 기간 및 감소 수반되는 음악은 실시간으로 자동으로 선택되어 변화하는 물리적 또는 지역적 환경 사건에 동반되며, 오디오 샘플의 동기화는 오디오 샘플이 전체 감각 경험에서 필수적이지만 보완적인 부분이 되게 한다.
매시트랙스 오디오 파일의 편집 및 컴파일과 관련하여, 다운로드 가능한 애플리케이션의 형태로 선택적으로 제공되는 소프트웨어 편집 스위트는 소비자에게 사용자 경험에 대한 동기화를 달성하기 위해 기존 음악 콘텐츠를 동적으로, 그리고 실시간으로 편집하고 재설계할 수 있는 도구를 제공한다. 특히, 시스템 및 방법론은 정의된 오디오 섹션에서 테마의 특성화와 그 오디오 섹션에서 적절한 진입 지점과 출구 지점의 후속 설정을 기반으로 하는 동기화를 통해 디지털 음악 콘텐츠의 라이프스타일, 활동 및 소비자의 선택에 부합하는 동적 동기화 기회를 제공한다. 오디오 섹션의 행수 여잉음 이벤트. 소프트웨어 애플리케이션은 예를 들어 사용자가 좋아하는 특정 물리적 자극에 대한 선택적 재이미징 및 트래킹 동기화를 허용한다. 예를 들어, 비디오 클립의 씬(scene)과 달리기, 걷기 또는 정렬하기 같은 특정 물리적 자극에 따라 사용자가 좋아하는 노래를 선택적으로 재이미징 및 트래킹하여 사용자 맞춤형 사용자맞춤(user-bespoke) 경험을 생성할 수 있다. 따라서 시스템은 즉각적인 재생 또는 방송과 같은 복합 미디어 파일을 제작하여 사용할 수 있으며, 이는 전체 감각 경험을 증대시키도록 설계된 사용자 정의 및 사용자가 선택할 수 있는 오디오 구성 요소와 즉각적 또는 변화하는 실제 단어 이벤트를 상호 연관시킨다.
이와 같이, 연습, 비디오 게임, 개인 비디오 편집 및 광고를 포함한 다양한 애플리케이션 영역에서 적용할 수 있는 메타데이터 기반 동기화를 사용함으로써, 다양한 미디어와 실시간 동기화를 위한 현재의 디지털 음악의 더 큰 재사용과 재배열이 달성된다. 환경의 변화에 기초하여, 시스템은 특히 하나 이상의 시간적으로 이질적인 오디오 섹션이나 오디오 파일에 제시된 음악 콘텐츠의 편집과 재조립을 상황에 맞게 허용한다. 따라서 예를 들어 오디오 출력은 게임 내 동작 또는 DVD 내의 분위기와 동작을 수반하는 동기화된 음악으로 게임 내에서의 감지된 변화에 따라 변화한다. 메타데이터에 태그가 내장된 음악 세그먼트의 특성을 포함한 결과적인 음악 파일 형식은 사용자들에게 자신의 비디오와 소셜 미디어 어플리케이션에서 자신이 좋아하는 음악 트랙을 사용할 수 있는 것이다.
따라서 매시트랙스 데이터베이스(104)에는 하나의 디지털 오디오 파일 또는 데이터베이스에 저장된 오디오 섹션의 다원성을 제공하기 위해 메타 태깅된 여러 디지털 오디오 파일이 포함되어 있으며, 각각 추상적인 출구 지점과 추상적인 진입 지점과 각 추상적인 출구 지점과 추상적인 진입 지점이 하나 이상 있다. 시간 간격띄우기가 있는 행수 여잉음은 희생 주위에 있는 오디오에서 트랜스미션의 최대 차이점을 나타내는 시작점에 해당한다. 그런 다음 편집 구성요소가 첫 번째 오디오 섹션과 대상 오디오 섹션에서 각각 출구 지점과 추상 진입 지점을 추상화하는 시간 내에 측정된 변위가 있는 행수 여잉음을 선택하는 것으로서, 이 경우 첫 번째 오디오 섹션은 재생되고 두 번째 오디오 섹션은 활성화되고 재생되는, 상기 선택하는 것; 첫 번째 오디오 섹션과 대상 오디오 섹션에서 어떤 각각의 온셋이 첫 번째 오디오 섹션과 대상 오디오 섹션의 정렬된 행수 여잉음과 관련하여 가장 이른 시간에 발생하는지를 평가하는 것, 대상 오디오 섹션이 제1 오디오 섹션을 액티브 오디오 출력으로서 대체하여 끊김없는 리듬 전환을 실현하도록, 상기 가장 이른 오디오 온셋이 일어나기 시작하는 지점에서 또는 그 전에 제1 섹션으로부터 대상 오디오 섹션으로 크로스-페이드를 실행하는 것을 위해 배치된다. 물론, 각 섹션은 더욱 고유하게 식별되지만, 이러한 고유한 식별은 (도 2의 맥락에서 설명한 바와 같이) 컨텐츠를 트래킹하는 것과 관련이 있으며 트랙이 조립/재구성되는 방식과는 관련이 없다.
섹션을 식별하고 샘플링된 음악 세그먼트(또는 이와 유사한 부분)를 데이터베이스 내에 저장하기 위해 편집 애플리케이션은 다음과 같은 방식으로 작동한다. 도 3을 참조하여, 각 섹션(314) - 각 섹션은 섹션(및 그것의 주제) 및/또는 섹션(314)의 해결 가능한 상황별 품질을 식별하는 메타데이터로 코딩되는 상이한 지속 시간(T1 내지 T4)을 가질 수 있다. 메타데이터에 대한 액세스 및 참조를 통해 섹션들이 관계된, 즉 관련되는 실제 이벤트들과 정렬될 수 있도록 섹션의 후속 순서를 변경할 수 있다.
바람직하게, 시스템은 원래 오디오 파일을 변경하지 않고, 오히려 재생 엔진이 적절한 인코딩된 파일을 점프하여 편집하여 거의 실시간으로 페이딩할 수 있도록 하는 조립된 메타데이터를 이용한다(처리가 가능하도록 적절한 버퍼링을 저장할 수 있도록 저장).
연습의 맥락에서 비한계적인 예시를 통해, 음악 트랙은 코러스를 위한 낙관적인 템포를 포함할 수 있으며, 따라서 연습의 스프린트 부분 중 더 높은 에너지 산출률에 의해 유도되는 더 빠른 심장 박동에 적합하다. 이와는 대조적으로, 같은 음악 트랙은 하프타임 섹션을 포함할 수 있다. 따라서 하프타임 섹션은 연습 중 활성 회복 기간에 더 적절하지만 단거리 주행에는 적합하지 않을 것이다. 따라서 시스템은 외부 주도 활동과 더 적절하게 정렬하기 위해 제때에 이동할 수 있는 다양한 식별된 섹션, 즉 트랙의 슬라이스들을 만들어낸다.
이러한 시간 이동은 섹션의 순서를 다시 정하게 할 수 있다. 즉, 원래 음악 트랙에서 자연스럽게 연속된 시퀀스는 시퀀스(T1, T2, T3, T1, T5, T6)를 산출할 수 있고, 여기서 T1은 반복된 후렴이고 T2 내지 T6는 시, 테마 또는 음악적 움직임이다. 이러한 시간 이동은 또한 오디오 출력의 전체 기간이 원래의 음악 트랙과 관련하여 연장되거나 잘리게 할 수 있다. 테마의 식별과 섹션의 관련 특성을 메타데이터로 저장하면, 다른 시퀀스(T1, T1, T6, T2, T3, T1, T1, T1)를 갖는 오디오 출력을 생성하는 섹션의 정렬 순서(필름과 관련)로 이어질 수 있다. 이 재순서는 도 3에서 매시트랙스 섹션의 재순서를 보여주는 "매시트랙스" 오디오 스펙트럼(320)으로 표시된다. 바람직하게, 인접 구간은 서로 인접해 있는데, 예를 들어 음악 리듬에 뚜렷한 변화가 없거나 인접 구간 사이에 식별 가능한 침묵이 없다. 트랙의 활성 샘플 섹션과 저장 섹션(동일한 트랙 또는 다른 트랙) 사이에 페이딩 메커니즘이 나중에 도 7과 도 9에 대해 설명된다.
따라서 이 배열은 식별된 음악 섹션이 동기화되어 실제적인 이벤트로 연결되도록 허용한다. 달성된 동기화에는 시간 간격띄우기와 같은 시간 간격띄우기를 사용하여 달성한 원활한 음악 전환이 포함되며, 사전 식별된 영역 간에 존재하는 그러나 식별된 음악 서명 또는 비트를 정확하게 일치시키는 것이 바람직하다. 격렬함, 열쇠, 음악 리듬 및/또는 음악적 표현 따라서 선호되는 구현은 예를 들어 단계별 심장운동의 여러 단계와 스프린트 기간 동안 음악 속도와 강도가 증가하는 등 주변 물리적 환경에 어떤 영향을 미치는지에 대한 맥락 안에서 음악 섹션(따라서 테마를 달리하여) 간에 변화시킴으로써 전반적인 감각 경험을 증대시킨다. 복구 기간 중 수반되는 음악(또는 비-디게틱 및 다이제틱 사운드 설계 또는 도식적 사운드와 같은 가청 콘텐츠)은 실시간으로 자동 선택되며, 이는 심박수 모니터와 같이 실시간으로 전기적으로 모니터링될 수 있으며, 따라서 전체 상원에서 통합적이지만 보완적인 부분을 형성할 수 있다. 소리의 경험 실시간 모니터링보다는 음악의 단편과 같은 수반되는 오디오 샘플이 비디오 게임 내의 장면 변경과 같은 트리거 지점로 묶고 재생되도록 미리 프로그래밍할 수 있다.
위와 같이, 편집 스위트의 입력으로서, 시스템(430)(도 4)은 실제 외부 이벤트들(312)을 획득한다. 이는 매체에 저장되고 통신 인터페이스(432)를 통해 시스템에 표시되는 실시간 감지 이벤트 또는 기록된 이벤트일 수 있다. 처리 환경(434)에는 일반적으로 메모리(436)에 저장된 프로그램 코드를 실행하는 프로세서가 하나 이상 포함되어 있다.
처리 환경(434)은 네트워크를 통해 연결되는 서버, 태블릿 컴퓨터, PC 또는 스마트폰을 포함하는 다양한 플랫폼들에서 지원될 수 있다.
메모리(436)는 처리 환경에 로컬이거나 분산 시스템에 원격으로 위치할 수 있다. 메모리에 저장된 애플리케이션("앱들")은 실제 세계 이벤트의 자동 분석을 허용하며, 더욱이 438(메모리(436)에도 저장됨)의 사전 식별된 어휘에 상대적인 이벤트 내에서 샘플링된 시간 영역 데이터의 특성을 허용할 수 있다. 실제적으로 모니터링되거나 기록된 외부 사건에 해당하는 입력 신호(312)는 여러 가지 다른 특성을 포함할 수 있는데, 예를 들어 실시간 모니터에서 감지 및 보고되는 다양한 운동 및 활성 회복 단계(도 3에 도시된 것과 같은)와 관련된 심박수 차이 또는 비디오 온도 조절의 맥락에서 또는 블럽이 화면을 가로질러 이동할 때 식별 가능한 다른 얼굴 표정, 다른 픽셀 강도 및/또는 픽셀 이동 속도일 수 있는 비디오의 맥락에서볼 수 있다. 감정이나 활동을 반영하는 다른 특성이 정의될 수 있다.
일반적인 나사산(thread)은 환경의 감정적 또는 물리적 상태 또는 개인의 상태가 시간에 따라 변화하기 때문에 외부 활동이 시간에 따라 변하기 때문에 식별 가능한 특성이 다르다는 것이다. 따라서 형태에 관계없이 이벤트 입력은 서로 다르지만 식별할 수 있는 주제를 가진 샘플링된 이벤트 데이터의 연속적인 여러 이벤트 세그먼트의 집합으로 간주될 수 있다. 기능적으로 처리 환경(434)은 적어도 하나의 사전 저장된 어휘 단어에 대해 각 이벤트 세그먼트를 참조하도록 구성되며, 이 참조는 이벤트 세그먼트와 영구적으로 또는 일시적으로 기록된다. 각 이벤트 세그먼트에 대한 어휘는 나중에 상호 참조를 위해 사용될 수 있는 키 또는 "브리핑 요소"로서 작용하며, 궁극적으로 오디오 트랙의 메타데이터 내에 저장될 수 있는 대응적이거나 밀접하게 관련된 어휘 단어로 유사하게 특징지어지는 관련 오디오 섹션을 선택한다. 각 오디오 섹션에 대해 헤더 내에서 가장 잘 구분된 파일. 특정 문맥에 더 제한적인 해석이 필요하지 않는 한, "오디오 섹션", "세그먼트" 및 "오디오 슬라이스"라는 용어는 디지털 오디오 파일 내에서 다양한 길이의 샘플의 동등하고 대표적으로 간주되어야 한다.
처리 환경(434)에 대한 보조 입력으로서 사용자가 외부 이벤트 입력(312)을 비평할 수 있도록 사용자 인터페이스(440)을 제공할 수 있다. 이 비평 기능은 설명 요소를 생성하는 자동 분석과 독립적이거나 보완적일 수 있다. 따라서 수동 비평은 또한 사건 세그먼트에 어휘를 설명하고 첨부하므로 설명 요소를 생성하기 위한 대안적 또는 보충적 프로세스를 제공한다.
도 4로 되돌아가서, 처리 환경에 의해 수행될 때의 외부 이벤트들의 기능 분석은 다음과 같은 것을 포함할 수 있다:
ⅰ) 외부 이벤트(312)에서 상대적 및/또는 실제 타이밍(442), 예를 들어 타이밍 분석은 최소 임계값을 충족하는 이벤트, 지속 기간 및/또는 적중점을 갖는 이벤트/특징을 식별할 수 있다. 히트 지점은 게임이나 영화의 타임라인에서 음악적 특징을 필요로 하는 어떤 행동이 일어날 때 주어진 순간이다. "히트"도 같은 시간. 히트 지점의 또 다른 산업 이름은 "Mickey Mousing"이다. 예를 들어, 톰과 제리 만화에서 볼링공이 선반을 따라 굴러갔다가 고양이 톰의 머리에 떨어진 후 큰 나무 블록 노트가 울릴 수 있다. 또는, 적중 시점은 특정 시간이 걸리기도 한다. 이는 "지속되는 특징"이라고 더 잘 언급된다. 예를 들어, 볼링공이 톰의 머리에 떨어지고 그것이 튀어 나간 후에 톰은 3초 동안 걷잡을 수 없이 흔든다. 따라서 관련 지속적 특성은 책상 위를 빙빙 돌 때 지배자에 의해 만들어진 소리에 의해 실현될 수 있으며, 진동의 소리는 희미해지거나 끝나기 전에 3초 동안 지속될 수 있다.
ⅱ) 외부 이벤트 내의 강도(444) 및 강도들의 스케일링. 예를 들어, 강도는 입력(432)을 통해 외부 소스에서 수신된 모니터링 가능한 함수(심박수 등)의 상대적 광도 또는 소리 수준에 기초할 수 있다. 강도는 또한 어떤 오디오 조각의 특정 섹션이 어떻게 중요하거나 전체 오디오 조각의 다른 섹션에 비해 하위적인지를 식별하는 감정적으로 인식되는 강도와 관련될 수 있으며, 이는 예컨대 다른 오디오 CD들로부터의 다른 트랙들과 같이, 다른 오디오 소스 또는 녹음들로부터의 트랙들의 완전한 노래 또는 편집물일 수 있다. 그러므로 강도는 사용자의 취향이나 선호도에 따라 설정된 주관적인 척도가 될 수 있다.
ⅲ) 박동 분석, 시간 서명 분석, 기후 이동 식별, 강도 증가 또는 감소, 오디오가 갑자기 중단되는 극적 드롭아웃, 정적 또는 리듬 분석, 밑줄 긋기 및 리프 식별을 포함하지만 이에 국한되지 않는 오디오 기능 분석(446).
이벤트 세그먼트가 생성되고 그에 따라 생성되면, 이러한 이벤트 세그먼트는 네트워크를 통해 스트리밍되거나, 그렇지 않으면 섹션 어셈블리 인텔리전스에 의해 검색 및 사용을 위해 450개의 저장될 수 있다. 본 섹션의 어셈블리 인텔리전스(452)는 인공지능(AI)에 의한 가공 지원에 기초하며, 그 대신에 "매시트랙스 프레임워크"라고 할 수 있다. 섹션 어셈블리 인텔리전스(452)는 새로운 음악 트랙과 같은 새로운 오디오가 실제 사건으로부터 이벤트 세그먼트를 원활하고 순차적으로 향상시키는 새로운 미디어 샘플(또는 "복합 미디어 파일"(454))의 생성과 추가 처리를 제공하도록 구성되었다. 새로운 오디오는 실제로 실제 사건에서 포착된 오디오 샘플을 보완하거나 대체할 수 있다.
섹션 어셈블리 인텔리전스(452)는 추가 입력, 즉 원래 오디오 트랙의 세그먼트 또는 슬라이스에 대한 매시트랙스 메타데이터(458)를 포함하는 향상된 오디오 트랙(458)에 응답한다. 사실 오디오 트랙은 사용자가 선택한 여러 트랙 또는 하나의 녹음된 오디오 파일(음악일 필요는 없음)에서 복수의 샘플이 될 수 있다. 예를 들어 오디오 트랙(456)은 iTunes® 라이브러리에서 제공되거나 스트리밍되거나 음악 저장소에서 획득될 수 있다. 매시트랙스 메타데이터의 생성은 이후에 설명될 것이다.
매시트랙스 메타데이터의 생성은 아래에 더 자세히 설명될 것이며, 특히 도 4에 관련하여 더 상세히 설명될 것이다. 그러나 개요에서 매시트랙스 메타데이터는 트랙 타임 서명 및 기타 음악 속성 및/또는 기능을 포함하여 오디오 세그먼트 정의를 제공한다. 트랙용 수정된 디지털 오디오 파일에는 심벌 유출과 드럼 비트와 같이 트랙의 음악 이벤트와 결혼한 메타데이터 태그가 포함될 수 있다. 또는 장치의 로컬 앱을 통해 외부에서 관리되는 데이터 저장소/데이터베이스에서 매시트랙스 메타데이터에 액세스하거나 스트리밍할 수 있다. 이 후자의 관점에서, 로컬 장치/사용자와 함께 원래의 저작권 예술 작품, 즉 오디오 트랙의 등록 상태에 기초하여 원격 데이터베이스에서 매시트랙스 메타데이터를 추출하는 장치 기반 앱이 바람직하다. 최초 오디오 트랙이 불법 복사본으로 간주되는 경우, 매시트랙스 메타데이터에 대한 액세스 금지가 부과될 수 있으며, 그렇지 않을 경우, 앱은 트랙/사용자가 원본 트랙에 대한 인증된 라이센스에 의해 검증될 때까지 원본 트랙의 불법 복사를 표시하거나 재생을 비활성화할 수 있다.
무단 복제에 반하는 목적으로, 로컬로 설치된 앱은 오디오의 지문을 채취하여 로컬 콘텐츠를 검사하고, 이는 트랙 헤더의 트랙 메타데이터 및/또는 오디오 샘플링을 통한 트랙 내 분석을 포함한 알려진 모든 기술에 기초할 수 있다. 그런 다음, 앱은 매시트랙스 데이터가 포함된 중앙 데이터베이스를 확인하도록 구성되며, 확인 결과 확인된 트랙에 대한 매시트랙스 데이터가 존재하는지 여부를 알 수 있다. 만약 그렇다면 앱은 앱 내에서 매시트랙스 데이터를 사용자에게 매시트랙스 옵션으로 제공하도록 구성된다.
허가된 지위를 획득하는 것은 잘 이해되며, 일반적으로 등록 절차에 기초한다. 그러나 저작권 사용에 대한 등록은 현재 시스템의 근본적인 문제와 관련이 없으며, 특히 변화하는 현실 세계의 사건을 보완하는 조정된 오디오와 관련된 몰입감 있는 감각 경험을 증가시키는 데 사용되는 메타데이터 태그의 작성과 관련이 있다.
도 4는 도 3의 시스템 내에서 이용된 섹션 어셈블링 인텔리전스(452)의 기능도이다.
삽입할 오디오 섹션과 그 고유의 테마(나중에 설명될 것처럼 오디오 섹션의 해당 메타데이터에 태그를 배치한 경우)에 대해, 섹션 어셈블리 인텔리전스(452)는 선택하고(559) 오디오 섹션이 실세계 이벤트(들)은 대응하도록 명령한다(560). 이것은 연속적인 반복적인 음악의 구절을 포함할 수 있는 오디오 섹션들(562)의 순서 집합을 초래한다. 적절한 오디오 섹션을 선택하려면 메타데이터 태그(564)를 검토하고 분석해야 하며, 선택적 또는 가능한 경우 선택된 오디오 섹션(562)이 삽입에 충분한 자료를 포함하고 있는지 여부에 대한 평가(566)가 필요하다. 재료가 불충분하다는 결정은 하나 이상의 오디오 섹션 거부, 반복 결정, 즉 실제 이벤트의 전체 기간을 채우기 위한 루프, 그리고/또는 사용자 인터페이스를 통해 사용자에게 조언(예를 들면, 일반적으로 그래픽 유저 인터페이스인 "GUI"를 포함하도록 실현될 때의 도 4의). 루핑(looping)은 메타데이터 태그의 사전 저장에 의해 반사되는 단면 루프를 포함할 수 있다. 이 내부(intra-section) 루프는 한 섹션 내에서 내부적으로 루프를 설정할 수 있도록 하며, 따라서 내부적으로 자체 일관성이 있는 절단 지점을 정의한다.
오디오 세그먼트의 선택은 제어 인터페이스를 통해 브리핑 노트의 사용자가 직접 시스템에 입력하여 지시할 수 있다. 브리핑 노트는 트랙 내의 타격 지점의 특성 및 트랙의 분위기를 포함한 가변 매개변수를 표시한다. 또는 사용자에게 공통 테마를 갖는 여러 가지 대체 트랙 옵션이 제공되고, 그 다음 선호도를 표시하도록 요청할 수 있다. 완전 자동화된 시스템이 대안이다.
활성 오디오 트랙에서 목적지 트랙으로 페이드 및/또는 직접 컷을 실행하는 프로세스와 독립적으로(특히 도 8a 내지 도 8c와 관련하여 논의된 바와 같이), 프레임 어셈블리 인텔리전스(552)는 다른 트랙의 섹션이 기본적으로 호환되는지 여부를 평가하도록 구성되며, 가능한 경우 서로 잘리거나 잘라서 그 사이에 잘 보이지 않는 전환이 이루어지도록 할 수 있다. 이제 바람직한 프로세스가 도 9, 도 10 및 도 12를 참조하여 설명될 것이다.
도 9는 다양한 음악 섹션, 즉, 선호하는 구현에 따라 결정되는 출구 및 진입 지점을 가진 섹션의 스펙트럼 표현이다. 선택한 오디오 섹션에서 관련 테마를 정렬하기 위해 독립적으로 실행할 수 있는 편집 지점 프로세스를 보여주는 도 9는 선택한 오디오 섹션의 배열을 통합 데이터 형식으로 다시 배열하는 전구로서, 최종적으로 실제 단어 이벤트와 정렬하여 동반 사운드 스테이지에 대해 이루어진 기여를 강화함으로써 감각 경험을 증가시키기 위해 실시계 이벤트들로 정렬된다.
도 9a에서는 봉투의 변화가 매우 단순하고 갑작스러운 전환이 있는 블록으로 표시되는 오디오 섹션("오디오 섹션 1")에 대한 오디오 스펙트럼(151)이 도시된다. 이해될 것처럼 스펙트럼(151)은 시간에 따라 변하는 시간 영역 표현을 가지고 있다. 시간 기초는 음악 막대(섹션 1의 경우 "바 1"에서 "바 8"의 형태로, 일반적으로 식별된 "이론상" 진입 지점(152)과 명목상 식별된 "이론상" 출구 지점(154) 사이에 오디오 섹션을 분할한다. 따라서 이론상 진입 지점(152) 및 이론상 출구 지점(154)은 오디오 섹션을 정의하고, 예를 들어 전체 곡 트랙의 전체성 내에서 서로 다른 주제 간의 특징적인 전환을 식별하기 위해 MIR 기능 및/또는 사용자 입력에 의해 결정되고 선택된다. 따라서 "테마"는 오디오 트랙이나 조립된 합성물과 맥락적으로 다른 측면이다. 테마는 인식/식별된 유사점 또는 차이점 측면에서 섹션의 맥락을 분류할 수 있다. 따라서 테마는 트랙의 섹션과 관련된 데이터베이스 내에서 코딩되며, 지정된 메타데이터로 직접 코딩될 수 있다.
불행하게도 오디오의 특성상 이론상 진입 지점(152)과 이론상 출구 지점(154)이 사실상의, 즉 실제의 출구 지점(162, 164) 및 오디오 섹션의 경우 진입 지점(166, 168)과 일치하지 않을 가능성이 높다고 인식되었다. 예를 들어, 섹션(1)(도 9a의 참조 숫자 160) 내에서, 각각의 이론상 출구 지점(154, 155)에 하나 이상의 실제 출구 지점(162, 164)이 있을 수 있다. 이 모범적인 맥락에서, 주제 전환은 바 4와 바 5 사이의 전환에서 발생하는 것으로 식별될 수 있지만, 실제 출구 지점(162, 164)(타임 베이스와 비트를 고려한)은 바 4 내에서 서로 다른 시간에 발생할 수 있다.
따라서 섹션 간 전환이 가능하기 전에 여러 섹션 간의 호환성과 더불어 실질적으로 원활한 청각 전환을 제공하는 타이밍 전환이 필요한 것이다. 첫 번째 사례에서, 식별되고 적용된 메타데이터 태그는 다른 주제들 간의 허용 가능한 상관 관계를 나타낼 수 있다. 예를 들어, 1과 8 사이의 테마의 숫자 배율을 가정하면, 첫 번째 오디오 섹션은 느리고 우울한 시나리오를 대표할 수 있는 테마 1 특성을 가질 수 있다. 이와는 대조적으로, 두 번째 오디오 섹션은 약간 더 빠른 (첫 번째 오디오 섹션과 관련된) 주제 2 특성화와 문맥적으로 더 강렬한 분위기를 나타낼 수 있다. 세 번째 오디오 섹션은 매우 정력적인 인식을 가질 수 있으며, 따라서 N의 8-of-N(여기서 N은 정수) 수준으로 크기 조정된 강도(즉, 사용자 정의 수준)를 갖는 것이 특징이다. 이 예에서, 테마의 첫 번째 섹션 중 하나를 다른 음악 섹션에 있는 테마로 전환하는 것은 원활한 청각 전환의 관점에서 매우 달성 가능한 것으로 보인다. 또한 특징화에 있어 명백한 근접성을 고려할 때 첫 번째 구간과 두 번째 구간 사이에서 원활하게 전환할 수 있을 것이다. 그러나 실제로는 기본 테마의 특징화에 대한 평가만으로 첫 번째 섹션에서 세 번째 오디오 섹션으로 전환하는 것이 가능하지 않을 수 있다. 그러나 선호되는 구현은 이 원활한 청각 전환 문제에 대한 해결책을 제공한다.
따라서 오디오에 잘라야 할 활성 오디오 섹션과 제안된 대상 오디오 섹션 사이의 실제 종료 및 진입 지점의 특성을 더 자세히 조사할 필요가 있다. 실제 출구 지점은 적어도 하나 이상에서 선택되며, 일반적으로 식별된 행수 여잉음과 연결된 적절한 출구 지점의 복수다. 각 오디오 섹션에 대해 적절한 종료점과 진입 지점을 미리 파악(데이터베이스에 저장)하여 지능형 처리 환경(452)이 외부 이벤트 자극의 해결 가능한 흐름에 보완되는 편집된 오디오를 조립하도록 한다. 따라서 실제 사건이 전개될 때 섹션이 동적으로 선택되는지 여부에 관계 없이, 오디오 간 전환은 실질적으로 실시간으로 이루어질 수 있다.
도 9b는 도 9a의 바 4의 확대된 도면이다. 재차 명확하게 하기 위해, 바 4의 오디오 스펙트럼은 시간에 따라 변하는 신호 진폭(excursion)들을 가지는 단순화된 블록 형태로서 도시된다.
바 4는 4박자("비트 1" 내지 "비트 4")로 나뉘며, 각 비트는 같은 수의 분수(f1 내지 f4)로 더 나뉜다. 이론상 출구 지점(155)에 관해서, 실제 가능한 출구 지점은 "가능한 실제 출구 B 164"와 관련하여, 도 9b에 나타낸 것과 같이, 행수 여잉음(대체적으로 상호 교환적으로 "픽업" 또는 "온셋"이라고 칭함) 직전 또는 직후에 한 점에 해당할 것이다. 행수 여잉음은 음표 또는 음의 순서로서, 음악 바의 첫 번째 다운비트에 선행한다. 따라서 MIR 및/또는 사용자 입력을 통해 이론상 출구 지점(155)에 근접하여 실제 출구 지점에 대한 행수 여잉음을 식별한다. 도 9b의 모범적인 경우, 행수 여잉음은 추상 출구 지점 앞에 다음과 같이 나타난다: i) 첫 번째 가능한 출구 지점(162)의 경우 - 1박자와 0분수, 두 번째 가능한 출구 지점(164)의 경우 0박자들의 거리와 - 2분수.
오디오 섹션의 진입 지점을 식별하기 위해 유사한 평가를 수행해야 한다. 이제 도 9c를 참조한다. 실제 출구 지점은 적어도 하나 이상에서 선택되며, 일반적으로 식별된 행수 여잉음과 연결된 복수의 적절한 출구 지점들다. 다시, 명확성을 위해, 바 0과 바 1의 오디오 스펙트럼은 신호 이탈이 시간에 따라 변화하는 단순화된 블록 형태로 나타난다. 바 0과 바 1은 각각 4박자("비트 1" 내지 "비트 4")로 나뉘었고, 각 비트는 더 나아가 같은 수의 분수(f1 내지 f4) - 이 경우 비트당 4개의 동일한 분수로 나눈다. 이론상 진입 지점(152)에 관해서, 실제 가능한 진입 지점(166, 168)은 행수 여잉음 직전 또는 직후에 한 지점에 대응한다. 따라서 MIR 및/또는 사용자 입력을 통해 실제 진입 지점(166, 168)에 대한 행수 여잉음은 이론상 진입 지점(152)에 근접하여 식별된다. 도 9c의 모범적인 경우, 행수 여잉음은 다음과 같이 이론상 진입 지점에 층을 이루고 있다: i) 첫 번째 가능한 진입 지점(166)의 경우 + 0 박자와 0 분수의 거리, 그리고 두 번째 가능한 진입 지점(168)의 경우에는 - 1 박자와 - 0 분수의 거리.
오디오 섹션 내의 정밀하고 실제적인 진입 지점 위치를 식별하기 위한 프로세스의 요약으로서, 선호되는 구현은 오디오 부분을 반복적인 시간 단위로 분할한다(예: 리듬 비트(변한 지속 시간이 있을 수 있음). 각 비트는 자체적인 "템포"를 가질 수 있으며, "템포"라는 용어는 분당 시간 단위 수를 의미하는 것으로 이해된다. 그런 다음 이러한 비트는 동일하고 균일하게 간격을 둔 시간 구분의 복수("분수들"이라고 부름)로 나누거나 "분할"된다. 인접한 비트 내의 파벌의 수는 다를 수 있다. 그러나 각 시간 단위가 잠재적으로 자체 템포를 가지고 있기 때문에 인접한 시간 단위("비트") 사이의 분율 지속 시간은 다를 수 있다. 따라서, 2차 타임 베이스에서 비트와 2차 분수 양자 측정과 관련된 1차 타임 베이스와 관련하여, 잠재적으로 적합하지만 유의한 진입/출구 지점, 즉 행수 여잉음의 대략적인 위치는 식별된 섹션의 시작/종점을 기준으로 결정된다. 이 측정된 시간 변위는 오디오의 한 섹션과 다른 섹션의 오디오를 원활하게 통합할 수 있게 해주는 행수 여잉음의 비트와 분수로 표현된다. 구체적으로는, 청각적으로 원활한 전환에 영향을 미치기 위해, 시스템의 처리 지능은 측정된 변위(비트와 분수들 면에서 표현되는 것과 같이)가 동일한 출구 지점과 진입 지점을 찾는다.
따라서, 도 12에 나온 것처럼 데이터베이스(200)는 조립되어 도 4의 시스템 내에서 작동하는 기기에 사용할 수 있게 만들어진다. 따라서 데이터베이스(200)는 음악 트랙을 관련 트랙 메타데이터와 연관시킨다. 특히, 데이터베이스는 오디오 섹션(202)을 트랙(206)의 식별된 테마(204)에 매핑하고, 이러한 테마가 섹션 내에서 정의된 타이밍(208)에 대해 어떻게 정의되는지 파악한다. 마지막으로, 각 테마(202)는 적어도 하나 이상 그리고 일반적으로 편집 가능한 진입 지점(210)과 행수 여잉음 이벤트(비트와 분수로 표현됨)와 관련된 출구 지점(212)으로 분류된다.
그러므로 도 9b와 도 9c를 참조하면, 섹션 사이의 커트는 Bar 4의 능동 오디오 섹션과 비트 4(참조 번호 162) 시작 시부터 섹션 (X-1), 바 0, 비트 4 위치(출입 지점(168)의 행수 여잉음 변위, 0 분수)까지 이루어진다. 물론, 행수 여잉음을 위한 비트 및 분수 변위의 다른 조합은 오디오에 의해 구동될 것이다. 버퍼링은 필요에 따라 다른 섹션 사이의 절단을 정렬하기 위해 타이밍 지연 또는 전진을 보상하기 위해 사용된다.
그러므로 도 9의 목적은 효과적인 편집 기능을 지원하는 것이며, 특히 시간 서명과 관련된 바 전환에서 특정 정량화된 거리 및 오디오 리듬 내에서 비트의 비트와 분수를 기준으로 편집 지점을 식별할 수 있도록 하는 것이다.
도 12의 데이터베이스는 최소한 오디오 섹션의 교차 참조 진입 지점과 출구 지점의 데이터베이스를 함께 원활하게 분할하려면 정렬 타이밍이 정확해야 한다. 실제로 편집점을 계산하기 전에 일치 기준을 충족해야 한다. 비트들은 시작 검출(비트 검출)에서 계산하며, 분율은 "실제 진입/출구"와 "추상 진입/출구"가 "추상 부분 위치"와 "실제 감지 비트"와 일치하지 않는 시간 간격을 균등하게 나누어 계산하는 것인데, 이러한 관계는 없다.
도 10은 예를 들어 음악 트랙의 서로 다른 섹션에서 서로 다른 시간 서명(252, 254) 사이의 상대적인 타이밍을 보여주는 타이밍 다이어그램(250)이다. 예를 들어 첫 번째 오디오 섹션의 시간 서명은 복합 6/8 시간일 수 있지만 두 번째 오디오 섹션의 타이밍은 단순 4/4 시간일 수 있다. 타이밍 서명들 간의 불일치로 인해, 시스템은 실제로 출구 지점과 진입 지점 사이의 기록된 변위(비트와 분수로 표현됨)가 실제로 일치하는지 여부를 평가할 필요가 있다. 즉, 커팅은 섹션들마다 시간 서명이 다르다는 점을 고려해야 한다.
이 평가는 각 섹션의 막대가 동일한 수의 고정 길이 펄스로 분할된 상태에서 길이가 다른 섹션의 각 막대에서 가장 낮은 공통 분율 배수에 의존하는 세 번째 펄스 타임베이스를 설정하여 달성한다. 따라서 분수 내 펄스 수는 각 섹션의 분율 간에 다를 수 있다. 따라서 시스템은 다른 시간 서명을 정렬하기 위해 계수를 적용하며, 이 계수는 다른 섹션 내의 펄스 간 비율이다.
도 10의 예에서, 6/8 시간 동안 인접한 비트들 사이에 6개의 분율이 있을 것이다. 간단한 4/4 시간 안에, 인접한 비트들 사이에 4개의 분율이 있을 것이다. 따라서 제품에 대해 가장 낮은 공통 배수로 펄스 카운트가 6이다. 따라서 상관관계에 따라 1.5의 계수는 바 X에 존재할 절단점(적절한 행수 여잉음과 관련)을 확인하며, 복합 시간 중 비트 1, 8분음표 2, 부분 2(이 예에서는), 바 Y에서는 단순 시간의 비트 3, 부분 3이다.
곱하기 계수는 다른 것들과 서로 교환 가능한 하나의 시간 서명에서의 시간 행수 여잉음을 초래하게 하는데, 이것은 복잡할 수 있다.
기술적으로나 음악적으로 볼 때 도 10에서:
단순 시간 서명은 4/4/16이다. 4/4 표기법은 표준이며, 16은 절반 8분음표 분수를 의미하고, 따라서 4개의 절반 8분음표 분율이 하나의 4분 음표(crotchet)에 존재한다. 4/4/16의 간단한 시간 서명의 실제 출구는 바 끝에서 마이너스 1박자와 마이너스 2분율이다. 이 경우 바의 끝은 이론상 출구에 해당한다.
복합 시간 서명은 6/8/16이다. 6/8은 하나의 바에서 각각 부점 4분 음표의 2박자가 있다는 것을 의미한다. 이는 각 박자에 8분 음표가 3개 있다는 것을 의미하며, 8분 음표만 있는 단순한 시간 서명과 비교된다. 마찬가지로 16의 4개의 파트에 비해 16의 6개의 파트가 있다.
이 도 10 예에서, 이는 비트를 통해 반을 편집하려면 분수의 수를 1.5배로 곱하여 4/4 바에서 6/8 바에서 등가물을 편집해야 한다는 것을 의미한다. 따라서 비트 사이에 편집 지점을 정렬하기 위해 단순 시간 서명 출구를 1.5로 곱하거나 반대로 복합 시간 서명 최저 구성요소를 1.5로 나눈다. 이것은 24번째 펄스의 격자로, 그 중 16번째는 3개의 펄스와 같고, 16번째는 2개의 펄스와 같다는 것을 의미한다. 따라서 시스템은 그러한 펄스의 모든 입력과 출구를 측정하고 시간 서명과 관련된 주어진 계수를 곱할 수 있다. 이 예에서는 24번째 펄스가 유효하지만 다른 시간 서명이 있는 다른 상황에서는 다를 수 있다는 점이 주목되는데, 실제로 시스템 인텔리전스는 다음과 같이 말한다. '나는 1비트와 2비트의 간단한 시간 출구를 가지고 있다. 따라서 -4 -2 = -6비트의 16분의 1이다. 이것은 18개의 펄스를 주고 1분당 3개의 펄스를 제공한다. 복잡한 시간 동안 미리 계산된 출구는 마이너스 1박자, 마이너스 1 8분 음표, 마이너스 1분위에서 발생한다. 따라서 -6 -2 -1 = -9의 16분의 1 분율이며, 이는 18개의 펄스를 주고 1분수 당 3개의 펄스를 제공하지만 1.5의 복합 계수로 나눈다. 둘 다 이제 18펄스 길이로 정상화되었으므로, 이 진입구로 나가는 출구가 나온다.
섹션 어셈블리 인텔리전스(352)는 사용자가 사용자 인터페이스를 통해 업로드하거나 입력하는 모든 제공된 브리핑 노트 입력의 분석을 수행하도록 구성되었다. 섹션 어셈블리 인텔리전스(352)는 섹션 관련 메타데이터에 기초한 식별을 통해 브리핑 노트를 이행하는 데 필요한 음악 세그먼트를 식별하고 계산한다. 브리핑 노트는 사용자 지정 요건의 변경을 반영하기 위해 트랙의 출력 중에 동적으로 업데이트될 수 있다.
사용 가능한 오디오 섹션(562)은 가급적 AI 논리에 기반한 시퀀서(570)의 전체 시퀀싱을 위해 568로 제공된다. 일반적으로 프로그래밍 방식으로 구현되는 시퀀서(570)은 해당 이벤트와 적절한 오디오 세그먼트를 선택하고 정렬하도록 구성된다. 시퀀싱은 오디오 섹션의 메타데이터에 배치된 태그와 브리핑 요소, 즉 청각적으로 발생해야 할 외부 이벤트의 각 부분에 할당된 매시트랙스 어휘의 상관관계에 기초한다.
기능적으로 시퀀서 570은 음악 간격이나 기능 572를 식별하고 일치하도록 구성되거나 배열된다. 이는 오디오 섹션 간의 원활한 전환을 위해 필요하다. 또한 시퀀서 570은 첫 번째 테마의 오디오 섹션이 재생되고 두 번째 테마의 오디오 섹션이 첫 번째 테마가 빠르게 사라짐에 따라 첫 번째 테마의 오디오 섹션으로 절단되는, 서로 다른 식별된 테마의 574 지점과 일치하도록 작동한다. 다시, 이것은 오디오 섹션 간의 원활한 전환을 위해 필요하다. 마지막으로, 시퀀서 570은 음악 타이밍 576과 일치한다. 이러한 기능은 음악 정보 검색 "MIR" 알고리즘(위 참조)을 기반으로 할 수 있지만, 오디오/음악 섹션 테마를 규정하기 위해, MIR 평가의 비효율성 또는 잘못된 자동 분석은 사용자가 충족된 오디오 섹션에 적용된 태그를 입력, 덮어쓰기 또는 정의하는 기능을 제공하는 인터페이스의 제공을 통해 해결된다. 다시, 이것은 오디오 섹션 간의 원활한 전환을 위해 필요하다. 앞서 설명한 것처럼 세그먼트의 정의는 특정 섹션 내에서 오디오의 수신자/사용자 및/또는 정량적 및/또는 질적 파라미터(MIR 소프트웨어를 통해 측정)에 대한 인식 속성의 관점에서 이루어진다.
"테마"는 바로 위에서 제공된 예시보다 더 많거나 더 적은 정보를 포함하는 이진 코드 형태의 자연어 또는 단어 기반의 자연어로 표현될 수 있다. 예를 들어, 사용자 정의 휴리스틱스를 사용해 브리핑 노트에 더 세분화 및 정의를 제공하고, 따라서 오디오 세그먼트의 보다 직접적인 선택과 조립을 제공할 수 있다. 휴리스틱스는 예를 들어 i) 노래 시퀀스와 관련될 수 있으며, 따라서 원곡이나 사운드 트랙의 구절과 합창 순서에 상대적인 오디오 출력의 순서 변경 정도, ii) 세그먼트 고유성(예: 반복된 세그먼트의 양이나 퍼마블리티에 대한 표시, iii) 특정 오디오 세그먼트를 연장하는 데 필요한 "채우기"의 경우, 지점을 확립하는 루프 지점들을 설정하는 것과 관련시킬 수 있다.
한계치에서 오디오 세그먼트의 메타데이터 태그는 현재 및 진행 중인 외부 이벤트(312)의 특성화를 정의하는 데 사용되는 매시트랙스 어휘와 상호 연관된 단어일 수 있다.
오디오 발생기(580)(도 5)은 시퀀서(570)에 결합된다. 오디오 발생기(80)는 현재 재생 중인 활성 오디오 세그먼트와 외부 이벤트가 변경될 때 재생할 다음 예약 및 선택된 오디오 세그먼트 사이의 크로스 페이딩(82)을 관리하도록 구성되었다. 이 기능은 행수 여잉음("픽업" 또는 "온셋"이라고 상호 지칭됨)과 관련된 적절한 전환의 식별을 포함한다. 예를 들어, 음악 바의 첫 번째 다운비트 앞에 있는 노트 또는 음의 순서. 구현의 관점에서, 그것의 누락이나 오차를 구별할 수 있고 오디오의 부자연스러운 단절을 대표할 수 있는 반면 그것의 존재는 연속성과 흐름을 제공한다는 점에서 시작(예: 다운비트)은 중요하다. 따라서 배열은 현재 활성 트랙 또는 목적지 트랙에서 가장 이른 시작 직전에 행수 여잉음에서 현재 오디오 세그먼트와 후속 오디오 세그먼트를 분할하여 서로 다른 테마를 전달하는 다른 오디오 세그먼트를 함께 일치시킬 수 있도록 한다. 따라서 시스템은 오디오 세그먼트에서 적절한 지점에 행수 여잉음을 핀으로 고정하고 문서화하기 위해 작동한다.
오디오 발생기(580)은 가급적 오디오 전송을 원활히 하고 지연을 최소화하기 위해 버퍼링 기능(584)을 포함하고 있다. 출력(586)으로 오디오 발생기(580)는 조립된 오디오 세그먼트 88개를 스트리밍하거나 오디오 세그먼트를 파일(590)(도 2의 미디어 파일(108)의 일부일 수 있음)로 전송할 수 있다.
도 6은 선호되는 생성 프로세스에 따른 트랙 조립 및 메타데이터 생성을 위한 기능 다이어그램이다. 따라서 도 6은 예를 들면, 매시트랙스 메타데이터가 포함된 복합 미디어 파일(도 4의 참조 번호 454)을 생성하기 위해 원래의 음악 트랙(456)에 적용된 프로세스들을 나타낸다.
도 5의 시스템에 업로드되거나 사용할 수 있게 된 오디오 트랙의 경우, 오디오 트랙은 앞에서 표시한 대로 AI 기반 MIR 알고리즘에 따른다. GUI의 바람직한 제공을 통해 오디오 트랙의 스펙트럼 구성, 템포를 포함한 시간 서명(1102) 및 기타 중요한 음악 이벤트의 인간 검토가 주제와 오디오 세그먼트를 정의하거나 구체화하기 위해 입력될 수 있다. 이 인간 기반의 과정 동안 단지 선호하는 그러므로 결핍증이나 오류가 오디오 트랙의 묘사의 자동 해석과 관련한 문제를 다룰 수 있다. 예를 들어 오디오 세그먼트에 대한 원하는 신호 엔벨로프의 시작점은 GUI를 통해 수동으로 조정하여 오디오 데이터 샘플링의 시작을 특정 음악 이벤트의 시작을 보다 정확하게 정렬할 수 있다(따라서 설명된 프로세스에 의해 증강될 외부 이벤트와 관련된 식별된 주제).
시간 서명 분석은 바 및 비트의 결정과 선택한 오디오 섹션을 구성하는 샘플 간에 발생하는 변동을 제공한다. 이 분석은 다른 시간 서명 및 행수 여잉음과 관계없이 한 섹션을 다른 섹션에 원활하게 통합하기 위해 설명된 메커니즘(기본 구현)의 기초를 제공한다
또한 각 오디오 섹션 내에서 시스템은 다른 지점에서 1104개의 온셋을 감지하도록 구성되었다. 소스, 즉 활성 재생 슬라이스와 대상 슬라이스 사이의 커팅, 즉 오디오 테마를 변경하기 위해 다음 재생으로 선택된 오디오 세그먼트가 아래에 더 자세히 설명되며, 도 7을 참조하고 반면에, 도 11은 시작을 결정할 수 있는 바람직한 프로세스를 보여준다.
도 11과 관련하여 설명된 온셋 결정은 시스템에 포함된 것이 포괄적인 해결책을 제공하기는 하지만, 여기에 설명된 다른 측면과는 독립적으로 구현될 수 있다. 음악적 시작은 음악적(또는 다른 중요한 청각적) 사건이 시작되는 시점이다.
도 11a에서, 일반적인 오디오 신호(1300)는 다양한 진폭의 구성 요소들(1302, 1304)로 구성된다. 초기 탐지를 위해 우선 선호하는 구현은 우선 과도 부분(즉, 오디오 신호의 빠르게 진화하는 측면, 즉 각 샘플링 창마다 약 50밀리초 미만의 지속 샘플링 기간이 있는 연속 샘플링 윈도우에서 에너지의 유의한 변화를 보여주는 주파수)을 정지 부분(즉, 다음과 같이 안정)에서 분리한다. 오디오 신호의 펙트, 특히 연속 샘플링 윈도우에 걸쳐 나타나는 주파수(도 11b)의 오디오 신호(1310)를 생성한다. 과도현상은 대개 더 높은 주파수와 관련이 있으며, 이러한 높은 주파수가 에너지의 상당한 증가를 나타내는 경우. 그런 다음 과도 부품의 진폭 엔벨로프(1320)가 결정되며, 이는 일반적으로 오디오 신호 처리에서 숙련된 애드레시에 의해 이해되는 콘볼루션 함수에 기초한다.
이후 출력 임계값(1330)에 비해 진폭 엔벨로프(1320)의 피크가 검출된다. 피크는 지역화된 지역에서 봉투의 최대 지점에 해당한다. 그런 다음, 시작의 정확한 위치를 달성하기 위해 시스템은 피크로부터 역방향으로(샘플 기준) 작동하여 X 지점 이전의 신호 주기의 특성이 이후의 신호 주기의 동일한 특성과 최대 차이가 나는 지점 X를 찾도록 구성된다. 그 점 X. 국부적인 피크로부터의 역방향 반복은 아마도 70 밀리초까지 또는 미리 결정된 임계값을 초과하는 힘을 가진 이전의 국부적인 피크까지 일어날 것이다. 임계값을 초과하는 전력을 가진 인접 피크의 경우, 최대 차이에서 이러한 피크 사이에 반드시 온셋이 존재할 것이다.
특성은 X 지점 전후의 과도 신호의 첫 번째 파생 모델의 표준 편차를 포함하지만 이에 국한되지는 않는다. 즉, 샘플링 윈도우에서 샘플링된 인접 전력에서 가장 큰 비율은 시작에 가장 적절한 지점을 제공하고, 이는 도 11d에 설명되어 있다. 과도 엔벨로프는 전체 오디오 트랙에 걸쳐 모든 과도 현상에 관련되며, 생성된 진폭 엔벨로프에는 출력 임계값을 초과하는 피크가 있는 많은 샘플링 창이 포함되어 있으므로 결정을 요하는 많은 온셋이 포함된다. 이러한 점을 다르게 표현하면, 온셋 시작은 동일한 미리 결정된 기간에 걸쳐 지점 샘플링 지점 후, 가능한 한 미리 결정된 기간 동안 확인된 측정 가능한 특성의 변화율에 대한 표준 편차가 측정/측정된 측정 가능 특성과 최대 차이가 나는 샘플링 지점을 식별하는 것을 검토함으로써 감지된다(일반적으로 약 10밀리초, 44.1k의 샘플링 속도를 가정함).
샘플링 기간/창들은 약 10밀리초에서 약 50밀리초의 범위에 있을 수 있다. 온셋의 예로서, 심벌 충돌은 오디오 신호에서 발생하는 지점에서 과도현상에 최대 변화가 있을 가능성이 있다는 점을 고려할 때 시작점을 나타낼 가능성이 높다.
다시 도 6과, 트랙 메타데이터를 생성하기 위한 프로세스로 되돌아가서, 바/비트 위치 해결을 위해 추가적인 자동화된 트랙 분석(수동 입력에 비추어 다시 검토할 수 있음)이 기능을 한다. 레벨과 따라서 시작 사이의 관계를 고려할 때, 바와 비트 검출은 온셋 감지(1104)에서 도출하거나 이를 기반으로 할 수 있다.
시스템 내에서 진행 중인 신호 처리와 관련하여, 시간 서명 분석(1102), 시작 감지(1104) 및 바/비트 탐지(1106)(사용자(1110)의 감독된 입력뿐만 아니라)은 오디오 트랙을 다양한 기간으로 분할 또는 분할하여 n을 분류하기 위해 적용된 매시트랙스 어휘와 관련이 있다. 외부 이벤트 및 그에 따른 오디오 강화의 특성. 이 점에서 메타태거 1112는 AI 로직을 이용하여 가급적 실현되는 것으로, 선택된 오디오 섹션에 대한 메타데이터 태그를 포함하는 강화된 오디오 트랙(458)을 컴파일한다. 표시되거나 추론된 바와 같이, 이 메타데이터는 적어도 음악적 기능과 강도는 물론 섹션과 관련된 테마의 컷과 페이드에 대한 출구 지점과 진입 지점을 식별한다. 메타데이터 태깅은 샘플링되고 전달된 오디오 프레임(예: 슬라이스 또는 세그먼트)이 트리거 임계값을 초과하거나 할당된 매시트랙스 단어에서 테마의 식별을 통해 식별된 것과 같은 식별된 외부 이벤트(312)의 타이밍과 정확하게 일치하도록 만들 수 있음을 의미한다.
시간 서명 또는 시간 표시 바를 생성하면 트랙 섹션을 음악 표기법으로 설명할 수 있으며, 이는 트랙 섹션을 올바르게 일치시키는 데 필수적이다. 시간 서명의 정확한 식별은 가장 가까운 비트에 대한 자동 스냅을 지원하는 이동 가능한 타임라인을 허용한다.
이 시스템은 편집 프로세스에 대해 음악적으로 충실한 표기법이 유지되도록 하기 위해 디지털 오디오 트랙의 비트 및 막대에서 작성되는 시간 표시줄을 생성한다. 이것은 작품의 음악적 무결성에 해롭지 않은 방법으로 콘텐츠의 성공적인 컷팅, 스플라이징, 리믹스를 뒷받침하는 것이다. 시스템 인텔리전스는 수정할 오디오 입력에 따라 조정할 수 있는 유연한 액세스 방식을 구축할 수 있다. 예를 들어, 만약 템포의 감소가 감지된다면, 타임라인은 그에 따라 조정될 수 있다. 이는 리믹스 및 재편집을 목적으로 한 음악 형식의 탈구축에서 중요하다. 그것은 오디오가 어떻게 연대표와 음악적으로 관련되는지에 대한 가시적인 이해를 지원하며 사용자가 디지털 형식 내에서 음악 구조의 실제 감각을 유지할 수 있도록 한다.
따라서 오디오 섹션 생성은 트랙을 새로운 구성을 형성하기 위해 재배치할 수 있는 섹션으로 나누는 과정이다. 바람직하게 섹션은 자동으로 막대에 스냅된다. 각 섹션은 사용자가 정의할 수 있는 그룹에 속할 수 있지만, 내부, 시, 브릿지, 합창, 중간(Middle) 8 또는 아우트로(outro)(메타태그에 의해 식별된 것과 같은) 중 하나보다 기본값이 더 좋다. 각 섹션은 강도, 음악 기능, 악기, 음성 및 태그를 포함하여 사용자 정의 가능한 메타데이터 속성을 허용한다.
여기에 기술된 시스템은 막대, 비트 및 바의 분율 측면에서 전통적인 구성 리듬 분석을 유지하기 위해 소프트웨어를 이용한다. 이를 통해 사용자는 바의 분할과 이해에 관여할 수 있으며, 전통적인 방식으로 구성을 이길 수 있다. 이것은 구성적 직관을 유지할 것이고, 사상의 해체와 재배열을 음악적으로 직설적으로 만들 것이다. 또한 이 시스템은 디지털 오디오의 모든 잠재력을 활용하여 펄스 데이터를 통합하여 최소 구성 부분을 추가 펄스로 분할할 수 있도록 한다. 펄스의 주요 기능은 서로 다른 섹션의 서로 다른 시간 서명 간 절단에 사용되는 계수와 다른 시간 서명에 대처하는 데 필요한 가장 작은 세분성을 제공하는 것이다.
따라서 전체 트랙에 대한 메타데이터는 오디오 섹션 설명과 다른 섹션으로 또는 다른 섹션에서 어떻게 전환할 수 있는지에 대한 설명을 포함한다. 따라서 각 오디오 섹션에는 외부 이벤트의 특성화와 관련된 사용자 개요가 주어지면 슬라이스 시퀀스를 구성할 수 있는 포괄적인 메타데이터가 포함되어 있다. 선택적으로 메타데이터는 원래 오디오 트랙에 대한 참조를 포함할 수 있으며, 이를 통해 스포티파이(Spotify)와 같은 온라인 음악 라이브러리에서 올바른 트랙을 찾을 수 있다. 이를 통해 메타데이터는 원래 트랙과 독립적으로 저장될 수 있으며, 메타데이터와 트랙은 모두 섹션 어셈블리 인텔리전스(452)에 의해 스트리밍되거나 철거될 수 있다.
따라서 메타데이터 프레임워크는 특정 사용자 정의 범주에 따라 음악의 태그를 지정할 수 있다. 예를 들어, 이러한 카테고리는 장르, 분위기, 스타일, 템포를 포함할 수 있으며 검색 가능한 사운드 데이터베이스를 만드는 데 사용될 수 있다. 사실상, 이 시스템은 타이틀과 아티스트뿐만 아니라 사운드, 장르, 음악 스타일에 의해서도 음악을 검색할 수 있는 잠재력을 산출한다. 따라서 도 12의 데이터베이스 구성은 단순히 메타데이터의 처리에 대한 글로벌 액세스 방식이 아니라 개별 섹션의 메타태그 검색을 허용한다. 예를 들어, 메타 태깅 시스템은 다음과 같은 브리핑 요건을 충족시킬 수 있는 것이 바람직하다. "나는 활기차고 행복한 트랙을 원한다. 또한 그것은 어느 시점에는 트럼펫 솔로가 있어야 하고, 다른 장소에는 현악 침대가 있는 콜드 아웃 코너가 있어야 한다." 기존 시스템은 이처럼 풍부하고 유연한 검색 기능을 제공하지 못한다.
바람직하게, 메타데이터 스키마(schema)는 데이터를 전체 트랙에 귀속시킬 수 있을 뿐만 아니라, 특정 섹션의 세분화된 주석을 용이하게 하여, 음악의 두드러진 특징에 대한 디스크립션 데이터를 제공한다. 하나 이상의 (일반적으로 복수의) 적용된 음악 특성화는 각 음악에서 공통적이며, 따라서 AI 메커니즘은 (실세계로부터) 식별된 수신 이벤트와의 동기화 요건에 따라 디지털 오디오 파일을 편집할 수 있게 한다. 따라서 오디오의 감정적 메타태그는 각 섹션의 테마에 적용되는 특성화와는 무관하다. 다른 감정적 분위기를 검색하는 것은 동기화 요건을 충족하기 위해 서로 다른 오디오 섹션을 교환할 수 있게 할 것이다. 그러므로 몇몇 중요한 특징들은:
● 클라이맥스: 음악이 최고조에 달한 곳
● 정적 섹션: 음악이 인식된 상황별 또는 실제 수준의 강도로 증가하거나 감소하지 않음
● 드라마 드롭 아웃(Drama drop out): 음악이 갑자기 변하여 매우 희박해진다.
● 드롭 다운 페이드(Drop down fade): 음악 강도가 점차 감소함
● 제작(Build): 음악이 점차 강도를 증가시킨다.
● 밑줄(Underscore): 대화와 행동 하에서 낮은 수준의 오디오 채우기
● 쟝르
● 기기 유형
에 관련되는 음악적 히트 지점들과 기능 디스크립터(descriptor)들을 포함한다.
음악의 모든 섹션은 형태 기능, 즉 어떻게 그 섹션이 작품의 전체성 안에서 작동하는지, 예를 들어 밑줄, 드롭아웃 페이드, 빌드 등의 측면에서 설명될 수 있다. 따라서 한 섹션에 적용된 정서적 관련 상황 메타태그와 무관하게, 들어오는 사건 데이터를 묘사된 음악 양식 기능들의 관점에서 설명할 수 있다면, 어떤 음악이라도 사용될 수 있고, 사용자에 의한 특별한 피스(piece)의 특성화로 생기는 임의의 감정적 주관적 측면에 관계없이 동기화 요건을 충족시킬 수 있다. 이것은 다양한 실시예들에서 적용된 설명된 처리의 기능에 중요하다.
메타태깅은 음악에만 국한될 필요가 없으며, 다른 소리 소스(축구 킥 등)에 적용될 수 있으므로, 확인된 외부 이벤트에 태그를 붙인 삽입된 오디오 섹션에 의해 사운드 스테이지를 증강할 수 있다.
도 7은 트랙 샘플 내의 다른 음악 주제에서 출구 지점과 진입 지점 사이의 바람직한 커트 전략의 시간 영역 표현(1130)이다.
도 7에는 두 개의 시간 영역 스펙트럼이 있다. 첫 번째 활성 "재생" 오디오 세그먼트(1132)와 두 번째 "대상" 오디오 세그먼트(1134)가 테마의 변경을 도입하는 데 사용되고, 두 번째 세그먼트, 즉, 첫 번째 활성 세그먼트를 새로운 상관 오디오 출력으로 대체하기 위해 잘라야 한다. 바람직한 실시예는 거의 매끄러운 방식으로 이러한 페이드/컷팅을 달성한다.
시간 영역 스펙트럼 모두는 온셋들(1136a 내지 1136f)과 공통 특징들을 포함한다.
시간 서명 또는 타임베이스(1150)의 관점에서, 이것은 오디오 엔벨로프를 반쿼이버, 크로셰 또는 다른 선택된 타이밍에 해당하는 지속시간을 가질 수 있는 세그먼트로 분할하는 수직 점선 도표에 표시된다. 도 7에서 모범적 표현은 각 엔벨로프의 관련 부분을 4개의 동일한 시간 섹터로 나누는 3.1, 3.2, 3.3 및 3.4 박자의 4분율을 제공한다. 사실 이 네 가지 분수는 음악 비트나 다중 비트 또는 오디오 트랙의 다른 기간을 나타낼 수 있다.
도 8a, 도 8b, 및 도 8c를 참조하면, 첫 번째 활성 재생 오디오 세그먼트(1132)에서 두 번째 목적지 오디오 세그먼트(1134)로의 종료와 관련하여, 바람직한 페이드/커트 프로세스는 첫 번째 활성 재생 오디오 세그먼트 온셋A와 두 번째 대상 오디오 세그먼트 온셋D에서 상대적인 온셋을 먼저 식별한 후 대조하며, 가장 가까운 적절한 타임 베이스(1150)에 대해 평가가 이루어진다. 2개의 온셋들인 온셋A와 온셋D가 시간상 가깝게 재생되거나 시간상 예상된 온셋이 상당히 지연되면 오디오의 유동성과 테마 간 전환이 눈에 띄게 중단될 수 있다.
따라서 테마 전환이 이루어질 경우, 선호되는 구현은 첫 번째 시작(각 활성 세그먼트와 대상 세그먼트에서 각각 s4) 사이의 샘플링 시간 차이(s2와 s3에 상대적)를 보고 대안의 가장 이른 부분을 선택한다. 시작점이 활성 경기 트랙에서 발생하든 목적지 트랙에서 발생하든 상관없이, 타임 베이스(1150)에 상대적인 가장 이른 시점은 활성 경기 섹션에서 목적지 섹션으로 교차 소멸되는 시점(특히, 즉시 절단된 1180)이 있는 시점이다. 크로스 페이딩의 경우 일반적인 크로스 페이드는 최대 5밀리초가 소요될 수 있다. 크로스 페이딩은 두 신호의 전압이 일치하지 않을 가능성이 높기 때문에 오디오 팝의 가능성을 피하기 때문에 순간적인 커트보다 바람직하다. 특정 문맥에 더 제한적인 해석이 필요하지 않는 한, "커트(cut)"라는 용어는 더 빨리 발생하는 특별한 사례 횡단적 사건으로 보아야 한다.
따라서 도 8a에서 능동형 오디오 섹션(1132)에서 대상 섹션(1134)으로의 커트(1180)는 활성 오디오 섹션(1132)의 시작이 상승하기 시작하는 샘플(또는 버퍼링을 사용할 수 있는 경우 조금 전)과 동시에 트리거된다. 그러면 대상 오디오 트랙이 재생되고 다른 테마 변경이 필요할 때까지 활성 트랙이 된다. 따라서 도 8b에서 활성 오디오 섹션(1132)에서 대상 섹션(1134)으로의 커트(1180)는 대상 오디오 섹션의 시작이 상승하기 시작하는 샘플(또는 버퍼링을 사용할 수 있는 경우 조금 전)과 동시에 트리거된다. 전형적으로 샘플링 속도와 시간 기초는 1초의 분율로 작동하므로 (더 느린 페이드보다는) 절대 커트는 중요하지 않으며 실질적으로 눈에 띄지 않는다. 그러므로 이 과정은 오디오 조각의 매끄럽고 끝없는 재구성을 가능하게 한다. 버퍼링은 사전 처리를 제공하므로 바람직하다.
도 8c에서 대상 오디오(1134)의 시작은 타임 베이스(1150) 이전에 발생하는 반면, 액티브 플레이 섹션에서는 타임베이스 이후에 발생하는 것으로 감지된다. 따라서 도 8c에서 커트와 크로스 페이드는 목적지 섹션(1134)에서 감지된 시작과 함께 타이밍을 맞춰야 하며, 버퍼링은 타이밍이 유지되도록 보장한다.
메타데이터를 원래의 트랙에서 분리하고 메타데이터를 안전한 데이터베이스에 저장함으로써, 선호되는 임피던트의 시스템은 선택적으로 컨텐츠의 실체를 보이지 않게 유지시켜, 라이선스 및 저작권 문제를 보호한다. 그러므로 분리 프로세스는 컨텐츠가 필요할 때마다 동적으로 생성될 수 있기 때문에 P2P(Peer-to-Peer) 공유에 필요한 많은 액세스를 제거할 수 있다. 사실, 바람직한 구현의 시스템은 사용자 입력과 동기화 과정에 의해 생성된 새로운 컨텐츠뿐만 아니라 원래의 컨텐츠도 보호할 수 있다.
그러므로 시스템과 프로세스는 실시간으로 작동 가능한 자동화된 프로세스를 통해 창의적인 편집을 지원한다. 이와 같이 게임을 위한 음악은 게임의 스토리를 따르도록 역동적으로 편집될 수 있다: 고저, 성취와 실패. 게임 내 경험은 항상 다르기 때문에, 이것은 유효한 액세스 키를 가지고 있지 않은 사용자의 해적행위를 제거하기 위해 각 트랙에 대해 액세스 키로 검증된 음악을 스트리밍하기 위해 지능적인 프레임워크(452)(도 2)가 작동할 수 있다는 것을 의미한다. 또한 오디오의 메타태깅과 실제 이벤트와의 상관관계를 사용하면 사용자가 예를 들어 개인 유튜브, 페이스북, 비메오(Vimeo) 비디오를 통해 자신이 좋아하는 음악을 사용할 수 있다.
요컨대, 이노베이션은 실시간 음악 동기화를 가능하게 하는 음악 같은 구성 특성을 가진 디지털 오디오 정보를 편집하는 방법을 제공한다. 이 시스템은 시작 감지 기능과 더불어 원활한 청각 전환을 제공하는 출구 오디오 섹션과 입구 오디오 섹션 모두에서 행수 여잉음 이벤트를 식별할 수 있도록 한다. 이 정교한 시스템은 DSP와 특수성 AI 알고리즘을 사용하여 원시(raw) 오디오 데이터를 분석하고 편집 조작을 수행하는데, 이전에는 전문가 지식과 음악 전문가가 실행하도록 훈련시켰다. 또한, 이 적응형 시스템은 오디오 데이터를 분류하는 동시에 편집 변경을 허용하도록 쉽게 조정되는 제어 코드 집합을 삽입하려고 한다. 이 시스템은 디지털 오디오 정보의 음악적으로 중요한 매개변수를 변환하는 역할을 한다. 파형이 디지털 편집을 위한 표준 표현 및 탐색 인터페이스가 된 반면, 바 및 비트 측면에서 기존의 구성 리듬 분석을 소홀히 한다. 이 정보는 오디오 트랙의 재배열과 리믹스에 필수적이며 자동 동기화에 필수적이다. 더욱이, 이 시스템은 주어진 음악의 질감, 궤적 및 강도에 관련된 파일 형식의 추가 디스크립션 메타데이터의 인코딩을 지원한다. 현재 음악의 묘사적 기능을 포착하기 위한 기존의 메타데이터 포맷은 없으며, 이를 위한 구조화된 방식과 이 높은 수준의 정보를 낮은 수준의 전송 가능한 데이터 포맷으로 변환하기 위한 시스템을 제공할 것이다.
최종 사용자의 기능성의 관점에서, 소프트웨어는 최종 사용자가 음악 반주가 필요한 시나리오에 적합하도록 자동으로 리믹스되는 트랙의 선택을 (섹션 어셈블리 인텔리전스(452)에 의해) 자동 검색하는 것을 용이하게 하는 디스크립션 데이터를 제공할 수 있도록 구성되어 있다. 최종 사용자는 설명된 액세스 인터페이스를 통해 지침을 제공할 수 있으며, 이 지침은 자신이 만들고 싶은 분위기에 기초할 수 있으며 심지어 음악이 달성되기를 바라는 디스크립션까지 제안할 수 있다. 이 시스템은 필름 데이터의 기본적인 주석이나 음악의 바람직한 사용에 관한 정보 등 사용자로부터 단순한 입력에 근거하여 사용자와 관련이 있는 것으로 추정되는 항목만 검색하여 정보 과부하를 줄이도록 구성되는 것이 바람직하다. 이 시스템은 자연어 또는 매시트랙스 어휘 단어를 통해 외부 사건에 대한 입력 및 상관관계 등 분석가나 주석에 의해 결정된 글로벌 및 내부 트랙 사양을 기반으로 관련 트랙을 선택하도록 구성되어 있다. 이것의 예로는 분위기, 음악의 일반적인 페이스/속력, 주요 악기(마음에 드는 것이 있다면)와 쟝르 등이 있을 것이다.
따라서 현재 발명의 다양한 구현과 배열은 독특한 아이디어의 다원성을 저장하는 데이터베이스에 대한 통제된 액세스를 제공하도록 배열된 서버를 가진 네트워크로 연결 가능한 클라이언트 장치에서 재생 가능한 오디오 트랙의 사용을 트래킹할 수 있는 요소들의 방법론 및 관련 상호작용 네트워크를 제공한다. 일반적으로 소스 오디오 트랙은 정의 가능한 주제 또는 절대 타이밍 측면에서 구별되는 다수의 음악 섹션을 포함한다.
일반적으로 컨텐츠 트래킹은 클라이언트 장치가 서버가 액세스할 수 있는 데이터베이스 내에 저장된 소스 오디오 트랙의 다원성으로부터 식별/선택된 소스 오디오 트랙에 액세스할 수 있도록 서버에 요청을 하는 것으로 시작한다. 게이트키퍼로 운영되는 서버는 식별된 소스 오디오 트랙에 대한 액세스(예: 다운로드 또는 스트리밍)을 클라이언트 디바이스에 제공하고, 클라이언트 디바이스가 식별된 소스 오디오 트랙과 관련된 고유 식별자로 사용할 수 있도록 하는 등 이 액세스를 제공한다. 고유 식별자는, 본 명세서에서 설명한 바와 같이, 일반적으로 트랙의 메타데이터 내에 내장되어 있으므로, 트랙의 제공은 고유하고 관련된 트랙 식별자의 통신을 본질적으로 본다. 클라이언트 장치에서, 앱 또는 브라우저 인터페이스는 클라이언트 장치에서 식별된 소스 오디오 트랙의 사용을 설정할 수 있는 기능을 사례를 들어 증명하는데, 예를 들어, 식별된 소스 오디오 트랙의 상기 음악 섹션들 중 적어도 하나의 재생과 연관되는 진입 지점 및 출구 지점 및/또는 식별된 소스 오디오 트랙이 클라이언트 디바이스에서 어떻게 사용되고, 수행되거나 조작되는지를 트래킹하는 것이다. 트래킹 데이터(예: 오디오 트랙의 재인코딩 메타데이터로 실현될 수 있는 로그)는 (a) 그러한 진입 지점과 출구 지점 중 하나 또는 (b) 식별된 소스 오디오 트랙이 클라이언트 장치에서 사용, 수행 또는 조작되는 방법에 따라 클라이언트 장치에서 처리되어 조립된다. 이러한 트래킹 데이터는 원격 이벤트에 대한 후속 서버 측의 이해를 허용하기 위해 하나 이상의 고유 식별자에 연결된다. 클라이언트 디바이스는 트래킹 식별자뿐만 아니라 네트워크를 통해 트래킹 데이터(여기서 표시한 대로 적절한 형태로)를 서버로 전송하도록 구성되어 있다.
서버에서 트래킹 데이터와 고유 식별자에 대한 링크를 고려하여 서버는 클라이언트 디바이스에 의해 식별된 소스 오디오 트랙의 적어도 부분 사용과 관련된 트래킹 데이터를 수집하고(모든 트랙 및/또는 식별된 트랙의 모든 사용자에 대해) 저장 및/또는 중계하도록 구성된다.
또한 식별된 소스 오디오 트랙의 사용에 대한 지불에 대한 책임을 a) 클라이언트 장치 및 b) 클라이언트 장치가 상호 작용하는 네트워크와 클라이언트 장치에 연결된 미디어 서버 중 하나 이상이 해결하도록 서버를 배치할 수 있다. 이는 고객 계정의 직접 송장 발행 및 자동 차감(기존 가입 서비스가 등록된 경우) 또는 해당 플랫폼이 이 선택된 오디오 트랙의 업로드 및 재생 기능을 지원하거나 관리하는 경우 소셜 미디어 플랫폼의 송장 발행으로 절정에 이를 수 있다.
추가 또는 대체적으로 트래킹하는 디스크립션 프로세스는 트랙 검색 방법, 트랙 다운로드 방법, 전체 또는 섹션에서 트랙을 청취하는 방법, 트랙 편집 방법 및/또는 트랙이 다른 매체에 어떻게 출력되거나 부착되는지에 대해 [예: 콘텐츠 소유자에 의해] 측정되는 정량적 측정을 지원한다. 이를 통해 컨텐츠 소유자는 특정 트랙과 관련하여 이러한 각 단계의 효율성에 대한 통찰력을 얻을 수 있으며, 이를 통해 컨텐츠 소유자는 메타데이터의 세분성을 세분화하거나 설명된 정량적 평가 체인에 비효율적인 것으로 확인된 품질을 조정하거나 개선할 수 있다. 예를 들어, 정량적 분석을 통해 특정 오디오 트랙의 특정 사용(예: 반복 재생)에 기초해 트랙의 렌더링 특성, 오디오 마스터링 품질 및/또는 트랙의 구성 어셈블리를 고려할 때 트랙의 가격 결정이 변경될 수 있다.
따라서 업로드된 트래킹 데이터는 (i) 식별된 소스 오디오 트랙의 파생적 작업으로서, 이러한 파생 작업은 클라이언트 디바이스에서의 처리에 의해 조립된, 상기 파생 작업, (ii) 클라이언트 디바이스에서의 처리에 의해 유발되었고, 식별된 소스 오디오 트랙과 다른 미디어와의 동기화, 그리고 (iii) 클라이언트 디바이스에서의 처리하여 시작된, 클라이언트 장치에서의 식별된 소스 오디오 트랙의 기계적 또는 전기적 복사 및/또는 (iv) 트랙의 일반적인 사용 중 적어도 하나의 존재를 유추 또는 직접적으로 보고하는데 필수적인 정보로서 간주될 수 있다.
바람직한 일 실시예는 원활한 전환 지점을 위해 두 가지 코드를 모두 사용하고 소스 트랙을 식별하는 메타데이터를 사용하지만, 여기에 설명된 사용자 중심 콘텐츠 트래킹 액세스 방식은 소스 트랙 아이덴티니의 클라이언트 디바이스에서 단독으로 수신한 다음 그러한 클라이언트 디바이스에서 식별된 소스 오디오 트랙의 사용을 설정하여 기능할 수 있다. 그러므로 클라이언트 기기에 전달되는 메타데이터는 보다 일반적인 특성일 수 있다(예를 들어, 편집 목적을 위한 원활한 청각 전환 및 정밀한 절단 지점과 관련이 없다). 오히려 다운링크 통신 메타데이터는 트랙 식별자 또는 트랙 식별자일 수 있으며, 이 기본 트랙 식별자 또는 트랙 식별자에 추가된 오디오와 관련된 추가 타이밍 데이터가 있을 수 있다. 또한 본 발명은 실제로 비디오가 사용자 장치에서 로컬로 편집될 수 있고 클라이언트 디바이스에서 비디오 재생과 관련된 진입 지점과 출구 지점 또는 식별된 원본 비디오가 어떻게 사용, 수행 또는 조작되었는지에 의해 보고되는 경우, 오디오 파일과 무관한 비디오 편집에도 적용될 수 있다.
현재 발명의 측면은 다운로드 가능한 형태 또는 CD ROM과 같은 컴퓨터 판독 가능한 매체에서 제공될 수 있으며, CD ROM은 즉석 처리되었을 때 웹 서버 또는 이와 유사한 곳에서 링크 내장 기능을 실행하는 프로그램 코드를 포함하고 있다. 물론, 위의 설명은 단지 예시로만 제공되었고 세부적으로 수정될 수 있다는 점을 알게 될 것이다.
특히 도 11a 내지 도 11d와 관련하여 설명된 온셋 식별 방법과 시스템은 실제로 모니터링되는 이벤트를 증가시키기 위해 오디오 데이터의 동기화를 넘어 점점 더 많은 애플리케이션을 찾을 수 있다. 그러므로 이 방법과 시스템은 음악이 상황별 주제(사용자나 전문가 평론을 통해 자동으로 감지되거나 설정되는지의 여부)에 따라 분류되는지 여부에 관계없이 모든 음악 또는 오디오 콘텐츠 파일에서 온셋을 식별하는 데 더 일반적으로 적용될 수 있다.
비록 실시예들이 외부 이벤트에 대한 오디오의 적응에 대해 논의하지만, 외부 이벤트가 오디오 메타데이터에 의해 트리거되거나 형성될 수 있다는 점에서 그 반대의 입장을 고수한다. 예를 들어, 외부 이벤트는 컴퓨터 게임 수준(예: 새로운 캐릭터가 도착하는 시기 또는 새로운 능력을 획득하여 게임 플레이 중에 게임 플레이어에 처음 제시)에서 연속적인 장면 또는 새로운 단계 사이에 발생하는 비디오 전환일 수 있다. (예를 들어) 선호되는 구현의 맥락에서 결정된 비트의 강도, 섹션, 막대, 비트 및 분수에 대한 이해에 기초하여, 예컨대 조명 평면(lights flashing) 또는 라이브 스테이지 공연 또는 CGI 환경 또는 녹화된 비디오 내에서 움직이는 힌지 또는 소품과 같은 다양한 바람직한 실시예들로부터 파생된 오디오 메타데이터를 사용해 경험된 이벤트의 관측된 시간 속성의 변화를 구동할 수 있다.
특히, 편집 가능한 트랙의 맥락에서 선호되는 구현이 설명되는 동안, 현재의 발명은 음악적 호환성의 측면에서 특징지어지는 그것의 다양한 부분을 본 주석 원주 오디오 트랙에 직접 적용될 수 있다는 것을 이해하게 될 것이다. 즉, 도 2의 시스템은 다운로드 및 데이터 처리 시 (트랙이 실제로 편집 및 후속 업로드를 거쳤는지 여부에 관계없이) 매시트랙스 오디오 파일 설명으로 대칭된 트랙에 적용할 수 있다. 따라서 원활한 크로스 페이드 설비는 오디오 또는 멀티미디어 소스에서 가져온 오디오 섹션의 사용을 구체적으로 식별한 보고하는 클라이언트 측 액세스 방식에 종속된다. 확장에 의해, 고유한 트랙 식별자와 관련된 컨텐츠 섹션의 사용에 대한 클라이언트측 보고 및 진입 지점 또는 출구 지점의 관련 타이밍 또한 많은 가입자에 대한 분산 네트워크에 의한 컨텐츠의 특정 섹션의 사용을 위한 콘텐츠 트래킹, 보고 및 비례 청구에 사용될 수 있다.
전용 지점간 통신 채널 또는 통신 세션의 고유 ID를 이용하여 트랙에 대한 연결을 설정할 수 있다는 점도 인정된다. 정보의 양방향 통신, 즉 [게이트키핑] 서버에서 클라이언트 장치로 소스 트랙의 통신과 클라이언트 장치에서 서버로 업링크의 데이터를 보고하는 것이 할당되었지만 전용 채널 및/또는 통신 세션의 고유한 ID를 사용하는 경우 고유 트랙 식별자는 잠재적으로 중복된 것으로 간주될 수 있다. 즉, 클라이언트 장치가 소스 트랙을 선택하고 서버가 이 선택을 인지하면, 전용 채널의 사용은 (a) 클라이언트 디바이스에서 오디오 트랙에 대한 액세스 및 사용과 (b) 오디오 트랙에 대한 액세스가 제공되고 로컬 클라이언트가 결정한 리포트들이 전송되는 할당된 전용 채널(들) 및/또는 통신 세션(들) 사이에 직접적인 연관성이 존재한다는 것의 인식을 통해 서버의 시스템 인텔리전스가 선택한 트랙의 클라이언트 디바이스에 의한 사용을 끔찍한 상황임을 인식하여 해결할 수 있다는 점에서 바람직한 트랙 식별자와 같은 방식으로 효과적으로 작동한다. 프로토콜 "WebSocket"은 그러한 핸드셰이크 및 직접 연결을 지원할 수 있는 지점간 통신 세션의 예로서, 서버를 통해 접속한 다음 클라이언트 디바이스에서 로컬로 조작 또는 렌더링되는 특별히 선택된 오디오 트랙과의 연결을 설정할 수 있다. 따라서 "유일한 식별자"(또는 "유일한 트래킹 식별자"를 포함한 유사)라는 용어는 문맥상 필요에 따라 트랙과 관련된 인코딩된 메타데이터의 하나 또는 둘 다 또는 특정하게 선택된 오디오 피스(데이터베이스에 액세스할 수 있는)에 대한 액세스와 관련된 전용 통신 링크가 되도록 이해해야 한다.
컨텐츠 트래킹 메커니즘은 오디오 트랙의 모범적 맥락과 그 사용 및 편집에서 설명되지만, 선택된 소스, 즉 다운로드, 사용 및 조작되는 원본 디지털 미디어 파일의 사용 트래킹에 보다 일반적으로 적용될 수 있다. 이러한 디지털 미디어 파일에는 멀티미디어 콘텐츠의 데이터베이스에 대한 액세스를 구독하고자 하는 클라이언트 장치의 요청에 따라 액세스 가능한 데이터베이스에 원격으로 저장된 멀티미디어 파일과 비디오 컨텐츠가 포함될 수 있다.
이 응용 프로그램에서 사용되는 "구성요소", "모듈", "시스템", "단말", "서버", "사용자/서브스크립자 장비/기기" 및 이와 유사한 용어는 실행 중인 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 또는 소프트웨어의 조합으로 컴퓨터 관련 실체를 지칭하기 위한 것이다. 예를 들어, 구성요소는 프로세서(또는 상호적으로 "컨트롤러"), 프로세서, 객체, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터에서 실행되는 프로세스가 될 수 있다. 예를 들어, 컴퓨팅 기기에서 실행되는 애플리케이션과 컴퓨팅 기기는 모두 구성요소가 될 수 있다. 하나 이상의 구성요소가 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며 구성요소는 한 대의 컴퓨터에 위치하거나 둘 이상의 컴퓨터 간에 분산될 수 있다. 또한 이러한 구성 요소는 다양한 데이터 구조가 저장되어 있는 컴퓨터 판독 가능한 미디어에서 실행할 수 있다. 구성요소는 하나 이상의 데이터 패킷을 갖는 신호에 따라 로컬 및/또는 원격 프로세스를 통해 통신할 수 있다(예: 로컬 시스템의 다른 구성요소, 분산 시스템 및/또는 신호를 통해 인터넷과 같은 네트워크를 통해 한 구성요소의 데이터가 상호 작용한다).
여기에서 공개된 프로세스의 구체적인 순서나 계층 구조는 모범적 접근법의 한 예라고 이해된다. 설계 선호도에 근거하여, 프로세스의 특정 순서나 계층 구조를 현재 공개의 범위에 머무르면서 재배열할 수 있는 것으로 이해된다. 첨부된 방법은 다양한 단계의 요소를 샘플 순서로 제시하며, 특정 순서를 명시적으로 설명하거나 논리적으로 요구하지 않는 한, 제시된 특정 순서나 계층구조에 국한되지 않는다.
또한 여기에 기술된 다양한 측면이나 특징은 표준 프로그래밍 및/또는 엔지니어링 기법을 사용하여 방법, 장치 또는 제조물로서 구현될 수 있다. 본 문서에서 사용된 "제조 기사(article of manufacture)"라는 용어는 컴퓨터가 판독할 수 있는 기기나 매체에서 액세스할 수 있는 컴퓨터 프로그램을 포함하기 위한 것이다. 예를 들어 컴퓨터 판독 가능한 미디어에는 자기 저장 장치(예: 하드 디스크, 플로피 디스크, 자기 스트립 등), 광 디스크(예: CD), 디지털 다용도 디스크(DVD) 등), 스마트 카드 및 플래시 메모리 장치(예: EPROM), 카드, 스틱, 키 드라이브 등이 포함될 수 있지만 이에 국한되지는 않는다. 또한 여기에 설명된 데이터베이스 및 메모리와 같은 다양한 저장 매체는 하나 이상의 장치 및/또는 정보를 저장하기 위한 컴퓨터 판독 가능한 매체를 나타낼 수 있다. "컴퓨터 판독 가능한 매체"라는 용어는 명령어(들) 및/또는 데이터를 저장, 포함 및/또는 운반할 수 있는 광학, 자기, 전자, 전자기 및 기타 다양한 유형의 매체를 포함할 수 있다.
당업자들은 본 명세서에서 공개된 예시와 관련하여 기술된 다양한 예시적 논리 블록, 모듈, 회로, 방법 및 알고리즘이 전자 하드웨어, 컴퓨터 소프트웨어 또는 두 가지 모두의 조합으로 구현될 수 있다는 점을 아게 될 것이다. 하드웨어와 소프트웨어의 이러한 상호 교환성을 명확히 설명하기 위해, 다양한 예시 구성요소, 블록, 모듈, 회로, 방법 및 알고리즘이 일반적으로 기능 면에서 위에서 설명되었다. 그러한 기능성이 하드웨어로 구현되는지 아니면 소프트웨어로 구현되는지는 전체 시스템에 부과되는 특정 애플리케이션과 설계 제약조건에 따라 달라진다. 당업자라면 각각의 특정 애플리케이션에 대해 기술된 기능을 다양한 방법으로 구현할 수 있으며, 동시에 문자 그대로 또는 동등한 범위 내에서 수반되는 청구 범위 내에 남아 있을 수 있다.
특정한 배열들이 서로 배타적이지 않는 한, 여기에 기술된 다양한 구현을 결합하여 시스템 기능을 강화하거나 선택적으로 감각과 관련된 동기화된 오디오의 효과적인 전달에서 보완적 기능을 생산할 수 있다. 전술한 설명의 전체성을 고려할 때, 그러한 조합은 당업자가 쉽게 알게 될 것이다. 마찬가지로, 바람직한 실시예의 양태들은 비록 그것들이 함께 기술된 실제 효과를 지원, 실현 및 생산하지만, 상호 연결된 각 시스템 구성요소 내에서 더 제한적이고 따라서 특정한 구성요소 기능이 제공되는 독립형 배치에서 구현될 수 있다. 실제로, 특정 선호되는 구현의 특징들이 서로 양립할 수 없는 것으로 명시적으로 식별되거나 주변 맥락에서 상호 배타적이며 보완적이고/또는 지지적인 의미에서 쉽게 결합할 수 없다는 것을 내포하지 않는 한, 이 공개의 전체성은 다음을 고려하여 예상한다. 이러한 보완적 구현의 특정 특징에서 하나 이상의 포괄적이지만 약간 다른 기술적 해결책을 제공하기 위해 선택적으로 결합할 수 있다.
Claims (33)
- 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는(tracking) 방법에 있어서,
각각 하나 이상의 섹션들을 가지는 다수의 디지털 미디어 파일들을 포함하는 데이터베이스로부터, 선택된 디지털 미디어 파일을 선택하는 단계;
통신 네트워크를 통해, 상기 선택된 디지털 미디어 파일로의 액세스를 수신하고, (1) 상기 선택된 디지털 미디어 파일과 관련된 고유 식별자, 및 (2) 상기 선택된 디지털 미디어 파일에 대한 관련 파일 디스크립션을 더 수신하고, 상기 관련 파일 디스크립션은 상기 선택된 디지털 미디어 파일의 섹션들 사이의 실행 가능한 크로스 페이드(cross-fade)를 규정하는 단계;
상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일을 재생 또는 사용하고, 상기 관련 파일 디스크립션을 사용하여 상기 선택된 디지털 미디어 파일 내의 복수의 섹션들 중 적어도 일부 선택된 섹션들 사이의 크로스 페이드에 대한 전환 지점을 실시간으로 식별하는 단계;
상기 클라이언트 디바이스에서, 또한 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일의 재생을 트래킹하거나 사용하기 위해,
상기 식별된 소스 오디오 트랙에서의 음악 섹션들 중 적어도 하나의 재생과 연관되는 진입 지점과 출구 지점(entry and exit points), 및
상기 식별된 소스 오디오 트랙이 상기 클라이언트 디바이스에서 어떻게 사용되는지, 수행되는지 또는 조종되는지(manipulated)
중 적어도 하나를 트래킹함으로써 상기 디지털 미디어 파일의 사용을 식별하는 단계;
(a) 진입 지점 또는 출구 지점 및/또는 (b) 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일이 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 하나 또는 양쪽 모두를 위한 트래킹 데이터를 생성하는 단계;
상기 통신 네트워크를 통해, 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일의 적어도 일 부분의 국지적인 사용의 보고를 전송하고, 상기 보고는 상기 트래킹 데이터를 상기 고유 식별자와 연관시키고, 상기 선택된 디지털 미디어 파일에 대한 상기 전환 지점들을 더 통신하여, 특정 섹션의 사용을 보고하게 하는 단계를 포함하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법
- 제 1 항에 있어서,
상기 복수의 디지털 미디어 파일 및 상기 선택된 디지털 미디어 파일은 오디오 파일이고,
상기 관련 파일 디스크립션은 상기 선택된 디지털 미디어 파일에서의 오디오 섹션들 사이의 음악적으로 실행가능한 크로스 페이드를 규정하고,
실시간으로 하나의 지점(point)에 의해 규정된 각각의 섹션에서의 실행 가능한 크로스-페이드는 청각적으로 끊김없는 크로스-페이드가 상기 선택된 섹션들의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하는 음악적 시간(musical time)의 지점에 대응하며,
상기 방법은,
상기 관련 오디오 파일 디스크립션을 이용하여 상기 선택된 디지털 미디어 파일 내의 복수의 오디오 섹션들의 적어도 일부 선택된 섹션들 사이의 크로스 페이드에 대해 실시간으로 전환 지점을 식별하는 단계를 더 포함하고, 상기 전환 지점들 각각은 청각적으로 끊김없는 전환을 실현하는 음악적 시간의 지점에 대응하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 2 항에 있어서,
상기 클라이언트 디바이스에서 오디오 섹션들의 순서를 변경하여, 상기 선택된 디지털 미디어 파일을 편집하는 단계를 더 포함하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 2 항에 있어서,
상기 선택된 디지털 미디어 파일의 편집 버전에서 청각적으로 끊김없는 전환들을 생성하기 위해, 상기 선택된 디지털 미디어 파일의 섹션들을 선택하는 능력을, 음악적으로 호환되는 섹션들 내의 진입 지점과 출구 지점 사이의 음악 리듬을 유지하면서 연속적으로 크로스 페이드될 수 있는 섹션들에만 제한하는 단계를 더 포함하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 선택된 디지털 미디어 파일은 파일로서 다운로드되거나 통신 네트워크를 통해 상기 클라이언트 디바이스로 스트리밍되는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 4 항에 있어서,
서버를 통해 상기 선택된 디지털 미디어 파일의 상기 선택된 디지털 미디어 파일 편집 버전에 액세스하는 단계;
상기 서버를 통해 상기 편집판과 연관되어 저장된 메타데이터에 액세스함으로써 상기 편집 버전을 재생하며, 상기 메타데이터는 전환 지점들을 규정하여 상기 편집 버전이 상기 클라이언트 디바이스에서 재생되게 하는 단계를 더 포함하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 1 항에 있어서,
상기 선택된 디지털 미디어 파일은 소스 오디오 트랙의 적어도 일부 섹션들을 포함하고,
상기 선택된 디지털 미디어 파일은 상기 클라이언트 디바이스에서 재생하기 위해 상기 소스 오디오 트랙의 적어도 하나의 선택된 섹션과 동기화된 적어도 하나의 이미지를 포함하는 멀티미디어 파일인, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 1 항에 있어서,
상기 트래킹 데이터는:
ⅰ) 상기 클라이언트 디바이스에서의 처리에 의해 어셈블링된, 상기 선택된 디지털 미디어 파일의 파생 작업;
ⅱ) 상기 클라이언트 디바이스에서의 처리에 의해 유발된, 다른 미디어와의 상기 식별된 디지털 미디어 파일의 동기화; 및
ⅲ) 상기 클라이언트 디바이스에서의 처리에 의해 개시된, 상기 클라이언트 디바이스에서의 상기 식별된 디지털 미디어 파일의 기계 또는 전기적 복사
중 적어도 하나의 존재를 유추 또는 보고하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 6 항에 있어서,
서버에서, 특정 음악 섹션을 분석하는 것에 응답하여, 목표(targeted) 정보를 식별한 후, 요청하는 클라이언트 디바이스에 목표 정보를 통신(communication)하는 단계를 더 포함하고, 상기 목표 정보는 상기 선택된 오디오 트랙 또는 상기 특정 음악 섹션들에 관련되는 것으로서 미리 식별되는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 6 항에 있어서,
상기 선택된 소스 오디오 트랙에 대한 상기 전환 지점들은, 상기 서버에 의해 상기 선택된 소스 오디오 트랙의 편집의 표현(representation)으로서 데이터베이스에 저장되는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 10 항에 있어서,
상기 편집이 재생될 수 있게 허용하기 위해, 클라이언트 디바이스들에 상기 편집 각각의 전환 지점들로의 액세스를 제공함으로써, 상기 편집의 표현을 이용할 수 있게 하는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 11 항에 있어서,
상기 전환 지점들은 오디오 트랙 내의 메타데이터로서 끼워넣어지는(embeded), 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 전환 지점들은 실시간값들인, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 13 항에 있어서,
상기 실시간값들은 상기 소스 오디오 트랙 내의 펄스 카운트인, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 제 2 항에 있어서,
상기 선택된 디지털 미디어 파일은, 요청하는 클라이언트 디바이스에 파일로서 다운로드되거나 스트리밍되는, 클라이언트 디바이스에서 미디어 콘텐츠를 재생하고 미디어 콘텐츠의 섹션의 사용을 트래킹하는 방법.
- 디지털 미디어 파일 사용을 트래킹하는 시스템에 있어서:
각기 복수의 음악 섹션들을 포함하는 복수의 디지털 미디어 파일들을 저장하는 데이터베이스;
사용자 선택 디지털 미디어 파일의 재생을 트래킹하거나 사용하도록 배치되는 클라이언트 디바이스로서, 사용자 선택 디지털 미디어 파일은 상기 복수의 디지털 미디어 파일로부터 선택되고, 상기 클라이언트 디바이스는,
(a) (i) 상기 선택된 디지털 미디어 파일의 적어도 하나의 섹션의 재생과 관련된 진입 지점들 및 출구 지점들, 및 (ii) 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일이 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 하나를 트래킹함으로써 상기 사용자 선택 디지털 미이어 파일의 사용을 식별하고,
(b) (i) 그들의 진입 지점들 및 출구 지점들, 및 (ii) 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일이 어떻게 사용되는지, 수행되는지 또는 조종되는지 중 하나 또는 둘 다를 위한 트래킹 데이터를 생성하며,
(c) 상기 클라이언트 디바이스에서 상기 선택된 디지털 미디어 파일의 적어도 일 부분의 국지적인 사용의 보고를 전송하고, 상기 보고는 상기 트래킹 데이터를 고유 식별자와 연관시키고, 상기 선택된 디지털 미디어 파일에 대한 전환 지점들을 더 통신하여, 음악 섹션들의 사용을 보고하게 허용하도록, 배치되는 상기 클라이언트 디바이스;
상기 보고 및 디지털 미디어 파일들이 전송되는 통신 네트워크;
상기 통신 네트워크를 통해 상기 클라이언트 디바이스에 연결된 서버로서, 상기 서버는,
상기 데이터베이스에 저장된 상기 복수의 디지털 미디어 파일들에 제어된 액세스를 제공하고,
사용자 선택 디지털 미디어 파일에 대한 액세스를 위해 클라이언트 디바이스로부터 수신된 요청에 응답하여, 상기 클라이언트 디바이스에 상기 사용자 선택 디지털 미디어 파일에 대한 액세스를 제공하고, (i) 상기 사용자 선택 디지털 미디어 파일과 관련된 고유 식별자 및 (ii) 상기 사용자 선택 디지털 미디어 파일을 위한 관련 파일 디스크립션을 상기 클라이언트 디바이스에 더 제공하며, 상기 파일 디스크립션은 상기 사용자 선택 디지털 미디어 파일 내의 섹션들 사이의 실행 가능한 크로스 페이드들을 규정하고,
상기 클라이언트 디바이스로부터 상기 트래킹 데이터를 수신하고, 상기 트래킹 데이터는 상기 고유 식별자에 더 링크되고,
상기 사용자 선택 디지털 미디어 파일의 상기 고유 식별자에 링크된 상기 크래킹 데이터를 저장하거나 중계함으로써 상기 사용자 선택 디지털 미디어 파일의 사용을 트래킹하도록 배치되는, 상기 서버를 포함하는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 16 항에 있어서,
상기 트래킹 데이터는, 상기 고유 식별자로 참조되는 전환 지점들을 포함하고, 상기 전환 지점들은 상기 사용자 선택 디지털 미디어 파일 내의 적어도 일부 상기 음악 섹션들 사이의 크로스 페이드들 또는 컷들의 연속을 실시간으로 식별하고, 상기 전환 지점들의 각각은 청각적으로 끈김없는 전환을 실현하는 음악적 시점에서의 하나의 지점에 해당하며,
상기 서버는, 상기 전환 지점들 및 상기 고유 트래킹 식별자에 의해 식별된 상기 사용자 선택 디지털 미디어 파일의 음악 섹션들의 특정 사용을 분석하여, 음악 섹션들의 사용의 보고를 허용하도록 더 배치되는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 17 항에 있어서,
상기 서버는, 상기 음악 섹션들의 특정 사용을 분석하는 것에 응답하여, 상기 데이터베이스에 저장되고 상기 데이터베이스로부터 선택되는, 상기 사용자 선택 디지털 미디어 파일에 관련되는 것으로서 상기 데이터베이스에서 미리 식별되는, 목표 정보를 식별한 후 통신하게 하도록 더 배치되는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 16 항 또는 제 18 항에 있어서,
상기 서버는, 상기 사용자 선택 디지널 미디어 파일에 대한 상기 보고된 전환 지점들을, 데이터베이스에 또한 상기 사용자 선택 디지털 미디어 파일의 편집의 표현으로서 저장하도록 더 배치되는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 19 항에 있어서,
상기 서버는, 상기 통신 네트워크를 통해 상기 편집의 상기 표현(representation)을 다운로드할 수 있게 더 배치되는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 16 항 또는 제 20 항에 있어서,
상기 트래킹 데이터는,
ⅰ) 상기 클라이언트 디바이스에서의 처리에 의해 어셈블링된, 상기 식별된 소스 오디오 트랙의 파생 작업;
ⅱ) 상기 클라이언트 디바이스에서의 처리에 의해 유발된, 다른 미디어와의 상기 식별된 소스 오디오 트랙의 동기화; 및
ⅲ) 상기 클라이언트 디바이스에서의 처리에 의해 개시된, 상기 클라이언트 디바이스에서의 상기 식별된 소스 오디오 트랙의 기계 또는 전기적 복사
중 적어도 하나의 존재를 유추 또는 보고하는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 16 항에 있어서,
상기 서버는 추가로:
a) 상기 클라이언트 디바이스; 및
b) 통신 네트워크 및 상기 클라이언트 디바이스에 결합되는 미디어 서버 - 상기 클라이언트 디바이스는 상기 미디어 서버와 상호 작용함 -
중 적어도 하나에 의해, 상기 식별된 소스 오디오 트랙의 사용에 대한 지불의 책임을 분석하게 배치되는, 디지털 미디어 파일 사용을 트래킹하는 시스템.
- 제 22 항에 있어서,
상기 미디어 서버는 소셜 미디어 플랫폼(social media platform) 내에 있는, 디지털 미디어 파일 사용을 트래킹하는 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1621753.1 | 2016-12-20 | ||
| GB1621753.1A GB2557970B (en) | 2016-12-20 | 2016-12-20 | Content tracking system and method |
| GB1719095.0 | 2017-11-17 | ||
| GBGB1719095.0A GB201719095D0 (en) | 2016-12-20 | 2017-11-17 | Content tracking system and method |
| PCT/EP2017/083589 WO2018114976A1 (en) | 2016-12-20 | 2017-12-19 | Enhanced content tracking system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190139831A KR20190139831A (ko) | 2019-12-18 |
| KR102533544B1 true KR102533544B1 (ko) | 2023-05-16 |
Family
ID=58284704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197021518A KR102533544B1 (ko) | 2016-12-20 | 2017-12-19 | 향상된 컨텐츠 트래킹 시스템 및 방법 |
Country Status (11)
| Country | Link |
|---|---|
| US (3) | US10268808B2 (ko) |
| EP (1) | EP3559844B1 (ko) |
| JP (1) | JP7265987B2 (ko) |
| KR (1) | KR102533544B1 (ko) |
| CN (1) | CN110603537B (ko) |
| BR (1) | BR112019012953A2 (ko) |
| CA (1) | CA3077113A1 (ko) |
| ES (1) | ES2963168T3 (ko) |
| GB (2) | GB2557970B (ko) |
| MX (1) | MX2019007393A (ko) |
| WO (1) | WO2018114976A1 (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335687B (zh) * | 2017-12-26 | 2020-08-28 | 广州市百果园信息技术有限公司 | 音频信号底鼓节拍点的检测方法以及终端 |
| US10896418B2 (en) | 2017-12-29 | 2021-01-19 | Ebay Inc. | Secure management of data files using a blockchain |
| US11281312B2 (en) * | 2018-01-08 | 2022-03-22 | Immersion Networks, Inc. | Methods and apparatuses for producing smooth representations of input motion in time and space |
| GB2571340A (en) | 2018-02-26 | 2019-08-28 | Ai Music Ltd | Method of combining audio signals |
| GB2576692A (en) * | 2018-06-01 | 2020-03-04 | Stageclip Ltd | Media processing |
| US11301452B2 (en) | 2018-10-09 | 2022-04-12 | Ebay, Inc. | Storing and verification of derivative work data on blockchain with original work data |
| US11599502B2 (en) * | 2019-02-23 | 2023-03-07 | Muserk, Llc | Music and digital rights management systems and methods |
| US11783723B1 (en) * | 2019-06-13 | 2023-10-10 | Dance4Healing Inc. | Method and system for music and dance recommendations |
| US11416208B2 (en) * | 2019-09-23 | 2022-08-16 | Netflix, Inc. | Audio metadata smoothing |
| US11687904B2 (en) * | 2019-11-04 | 2023-06-27 | International Business Machines Corporation | Downstream tracking of content consumption |
| CN111128100B (zh) * | 2019-12-20 | 2021-04-20 | 网易（杭州）网络有限公司 | 节奏点检测方法、装置及电子设备 |
| CN113448834A (zh) * | 2020-09-25 | 2021-09-28 | 北京新氧科技有限公司 | 埋点测试方法、装置、电子设备及存储介质 |
| US11183160B1 (en) * | 2021-02-16 | 2021-11-23 | Wonder Inventions, Llc | Musical composition file generation and management system |
| US11244032B1 (en) * | 2021-03-24 | 2022-02-08 | Oraichain Pte. Ltd. | System and method for the creation and the exchange of a copyright for each AI-generated multimedia via a blockchain |
| US11910050B2 (en) | 2021-05-21 | 2024-02-20 | Deluxe Media Inc. | Distributed network recording system with single user control |
| US11611609B2 (en) | 2021-05-21 | 2023-03-21 | Deluxe Media Inc. | Distributed network recording system with multi-user audio manipulation and editing |
| US20220377407A1 (en) * | 2021-05-21 | 2022-11-24 | Deluxe Media Inc. | Distributed network recording system with true audio to video frame synchronization |
| US11818186B2 (en) | 2021-05-21 | 2023-11-14 | Deluxe Media Inc. | Distributed network recording system with synchronous multi-actor recording |
| US11876841B2 (en) | 2021-07-21 | 2024-01-16 | Honda Motor Co., Ltd. | Disparate player media sharing |
| CN114339446B (zh) * | 2021-12-28 | 2024-04-05 | 北京百度网讯科技有限公司 | 音视频编辑方法、装置、设备、存储介质及程序产品 |
| GB2624164A (en) * | 2022-11-04 | 2024-05-15 | Sony Interactive Entertainment Europe Ltd | Contextualized content identification |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008134375A (ja) * | 2006-11-28 | 2008-06-12 | Sony Corp | マッシュアップ用のデータファイル、マッシュアップ装置およびコンテンツの作成方法 |
| WO2008144530A2 (en) * | 2007-05-17 | 2008-11-27 | Noank Media, Inc. | Methods, media, and systems for tracking, encrypting, and determining content usage, and identifying large content files |
| US20150018993A1 (en) * | 2013-07-10 | 2015-01-15 | Aliphcom | System and method for audio processing using arbitrary triggers |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6389403B1 (en) | 1998-08-13 | 2002-05-14 | International Business Machines Corporation | Method and apparatus for uniquely identifying a customer purchase in an electronic distribution system |
| US6746247B2 (en) | 2000-12-27 | 2004-06-08 | Michael P. Barton | Choreographed athletic movement to music |
| US6476308B1 (en) | 2001-08-17 | 2002-11-05 | Hewlett-Packard Company | Method and apparatus for classifying a musical piece containing plural notes |
| US7216178B2 (en) * | 2003-04-04 | 2007-05-08 | Gibson Guitar Corp. | System and method for distributing music to customers over the internet using uniquely identified proprietary devices |
| EP1664997A4 (en) | 2003-09-10 | 2007-12-19 | Yahoo Inc | MUSIC PURCHASING AND PLAYING SYSTEM AND METHOD |
| US7148415B2 (en) | 2004-03-19 | 2006-12-12 | Apple Computer, Inc. | Method and apparatus for evaluating and correcting rhythm in audio data |
| JP2006114174A (ja) | 2004-10-18 | 2006-04-27 | Sony Corp | コンテンツ再生方法およびコンテンツ再生装置 |
| KR101287984B1 (ko) | 2005-12-09 | 2013-07-19 | 소니 주식회사 | 음악 편집 장치 및 음악 편집 방법 |
| JP4296514B2 (ja) * | 2006-01-23 | 2009-07-15 | ソニー株式会社 | 音楽コンテンツ再生装置、音楽コンテンツ再生方法及び音楽コンテンツ再生プログラム |
| US7842874B2 (en) | 2006-06-15 | 2010-11-30 | Massachusetts Institute Of Technology | Creating music by concatenative synthesis |
| JP5259083B2 (ja) * | 2006-12-04 | 2013-08-07 | ソニー株式会社 | マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置 |
| US20090024234A1 (en) * | 2007-07-19 | 2009-01-22 | Archibald Fitzgerald J | Apparatus and method for coupling two independent audio streams |
| US9313359B1 (en) | 2011-04-26 | 2016-04-12 | Gracenote, Inc. | Media content identification on mobile devices |
| US8401683B2 (en) | 2009-08-31 | 2013-03-19 | Apple Inc. | Audio onset detection |
| JP2012103603A (ja) | 2010-11-12 | 2012-05-31 | Sony Corp | 情報処理装置、楽曲区間抽出方法、及びプログラム |
| JP2013009218A (ja) | 2011-06-27 | 2013-01-10 | Sony Corp | 編集装置及び方法、並びにプログラム |
| GB201118784D0 (en) * | 2011-10-31 | 2011-12-14 | Omnifone Ltd | Djml |
| JP6017687B2 (ja) * | 2012-06-29 | 2016-11-02 | ノキア テクノロジーズ オーユー | オーディオ信号分析 |
| US9070351B2 (en) | 2012-09-19 | 2015-06-30 | Ujam Inc. | Adjustment of song length |
| JP6252088B2 (ja) | 2013-10-09 | 2017-12-27 | ヤマハ株式会社 | 波形再生を行うためのプログラム、波形再生装置及び方法 |
| ES2859640T3 (es) * | 2014-02-24 | 2021-10-04 | Ctrlmovie Ag | Dispositivo y procedimiento para reproducir una película audiovisual interactiva |
| GB2581032B (en) | 2015-06-22 | 2020-11-04 | Time Machine Capital Ltd | System and method for onset detection in a digital signal |
-
2016
- 2016-12-20 GB GB1621753.1A patent/GB2557970B/en active Active
-
2017
- 2017-11-17 GB GBGB1719095.0A patent/GB201719095D0/en not_active Ceased
- 2017-12-19 CA CA3077113A patent/CA3077113A1/en active Pending
- 2017-12-19 JP JP2019534813A patent/JP7265987B2/ja active Active
- 2017-12-19 CN CN201780086928.8A patent/CN110603537B/zh active Active
- 2017-12-19 ES ES17835841T patent/ES2963168T3/es active Active
- 2017-12-19 US US15/846,692 patent/US10268808B2/en active Active
- 2017-12-19 MX MX2019007393A patent/MX2019007393A/es unknown
- 2017-12-19 BR BR112019012953A patent/BR112019012953A2/pt unknown
- 2017-12-19 EP EP17835841.2A patent/EP3559844B1/en active Active
- 2017-12-19 KR KR1020197021518A patent/KR102533544B1/ko active IP Right Grant
- 2017-12-19 WO PCT/EP2017/083589 patent/WO2018114976A1/en unknown
-
2019
- 2019-04-18 US US16/387,963 patent/US10783224B2/en active Active
-
2021
- 2021-05-21 US US17/327,304 patent/US20210326415A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008134375A (ja) * | 2006-11-28 | 2008-06-12 | Sony Corp | マッシュアップ用のデータファイル、マッシュアップ装置およびコンテンツの作成方法 |
| WO2008144530A2 (en) * | 2007-05-17 | 2008-11-27 | Noank Media, Inc. | Methods, media, and systems for tracking, encrypting, and determining content usage, and identifying large content files |
| US20150018993A1 (en) * | 2013-07-10 | 2015-01-15 | Aliphcom | System and method for audio processing using arbitrary triggers |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201719095D0 (en) | 2018-01-03 |
| US20180181730A1 (en) | 2018-06-28 |
| GB2557970B (en) | 2020-12-09 |
| KR20190139831A (ko) | 2019-12-18 |
| CA3077113A1 (en) | 2018-06-28 |
| CN110603537B (zh) | 2023-06-30 |
| US20210326415A1 (en) | 2021-10-21 |
| US10783224B2 (en) | 2020-09-22 |
| US10268808B2 (en) | 2019-04-23 |
| CN110603537A (zh) | 2019-12-20 |
| US20190243954A1 (en) | 2019-08-08 |
| EP3559844B1 (en) | 2023-06-21 |
| MX2019007393A (es) | 2019-11-21 |
| JP7265987B2 (ja) | 2023-04-27 |
| BR112019012953A2 (pt) | 2019-11-26 |
| ES2963168T3 (es) | 2024-03-25 |
| EP3559844A1 (en) | 2019-10-30 |
| WO2018114976A1 (en) | 2018-06-28 |
| JP2020522083A (ja) | 2020-07-27 |
| GB2557970A (en) | 2018-07-04 |
| GB201621753D0 (en) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102533544B1 (ko) | 향상된 컨텐츠 트래킹 시스템 및 방법 | |
| US20220121623A1 (en) | Enhanced content tracking system and method | |
| US11854519B2 (en) | Music context system audio track structure and method of real-time synchronization of musical content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |