WO2006089685A1 - Vorrichtung und verfahren zum speichern von audiodateien - Google Patents

Vorrichtung und verfahren zum speichern von audiodateien Download PDF

Info

Publication number
WO2006089685A1
WO2006089685A1 PCT/EP2006/001416 EP2006001416W WO2006089685A1 WO 2006089685 A1 WO2006089685 A1 WO 2006089685A1 EP 2006001416 W EP2006001416 W EP 2006001416W WO 2006089685 A1 WO2006089685 A1 WO 2006089685A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
audio
audio files
storage device
renderer
Prior art date
Application number
PCT/EP2006/001416
Other languages
English (en)
French (fr)
Other versions
WO2006089685A8 (de
Inventor
Katrin Reichelt
Gabriel Gatzsche
Sandra Brix
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to EP06707017A priority Critical patent/EP1789970B1/de
Priority to CN2006800059333A priority patent/CN101133454B/zh
Priority to AT06707017T priority patent/ATE462183T1/de
Priority to JP2007556537A priority patent/JP4625506B2/ja
Priority to DE502006006502T priority patent/DE502006006502D1/de
Publication of WO2006089685A1 publication Critical patent/WO2006089685A1/de
Publication of WO2006089685A8 publication Critical patent/WO2006089685A8/de
Priority to US11/837,109 priority patent/US7813826B2/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G11B2220/41—Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • G11B2220/415—Redundant array of inexpensive disks [RAID] systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to the field of wave field synthesis, and more particularly to driving a wave field synthesis rendering device with data to be processed.
  • the present invention relates to wave field synthesis concepts, and more particularly to efficient wave field synthesis concept in conjunction with a multi-renderer system.
  • Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront.
  • the audio signals must each speaker will be supplied with a time delay and amplitude scaling so, the radiating sound fields of the individual loudspeakers that overlay correctly.
  • the contribution is calculated separately be ⁇ to each speaker and adds the resulting signals for each ⁇ de source.
  • the cost of the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the recording room and the number of speakers.
  • the advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible.
  • the direction and distance of sound sources are reproduced very accurately.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • wavefield synthesis works well for environments whose characteristics are known, irregularities occur when the nature changes, or when wave field synthesis is performed on the basis of an environmental condition that does not match the actual nature of the environment.
  • An environmental condition can be described by the impulse response of the environment.
  • the wave field synthesis thus allows a correct mapping of virtual sound sources over a large playback area. At the same time it offers the sound engineer and sound engineer new technical and creative potential in the creation of even complex soundscapes.
  • Field field synthesis (WFS or sound field synthesis), as developed at the TU Delft in the late 1980s, represents a holographic approach to sound reproduction. The basis for this is the Kirchhoff-Helmholtz integral. This means that any sound fields within a closed volume can be generated by means of a distribution of monopole and dipole sound sources (loudspeaker arrays) on the surface of this volume.
  • an audio signal that emits a virtual source at a virtual position is used to calculate a synthesis signal for each loudspeaker of the loudspeaker array, the synthesis signals being designed in amplitude and phase in such a way that a wave resulting from the superimposition of the loudspeaker array individual sound wave output by the speakers existing in the loudspeaker array, corresponding to the wave that would have originated from the virtual source at the virtual position, if this virtual source at the virtual position was a real source with a real position.
  • multiple virtual sources exist at different virtual locations.
  • the computation of the synthesis signals is performed for each virtual source at each virtual location, typically resulting in one virtual source in multiple speaker synthesis signals. Seen from a loudspeaker, this loudspeaker thus receives several synthesis signals, which go back to different virtual sources. A superimposition of these sources, which is possible due to the linear superposition principle, then gives the reproduced signal actually emitted by the speaker.
  • the quality of the audio playback increases with the number of speakers provided. This means that the audio playback quality becomes better and more realistic as more loudspeakers are present in the loudspeaker array (s).
  • the finished and analog-to-digital converted display signals for the individual loudspeakers could, for example, be transmitted via two-wire lines from the wave field synthesis central unit to the individual loudspeakers.
  • the wave field synthesis central unit could always be made only for a special reproduction room or for a reproduction with a fixed number of loudspeakers.
  • German Patent DE 10254404 B4 discloses a system as shown in FIG.
  • One part is the central wave field synthesis module 10.
  • the other part is composed individual speaker modules 12a, 12b, 12c, 12d, 12e, which are connected to actual physical speakers 14a, 14b, 14c, 14d, 14e as shown in Fig. 1.
  • the number of speakers 14a-14e is in the range above 50 and typically well above 100. If each loudspeaker is assigned its own loudspeaker module, the corresponding number of loudspeaker modules is also required. Depending on the application, however, it is preferred to address a small group of adjacent loudspeakers from a loudspeaker module.
  • a speaker module which is connected to four speakers, for example, feeds the four speakers with the same playback signal, or whether the four speakers corresponding different synthesis signals are calculated, so that such a speaker module actually off consists of several individual speaker modules, but which are physically combined in one unit.
  • each transmission path being coupled to the central wave field synthesis module and to a separate loudspeaker module.
  • a serial transmission format is preferred which provides a high data rate, such as a so-called Fire ⁇ wire transmission format or a USB data format. Data transmission rates of over 100 megabits per second are advantageous.
  • the data stream which is transmitted from the wave field synthesis module 10 to a loudspeaker module, is accordingly formatted according to the selected data format in the wave field synthesis module and is synchronized with a synchronization unit. provided in common serial data formats.
  • This synchronization information is extracted from the individual loudspeaker modules from the data stream and used to represent the individual loudspeaker modules with regard to their reproduction, that is to say finally to the analog-to-digital conversion for obtaining the analog loudspeaker signal and the sampling provided for this purpose. sampling).
  • the central wavefield synthesis module operates as a master, and all loudspeaker modules operate as clients, with the individual datastreams receiving the same synchronization information from the central module 10 over the various links 16a-16e.
  • the known wave field synthesis concept uses a scene description in which the individual audio objects are defined together such that, using the data in the scene description and the audio data for the individual virtual sources, the complete scene is rendered by a renderer 'can be prepared arrangement.
  • a renderer 'can be prepared arrangement For each audio object, it is exactly defined where the audio object has to start and where the audio object ends.
  • the position of the virtual source is indicated, at which the virtual source should be, that is to be entered into the wave field synthesis rendering device, so that the corre sponding ⁇ synthesis signals are generated for each speaker.
  • each renderer has limited computing power.
  • a renderer is capable of processing 32 audio sources simultaneously.
  • a transmission path from the audio server to the renderer has a limited transmission bandwidth, so provides a maximum transmission rate in bits per second.
  • a typical renderer can handle only a certain maximum number of virtual sources at one time. This number can be for example 32.
  • the maximum processing capacity of a renderer is not the only bottleneck of a system. So a renderer must, if he z. For example, if you want to process 32 virtual sources at the same time, they will also be supplied with the corresponding audio files for the 32 virtual sources at the same time.
  • a renderer has an input buffer that somewhat equalizes the data transfer requirements, but especially if the renderer processes many sources at the same time, so if a lot of data is taken from the buffer, it also needs to be filled quickly.
  • the renderer will to a certain extent have data for processing.
  • the renderer could compensate for such a situation by simply repeating the last data until new data arrives.
  • this is expensive in data management and can lead to audible artifacts.
  • These artifacts will be worse if the virtual source is a source of deterministic information such as speech, music, etc.
  • the object of the present invention is to provide a concept for storing audio files, which enables a higher qualitative and easier to implement wave field synthesis.
  • the present invention is based on the recognition that an efficient data organization is crucial, that a renderer, even if it is working at its utilization limit, is supplied with sufficient data.
  • the data supplied to the renderer is read from a storage device, such as a hard disk of a PC or workstation.
  • an efficient storage of the audio files is made to a certain extent in preparation for a wave field synthesis reproduction, wherein a scene-spanning memory optimization is applied.
  • the scene descriptions are examined to find out a first scene that requires a higher processing capacity of the wave field synthesis system than another second scene.
  • the writing device of the storage device is controlled so as to write the audio files identified by the scene description of the first scene to the storage device so that a reading device of the storage device can read the audio files for the first scene faster than if the audio files for the first scene are randomly stored on the storage device.
  • the audio files for the scene are heavily utilized by the wave field synthesis system , optimally written, which of course means that the audio files for other scenes are not optimally written.
  • this is unproblematic in that in other scenes, a storage device can have more access time, since the data transfer rate required for the other scene is not so high anyway, since fewer virtual sources have to be processed in parallel.
  • storage of the audio files on the storage device is made so that the memory access for the scene that brings the highest utilization of the wave field synthesis system, optimally while many jumps are accepted for other scenes accessing the same audio file.
  • a storage device having a plurality of parallel usable single storage media such as a RAID array
  • FIG. 1 shows a block diagram of the inventive concept for storing audio files
  • FIG. 1b shows an exemplary audio piece with scenes of different wave field synthesis system utilization
  • Fig. Ic shows a first example of optimized cross-scene storage
  • Fig. Id shows a second example of optimized cross-scene storage
  • FIG. 2 shows an exemplary audio object
  • Fig. 6 is a schematic representation of a known wave field synthesis concept
  • FIG. 7 shows a further illustration of a known wave field synthesis concept.
  • the audio piece is to be processed by a renderer of a wave field synthesis system 3.
  • the audio piece comprises a plurality of scenes, a separate scene description being provided for each scene, and a scene having a chronological sequence of audio objects of the scene.
  • an audio object includes information about a virtual source and an identification for an audio file associated with the audio object.
  • a device 4 for examining the scene descriptions and for determining a first scene which requires a higher processing capacity of the wave field synthesis system than a second scene.
  • the device 4 can be supplied, if appropriate, with information about the wave field synthesis system 3 and, in particular, about the current utilization of the renderer in the wave field synthesis system.
  • the device 4 controls a control device 5.
  • the control device 5 is designed to control the read-write head 2 in such a way that audio files identified by the scene description of the first scene, ie audio files for the scene with higher utilization, thus be written to the storage device 1 that the reading device 2 can read the audio files for the first scene faster than if the audio files for the first scene had been randomly stored on the storage device.
  • the audio files are preferably from a further storage device 6, which may be a CD or DVD and are either written directly to the storage device via the controller or are controlled by the controller directly from the additional memory 6 to the read / write head 2 of FIG Storage device 1 of course in the correct order, as it has been determined by the control device 5, supplied.
  • the control device 5 is particularly designed to the storage device 1, the z. As a hard disk is to be described so that in any case no fractionation occurs, so that all audio files are written continuously. Furthermore, the control device is designed to write audio files at specific locations in the hard disk. So saving, ie the actual writing of the physical hard disk, is no longer left to the hard disk control alone or to chance, as in conventional hard disks. Instead, the control device 5 is designed to control the read / write head 2 of the storage device 1 in such a way that audio files are stored in exactly the same order and arrangement on the storage device.
  • the audio files are stored optimally across all scenes. For this purpose, it is examined which audio files are needed at all, when a scene is played with high utilization in order to precisely save just these audio files optimized.
  • a wave field synthesis system 3 comprises as a central element one or more renderer modules.
  • the renderers are typically driven by a scheduler, which is preferably designed to generate the data streams for the renderers using possibly provided audio object manipulations.
  • the scheduler is thus responsible for quickly reading out the data from the memory device 1 and supplying it to the downstream renderer, which then generates synthesis signals from the audio files which are supplied to the individual loudspeakers in the loudspeaker array.
  • Fig. Ib shows an exemplary audio track with a ten ers ⁇ scene and a second scene, wherein in the first scene parallel four sources and four audio files ADI, AD2, AD3, AD4 have to be prepared, while in the second scene at most three edited audio files in parallel ⁇ the need, namely AD6, AD7 and ADI.
  • FIG. 1c is designed for a plurality of parallel plates.
  • the audio files of the first scene are optimally stored, resulting in that the audio files AD1, AD2 are stored on the disc 1 and the audio files AD3, AD4 on the disc 2.
  • This storage is as it is Ic can be seen, for the second scene disadvantageous because there ADl and AD7 are needed simultaneously, since these two audio files are processed in parallel. Nevertheless, both files are chert 1 vomit ⁇ on the same plate, and further separated from each other even by the audio file AD2.
  • the hard disk will have to make a few jumps and, furthermore, can not benefit from the parallel arrangement of the disk 1 and the disk 2.
  • this is also uncritical since the data request in the second scene is anyway lower than in the first scene, since in the second scene the utilization of the wave field synthesis system is lower than in the first scene.
  • Fig. Id shows an arrangement of the audio files on a track 7 on a storage medium, such as a hard disk.
  • FIG. 1 d shows a serial arrangement.
  • the audio files of the first scene are stored one after the other so that a reading head does not have to jump to read in the audio files of the first scene. This leads to a very fast data provision of the audio files AD1 to AD4.
  • the fact is taken into account that the data organization is crucial for efficient data output.
  • the necessary transfer rate for feeding a renderer can not be guaranteed by media from CD or DVD in many embodiments. Therefore, a disk-based management is necessary.
  • an optimization of the memory layout is made for complex scenes in order to guarantee compliance with the time requirements.
  • an efficient delivery of the audio and metadata on the one hand and efficient data organization on the other hand are achieved.
  • the metadata can be used to define the playback order of the audio data in accordance with the object-oriented scene description. If the play order is known, the access to the audio data during playback can be optimized.
  • the computer no longer has to "gather" the audio data at any point on the hard disk or other storage media, but is able to read the audio data one after the other without the need for large readings in the memory Read access to the audio data makes it possible to use the resources more efficiently and thus process more audio objects simultaneously in real time.
  • a central database In data organization, it is preferred to use a central database.
  • the central organization ensures the consistency of the audio and metadata.
  • the use of a database greatly facilitates the production of wave field synthesis scenes.
  • the versioning of audio and metadata can be realized with the help of the database. This allows the user to gain access to older versions of his scene description, which also facilitates the production process.
  • the storage device does not necessarily have to be a central database but can be executed as a normal file server.
  • an audio database which is particularly advantageous if true audio material is used by different different scenes. So the audio database knows all the scenes and knows which scenes use which audio material when. Further, the audio database has access to the audio data and can determine the storage order of the audio data on the hard disk. In addition, the audio database can create an optimal cross-scene storage order for the audio data. Finally, the audio data ⁇ bank can also discover bottlenecks and react accordingly when storing the audio data.
  • this may alternatively also be reali ⁇ Siert that it stores all files in a scene centra ⁇ len place and a program implemented, reads the all scene files and derives the storage order of the audio files on the server.
  • a database forces central storage of the scene files, which is preferred for optimizing the order of storage of the audio files.
  • a temporal and spatial An ⁇ According to the invention of magnitude of audio sources and a consequent optimization ⁇ tion made on the storage medium of the storage order of the audio data.
  • a cross-scene optimization of the data is used, which preferably ⁇ draws on a central storage and management of scenes.
  • an audio object which effectively represents the audio content of a virtual source is ⁇ .
  • the audio object does not need to include the audio file, but may have an index pointing to a defined location in a database where the actual audio file is stored.
  • Preferably further comprises an audio object a identifi ⁇ cation of the virtual source, for example, a source ID or a meaningful file name, etc. can be.
  • the audio object specifies a period of time for the beginning and / or the end of the virtual source, that is, the audio file.
  • Specifying only a time period for the start means that the actual starting point of the rendering of this file by the renderer can be changed within the time span.
  • a time limit is specified for the end, this also means that the end can also be varied within the time span, which, depending on the implementation, will generally lead to a variation of the audio file also in terms of its length.
  • Any implementations are possible, such as: For example, a definition of the start / end time of an audio file so that although the starting point may be moved, but in no case the length may be changed, so that automatically the end of the audio file is also moved.
  • it is preferred to also keep the end variable since it is typically not problematic whether z. For example, a wind noise starts sooner or later, or ends slightly earlier or later.
  • Further specifications are possible or desired depending on the implementation, such as a specification, that although the starting point may be varied, but not the end point, etc.
  • an audio object further comprises a location span for the position. So it will be irrelevant for certain audio objects, whether they z. B. come from the front left or before ⁇ ne center, or whether they are shifted by a (small) angle with respect to a reference point in the playback room.
  • audio objects especially from the noise area, which can be positioned at any position and thus have a maximum local span, which can be identified, for example, by a code for "random" or by no code. code can be (implicitly) specified in the audio object.
  • An audio object may include other information, such as an indication of the nature of the virtual
  • FIG. 3 shows, by way of example, a schematic representation of a scene description, in which the time sequence of different audio objects AO1,... AOn + 1 is shown.
  • attention is drawn to the audio object AO3, for which a period of time, as shown in FIG. 3, is defined.
  • a period of time as shown in FIG. 3
  • both the start point and the end point of the audio object AO3 in Fig. 3 can be shifted by the time period.
  • the definition of the audio object A03 is that the length must not be changed, but this can be set variably from audio object to audio object.
  • a scene description is used that has relative indications.
  • the flexibility is increased by the fact that the beginning of the audio object AO2 is no longer given in an absolute time, but in a relative period of time to the audio object AO1.
  • a relative description of the location information is preferred, so not that an audio object is to be arranged at a certain position xy in the playback room, but z.
  • B. is a vector offset to another audio object or to a reference object.
  • the time span information or location span information can be recorded very efficiently, namely simply in that the time span is set such that it expresses that the audio object A03 z. B. in a period between two minutes and two minutes and 20 seconds after the start of the audio object AOl can begin.
  • the spatial / temporal output objects of each scene are modeled relative to one another.
  • the audio object manipulation device achieves a transfer of these relative and variable definitions into an absolute spatial and temporal order.
  • This order represents the output schedule obtained at the output 6a of the system shown in FIG. 1 and defines how the renderer module in particular is addressed in the wave field synthesis system.
  • the schedule is thus an output schedule that arranges the audio data according to the output conditions.
  • FIG. 4 shows a data stream which is transmitted from left to right according to FIG. 4, that is to say from the audio object manipulation device 3 of FIG. 1 to one or more wave field synthesis renderers of the wave field system 0 of FIG the data stream for each audio object in the embodiment shown in Fig. 4, first a header H, in which the position information and the time information are, and downstream of an audio file for the specific audio object, in Fig. 4 with AOl for the first audio object, A02 for the second audio object, etc. is designated.
  • a wave field synthesis renderer then receives the data stream and detects z. B. to an existing and agreed synchronization information that now comes a header. Based on another synchronization information, the renderer then recognizes that the header is now over. Alternatively, a fixed length in bits can be agreed for each Haeder.
  • the audio renderer After receiving the header, in the preferred embodiment of the present invention shown in FIG. 4, the audio renderer automatically knows that the subsequent audio file, ie, e.g. AOl belongs to the audio object, that is, to the source location identified in the header.
  • FIG. 4 shows a serial data transmission to a field-synthesis synthesizer.
  • the renderer requires an input buffer preceded by a data stream reader to parse the data stream.
  • the data stream reader will then interpret the header and store the associated audio data so that when an audio object is to render, the renderer reads out the correct audio file and location from the input buffer.
  • Other data for the data stream are of course possible.
  • a separate transmission of both the time / location information and the actual audio data may be used.
  • the present invention is thus based on an object-oriented approach, that is to say that the individual virtual sources are understood as objects which are distinguished by an audio file and a virtual position in space and possibly by the manner of the source, ie whether they are a point source for sound waves or a source for plane waves or a source for differently shaped sources.
  • the calculation of the wave fields is very compute-time intensive and tied to the capacities of the hardware used, such as sound cards and computers, in combination with the efficiency of the calculation algorithms. Even the best equipped PC-based solution thus quickly reaches its limits in the calculation of wave field synthesis when many sophisticated sound events are to be displayed simultaneously.
  • the capacity limit of the software and hardware used dictates the limitation on the number of virtual sources in the mixdown and playback.
  • FIG. 6 shows such a limited in its known wavefield synthesis concept including an authoring tool 60, a control renderer module 62, and an audio server 64, wherein the control renderer module is configured to be a speaker array 66 to supply data so that the speaker array 66 generates a desired wavefront 68 by superimposing the individual waves of the individual speakers 70.
  • the authoring tool 60 allows the user to create scenes, edit and control the wave field synthesis based system.
  • a scene consists of information about the individual virtual audio sources as well as the audio data.
  • the properties of the audio sources and the references to the audio data are stored in an XML scene file.
  • the audio data itself is stored on the audio server 64 and transmitted from there to the renderer module.
  • the renderer module receives the control data from the authoring tool so that the control renderer module 62, which is centrally executed, can generate the synthesis signals for the individual loudspeakers.
  • the concept shown in Figure 6 is described in "Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik and C. Riegel, AES Convention Paper, 115th AES Assembly, 10. October 2003, New York. If this wave field synthesis system is operated with multiple renderer modules, each renderer is supplied with the same audio data, regardless of whether the renderer needs this data for playback or not because of the limited number of speakers assigned to it. Since each of the current computers is capable of calculating 32 audio sources, this is the limit for the system. On the other hand, the number of sources that can be changed in the overall system should be increased significantly and efficiently. This is one of the essential requirements for complex applications, such as movies, scenes with immersive atmospheres, such as rain or applause or other complex audio scenes.
  • a reduction of redundant data transfer operations and data processing operations in a wave field synthesis multi-renderer system is achieved, which leads to an increase in the computing capacity or the number of simultaneously computable audio sources.
  • the audio server is extended by the data output device, which is able to determine which renderer needs which audio and metadata.
  • the data output device possibly supported by the data manager, requires a plurality of information in a preferred embodiment. This information is first the audio data, then the source and position data of the sources, and finally the configuration of the renderers, ie information about the connected loudspeakers and their positions and their capacity.
  • an output schedule is generated by the data output device with a temporal and spatial arrangement of the audio objects. From the spatial arrangement, the time schedule and the renderer configuration, the data management module then calculates which source for which renderers are relevant at any given time.
  • the database 22 is supplemented on the output side by the data output device 24, wherein the data output device is also referred to as a scheduler.
  • This scheduler then generates at its outputs 20a, 20b, 20c for the various renderers 50 the renderer input signals in order to power the corresponding loudspeakers of the loudspeaker arrays.
  • the scheduler 24 is preferably also supported by a storage manager 52 in order to configure the database 42 by means of a RAID system and corresponding data organization specifications.
  • a data generator 54 On the input side is a data generator 54, which may be, for example, a sound engineer or an audio engineer who is to model or describe an audio scene in an object-oriented manner. In this case, he provides a scene description that includes corresponding output conditions 56, which are then optionally stored in the database 22 together with audio data after a transformation 58.
  • the audio data may be manipulated and updated using an insert / update tool 59.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation may be on a digital storage medium, particularly a floppy disk or CD, with electronically readable control signals that may interact with a programmable computer system to perform the method.
  • the invention thus also exists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method when the computer program product runs on a computer.
  • the invention can be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

Audiodateien für ein Audiostück werden Szenen-übergreifend optimiert abgespeichert (4), sodass beim Auslesen (1,2) von Audiodateien für eine Szene, die eine hohe Auslastung eines Wellenfeldsynthese-Systems mit sich bringt, sehr kleine Speicherzugriffszeiten erreicht werden, während für Szenen, die eine nicht so hohe Auslastung des Wellenfeldsynthese-Systems mit sich bringen, dafür grössere Speicherzugriffszeiten in Kauf genommen werden.

Description

Vorrichtung und Verfahren zum Speichern von Audiodateien
Beschreibung
Die vorliegende Erfindung bezieht sich auf das Gebiet der Wellenfeldsynthese und insbesondere auf die Ansteuerung einer Wellenfeldsynthese-Rendering-Einrichtung mit zu verarbeitenden Daten.
Die vorliegende Erfindung bezieht sich auf Wellenfeldsyn- these-Konzepte und insbesondere auf effiziente Wellenfeld- synthese-Konzept in Verbindung mit einem Multi-Renderer- System.
Es besteht ein steigender Bedarf an neuen Technologien und innovativen Produkten im Bereich der Unterhaltungselektronik;. Dabei ist es eine wichtige Voraussetzung für den Erfolg neuer multimedialer Systeme, optimale Funktionalitäten bzw. Fähigkeiten anzubieten. Erreicht wird das durch den Einsatz digitaler Technologien und insbesondere der Computertechnik. Beispiele hierfür sind die Applikationen, die einen verbesserten realitätsnahen audiovisuellen Eindruck bieten. Bei bisherigen Audiosystemen liegt ein wesentlicher Schwachpunkt in der Qualität der räumlichen Schallwiedergabe von natürlichen, aber auch von virtuellen Umgebungen.
Verfahren zur mehrkanaligen Lautsprecherwiedergabe von Audiosignalen sind seit vielen Jahren bekannt und standardi- siert. Alle üblichen Techniken besitzen den Nachteil, dass sowohl der Aufstellungsort der Lautsprecher als auch die Position des Hörers dem Übertragungsformat bereits eingeprägt sind. Bei falscher Anordnung der Lautsprecher im Bezug auf den Hörer leidet die Audioqualität deutlich. Ein optimaler Klang ist nur in einem kleinen Bereich des Wiedergaberaums, dem so genannten Sweet Spot, möglich. Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser Technologie, die so genannte Wellenfeldsynthese (WFS; WFS = Wave-Field Synthesis) , wurden an der TU DeIft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A. J.; de Vries, D.; Vogel, P.: Acoustic control by Wave- field Synthesis. JASA 93, 1993).
Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsynthese bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. In wenigen Jahren sollen auch erste Wellenfeldsynthese- Anwendungen für den Konsumerbereich auf den Markt kommen.
Die Grundidee von WFS basiert auf der Anwendung des Huy- gens' sehen Prinzips der Wellentheorie:
Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.
Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray) , jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachs¬ ten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzögerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für je¬ de Quelle der Beitrag zu jedem Lautsprecher getrennt be¬ rechnet und die resultierenden Signale addiert. Befinden sich die wiederzugebenden Quellen in einem Raum mit reflektierenden Wänden, dann müssen auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab.
Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maße können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.
Obgleich die Wellenfeldsynthese für Umgebungen gut funktioniert, deren Beschaffenheiten bekannt sind, treten doch Unregelmäßigkeiten auf, wenn sich die Beschaffenheit ändert bzw. wenn die Wellenfeldsynthese auf der Basis einer Umge- bungsbeschaffenheit ausgeführt wird, die nicht mit der tatsächlichen Beschaffenheit der Umgebung übereinstimmt.
Eine Umgebungsbeschaffenheit kann durch die Impulsantwort der Umgebung beschrieben werden.
Dies wird anhand des nachfolgenden Beispiels näher dargelegt. Es wird davon ausgegangen, dass ein Lautsprecher ein Schallsignal gegen eine Wand aussendet, deren Reflexion unerwünscht ist. Für dieses einfache Beispiel würde die Raum- kompensation unter Verwendung der Wellenfeldsynthese darin bestehen, dass zunächst die Reflexion dieser Wand bestimmt wird, um zu ermitteln, wann ein Schallsignal, das von der Wand reflektiert worden ist, wieder beim Lautsprecher ankommt, und welche Amplitude dieses reflektierte Schallsig- nal hat. Wenn die Reflexion von dieser Wand unerwünscht ist, so besteht mit der Wellenfeldsynthese die Möglichkeit, die Reflexion von dieser Wand zu eliminieren, indem dem Lautsprecher ein zu dem Reflexionssignal gegenphasiges Sig- nal mit entsprechender Amplitude zusätzlich zum ursprünglichen Audiosignal eingeprägt wird, so dass die hinlaufende Kompensationswelle die Reflexionswelle auslöscht, derart, dass die Reflexion von dieser Wand in der Umgebung, die be- trachtet wird, eliminiert ist. Dies kann dadurch geschehen, dass zunächst die Impulsantwort der Umgebung berechnet wird und auf der Basis der Impulsantwort dieser Umgebung die Beschaffenheit und Position der Wand bestimmt wird, wobei die Wand als Spiegelquelle interpretiert wird, also als Schall- quelle, die einen einfallenden Schall reflektiert.
Wird zunächst die Impulsantwort dieser Umgebung gemessen und wird dann das Kompensationssignal berechnet, das dem Audiosignal überlagert dem Lautsprecher eingeprägt werden muss, so wird eine Aufhebung der Reflexion von dieser Wand stattfinden, derart, dass ein Hörer in dieser Umgebung schallmäßig den Eindruck hat, dass diese Wand überhaupt nicht existiert.
Entscheidend für eine optimale Kompensation der reflektierten Welle ist jedoch, dass die Impulsantwort des Raums genau bestimmt wird, damit keine Über- oder Unterkompensation auftritt.
Die Wellenfeldsynthese ermöglicht somit eine korrekte Abbildung von virtuellen Schallquellen über einen großen Wiedergabebereich. Gleichzeitig bietet sie dem Tonmeister und Toningenieur neues technisches und kreatives Potential bei der Erstellung auch komplexer Klanglandschaften. Die WeI- lenfeldsynthese (WFS oder auch Schallfeldsynthese) , wie sie Ende der 80-er Jahre an der TU Delft entwickelt wurde, stellt einen holographischen Ansatz der Schallwiedergabe dar. Als Grundlage hierfür dient das Kirchhoff-Helmholtz- Integral. Dieses besagt, dass beliebige Schallfelder inner- halb eines geschlossenen Volumens mittels einer Verteilung von Monopol- und Dipolschallquellen (Lautsprecherarrays) auf der Oberfläche dieses Volumens erzeugt werden können. Bei der Wellenfeldsynthese wird aus einem Audiosignal, das eine virtuelle Quelle an einer virtuellen Position aussendet, eine Synthesesignal für jeden Lautsprecher des Laut- sprecherarrays berechnet, wobei die Synthesesignale derart hinsichtlich Amplitude und Phase gestaltet sind, dass eine Welle, die sich aus der Überlagerung der einzelnen durch die im Lautsprecherarray vorhandenen Lautsprecher ausgegebenen Schallwelle ergibt, der Welle entspricht, die von der virtuellen Quelle an der virtuellen Position herrühren wür- de, wenn diese virtuelle Quelle an der virtuellen Position eine reale Quelle mit einer realen Position wäre.
Typischerweise sind mehrere virtuelle Quellen an verschiedenen virtuellen Positionen vorhanden. Die Berechnung der Synthesesignale wird für jede virtuelle Quelle an jeder virtuellen Position durchgeführt, so dass typischerweise eine virtuelle Quelle in Synthesesignalen für mehrere Lautsprecher resultiert. Von einem Lautsprecher aus betrachtet empfängt dieser Lautsprecher somit mehrere Synthesesignale, die auf verschiedene virtuelle Quellen zurückgehen. Eine Überlagerung dieser Quellen, die aufgrund des linearen Superpositionsprinzips möglich ist, ergibt dann das von dem Lautsprecher tatsächlich ausgesendete Wiedergabesignal.
Die Möglichkeiten der Wellenfeldsynthese können um so besser ausgeschöpft werden, je größer die Lautsprecherarrays sind, d. h. um so mehr einzelne Lautsprecher bereitgestellt werden. Damit steigt jedoch auch die Rechenleistung, die eine Wellenfeldsyntheseeinheit vollbringen muss, da typi- scherweise auch Kanalinformationen berücksichtigt werden müssen. Dies bedeutet im einzelnen, dass von jeder virtuellen Quelle zu jedem Lautsprecher prinzipiell ein eigener Übertragungskanal vorhanden ist, und dass prinzipiell der Fall vorhanden sein kann, dass jede virtuelle Quelle zu ei- nem Synthesesignal für jeden Lautsprecher führt, bzw. dass jeder Lautsprecher eine Anzahl von Synthesesignalen erhält, die gleich der Anzahl von virtuellen Quellen ist. Wenn insbesondere bei Kinoanwendungen die Möglichkeiten der Wellenfeldsynthese dahingehend ausgeschöpft werden sollen, dass die virtuellen Quellen auch beweglich sein können, so ist zu erkennen, dass aufgrund der Berechnung der Synthese- Signale, der Berechnung der Kanalinformationen und der Erzeugung der Wiedergabesignale durch Kombination der Kanalinformationen und der Synthesesignale ganz erhebliche Rechenleistungen zu bewältigen sind.
Darüber hinaus sei an dieser Stelle angemerkt, dass die Qualität der Audiowiedergabe mit der Anzahl der zur Verfügung gestellten Lautsprecher steigt. Dies bedeutet, dass die Audiowiedergabequalität um so besser und realistischer wird, um so mehr Lautsprecher in dem bzw. den Lautsprecher- arrays vorhanden sind.
Im obigen Szenario könnten die fertig gerenderten und ana- log-digital-gewandelten Wiedergabesignale für die einzelnen Lautsprecher beispielsweise über Zweidrahtleitungen von der Wellenfeldsynthese-Zentraleinheit zu den einzelnen Lautsprechern übertragen werden. Dies hätte zwar den Vorteil, dass nahezu sichergestellt ist, dass alle Lautsprecher synchron arbeiten, so dass hier zu Synchronisationszwecken keine weiteren Maßnahmen erforderlich wären. Andererseits könnte die Wellenfeldsynthese-Zentraleinheit immer nur für einen speziellen Wiedergaberaum bzw. für eine Wiedergabe mit einer festgelegten Anzahl von Lautsprechern hergestellt werden. Dies bedeutet, dass für jeden Wiedergaberaum eine eigene Wellenfeldsynthese-Zentraleinheit gefertigt werden müsste, die ein erhebliches Maß an Rechenleistung zu vollbringen hat, da die Berechnung der Audiowiedergabesignale insbesondere im Hinblick auf viele Lautsprecher bzw. viele virtuelle Quellen zumindest teilweise parallel und in Echtzeit erfolgen muss.
Das Deutsche Patent DE 10254404 B4 offenbart ein System, wie es in Fig. 7 dargestellt ist. Ein Teil ist das zentrale Wellenfeldsynthesemodul 10. Der andere Teil setzt sich aus einzelnen Lautsprechermodulen 12a, 12b, 12c, 12d, 12e zusammen, die mit tatsächlichen physikalischen Lautsprechern 14a, 14b, 14c, 14d, 14e derart verbunden sind, wie es in Fig. 1 gezeigt ist. Es sei darauf hingewiesen, dass die An- zahl der Lautsprecher 14a-14e bei typischen Anwendungen im Bereich über 50 und typischerweise sogar deutlich über 100 liegt. Wird jedem Lautsprecher ein eigenes Lautsprechermodul zugeordnet, so wird auch die entsprechende Anzahl von Lautsprecher-Modulen benötigt. Je nach Anwendung wird es jedoch bevorzugt, von einem Lautsprecher-Modul aus eine kleine Gruppe von nebeneinander liegenden Lautsprechern anzusprechen. In diesem Zusammenhang ist es beliebig, ob ein Lautsprecher-Modul, das mit vier Lautsprechern beispielsweise verbunden ist, die vier Lautsprecher mit demselben Wiedergabesignal speist, oder ob für die vier Lautsprecher entsprechende unterschiedliche Synthesesignale berechnet werden, so dass ein solches Lautsprecher-Modul eigentlich aus mehreren einzelnen Lautsprecher-Modulen besteht, die jedoch physikalisch in einer Einheit zusammengefasst sind.
Zwischen dem Wellenfeldsynthesemodul 10 und jedem einzelnen Lautsprecher-Modul 12a-12e befindet sich eine eigene Übertragungsstrecke lβa-16e, wobei jede Übertragungsstrecke mit dem zentralen Wellenfeldsynthesemodul und einem eigenen Lautsprecher-Modul gekoppelt ist.
Als Datenübertragungsmodus zum Übertragen von Daten von dem Wellenfeldsynthesemodul zu einem Lautsprecher-Modul wird ein serielles Übertragungsformat bevorzugt, das eine hohe Datenrate liefert, wie beispielsweise ein sogenanntes Fire¬ wire-Übertragungsformat oder ein USB-Datenformat. Daten¬ übertragungsraten von über 100 Megabit pro Sekunde sind vorteilhaft.
Der Datenstrom, der von dem Wellenfeldsynthesemodul 10 zu einem Lautsprecher-Modul übertragen wird, wird somit je nach gewähltem Datenformat in dem Wellenfeldsynthesemodul entsprechend formatiert und mit einer Synchronisationsin- formation versehen, die in üblichen seriellen Datenformaten vorgesehen ist. Diese Synchronisationsinformation wird von den einzelnen Lautsprecher-Modulen aus dem Datenstrom extrahiert und verwendet, um die einzelnen Lautsprecher-Module im Hinblick auf ihre Wiedergabe, also letztendlich auf die Analog-Digital-Wandlung zum Erhalten des analogen Lautsprechersignals und die dafür vorgesehene Abtastung (re- sampling) zu synchronisieren. Das zentrale Wellenfeldsyn- thesemodul arbeite als Master, und alle Lautsprecher-Module arbeiten als Clients, wobei die einzelnen Datenströme über die verschiedenen Übertragungsstrecken 16a-16e alle dieselben Synchronisationsinformationen von dem Zentralmodul 10 erhalten. Dies stellt sicher, dass alle Lautsprecher-Module synchron, und zwar synchronisiert von dem Master 10, arbei- ten, was für das Audiowiedergabesystem wichtig ist, um keinen Verlust an Audioqualität zu erleiden, damit die vom Wellenfeldsynthesemodul berechneten Synthesesignale nicht zeitversetzt von den einzelnen Lautsprechern nach entsprechendem Audio-Rendering abgestrahlt werden.
Das beschriebene Konzept liefert zwar bereits eine deutliche Flexibilität im Hinblick auf ein Wellenfeldsynthese- System, das für verschiedene Anwendungsmöglichkeiten skalierbar ist. Es leidet jedoch nach wie vor an der Problema- tik, dass das zentrale Wellenfeldsynthese-Modul, das das eigentliche Haupt-Rendering durchführt, das also abhängig von den Positionen der virtuellen Quellen und abhängig von den Lautsprecherpositionen die einzelnen Synthese-Signale für die Lautsprecher berechnet, einen „Flaschenhalsw für das gesamte System darstellt. Obgleich bei diesem System das „Nach-RenderingλX, also die Beaufschlagung der Synthesesignale mit Kanalübertragungsfunktionen, etc. bereits dezentral ausgeführt wird und somit bereits die notwendige Datenübertragungskapazität zwischen dem zentralen Renderer- Modul und den einzelnen Lautsprecher-Modulen durch Selektion von Synthesesignalen mit einer kleineren Energie als einer bestimmten Schwellenenergie reduziert worden ist, müssen jedoch dennoch alle virtuellen Quellen gewissermaßen für alle Lautsprechermodule gerendert werden, also in Synthesesignale umgerechnet werden, wobei die Ausselektion erst nach dem Rendering stattfindet.
Dies bedeutet, dass das Rendering nach wie vor die Gesamt- kapazität des Systems bestimmt. Ist die zentrale Rendering- Einheit daher z. B. in der Lage, 32 virtuelle Quellen gleichzeitig zu rendern, also für diese 32 virtuellen Quel¬ len die Synthesesignale gleichzeitig zu berechnen, so tre- ten ernsthafte Kapazitätsengpässe auf, wenn mehr als 32 Quellen zu einem Zeitpunkt in einer Audioszene aktiv sind. Für einfache Szenen ist dies ausreichend. Für komplexere Szenen, insbesondere mit immersiven Klangeindrücken, also wenn es beispielsweise regnet und viele Regentropfen ein- zelne Quellen darstellen, ist es ummittelbar einsichtig, dass die Kapazität mit maximal 32 Quellen nicht mehr aus¬ reicht. Eine entsprechende Situation findet auch dann statt, wenn man ein großes Orchester hat und tatsächlich jeden Orchesterspieler oder wenigstens jede Instrumenten- gruppe als eigene Quelle an ihrer eigenen Position verarbeiten möchte. Hier können 32 virtuelle Quellen sehr schnell zu wenig werden.
Typischerweise wird bei dem bekannten Wellenfeldsynthese- Konzept eine Szenenbeschreibung verwendet, in der die einzelnen Audioobjekte derart zusammen definiert sind, dass unter Verwendung der Daten in der Szenenbeschreibung und der Audiodaten für die einzelnen virtuellen Quellen die komplette Szene durch einen Renderer bzw. eine Multi- Rendering-Anordnung aufbereitet ' werden kann. Hierbei ist für jedes Audioobjekt exakt definiert, wo das Audioobjekt zu beginnen hat und wo das Audioobjekt zu enden hat. Ferner ist für jedes Audioobjekt genau die Position der virtuellen Quelle angegeben, an der die virtuelle Quelle sein soll, die also in die Wellenfeldsynthese-Rendering-Einrichtung einzugeben ist, damit für jeden Lautsprecher die entspre¬ chenden Synthesesignale erzeugt werden. Dies hat zur Folge, dass durch Überlagerung der von den einzelnen Lautsprechern als Reaktion auf die Synthesesignale ausgegebenen Schallwellen für einen Hörer ein Eindruck entsteht, als ob eine Schallquelle an einer Position im Wiedergaberaum bzw. außerhalb des Wiedergaberaums positioniert ist, die durch die Quellenposition der virtuellen Quelle definiert ist.
Typischerweise sind die Kapazitäten des Wellenfeldsynthese- Systems begrenzt. Dies führt dazu, dass jeder Renderer eine begrenzte Rechenkapazität hat. Typischerweise ist ein Ren- derer in der Lage, 32 Audioquellen gleichzeitig zu verarbeiten. Ferner hat ein Übertragungsweg von dem Audioserver zum Renderer eine begrenzte Übertragungsbandbreite, also liefert eine maximale Übertragungsrate in Bit pro Sekunde.
Für einfache Szenen, in denen z. B. nur, wenn an einen Dialog gedacht wird, zwei virtuelle Quellen existieren, wobei zusätzlich noch für ein Hintergrundgeräusch eine weitere virtuelle Quelle vorhanden ist, ist die Verarbeitungskapazität des Renderers, der ja z. B. 32 Quellen gleichzeitig verarbeiten kann, unproblematisch. Ferner ist in diesem Fall das Übertragungsvolumen zu einem Renderer so klein, dass die Kapazität der Übertragungsstrecke ausreichend ist.
Probleme werden jedoch dann auftreten, wenn komplexere Sze- nen wiederzugeben sind, also Szenen, die mehr als 32 virtuelle Quellen haben. In einem solchen Fall, der beispielsweise auftritt, um eine Szene im Regen korrekt wiederzugeben, oder um eine Applausszene naturgetreu wiederzugeben, wird die maximale Rechenkapazität eines Renderers, der auf 32 virtuelle Quellen begrenzt ist, schnell nicht mehr ausreichend sein. Dies liegt daran, dass sehr viele einzelne virtuelle Quellen existieren, da z. B. in einer Zuhörerschaft prinzipiell jeder Zuhörer, der klatscht, als eigene virtuelle Quelle an einer eigenen virtuellen Positi- on aufgefasst werden kann. Um mit dieser Begrenzung umzugehen, existieren mehrere Möglichkeiten. So besteht eine Möglichkeit darin, bereits beim Erstellen der Szenenbeschrei- bung darauf zu achten, dass niemals ein Renderer gleichzeitig 32 Audioobjekte verarbeiten muss.
Insbesondere wenn an eine Kapazitätsvergrößerung der WeI- lenfeldsynthese-Verarbeitung gedacht wird, wenn also eine große Anzahl von virtuellen Quellen durch einzelne oder mehrere Renderer-Module aufbereitet werden sollen, wird es irgendwann zu Kapazitätsengpässen kommen. Dies liegt daran, dass ein typischer Renderer nur eine bestimmte maximale An- zahl von virtuellen Quellen gleichzeitig verarbeiten kann. Diese Anzahl kann beispielsweise bei 32 liegen. Die maximale Verarbeitungskapazität eines Renderers ist jedoch nicht der einzige Flaschenhals eines Systems. So muss ein Renderer dann, wenn er z. B. 32 virtuelle Quellen gleichzeitig verarbeiten soll, auch mit den entsprechenden Audiodateien für die 32 virtuellen Quellen gleichzeitig versorgt werden. Typischerweise hat ein Renderer einen Eingangspuffer, der die Anforderungen an die Datenübertragung zwar etwas entzerrt, der jedoch insbesondere dann, wenn der Renderer sehr viele Quellen gleichzeitig verarbeitet, wenn also sehr viele Daten vom Puffer genommen werden, auch entsprechend schnell gefüllt werden muss.
Ist die Datenübertragungs-Infrastruktur so gestaltet, dass sie mit der Datennachlieferung nicht mehr hinterherkommt, so gehen dem Renderer gewissermaßen Daten zum Aufbereiten aus. Der Renderer könnte eine solche Situation noch etwas kompensieren, indem er einfach die letzten Daten so lange wiederholt, bis neue Daten ankommen. Dies ist jedoch in der Datenverwaltung aufwendig und kann zu hörbaren Artefakten führen. Diese Artefakte werden schlimmer sein, wenn die virtuelle Quelle eine Quelle mit einer deterministischen Information ist, wie beispielsweise Sprache, Musik, etc. Weniger kritisch wird diese Wiederholung von vorhandenen Daten sein, wenn die virtuelle Quelle eine Rauschquelle o- der allgemein gesagt eine Geräuschquelle ist. Allerdings ist auch eine Unterscheidung hierbei problematisch, und zwar insbesondere in dem Kontext, dass solche „zusätzli- chen" Aufgaben für einen Renderer eigentlich genau dann durchzuführen wären, wenn der Renderer ohnehin bereits an seiner maximalen Auslastungsgrenze fährt, was ja letztendlich die Ursache für das „Ausgehen" der zu rendernden Au- diodaten war.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Speichern von Audiodateien zu schaffen, das eine höher qualitative und einfacher implementierbare Wellen- feldsynthese ermöglicht.
Diese Aufgabe wird durch eine Vorrichtung zum Speichern von Audiodateien nach Patentanspruch 1, ein Verfahren zum Speichern von Audiodateien nach Patentanspruch 13 und ein Com- puter-Programm nach Patentanspruch 14 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass eine effiziente Datenorganisation entscheidend ist, dass ein Renderer auch dann, wenn er an seiner Auslastungs- grenze arbeitet, mit genügend Daten versorgt wird. Typischerweise werden die Daten, mit denen der Renderer versorgt wird, aus einem Speichergerät ausgelesen, wie beispielsweise einer Festplatte eines PC oder einer Workstation.
Es wurde jedoch herausgefunden, dass die Zugriffszeiten auf die Audiodateien wesentlich davon abhängen, wie die Audiodateien auf dem Speichermedium in dem Speichergerät gespeichert sind. Ein dauerndes Springen des Schreib/Lese-Kopfes der Festplatte führt dazu, dass die Auslese-Performance des Speichergeräts so stark abnimmt, dass in bestimmten Situationen nicht mehr sichergestellt werden kann, dass ein Renderer mit ausreichend Daten versorgt wird. So wurde ferner herausgefunden, dass dies insbesondere in einer Szene der Fall sein kann, in der der Renderer ohnehin an seiner Auslastungsgrenze oder nahe an seiner Auslastungsgrenze arbeitet. Dagegen ist die Situation dann unproblematischer, wenn der Renderer in einer anderen Szene nicht so sehr an seiner Auslastungsgrenze arbeitet und daher auch nicht so viele Daten benötigt. Hier sind daher Sprünge des Schreib/Lese- Kopfes des Speichergeräts gut hinnehmbar.
Erfindungsgemäß wird daher gewissermaßen als Vorbereitung einer Wellenfeldsynthese-Wiedergabe eine effiziente Speicherung der Audiodateien vorgenommen, wobei eine Szenenübergreifende Speicheroptimierung angewendet wird. So werden die Szenenbeschreibungen untersucht, um eine erste Sze- ne herauszufinden, die eine höhere Verarbeitungskapazität des Wellenfeldsynthese-Systems fordert als eine andere zweite Szene. Dann wird die Schreibeinrichtung des Speichergeräts so gesteuert, dass sie die Audiodateien, die durch die Szenenbeschreibung der ersten Szene identifiziert sind, so auf das Speichergerät schreibt, dass eine Leseeinrichtung des Speichergeräts die Audiodateien für die erste Szene schneller auslesen kann als wenn die Audiodateien für die erste Szene rein zufällig auf dem Speichergerät gespeichert sind. Im Gegensatz zu einer normalen Festplattenumge- bung, bei der Dateien immer dort auf der Festplatte gespeichert werden, wo der Lesekopf gerade ist, also in einer gewissen zufälligen Art und Weise, werden erfindungsgemäß die Audiodateien für die Szene, die das Wellenfeldsynthese- System stark auslastet, optimiert geschrieben, was natür- lieh dazu führt, dass die Audiodateien für andere Szenen nicht optimal geschrieben werden. Dies ist jedoch dahingehend unproblematisch, da bei anderen Szenen ein Speichergerät mehr Zugriffszeit haben kann, da die für die andere Szene erforderliche Datenübertragungsrate ohnehin nicht so hoch ist, da weniger virtuelle Quellen parallel zu verarbeiten sind.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird insbesondere für Audiodateien, die in mehre- ren Szenen verwendet werden, eine Speicherung der Audiodateien auf dem Speichergerät so vorgenommen, dass der Speicherzugriff für die Szene, die die höchste Auslastung des Wellenfeldsynthese-Systems mit sich bringt, optimal ge- schrieben ist, während viele Sprünge für andere Szenen, die auf dieselbe Audiodatei zugreifen, in Kauf genommen werden.
In einem Speichergerät mit mehreren parallel verwendbaren Einzelspeichermedien, wie beispielsweise einem RAID-Array, wird es bevorzugt, parallel zu verwendende Audiodateien auf parallelen Einzelspeichermedien abzuspeichern, damit sie für die Szene, wo ohnehin ein Kapazitätsproblem vorherrscht, maximal schnell ausgelesen werden, während für andere Szenen gleichzeitig zu verarbeitende Audiodateien nicht auf getrennten Platten sondern z. B. auf ein und derselben Platte sind, was jedoch im Hinblick auf die dort ohnehin nicht so hohe Auslastung unkritisch ist.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild des erfindungsgemäßen Kon- zepts zum Speichern von Audiodateien;
Fig. Ib ein beispielhaftes Audiostück mit Szenen unterschiedlicher Wellenfeldsynthese-System- Auslastung;
Fig. Ic ein erstes Beispiel für eine optimierte Szenenübergreifende Speicherung;
Fig. Id ein zweites Beispiel für eine optimierte Szenen- übergreifende Speicherung;
Fig. 2 ein beispielhaftes Audioobjekt;
Fig. 3 eine beispielhafte Szenenbeschreibung;
Fig. 4 einen Bitstrom, in dem jedem Audioobjekt ein Header mit den aktuellen Zeitdaten und Positionsdaten zugeordnet ist; Fig. 5 eine Einbettung des erfindungsgemäßen Konzepts in ein Wellenfeldsynthese-GesamtSystem;
Fig. 6 eine schematische Darstellung eines bekannten Wellenfeldsynthese-Konzepts; und
Fig. 7 eine weitere Darstellung eines bekannten Wellen- feldsynthese-Konzepts .
Fig. 1 zeigt eine erfindungsgemäße Vorrichtung zum Speichern von Audiodateien für ein Audiostück in einem Speichergerät mit einer Schreibeinrichtung und einer Leseeinrichtung, die bei dem in Fig. Ia gezeigten Ausführungsbei- spiel als gemeinsamer Schreib/Lese-Kopf 2 ausgebildet ist. Das Audiostück soll durch einen Renderer eines Wellenfeld- synthese-Systems 3 aufbereitet werden. Das Audiostück um- fasst insbesondere mehrere Szenen, wobei für jede Szene eine eigene Szenenbeschreibung vorgesehen ist, und wobei eine Szene eine zeitliche Folge von Audioobjekten der Szene aufweist. Insbesondere umfasst ein Audioobjekt Informationen über eine virtuelle Quelle und eine Identifikation für eine dem Audioobjekt zugeordnete Audiodatei.
Erfindungsgemäß ist eine Einrichtung 4 zum Untersuchen der Szenenbeschreibungen und zum Ermitteln einer ersten Szene, die eine höhere Verarbeitungskapazität des Wellenfeldsyn- these-Systems fordert als eine zweite Szene vorgesehen. Hierzu können, wie es in Fig. Ia gezeigt ist, der Einrich- tung 4 gegebenenfalls Informationen über das Wellenfeldsyn- these-System 3 und insbesondere über die aktuelle Auslastung des Renderers im Wellenfeldsynthese-System zugeführt werden. Die Einrichtung 4 steuert eine Steuereinrichtung 5. Die Steuereinrichtung 5 ist ausgebildet, um den Schreib- Lese-Kopf 2 so zu steuern, dass Audiodateien, die durch die Szenenbeschreibung der ersten Szene identifiziert werden, also Audiodateien für die Szene mit höherer Auslastung, so auf dem Speichergerät 1 geschrieben werden, dass die Lese- einrichtung 2 die Audiodateien für die erste Szene schneller auslesen kann als wenn die Audiodateien für die erste Szene zufällig auf dem Speichergerät gespeichert worden wären. Die Audiodateien kommen vorzugsweise von einem weite- ren Speichergerät 6, das eine CD oder DVD sein kann und werden entweder direkt über die Steuereinrichtung auf das Speichergerät geschrieben oder werden gesteuert von der Steuereinrichtung direkt von dem zusätzlichen Speicher 6 dem Schreib-Lese-Kopf 2 des Speichergeräts 1 natürlich in der richtigen Reihenfolge, wie sie durch die Steuereinrichtung 5 bestimmt worden ist, zugeführt.
Die Steuereinrichtung 5 ist insbesondere ausgebildet, um das Speichergerät 1, das z. B. eine Festplatte ist, so zu beschreiben, dass auf jeden Fall keine Fraktionierung auftritt, dass also alle Audiodateien durchgehend geschrieben werden. Ferner ist die Steuereinrichtung ausgebildet, um Audiodateien an bestimmten Stellen in der Festplatte zu schreiben. Es wird also das Abspeichern, also das tatsäch- liehe Beschreiben der physischen Festplatte, nicht mehr, wie in herkömmlichen Festplatten, der Festplattensteuerung allein bzw. dem Zufall überlassen. Statt dessen ist die Steuereinrichtung 5 ausgebildet, um den Schreib-Lese-Kopf 2 des Speichergeräts 1 genau so zu steuern, dass Audiodateien genau in einer bestimmten Reihenfolge und Anordnung auf dem Speichergerät gespeichert werden. Damit wird sichergestellt, dass dann, wenn das Wellenfeldsynthese-System ein Audiostück abspielen soll, der Lesekopf zumindest für die Szenen, bei denen das Wellenfeldsynthese-System ohnehin an seiner Auslastungsgrenze arbeitet, möglichst schnell auslesen kann, also z. B. entlang einer Spur ohne dazwischen auftretende Sprünge eine Audiodatei nach der anderen lesen und dem Wellenfeldsynthese-System 3 zuführen kann. Dagegen werden für andere Szenen, wie es noch Bezug nehmend auf Fig. Id beschrieben wird, Sprünge in Kauf genommen, was je¬ doch für diese Szenen nicht so schlimm ist, da ohnehin die zum Renderer zu übertragenden Daten nicht so voluminös sind. An dieser Stelle sei darauf hingewiesen, dass aufgrund der inhärenten Dynamik von Audiostücken insbesondere bei anspruchsvollen Audioszenen, wie sie erfindungsgemäß verar- beitet werden sollen, die Auslastung des Wellenfeldsynthe- se-Systems keineswegs konstant ist. Stattdessen wird sich das Auslastungsprofil durch eine außerordentlich hohe Dynamik auszeichnen. So werden genauso Szenen vorhanden sein oder Abschnitte in Szenen, bei denen die Auslastung sehr gering ist, während dann unmittelbar anschließend die Auslastung sofort an die Maximalgrenze gehen kann. Eine solche Situation kann man sich dann gut vorstellen, wenn ein Musikstück von einem Instrument (nur eine Quelle) verklingt und dann unmittelbar der Applaus (sehr viele verschiedene Quellen) des Publikums startet.
Erfindungsgemäß werden die Audiodateien Szenen-übergreifend optimiert gespeichert. Hierzu wird untersucht, welche Audiodateien überhaupt benötigt werden, wenn eine Szene mit hoher Auslastung abgespielt wird, um dann eben genau diese Audiodateien optimiert abzuspeichern.
Wie es in Fig. Ia gezeigt ist, umfasst ein Wellenfeldsyn- these-System 3 als zentrales Element einen Renderer oder mehrere Renderer-Module. Angesteuert werden die Renderer typischerweise von einem Scheduler, welcher vorzugsweise ausgebildet ist, um unter Verwendung gegebenenfalls vorgesehener Audioobjektmanipulationen die Datenströme für die Renderer zu erzeugen. Der Scheduler ist somit dafür verant- wortlich, die Daten schnell aus dem Speichergerät 1 auszulesen und dem nachgeordneten Renderer zuzuführen, welcher dann aus den Audiodateien Synthesesignale erzeugt, die den einzelnen Lautsprechern im Lautsprecherarray zugeführt werden.
Das erfindungsgemäße Abspeichern der Audiodateien in Sze¬ nen-übergreifend optimierter Form dient also einer Vorbe¬ reitung der eigentlichen Wellenfeldsynthese-Aufbereitung, die in Fig. Ia auch mit „Abspielen" bezeichnet ist. Das er¬ findungsgemäße Szenen-übergreifend optimierte Speichern dient also dazu, dass beim Abspielen ein schnelles Daten¬ auslesen stattfinden kann, das so schnell ist, dass zumin- dest die Speicherschnittstelle nicht der Flaschenhals der Wellenfeldsynthese-Verarbeitung sein wird.
Fig. Ib zeigt ein beispielhaftes Audiostück mit einer ers¬ ten Szene und einer zweiten Szene, wobei in der ersten Sze- ne parallel vier Quellen bzw. vier Audiodateien ADl, AD2, AD3, AD4 aufbereitet werden müssen, während in der zweiten Szene höchstens drei Audiodateien parallel aufbereitet wer¬ den müssen, nämlich AD6, AD7 und ADl.
Erfindungsgemäß wird nachfolgend anhand von Fig. Ic eine Speicheroptimierung dargestellt, die für mehrere parallele Platten ausgebildet ist. So wird als Priorität genommen, dass die Audiodateien der ersten Szene optimal gespeichert werden, was dazu führt, dass die Audiodateien ADl, AD2 auf der Platte 1 gespeichert werden und die Audiodateien AD3, AD4 auf der Platte 2. Diese Speicherung ist, wie es aus Fig. Ic zu sehen ist, für die zweite Szene nachteilhaft, da dort ADl und AD7 gleichzeitig benötigt werden, da diese beiden Audiodateien parallel zueinander aufbereitet werden. Dennoch sind beide Dateien auf derselben Platte 1 gespei¬ chert und ferner noch durch die Audiodatei AD2 voneinander getrennt. Zum Auslesen der Audiodateien für die zweite Sze¬ ne wird die Festplatte daher einige Sprünge machen müssen und kann ferner nicht von der parallelen Anordnung von Platte 1 und Platte 2 profitieren. Allerdings ist dies auch unkritisch, da die Datenanforderung in der zweiten Szene ohnehin geringer ist als in der ersten Szene, da in der zweiten Szene die Auslastung des Wellenfeldsynthese- Systems geringer als in der ersten Szene ist.
Fig. Id zeigt eine Anordnung der Audiodateien auf einer Spur 7 auf einem Speichermedium, wie beispielsweise einer Festplatte. Beispielhaft zeigt Fig. Id eine serielle Anord- nung auf einem einzigen Speichermedium im Gegensatz zum Pa- rallel-Speichermedium von Fig. Ic. So ist zu sehen, dass die Audiodateien der ersten Szene nacheinander abgespeichert sind, sodass ein Lesekopf nicht springen muss, um die Audiodateien der ersten Szene einzulesen. Dies führt zu einer sehr schnellen Datenbereitstellung der Audiodateien ADl bis AD4.
Zum Einlesen der Audiodateien der zweiten Szene sind jedoch einige Sprünge erforderlich. So muss der Lesekopf des Spei¬ chergeräts nach dem Einlesen der Audiodatei AD5 zur Audiodatei AD2 springen, um dann, nachdem die Audiodatei AD2 eingelesen worden ist, wieder zurück zur Audiodatei ADβ zu springen. Ähnlich ist die Situation auch dann, wenn nach der Audiodatei AD7 die Audiodatei ADl eingelesen werden muss.
So ist zu sehen, dass bei dem in Fig. Id gezeigten Ausführungsbeispiel zum Einlesen der ersten Szene keinerlei Sprünge des Lesekopfs benötigt werden, während zum Einlesen der zweiten Szene bereits vier Sprünge des Lesekopfs benötigt werden, die den Zugriff auf die Daten im Speichergerät verlangsamen, was jedoch für die zweite Szene wesentlich weniger kritisch ist als für die erste Szene, bei der es von hoher Bedeutung ist, dass die Daten reibungslos ausgelesen werden, damit dem Renderer zum Aufbereiten der ersten Szene nicht die Daten ausgehen.
Erfindungsgemäß wird also der Tatsache Rechnung getragen, dass die Datenorganisation für die effiziente Datenausgabe entscheidend ist. Die notwendige Transferrate zum Speisen eines Renderers kann von Medien von CD oder DVD bei vielen Ausführungsbeispielen nicht gewährleistet werden. Daher ist eine Festplatten-basierte Verwaltung notwendig. Erfindungs- gemäß wird für komplexe Szenen eine Optimierung des Speicherlayouts vorgenommen, um die Einhaltung der Zeitforderungen zu garantieren. Erfindungsgemäß wird somit eine effiziente Auslieferung der Audio- und Metadaten einerseits und eine effiziente Datenorganisation andererseits erreicht. So lässt sich über die Metadaten die Abspielreihenfolge der Audiodaten entspre- chend der objektorientierten Szenenbeschreibung festlegen. Ist die Abspielreihenfolge bekannt, so kann der Zugriff auf die Audiodaten beim Abspielen optimiert werden. Der Rechner muss sich nicht mehr an beliebigen Stellen auf der Festplatte oder anderen Speichermedien die Audiodaten „zusam- mensuchen", sondern ist in der Lage, die Audiodaten hintereinander wegzulesen, ohne dass der Lesezugriff große Sprünge im Speicher erfordert. Durch die Reduktion des Aufwands beim Lesezugriff auf die Audiodaten ist es möglich, die Ressourcen effizienter zu nutzen und somit mehr Audioobjek- te gleichzeitig in Echtzeit zu verarbeiten.
Bei der Datenorganisation wird es bevorzugt, eine zentrale Datenbank zu verwenden. Durch die zentrale Organisation wird die Konsistenz der Audio- und Metadaten gewährleistet. Des weiteren erleichtert der Einsatz einer Datenbank die Produktion von Wellenfeldsynthese-Szenen erheblich. So wird es bevorzugt, eine Datenbank einzusetzen, die einen Suchmechanismus zum Finden bestimmter Daten in der Datenbank erlaubt. Damit wird eine Szenen-übergreifende Wiederverwend- barkeit von Audioobjekten geschaffen. Audiodaten können so beispielsweise in mehreren Szenen gleichermaßen verwendet werden, ohne dass diese beim Erstellen einer neuen Szene erneut importiert werden müssen. Weiterhin lässt sich mit Hilfe der Datenbank die Versionierung von Audio- und Meta- daten realisieren. Dies erlaubt es, dass der Nutzer den Zugriff auf ältere Versionen seiner Szenenbeschreibung erhält, was den Produktionsprozess ebenfalls erleichtert.
An dieser Stelle sei darauf hingewiesen, dass das Speicher- gerät nicht unbedingt eine zentrale Datenbank sein muss, sondern als ganz normaler Datei-Server ausgeführt sein kann. Es wird jedoch bevorzugt, eine Audiodatenbank einzusetzen, die insbesondere dann von Vorteil ist, wenn be- stimmtes Audiomaterial von verschiedenen unterschiedlichen Szenen verwendet wird. So kennt die Audiodatenbank alle Szenen und weiß, welche Szenen welches Audiomaterial wann verwenden. Ferner hat die Audiodatenbank Zugriff auf die Audiodaten und kann die Speicherfolge der Audiodaten auf der Festplatte bestimmen. Außerdem kann die Audiodatenbank eine optimale Szenen-übergreifende Speicherreihenfolge für die Audiodaten erstellen. Schließlich kann die Audiodaten¬ bank auch Engpässe entdecken und bei der Abspeicherung der Audiodaten entsprechend darauf reagieren.
Erfindungsgemäß kann dies alternativ auch darüber reali¬ siert werden, dass man alle Szenendateien an einer zentra¬ len Stelle speichert und ein Programm realisiert, das alle Szenendateien ausliest und daraus die Speicherreihenfolge der Audiodateien auf dem Server ableitet. Eine Datenbank erzwingt jedoch die zentrale Speicherung der Szenendateien, welche für die Optimierung der Reihenfolge der Speicherung der Audiodateien bevorzugt wird.
Erfindungsgemäß wird also eine zeitliche und räumliche An¬ ordnung von Audioquellen und eine daraus folgende Optimie¬ rung der Speicherreihenfolge der Audiodaten auf dem Speichermedium vorgenommen. Hierzu wird eine Szenen- übergreifende Optimierung der Daten verwendet, die vorzugs¬ weise auf eine zentrale Speicherung und Verwaltung von Szenen zurückgreift.
Nachfolgend wird Bezug nehmend auf Fig. 2 auf Informationen hingewiesen, die ein Audioobjekt vorteilhaft haben sollte. So soll ein Audioobjekt die Audiodatei spezifizieren, die gewissermaßen den Audioinhalt einer virtuellen Quelle dar¬ stellt. So muss das Audioobjekt jedoch nicht die Audiodatei umfassen, sondern kann einen Index haben, der auf eine de- finierte Stelle in einer Datenbank verweist, an der die tatsächliche Audiodatei gespeichert ist. Ferner umfasst ein Audioobjekt vorzugsweise eine Identifi¬ kation der virtuellen Quelle, die beispielsweise eine Quellennummer oder ein aussagefähiger Dateiname etc. sein kann. Ferner spezifiziert das Audioobjekt bei der vorliegenden Erfindung eine Zeitspanne für den Beginn und/oder das Ende der virtuellen Quelle, also der Audiodatei. Wird nur eine Zeitspanne für den Beginn spezifiziert, so bedeutet dies, dass der tatsächliche Startpunkt der Aufbereitung dieser Datei durch den Renderer innerhalb der Zeitspanne verändert werden kann. Wird zusätzlich eine Zeitspanne für das Ende vorgegeben, so bedeutet dies, dass auch das Ende innerhalb der Zeitspanne variiert werden kann, was insgesamt je nach Implementierung zu einer Variation der Audiodatei auch hinsichtlich ihrer Länge führen wird. Jegliche Implementierun- gen sind möglich, so z. B. auch eine Definition der Start/Endzeit einer Audiodatei so, dass zwar der Startpunkt verschoben werden darf, dass jedoch auf keinen Fall die Länge verändert werden darf, sodass damit automatisch das Ende der Audiodatei ebenfalls verschoben wird. Insbesondere für Geräusche wird es jedoch bevorzugt, auch das Ende variabel zu halten, da es typischerweise nicht problematisch ist, ob z. B. ein Windgeräusch etwas früher oder später anfängt, oder ob es etwas früher oder später endet. Weitere Spezifizierungen sind je nach Implementierung möglich bzw. erwünscht, wie beispielsweise eine Spezifikation, dass zwar der Startpunkt variiert werden darf, nicht jedoch der Endpunkt, etc.
Vorzugsweise umfasst ein Audioobjekt ferner eine Ortsspanne für die Position. So wird es für bestimmte Audioobjekte keine Rolle spielen, ob sie z. B. von vorne links oder vor¬ ne Mitte kommen, oder ob sie um einen (kleinen) Winkel bezüglich eines Bezugspunkts im Wiedergaberaum verschoben werden. So existieren jedoch auch, wie es ausgeführt worden ist, Audioobjekte insbesondere wieder aus dem Geräuschbereich, die an jeder beliebigen Stelle positioniert werden können und damit eine maximale Ortsspanne haben, die beispielsweise durch einen Code für „beliebig" oder durch kei- nen Code (implizit) im Audioobjekt spezifiziert werden kann.
Ein Audioobjekt kann weitere Informationen umfassen, wie beispielsweise eine Angabe über die Art der virtuellen
Quelle, also ob es sich bei der virtuellen Quelle um eine
Punktquelle für Schallwellen handeln muss, oder ob es sich um eine Quelle für ebene Wellen handeln muss, oder ob es sich um eine Quelle handeln muss, die Quellen beliebiger Wellenfront erzeugt, sofern die Renderer-Module in der Lage sind, solche Informationen zu verarbeiten.
Fig. 3 zeigt beispielhaft eine schematische Darstellung einer Szenenbeschreibung, in der die zeitliche Abfolge ver- schiedener Audioobjekte AOl, .... AOn+1 dargestellt ist. Insbesondere wird auf das Audioobjekt AO3 hingewiesen, für das eine Zeitspanne, wie sie in Fig. 3 eingezeichnet ist, definiert ist. So können sowohl der Startpunkt als auch der Endpunkt des Audioobjekts AO3 in Fig. 3 um die Zeitspanne verschoben werden. Die Definition des Audioobjekts A03 lautet jedoch dahingehend, dass die Länge nicht verändert werden darf, was jedoch von Audioobjekt zu Audioobjekt variabel einstellbar ist.
So ist zu sehen, dass durch Verschieben des Audioobjekts AO3 in positiver zeitlicher Richtung eine Situation erreicht werden kann, bei der das Audioobjekt A03 erst nach dem Audioobjekt A02 beginnt. Werden beide Audioobjekte auf demselben Renderer abgespielt, so kann durch diese Maßnahme eine kurze Überschneidung 20, die ansonsten vielleicht auftreten würde, vermieden werden. Wäre das Audioobjekt A03 im Stand der Technik bereits das Audioobjekt, das über der Kapazität eines Renderers liegen würde, aufgrund bereits sämtlicher weiterer zu verarbeitender Audioobjekte auf dem Renderer, wie beispielsweise Audioobjekt A02 und Audioobjekt AOl, so würde ohne die vorliegende Erfindung eine komplette Unterdrückung des Audioobjekts AO3 auftreten, obgleich die Zeitspanne 20 lediglich sehr klein war. Erfin- dungsgemäß wird das Audioobjekt AO3 durch die Audioobjekt- manipulationseinrichtung 3 verschoben, sodass keine Kapazitätsüberschreitung und damit auch keine Unterdrückung des Audioobjekts A03 mehr stattfindet.
Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Szenenbeschreibung verwendet, die relative Angaben hat. So wird die Flexibilität dadurch erhöht, dass der Beginn des Audioobjekts AO2 nicht mehr in einem absoluten Zeitpunkt gegeben wird, sondern in einem relativen Zeitraum zum Audioobjekt AOl. Entsprechend wird auch eine relative Beschreibung der Ortsangaben bevorzugt, also nicht, dass ein Audioobjekt an einer bestimmten Position xy im Wiedergaberaum anzuordnen ist, sondern z. B. um einen Vektor versetzt zu einem anderen Audioobjekt oder zu einem Referenzobjekt ist.
Dadurch kann die Zeitspanneninformation bzw. Ortsspanneninformation sehr effizient aufgenommen werden, nämlich ein- fach dadurch, dass die Zeitspanne so festgelegt ist, dass sie zum Ausdruck bringt, dass das Audioobjekt A03 z. B. in einem Zeitraum zwischen zwei Minuten und zwei Minuten und 20 Sekunden nach dem Start des Audioobjekts AOl beginnen kann.
Eine solche relative Definition der Raum- und Zeitbedingungen führt zu einer datenbankmäßig effizienten Darstellung in Form von Constraints, wie sie z. B. in „Modeling Output Constraints in Multimedia Database Systems", T. Heimrich, 1. internationale Multimedia Modelling Conference, IEEE, 2. Januar 2005 bis 14. Januar 2005, Melbourne, beschrieben ist. Hier wird die Verwendung von Constraints in Datenbanksystemen dargestellt, um konsistente Datenbankzustände zu definieren. Insbesondere werden zeitliche Constraints unter Verwendung von Alien-Beziehungen und räumliche Constraints unter Verwendung von räumlichen Beziehungen beschrieben. Hieraus können günstige Ausgabe-Constraints zu Synchronisationszwecken definiert werden. Solche Ausgabe-Constraints umfassen eine zeitliche oder räumliche Bedingung zwischen den Objekten, eine Reaktion im Falle einer Verletzung eines Constraints und eine Überprüfungszeit, also wann ein solcher Constraint überprüft werden muss.
Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die räumlichen/zeitlichen Ausgabe-Objekte jeder Szene relativ zueinander modelliert. Die Audioobjekt- manipulationseinrichtung erreicht eine Überführung dieser relativen und variablen Definitionen in eine absolute räumliche und zeitliche Ordnung. Diese Ordnung stellt das Aus- gabe-Schedule dar, das am Ausgang 6a des in Fig. 1 gezeigten Systems erhalten wird und definiert, wie insbesondere das Renderer-Modul im Wellenfeldsynthesesystem angesprochen wird. Das Schedule ist also ein Ausgabeplan, der die Audiodaten entsprechend der Ausgabebedingungen anordnet.
Nachfolgend wird anhand von Fig. 4 ein bevorzugtes Ausführungsbeispiel eines solchen Ausgabe-Schedules dargelegt. Insbesondere zeigt Fig. 4 einen Datenstrom, der gemäß Fig. 4 von links nach rechts übertragen wird, also von der Audioobjekt-Manipulationseinrichtung 3 von Fig. 1 zu einem oder mehreren Wellenfeldsynthese-Renderern des Wellenfeld- systems 0 von Fig. 1. Insbesondere umfasst der Datenstrom für jedes Audioobjekt bei dem in Fig. 4 gezeigten Ausführungsbeispiel zunächst einen Header H, in dem die Positionsinformationen und die Zeitinformationen stehen, und nachgeordnet eine Audiodatei für das spezielle Audioobjekt, die in Fig. 4 mit AOl für das erste Audioobjekt, A02 für das zweite Audioobjekt etc. bezeichnet ist.
Ein Wellenfeldsynthese-Renderer erhält dann den Datenstrom und erkennt z. B. an einer vorhandenen und fest vereinbarten Synchronisationsinformation, dass nunmehr ein Header kommt. Anhand einer weiteren Synchronisationsinformation erkennt der Renderer dann, dass der Header nunmehr vorbei ist. Alternativ kann für jeden Haeder auch eine feste Länge in Bits vereinbart werden. Nach dem Empfang des Headers weiß der Audio-Renderer bei dem in Fig. 4 gezeigten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung automatisch, dass die nachfolgende Audiodatei, also z. B. AOl, zu dem Audioobjekt, also zu der Quellenposition gehört, die in dem Header identifiziert ist.
Fig. 4 zeigt eine serielle Datenübertragung zu einem WeI- lenfeldsynthese-Renderer. Allerdings werden natürlich mehrere Audioobjekte gleichzeitig in einem Renderer abgespielt. Daher benötigt der Renderer einen Eingangs-Puffer, dem eine Datenstrom-Leseeinrichtung vorausgeht, um den Datenstrom zu parsen. Die Datenstromleseeinrichtung wird dann den Header interpretieren und die zugehörigen Audiodaten entsprechend speichern, damit der Renderer dann, wenn ein Audioobjekt zum Rendern an der Reihe ist, die korrekte Audiodatei und die korrekte Quellenposition aus dem Eingangspuffer ausliest. Andere Daten für den Datenstrom sind na- türlich möglich. Auch eine separate Übertragung sowohl der Zeit/Orts-Informationen als auch der tatsächlichen Audiodaten kann verwendet werden. Die in Fig. 4 dargestellte kombinierte Übertragung wird jedoch bevorzugt, da sie durch Verkettung der Positions/Zeit-Informationen mit der Audio- datei Datenkonsistenzprobleme eliminiert, da immer sichergestellt wird, dass der Renderer für Audiodaten auch die richtige Quellenposition hat und nicht z. B. noch Audiodaten von einer früheren Quelle rendert, jedoch bereits Positionsinformationen der neuen Quelle zum Rendern verwendet.
Die vorliegende Erfindung basiert somit auf einem objektorientierten Ansatz, dass also die einzelnen virtuellen Quellen als Objekte aufgefasst werden, die sich durch eine Audiodatei und eine virtuelle Position im Raum und mögli- cherweise durch die Art und Weise der Quelle auszeichnen, also ob sie eine Punktquelle für Schallwellen oder eine Quelle für ebene Wellen oder eine Quelle für anders geformte Quellen sein soll. Wie es ausgeführt worden ist, ist die Berechnung der Wellenfelder sehr rechenzeitintensiv und an die Kapazitäten der verwendeten Hardware, wie beispielsweise Soundkarten und Rechner, im Zusaitimenspiel mit der Effizienz der Berechnungsalgorithmen gebunden. Auch die beste ausgestattete PC- basierte Lösung stößt somit bei der Berechnung der Wellen- feldsynthese schnell an ihre Grenzen, wenn viele anspruchsvolle Klangereignisse gleichzeitig dargestellt werden sol- len. So gibt die Kapazitätsgrenze der verwendeten Soft- und Hardware die Beschränkung hinsichtlich der Anzahl der virtuellen Quellen bei der Abmischung und Wiedergabe vor.
Fig. 6 zeigt ein solches in seiner Kapazität begrenztes be- kanntes Wellenfeldsynthese-Konzept, das ein Authoring- Werkzeug 60, ein Steuer-Renderer-Modul 62 und einen Audioserver 64 umfasst, wobei das Steuer-Renderer-Modul ausgebildet ist, um ein Lautsprecherarray 66 mit Daten zu versorgen, damit das Lautsprecher-Array 66 eine gewünschte Wellenfront 68 durch Überlagerung der Einzelwellen der einzelnen Lautsprecher 70 erzeugt. Das Authoring-Werkzeug 60 erlaubt es dem Nutzer, Szenen zu erstellen, zu editieren und das Wellenfeldsynthese-basierte System zu steuern. Eine Szene besteht sowohl aus Informationen zu den einzelnen virtuellen Audioquellen als auch aus den Audiodaten. Die Eigenschaften der Audioquellen und der Referenzen auf die Audiodaten werden in einer XML-Szenendatei gespeichert. Die Audiodaten selbst werden auf dem Audioserver 64 abgelegt und von dort aus an das Renderer-Modul übertragen. Gleich- zeitig erhält das Renderer-Modul die Steuerdaten vom Authoring-Werkzeug, damit das Steuer-Renderer-Modul 62, das zentral ausgeführt ist, die Synthesesignale für die einzelnen Lautsprecher erzeugen kann. Das in Fig. 6 gezeigte Konzept ist in „Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik und C. Riegel, AES Convention Paper, 115. AES-Versammlung, 10. Oktober 2003, New York, beschrieben. Wird dieses Wellenfeldsynthese-System mit mehreren Rende- rer-Modulen betrieben, so wird dabei jeder Renderer mit denselben Audiodaten versorgt, egal, ob der Renderer aufgrund der ihm zugeordneten begrenzten Zahl von Lautspre- ehern diese Daten für die Wiedergabe benötigt oder nicht. Da jeder der aktuellen Rechner in der Lage ist, 32 Audio- quel,len zu berechnen, stellt dies die Grenze für das System dar. Andererseits soll die Anzahl der im Gesamtsystem ren- derbaren Quellen effizient deutlich erhöht werden. Dies ist eine der wesentlichen Voraussetzungen für komplexe Anwendungen, wie beispielsweise Kinofilme, Szenen mit immersiven Atmosphären, wie beispielsweise Regen oder Applaus oder andere komplexe Audioszenen.
Erfindungsgemäß wird eine Reduktion redundanter Datenübertragungsvorgänge und Datenverarbeitungsvorgänge in einem Wellenfeldsynthese-Mehr-Renderer-System erreicht, was zu einer Erhöhung der Rechenkapazität bzw. der Anzahl von gleichzeitig berechenbaren Audioquellen erreicht.
Zur Reduktion der redundanten Übertragung und Verarbeitung von Audio- und Metadaten zum einzelnen Renderer des Mehr- Renderer-Systems wird der Audioserver um die Datenausgabeeinrichtung erweitert, welche in der Lage ist, zu ermit- teln, welcher Renderer welche Audio- und Metadaten benötigt. Die Datenausgabeeinrichtung, gegebenenfalls unterstützt durch den Datenmanager benötigt bei einem bevorzugten Ausführungsbeispiel mehrere Informationen. Diese Informationen sind zunächst die Audiodaten, dann Zeit- und Posi- tionsdaten der Quellen und schließlich die Konfiguration der Renderer, also Informationen über die verbundenen Lautsprecher und ihre Positionen sowie deren Kapazität. Mit Hilfe von Datenmanagementtechniken und der Definition von Ausgabebedingungen wird ein Ausgabe-Schedule durch die Da- tenausgabeeinrichtung mit einer zeitlichen und räumlichen Anordnung der Audioobjekte erzeugt. Aus der räumlichen Anordnung, dem zeitlichen Schedule und der Rendererkonfiguration berechnet das Datenmanagementmodul dann, welche Quelle für welche Renderer zu einem bestimmten Zeitpunkt von Relevanz sind.
Ein bevorzugtes Gesamtkonzept ist in Fig. 5 dargestellt. Die Datenbank 22 ist ausgangsseitig um die Datenausgabeeinrichtung 24 ergänzt, wobei die Datenausgabeeinrichtung auch als Scheduler bezeichnet wird. Dieser Scheduler erzeugt dann an seinen Ausgängen 20a, 20b, 20c für die verschiedenen Renderer 50 die Renderer-Eingangssignale, damit die entsprechenden Lautsprecher der Lautsprecherarrays versorgt werden.
Vorzugsweise wird der Scheduler 24 noch durch einen Stora- ge-Manager 52 unterstützt, um mittels eines RAID-Systems und entsprechender Datenorganisationsvorgaben die Datenbank 42 zu konfigurieren.
Auf der Eingangsseite steht ein Daten-Erzeuger 54, welcher beispielsweise ein Tonmeister oder ein Audioingenieur sein kann, der eine Audioszene objektorientiert modellieren bzw. beschreiben soll. Hierbei gibt er eine Szenenbeschreibung vor, die entsprechende Ausgabebedingungen 56 umfasst, die dann gegebenenfalls nach einer Transformation 58 zusammen mit Audiodaten in der Datenbank 22 gespeichert werden. Die Audiodaten können mittels eines Insert/Update-Werkzeugs 59 manipuliert und aktualisiert werden.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert wer- den. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD, mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfin- düng somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zum Speichern von Audiodateien für ein Audiostück in einem Speichergerät (1) mit einer Schreibeinrichtung und einer Leseeinrichtung (2), wobei das Audiostück durch einen Renderer eines Wellen- feldsynthese-Systems (3) aufbereitet werden soll, wobei das Audiostück mehrere Szenen aufweist, wobei für jede Szene eine Szenenbeschreibung vorgesehen ist, und wobei eine Szene eine zeitliche Folge von Audioobjekten der Szene definiert, wobei ein Audioobjekt Informationen über eine virtuelle Quelle und eine Identifikation für eine dem Audioobjekt zugeordnete Audiodatei aufweist, mit folgenden Merkmalen:
einer Einrichtung (4) zum Untersuchen der Szenenbeschreibung und zum Ermitteln einer ersten Szene, die eine höhere Verarbeitungskapazität des Wellenfeldsyn- these-Systems (3) fordert als eine zweite Szene; und
einer Steuereinrichtung (5) zum Steuern der Schreibeinrichtung (2) so, dass Audiodateien, die durch die Szenenbeschreibung der ersten Szene identifiziert werden, so auf dem Speichergerät (1) geschrie- ben werden, dass die Leseeinrichtung (2) die Audiodateien für die erste Szene schneller auslesen kann als wenn die Audiodateien für die erste Szene zufällig auf dem Speichergerät (1) gespeichert sind.
2. Vorrichtung nach Anspruch 1, bei der ein Audioobjekt der ersten Szene und ein Audioobjekt der zweiten Szene dieselbe Audiodatei identifizieren, und
bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung (2) so zu steuern, dass die Audiodatei so in dem Speichergerät (1) gespeichert wird, dass die Leseeinrichtung (2) die Audiodatei beim Lesen der Audiodatei, die in der ersten Szene identifiziert wird, mit einer geringeren Zugriffszeit lesen kann als wenn die Audiodatei beim Lesen der Audiodateien für die zweite Szene gelesen wird.
3. Vorrichtung nach Anspruch 1 oder 2, bei der das Speichergerät (1) eine Spur (7) hat, entlang der sich die Leseeinrichtung (2) bewegt, und
bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung so zu steuern, dass Audiodateien der ersten Szene entlang der Spur geschrieben werden.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Speichergerät (1) ein Parallel-
Speichergerät mit Einzelzugriffsmedien ist, wobei die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung (2) so anzusteuern, dass Audiodateien der ersten Szene, die parallel durch den Rende- rer aufzubereiten sind, auf unterschiedlichen Einzelzugriffsmedien gespeichert werden.
5. Vorrichtung nach Anspruch 3, bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrich- tung (2) so anzusteuern, dass die Audiodateien der ersten Szene gemäß einer zeitlichen Reihenfolge des Auftretens von Audioobjekten der ersten Szene, die die Audiodateien identifizieren, entlang der Spur (7) gespeichert werden.
6. Vorrichtung nach Anspruch 2, bei der das Speichergerät (1) eine Spur hat, entlang der sich die Leseeinrichtung (2) bewegt, und
bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung (2) so zu steuern, dass die Audiodatei in der Spur unmittelbar vor oder nach einer anderen Audiodatei gespeichert wird, die ein Audioob- jekt identifiziert, das von dem Renderer parallel zu dem einen Audioobjekt aufbereitet werden soll, das die Audiodatei identifiziert.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (4) zum Überprüfen ausgebildet ist, um die Szene als erste Szene zu ermitteln, die eine höhere Anzahl von durch einen Renderer gleichzeitig aufzubereitenden Audioobjekten hat als eine andere Szene.
8. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (4) zum Untersuchen ausgebildet ist, um nur dann eine Szene als erste Szene zu er- mittein, wenn eine szenenbedingte Auslastung des WeI- lenfeldsynthese-Systems einen vorbestimmten Bruchteil der maximalen Auslastung erreicht.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung (2) so anzusteuern, dass die Audiodateien der zweiten Szene an noch verbleibenden freien Stellen des Speichergeräts (1) gespeichert werden, nachdem die Audiodateien der ersten Szene auf dem Speichergerät (1) gespeichert sind.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Speichergerät (1) eine Festplatte mit einer Speicherscheibe oder mehreren Speicherscheiben ist, wobei für jede . Speicherscheibe ein Schreib/Lesekopf (2) vorgesehen ist.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Schreibeinrichtung und die Leseeinrichtung als ein und dieselbe physische Komponente (2) ausgebildet sind.
12. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Steuereinrichtung (5) ausgebildet ist, um die Schreibeinrichtung (2) so zu steuern, dass Audiodateien, die durch Audioobjekte der ersten Szene iden- tifiziert werden, auf das Speichergerät (1) durchgehend geschrieben werden, ohne dass die Leseeinrichtung beim Lesen der Audiodateien der ersten Szene springen rauss .
13. Verfahren zum Speichern von Audiodateien für ein Au- diostück in einem Speichergerät (1) mit einer Schreibeinrichtung und einer Leseeinrichtung (2) , wobei das Audiostück durch einen Renderer eines Wellen- feldsynthese-Systems (3) aufbereitet werden soll, wo- bei das Audiostück mehrere Szenen aufweist, wobei für jede Szene eine Szenenbeschreibung vorgesehen ist, und wobei eine Szene eine zeitliche Folge von Audioobjekten der Szene definiert, wobei ein Audioobjekt Informationen über eine virtuelle Quelle und eine Identifi- kation für eine dem Audioobjekt zugeordnete Audiodatei aufweist, mit folgenden Schritten:
Untersuchen (4) der Szenenbeschreibung und zum Ermitteln einer ersten Szene, die eine höhere Verarbei- tungskapazität des Wellenfeldsynthese-Systems (3) fordert als eine zweite Szene; und
Steuern (5) der Schreibeinrichtung (2) so, dass Audiodateien, die durch die Szenenbeschreibung der ersten Szene identifiziert werden, so auf dem Speichergerät (1) geschrieben werden, dass die Leseeinrichtung (2) die Audiodateien für die erste Szene schneller auslesen kann als wenn die Audiodateien für die erste Szene zufällig auf dem Speichergerät (1) gespeichert sind.
14. Computer-Programm mit einem Programmcode zum Ausführen des Verfahrens zum Speichern gemäß Patentanspruch 16, wenn das Computer-Programm auf einem Rechner abläuft.
PCT/EP2006/001416 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien WO2006089685A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP06707017A EP1789970B1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien
CN2006800059333A CN101133454B (zh) 2005-02-23 2006-02-16 存储音频文件的设备和方法
AT06707017T ATE462183T1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien
JP2007556537A JP4625506B2 (ja) 2005-02-23 2006-02-16 オーディオファイルを記憶するための装置および方法
DE502006006502T DE502006006502D1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien
US11/837,109 US7813826B2 (en) 2005-02-23 2007-08-10 Apparatus and method for storing audio files

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005008342.0 2005-02-23
DE102005008342A DE102005008342A1 (de) 2005-02-23 2005-02-23 Vorrichtung und Verfahren zum Speichern von Audiodateien

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/837,109 Continuation US7813826B2 (en) 2005-02-23 2007-08-10 Apparatus and method for storing audio files

Publications (2)

Publication Number Publication Date
WO2006089685A1 true WO2006089685A1 (de) 2006-08-31
WO2006089685A8 WO2006089685A8 (de) 2007-03-08

Family

ID=36637842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/001416 WO2006089685A1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien

Country Status (7)

Country Link
US (1) US7813826B2 (de)
EP (1) EP1789970B1 (de)
JP (1) JP4625506B2 (de)
CN (1) CN101133454B (de)
AT (1) ATE462183T1 (de)
DE (2) DE102005008342A1 (de)
WO (1) WO2006089685A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010505328A (ja) * 2006-09-29 2010-02-18 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置
JP2010519802A (ja) * 2007-02-16 2010-06-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799535B2 (en) * 2008-01-11 2014-08-05 Akamai Technologies, Inc. Storage of data utilizing scheduling queue locations associated with different data rates
US8364892B2 (en) * 2008-01-11 2013-01-29 Verivue, Inc. Asynchronous and distributed storage of data
CA2847360C (en) * 2011-08-30 2020-03-24 Allure Energy, Inc. Resource manager, system, and method for communicating resource management information for smart energy and media resources
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3028706B2 (ja) * 1993-05-18 2000-04-04 富士ゼロックス株式会社 ディスク制御装置
JPH07303148A (ja) 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH09186963A (ja) * 1995-12-28 1997-07-15 Sony Corp 記録方法及び装置、再生方法及び装置、記録再生方法及び装置、並びにディスク状記録媒体
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH1127800A (ja) 1997-07-03 1999-01-29 Fujitsu Ltd 立体音響処理システム
DE69930425T2 (de) * 1998-05-01 2006-11-02 Samsung Electronics Co., Ltd., Suwon Dateibetriebsverfahren mit Verwendung von Echtzeit-Aufzeichnungs/Wiedergabeinformation
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP2000339854A (ja) * 1999-05-24 2000-12-08 Sony Corp ディスク装置
JP2002118898A (ja) * 2000-10-06 2002-04-19 Sanyo Electric Co Ltd オーディオデータのバッファリング方法及びオーディオデータの再生装置
JP2002199500A (ja) 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP2003284196A (ja) 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2004007211A (ja) 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
US20060120534A1 (en) 2002-10-15 2006-06-08 Jeong-Il Seo Method for generating and consuming 3d audio scene with extended spatiality of sound source
DE10254470B4 (de) * 2002-11-21 2006-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
DE10254404B4 (de) * 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
BRPI0316548B1 (pt) 2002-12-02 2016-12-27 Thomson Licensing Sa método para descrição de composição de sinais de áudio
JP4601905B2 (ja) 2003-02-24 2010-12-22 ソニー株式会社 デジタル信号処理装置およびデジタル信号処理方法
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10321986B4 (de) * 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP4551652B2 (ja) * 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
DE102005008333A1 (de) * 2005-02-23 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Wellenfeldsynthese-Rendering-Einrichtung
DE102005008369A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HALVORSEN, GRIWODZ, LUND, GOEBEL, PLAGEMANN: "STORAGE SYSTEMS SUPPORT FOR MULTIMEDIA APPLICATIONS", 1 June 2003 (2003-06-01), pages 1 - 18, XP002390632, ISBN: 82-7368-259-5, Retrieved from the Internet <URL:http://www.ifi.uio.no/dmms/papers/124.pdf> [retrieved on 20060712] *
HEIMRICH T ET AL: "Verwaltung spatio-temporaler Audiodaten für die Wellenfeldsynthese", 2 March 2005 (2005-03-02), pages 1 - 10, XP002378393, Retrieved from the Internet <URL:http://mordor.prakinf.tu-ilmenau.de/papers/dbis/2005/HeimSat05btw.pdf> [retrieved on 20060712] *
HEIMRICH T: "Modeling of Output Constraints in Multimedia Database Systems", MULTIMEDIA MODELLING CONFERENCE, 2004. MMM 2005. PROCEEDINGS OF THE 11TH INTERNATIONAL HONOLULU, HI, USA 12-14 JAN. 2005, PISCATAWAY, NJ, USA,IEEE, 12 January 2005 (2005-01-12), pages 399 - 404, XP010765662, ISBN: 0-7695-2164-9 *
THOMAS SPORER: "WAVE FIELD SYNTHESIS - GENERATION AND REPRODUCTION OF NATURAL SOUND ENVIRONMENTS", 5 October 2004 (2004-10-05), Naples, Italy, pages 133 - 138, XP002390633, Retrieved from the Internet <URL:http://dafx04.na.infn.it/WebProc/Proc/P_133.pdf> [retrieved on 20060712] *
VENKAT RANGAN P ET AL: "EFFICIENT STORAGE TECHNIQUES FOR DIGITAL CONTINUOUS MULTIMEDIA", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 5, no. 4, 1 August 1993 (1993-08-01), pages 564 - 573, XP000611900, ISSN: 1041-4347 *
WATKINS A R ET AL: "Storing continuous media objects using parallelism with merging", COMPUTER SOFTWARE AND APPLICATIONS CONFERENCE, 1995. COMPSAC 95. PROCEEDINGS., NINETEENTH ANNUAL INTERNATIONAL DALLAS, TX, USA 9-11 AUG. 1995, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 9 August 1995 (1995-08-09), pages 339 - 345, XP010192750, ISBN: 0-8186-7119-X *
YU C ET AL: "EFFICIENT PLACEMENT OF AUDIO DATA ON OPTICAL DISKS FOR REAL-TIME APPLICATIONS", COMMUNICATIONS OF THE ASSOCIATION FOR COMPUTING MACHINERY, ACM, NEW YORK, NY, US, vol. 32, no. 7, 1 July 1989 (1989-07-01), pages 862 - 871, XP000045775, ISSN: 0001-0782 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010505328A (ja) * 2006-09-29 2010-02-18 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置
US7979282B2 (en) 2006-09-29 2011-07-12 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US7987096B2 (en) 2006-09-29 2011-07-26 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP4787362B2 (ja) * 2006-09-29 2011-10-05 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置
US8504376B2 (en) 2006-09-29 2013-08-06 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US8625808B2 (en) 2006-09-29 2014-01-07 Lg Elecronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US8762157B2 (en) 2006-09-29 2014-06-24 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US9384742B2 (en) 2006-09-29 2016-07-05 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US9792918B2 (en) 2006-09-29 2017-10-17 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP2010519802A (ja) * 2007-02-16 2010-06-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
JP2016165117A (ja) * 2011-07-01 2016-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法

Also Published As

Publication number Publication date
CN101133454A (zh) 2008-02-27
EP1789970A1 (de) 2007-05-30
EP1789970B1 (de) 2010-03-24
DE502006006502D1 (de) 2010-05-06
WO2006089685A8 (de) 2007-03-08
US20080074775A1 (en) 2008-03-27
JP2008537833A (ja) 2008-09-25
ATE462183T1 (de) 2010-04-15
CN101133454B (zh) 2010-08-04
DE102005008342A1 (de) 2006-08-24
JP4625506B2 (ja) 2011-02-02
US7813826B2 (en) 2010-10-12

Similar Documents

Publication Publication Date Title
EP1844628B1 (de) Vorrichtung und verfahren zum ansteuern einer wellenfeldsynthese-renderer-einrichtung mit audioobjekten
EP1844627B1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes
EP1851998B1 (de) Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
EP1723825B1 (de) Vorrichtung und verfahren zum steuern einer wellenfeldsynthese-rendering-einrichtung
EP1652405B1 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
EP1789970B1 (de) Vorrichtung und verfahren zum speichern von audiodateien
DE10254404B4 (de) Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
EP1872620B1 (de) Vorrichtung und verfahren zum steuern einer mehrzahl von lautsprechern mittels einer graphischen benutzerschnittstelle
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
DE10321980B4 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
WO2019158750A1 (de) Vorrichtung und verfahren für objektbasiertes, räumliches audio-mastering
WO2005083702A1 (de) Vorrichtung und verfahren zum beschreiben einer audio-cd und audio-cd
DD140828A1 (de) Anordnung zur aufnahme und bearbeitung von stereofonen signalen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006707017

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2006707017

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11837109

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007556537

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200680005933.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 11837109

Country of ref document: US