WO2006114998A1 - 音楽コンテンツの再生装置および音楽コンテンツ再生方法 - Google Patents

音楽コンテンツの再生装置および音楽コンテンツ再生方法 Download PDF

Info

Publication number
WO2006114998A1
WO2006114998A1 PCT/JP2006/307191 JP2006307191W WO2006114998A1 WO 2006114998 A1 WO2006114998 A1 WO 2006114998A1 JP 2006307191 W JP2006307191 W JP 2006307191W WO 2006114998 A1 WO2006114998 A1 WO 2006114998A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
information
unit
music content
data
Prior art date
Application number
PCT/JP2006/307191
Other languages
English (en)
French (fr)
Inventor
Toshiro Terauchi
Yoichiro Sako
Kosei Yamashita
Yasushi Miyajima
Motoyuki Takai
Toru Sasaki
Yuichi Sakai
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2006800124474A priority Critical patent/CN101160615B/zh
Priority to KR1020077019469A priority patent/KR101233800B1/ko
Priority to EP06731139.9A priority patent/EP1876583B1/en
Priority to US11/910,563 priority patent/US8269092B2/en
Publication of WO2006114998A1 publication Critical patent/WO2006114998A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/363Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems using optical disks, e.g. CD, CD-ROM, to store accompaniment information in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/005Voice controlled instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G10H7/004Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof with one or more auxiliary processor in addition to the main processing unit
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/381Manual tempo setting or adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/391Automatic tempo adjustment, correction or control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555Tonality processing, involving the key in which a musical piece or melody is played
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555Tonality processing, involving the key in which a musical piece or melody is played
    • G10H2210/565Manual designation or selection of a tonality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571Chords; Chord sequences
    • G10H2210/576Chord progression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/091Info, i.e. juxtaposition of unrelated auxiliary information or commercial messages with or between music files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/155Library update, i.e. making or modifying a musical database using musical parameters as indices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Definitions

  • the present invention enables a listener to reconstruct (arrange) and play music content as he / she likes, for example, just as a disc jockey arranges and plays music content.
  • the present invention relates to a music content playback apparatus and a music content playback method.
  • a system for recommending a playback music candidate to a user using a playback history of the user's past music content is also provided (see, for example, Japanese Patent Laid-Open No. 2003-173350). .
  • the music created on the production side of an artist or the like is also due to restrictions on the playback function of the conventional music content playback device, and on the user side, just as the creator intended. It was only listening fixedly.
  • the present invention improves the entertainment characteristics of music content playback by allowing the user to listen to the music content so that it can be reconfigured (arranged) as desired.
  • the purpose is to be able to. Disclosure of the invention
  • a first acquisition means for acquiring data of a music content to be reproduced from a music content data storage unit storing a plurality of music content data
  • Second acquisition means for acquiring the attribute information from an attribute information storage unit that is associated with the music content and includes at least music composition information in units of music material of the music content;
  • a third acquisition means for acquiring arrangement information associated with the music content and generated in association with the music composition information
  • An arrangement instruction receiving means for receiving an arrangement instruction of the listener
  • the sound Reconstructing means for reconstructing data of the music content to be played back and output;
  • a music content playback apparatus comprising: is provided.
  • the arrangement information is acquired by the third acquisition unit, and is combined with the music composition information acquired by the second acquisition unit.
  • the music content data is reconstructed.
  • the present invention it is easy to listen to the user according to the mood, taste, and surrounding environment of the user who is listening. Since music data is reconstructed and the user's mood, preferences, and surrounding environment are reflected in the playback of music content in real time, it is possible to enhance the entertainment characteristics of music content playback.
  • FIG. 1 is a block diagram of a recording / playback apparatus to which a first embodiment of a music content playback apparatus according to the present invention is applied.
  • FIG. 2 is a diagram for explaining a part of attribute information used in the recording / reproducing apparatus of the embodiment.
  • FIG. 3 is a diagram for explaining a part of attribute information used in the recording / reproducing apparatus of the embodiment.
  • FIG. 4 is a diagram for explaining a part of attribute information used in the recording / reproducing apparatus of the embodiment.
  • FIG. 5 is a flowchart of an example of processing in the recording / reproducing apparatus of FIG.
  • FIG. 6 is a flowchart used for explaining the operation of the recording / reproducing apparatus of FIG.
  • FIG. 7 is a diagram for explaining an example of the music content storage unit in FIG. 1.
  • FIG. 8 is a diagram for explaining an example of the music content storage unit in FIG. 1.
  • FIG. 9 is a functional block diagram for explaining a recording processing operation unit of the recording / reproducing apparatus of FIG. 1.
  • FIG. 10 is a part of a flowchart for explaining the recording processing operation in the recording / reproducing apparatus of FIG.
  • FIG. 11 is a part of a flowchart for explaining the recording processing operation in the recording / reproducing apparatus of FIG. 1.
  • FIG. 12 is a diagram for explaining an arrangement instruction operation in the recording / reproducing apparatus of FIG. 1.
  • FIG. 13 is a functional block diagram for explaining a reproduction processing operation unit in the recording / reproducing apparatus of FIG. 1.
  • FIG. 14 is a functional block diagram of the main part of the recording / reproducing apparatus of FIG. 1.
  • FIG. 15 is a diagram for explaining the functional block diagram of FIG. 14.
  • FIG. 16 is a more detailed functional block diagram of a part of the functional block diagram of FIG.
  • FIG. 17 is a more detailed functional block diagram of a part of the functional block diagram of FIG.
  • FIG. 18 is a diagram for explaining a part of the functional block diagram of FIG. 14;
  • FIG. 19 is a timing diagram for explaining the functional block diagram of FIG.
  • FIG. 20 is a timing diagram for explaining the functional block diagram of FIG.
  • FIG. 21 is a diagram for explaining the functional block diagram of FIG. 14.
  • FIG. 22 is a part of a flowchart for explaining the reproduction processing operation in the recording / reproducing apparatus of FIG. 1.
  • FIG. 23 is a part of a flowchart for explaining the reproduction processing operation in the recording / reproducing apparatus of FIG. 1.
  • FIG. 24 is a part of a flowchart for explaining the reproduction processing operation in the recording / reproducing apparatus of FIG. 1.
  • FIG. 25 is a flowchart of the processing operation of the rhythm master section constituting a part of FIG.
  • FIG. 26 is a flowchart of the processing operation of the rhythm slave section constituting a part of FIG.
  • FIG. 27 is a block diagram of a recording / playback apparatus to which a second embodiment of a music content playback apparatus according to the present invention is applied.
  • FIG. 28 is a functional block diagram for explaining a playback processing operation unit in the recording / playback apparatus according to the second embodiment of FIG. 27.
  • FIG. 29 is a functional block diagram of a main part of the recording / reproducing apparatus according to the second embodiment of FIG. 27.
  • FIG. 30 is a more detailed functional block diagram of a part of the functional block diagram of FIG. 27.
  • FIG. 31 is a flowchart of the processing operation of the rhythm master section constituting a part of FIG. Part of
  • FIG. 32 is a part of a flowchart of the processing operation of the rhythm master section constituting a part of FIG.
  • FIG. 33 is a part of a flow chart of processing operations of a rhythm master section constituting a part of FIG.
  • FIG. 34 is a part of a flow chart of processing operations of a rhythm master section constituting a part of FIG.
  • FIG. 35 is a timing diagram for explaining the functional block diagram of FIG. 27.
  • FIG. 36 is a diagram for explaining another example of the arrangement instruction operation in the recording / reproducing apparatus of the embodiment.
  • FIG. 37 is a diagram for explaining another example of the arrangement instruction operation in the recording / reproducing apparatus of the embodiment.
  • FIG. 38 is a diagram for explaining another example of the arrangement instruction operation in the recording / reproducing apparatus of the embodiment.
  • FIG. 1 shows an example of a configuration of a music content recording / playback apparatus to which the first embodiment of the music content playback apparatus of the present invention and the first embodiment of the music content and attribute information recording apparatus are applied.
  • FIG. 1 shows an example of a configuration of a music content recording / playback apparatus to which the first embodiment of the music content playback apparatus of the present invention and the first embodiment of the music content and attribute information recording apparatus are applied.
  • the recording / playback apparatus includes a music content storage unit.
  • This music content storage unit includes video data as music content data in addition to music acoustic data. Audiovisual data is stored on the assumption that it may be recorded.
  • attribute information about each music piece is stored in association with the identification information of each music content.
  • This attribute information includes rhythm such as tempo, key (key), chord, etc., and song tone attribute information for determining the song tone in conjunction with the rhythm (included in the music composition information described later) As will be described later, it includes performer information, lyric information, sensitivity information, surrounding environment information, and the like, as well as reconstruction information (hereinafter referred to as arrangement information).
  • arrangement information When the video content is included in the music content, information about the attribute about the video may be included.
  • the arrangement blueprint is information for arranging music data in a rock style, a classic style, a jazz style, a hip hop style, a soul style, etc. when playing music contents.
  • the recording / playback apparatus must use the necessary attributes when recording music content data from the recording medium to the storage unit of the recording / playback apparatus. Information is generated, and the generated attribute information is recorded in association with the audiovisual data for the music content to be recorded.
  • the recording / playback apparatus is configured such that music content information can be downloaded from a music content providing server on the Internet, for example.
  • the music content information of the music content providing server in this example is accompanied by attribute information, and the music content of the recording / playback apparatus capability of the first embodiment
  • the music content providing server prompts the user to download the attribute information to the recording / reproducing apparatus together with the audiovisual data of the requested music content.
  • the recording / reproducing apparatus associates the downloaded audiovisual data and the attribute information with the identification information of the music content and stores them in the storage unit.
  • the recording / reproducing apparatus of this example is configured by mounting a microcomputer. As shown in FIG. 2, a program ROM (Read Only Memory) 3 and a work area RAM (Random Access Memory) 4 are connected to a CPU (Central Processing Unit) 1 via a system bus 2.
  • a program ROM Read Only Memory
  • a work area RAM Random Access Memory
  • the system bus 2 also includes a user interface 11, an encode Z decode unit 12, a music tone analysis unit 13, a communication interface 14, a reproduction history information holding unit 15, and an optical disc drive 16. Is connected.
  • the user interface 11 includes a button operation unit (not shown) that receives a user operation input, and a display such as an LCD (Liquid Crystal Display). As will be described later, designation input of the type of arrangement (classic style, jazz style, etc.) designated by the user when playing the music content is made through this user interface 11.
  • a button operation unit not shown
  • LCD Liquid Crystal Display
  • the music content storage unit 20 is connected to the encoding Z decoding unit 12.
  • the music content storage unit 20 is configured by a large-capacity hard disk device, for example.
  • the music content storage unit 20 can also be configured by a writing Z reading device unit that uses a large-capacity rewritable optical disk.
  • the encode / decode unit 12 encodes the data to be written into data in a format that can be recorded in the hard disk device.
  • the data read from the hard disk device is subjected to a decoding process corresponding to the encoding.
  • the encoding process can include a data compression process
  • the decoding process can correspondingly include a data decompression process.
  • the music content data includes video data related to the music content other than the music data alone, and further attribute information (described in detail later) regarding the music content.
  • the music content storage unit 20 includes a video / audio data storage unit 21 in which music data and video data are stored for each music content, and an attribute information storage unit 22 in which each attribute information is stored. Consists of. The music data and video data in the audiovisual data storage unit 21 and the attribute information in the attribute information storage unit 22 are recorded for each music content. The music contents are associated with each other by music content identification information (content ID) for identifying each of the easy contents.
  • content ID music content identification information
  • the music tone analysis unit 13 analyzes the music data and detects a break of the music material unit of the music In addition, the music composition information of the music material unit is extracted.
  • the music composition information is recorded in the attribute information storage unit 22 as a part of the attribute information.
  • the music tone analysis unit 13 operates only when attribute information is not attached to the information of the music content to be recorded, and the extracted music composition information is recorded as part of the attribute information.
  • the music material unit is a unit in which chords such as beats and measures of music can be added.
  • the music composition information also serves as a reference information for determining the so-called tune, such as the tempo, key, chord, volume, time signature, score, and chord progression of the music material unit of the music.
  • the communication interface 14 is used to connect to the music content providing server device 6 and the like through an external network such as the Internet 5.
  • the music content providing server device 6 is configured so as to be able to provide attribute information other than music data and video data alone.
  • the playback history information holding unit 15 listens to which music content has been listened to in the past with what frequency / time and in what arrangement in the recording / playback apparatus. However, it keeps the history information of winter, Kas (various arrangements and their viewing frequency). The number of playbacks (frequency), the arrangement type, the playback time, the biological state information at the time of playback, and the surrounding environment information at the time of playback (the surrounding environment) corresponding to the identification information (content ID) of the played music content The information is stored in the reproduction history information holding unit 15.
  • the optical disc drive 16 reads music data and video data from an optical disc 7 such as a CD (Compact Disc) or a DVD (Digital Versatile Disc). When attribute information about music content is recorded on the optical disc 7, the attribute information is also read.
  • the system bus 2 is further connected with a biological information acquisition unit 30, a surrounding environment information acquisition unit 40, and a video / audio output unit 50.
  • the biological information acquisition unit 30 includes a biological information sensor 31 and a biological information analysis unit 32.
  • the biometric information sensor 31 detects the listener's ability to view the music content, the power indicating the preference for the music content, or information for determining whether the preference is not indicated (biological state information) .
  • the biological information sensor 31 detects biological information such as body movement, respiration, pulse, blood pressure, body surface temperature, skin sweating, and skin resistance of the listener, and supplies the biological information to the biological information analysis unit 32. It is.
  • the listener's body movements and breathing may be the rhythm or tempo of the music being played. It may become synchronized. For example, when you want to play a slow melody, your body movements and breathing will slow down accordingly, and when you suddenly shift to loud sounds, your body movement will increase accordingly and your breathing will increase. However, it may change from inspiration to breathing and to exhalation at once.
  • the biometric information analysis unit 32 receives the listener's emotional information as described above from the biometric information sensor 31, and determines whether or not the listener shows preference for the music being listened to. Sent to service 2. In this case, the biometric information analysis unit 32 also refers to the music composition information being played back to determine whether or not the listener's body movement is synchronized with the music.
  • the biological information analysis unit 32 has a threshold value of a plurality of stages with respect to the degree of preference based on biological information such as body movement, for example, "showing preference”. ‘No (not on the song)’, ‘Shows preference but has low preference’, ‘Shows very preference, and (Ride on song)’, It is configured to send all judgment outputs.
  • the ambient environment information acquisition unit 40 includes a GPS receiver 41, a position information input interface 42, an environment information sensor 43, and an environment information generation unit 44.
  • the GPS receiver 41 performs a positioning calculation for calculating the position of the GPS receiver 41 using both the artificial satellite force and the received radio wave force, and sends the calculation result to the position information input interface 42.
  • the position information input interface 42 converts the positioning calculation result from the GPS receiver 41 into position information such as a place name and sends it to the system bus 2.
  • This location information indicates the location where the recording was performed, and is recorded as part of the attribute information when music content is recorded as part of the surrounding environment information. .
  • the environmental information sensor 43 includes a temperature sensor that detects the season and date, in addition to the temperature sensor and the humidity sensor.
  • the environment information generation unit 44 receives information from the environment information sensor 43 and sends information such as temperature, humidity, season, date and time to the system bus 2. These pieces of information are also recorded as part of the attribute information when music content is recorded as part of the surrounding environment information.
  • the video / audio output unit 50 includes an audio data decoding unit 51, an audio arrangement unit 52, an audio output unit 53, a video data decoding unit 54, a video arrangement unit 55, a video output unit 56, and an I Powered with / O port 57.
  • the audio data decoding unit 51 When the audio data is a PCM audio signal that is an uncompressed audio signal, the audio data decoding unit 51 outputs the audio data to the audio output unit 53 through the audio arrangement unit 52 as it is.
  • compression such as ATRAC (Adaptive Transform Acoustic Coding) or AAC (Advanced Audio Coding) is applied to the music data
  • the acoustic data decoding unit 51 decompresses (decompresses) the compression, and Decode into audio signal.
  • the audio data is MIDI (Music Instrument Digital Interface)
  • the acoustic data decoding unit 51 When the audio data is MIDI (Music Instrument Digital Interface), the acoustic data decoding unit 51 generates and decodes a digital audio signal with the MIDI data power.
  • the acoustic arrangement unit 52 performs tempo correction, pitch correction, special effects processing, etc. according to the control signal supplied thereto through the IZO port 57, and mixes other music data (limits). To do. As a result, it is possible to change the tune and change the arrangement type such as the classic style or the jazz style.
  • the effect processing performed by the acoustic arrangement unit 52 for example, processing for applying distortion or reverb to the acoustic data is performed.
  • Remixing is a technique performed by general disc jockeys, in which multiple musical materials are mixed with the music being played so as not to impair musicality in units of measures or beats. is there. This is based on the theory of music using music composition information such as bar breaks (separation of music material units), tempo information, chord information, and so on. It is something that will be mixed without any problems. With this remix added, it may be possible to change the tune, or to change the arrangement type, such as the classic style or jazz style described above.
  • the acoustic data decoding unit 51 has a function capable of executing the decoding process of the acoustic data being reproduced and the decoding process of the acoustic data to be limited in parallel. Yes.
  • the output of the acoustic arrangement unit 52 is supplied to the acoustic output unit 53.
  • the sound output unit 53 converts the digital audio signal input thereto into an analog audio signal, and the converted analog audio signal is output via an output amplifier (not shown) via a speaker or an output terminal. Supplied to a headphone (not shown) for sound reproduction.
  • the video data decoding unit 54 decodes (compresses and decompresses (compresses and decompresses)) the compressed video data associated with the music content.
  • the accompanying compressed video data includes still image data compressed by JPEG (Joint Photographic Experts Group), moving image data compressed by MPEG (Moving Picture Experts Group) 2, MPEG4, etc.
  • the video data decoding unit 54 is equipped with a mechanism for decompressing and decoding these compressions.
  • the video data decoded by the video data decoding unit 54 is supplied to the video arranging unit 55.
  • this video arrangement unit 55 for example, special effects (feet) are applied to the video data.
  • this special effect an existing technology is used. Then, details are omitted.
  • the output video data of the video arrangement unit 55 is supplied to the video output unit 56.
  • the video output unit 56 converts the digital video data as a digital video signal or converts it to an analog video signal as necessary, and displays it on the display screen through the video output terminal.
  • the attribute information of each music content is recorded corresponding to each piece of music with various information powers as described below.
  • This music composition information includes the above-mentioned delimiter information in units of music material, and the tempo of the music z key Z chord Z volume Z beat information, music score information, chord progression information, loop for repeated mixing Includes the rise information of the music waveform.
  • the tempo information for example, a BPM (Beat Per Minutes) value is used.
  • This music composition information indicates the music tone
  • the music content recording / reproducing apparatus analyzes the music composition information, and the music having similar music composition information has a similar music tone. Can be determined. Therefore, when the listener shows preference for the music being played, based on the analysis result of this music composition information, a music with a tone similar to the music being played can be selected as the next play music candidate. it can.
  • the listener does not indicate a preference for the music being played back, for example, the music that the listener seems to like in the past playing history is detected, and the music composition information of the music is checked.
  • the music similar to the music composition information may be selected as the next music reproduction candidate based on the reproduction history. it can.
  • the audiovisual data of the music content and the attribute information are made to correspond exactly.
  • music that is described in the attribute information as music composition information For example, the time code information of the bar breaks as the music material unit and the time code of the bar breaks of the actual audiovisual data are exactly matched.
  • the music composition unit information can detect the timing of the music material unit of the music being played, for example, the timing of the bar or bar division, and the music material unit of the other music to be remixed. This information can be added in synchronization with the division of the music material unit of the music being played back, and the limit can be performed without a sense of incongruity.
  • the effect information is information on special effects to be applied to the music, and also includes, for example, the above-described effect parameter power for distortion and reverb.
  • the effect parameter changes with time
  • the parameter information changes according to the change with time.
  • the music content recording / playback apparatus capability of this example can be used which has a plurality of types fixedly in advance. However, if there is effective recommended effect information for each song, it can be included as part of the attribute information for each song. This recommended effect information is given, for example, by the producer of the music content.
  • the effect information can include multiple types of attribute information rather than a single type.
  • This effect information may also be included in the attribute information as a time length corresponding to the music material unit. By setting the time length corresponding to the music material unit, it is possible to change the effect processing while playing music in real time on a music material unit basis.
  • the arrangement information is information for reconfiguring the original tone of each song and arranging it in a rock style, classic style, or jazz style, and when the arrangement parameters change over time. Is parameter information that changes according to the time change.
  • This arrangement information is not recommended by the music content recording / playback apparatus in advance, but it is recommended that the information content be effectively arranged for each piece of music. Included as part of the attribute information for each song or provided as part of the attribute information for each song downloaded from the music content providing server device 6 It is something to be.
  • the arrangement information is not limited to the recommended arrangement information.
  • the arrangement information may be created by the user so as to register it as the music attribute information.
  • the arrangement information created by the user is uploaded to the server device 6, or the information created by the music content creator is prepared in the server device 6. In this way, an arbitrary user may make an inquiry to the server device 6 as appropriate, and obtain it for free or for a fee.
  • the arrangement information can include a plurality of types as attribute information rather than a single type.
  • a single type of arrangement information for example, the same classic style arrangement information, may be prepared in a plurality, such as Bach style, Beethoven style, and Mozart style.
  • This arrangement information may also be included in the attribute information as a time length corresponding to the music material unit. By setting the time length corresponding to the music material unit, it is possible to change the arrangement while playing music in real time on a music material unit basis.
  • FIG. 2 shows an example of this arrangement information.
  • the arrangement of the drum change is one aspect.
  • the force code progression is presented as arrangement information, and four aspects are presented, and the user selects from among them. This comes out.
  • FIG. 2 is an example, and does not guarantee that all listening users will listen to such an arrangement as a change to the lock system power as well as the soul system. How you feel the tune after the arrangement depends on the listening user. Therefore, the example in FIG. 2 is an example recommended by a music content provider, and the creator can provide various arrangement information even when aiming for the same trend arrangement. is there.
  • arrangement information is usually prepared in a plurality of types rather than one type for one piece of music.
  • Figure 3 shows the music stored as attribute information. The example of the information for arrangement for every music is shown.
  • the attribute information is stored in association with music identification information (music ID) in addition to arrangement information, music composition information, effect information, and other various information described later.
  • music ID music identification information
  • Arrangement information is stored in categories such as classic, jazz, rock, soul and hip hop. For each type, there is a case where a plurality of pieces of information for arrangement are stored as in the classic style 1, 2, 3 as described above.
  • the musical instrument information is information on musical instruments such as drums and guitars used in the music.
  • a one-measure drum or percussion performance pattern can be recorded as attribute information and used repeatedly in a loop.
  • the performance pattern information of those instruments can be used for remixing.
  • drum / percussion performance pattern information for one measure is not recorded as attribute information, but the recording / playback apparatus is provided with a plurality of patterns for remixing or the like in advance. Again, okay.
  • the performer information is information about the performer, such as the name (including group name), gender, age, and group organization of the performer (including the singer) of the song.
  • Sensitivity information expresses the sensory perception of the listener who has listened to the song, and is, for example, data that quantifies bright songs, dark songs, quiet songs, intense songs, fun songs, and sad songs.
  • the sensitivity information is defined as a sensitivity axis for each of the emotional axes, such as bright Z dark, gentle Z intense, and fun Z sad. Obtain a numerical value of the degree of, such as by having it set by the listener.
  • the degree of subjective sensory perception is represented by, for example, 16-step numerical values.
  • “1 8” is assigned as the numerical value when the value is the darkest and the darker the value is.
  • Gentle Z The same can be said for other sensibility axes such as intense and fun.
  • the sensitivity axis can be set.
  • the user of the recording / reproducing apparatus may listen to music as a listener and set and input this sensitivity information.
  • the numerical value of sensitivity information included in the attribute information recorded on the recording medium and the notification of sensitivity information included in the attribute information acquired from the music content providing server differ as a result of the listener actually listening to the music. If the listener feels that, the sensitivity information of the attribute information stored in the music content storage unit of the recording / playback device can be rewritten by the listener itself. .
  • This surrounding environment information is set and input by DVD producers and music content providers from music content provider Sanoku, etc. Recommended locations for listening to the music, such as mountains and the sea Contains information. Further, as will be described later, when recording music with the recording / reproducing apparatus, information such as the recorded (recorded) location, date / time, season, temperature, and humidity acquired by the surrounding environment information acquisition unit 40 described above is used. In some cases. Also includes local information such as a recommended place to listen to the music set and input by the listener at the time of recording.
  • the playback history information shows which music is being listened to by the listener at what frequency and time.
  • this information is stored and held in the playback history information holding unit 15 of the recording / playback apparatus.
  • This reproduction history information is included in the attribute information during recording processing for storing music content data in the music content storage unit 20, and is stored in the attribute information storage unit 22 of the music content storage unit 20. Stored as a part.
  • the playback history information is included in DVDs produced by the creators and attributes acquired from the server.
  • One of them is an aspect in which music content data recorded on a DVD is read and written to the music content storage unit 20 for recording.
  • the other is a mode in which the music content data downloaded from the music content providing server device 6 is recorded via the Internet 5. Further, the other one is a mode in which the data of powerful music content such as another playback device is transferred through the external input terminal and is recorded in the music content storage unit 20 though illustration is omitted.
  • the attribute information is included in the music content data.
  • the recording / reproducing apparatus recognizes the attribute of the audio / video data about the music content.
  • the information is also read and written to the music content storage unit 20.
  • the recording / reproducing apparatus of this embodiment is configured such that, when recording, if the user wants to add or change the attribute information, it can be added or changed.
  • the recording / reproducing apparatus of this embodiment If the music content data does not include attribute information that includes only audiovisual data, the recording / reproducing apparatus of this embodiment generates (sets) the attribute information. And stored in the attribute information storage unit 22 of the music content storage unit 20.
  • the music tone analysis unit 13 analyzes the DVD and the downloaded acoustic data, acquires music composition information, and records it as part of the attribute information.
  • the user described the above as sensitivity information of a subjective sensory degree value when actually listening to the music. Enter one of the 16 levels. This sensitivity information is recorded as part of the attribute information.
  • the surrounding environment information acquired by the surrounding environment information acquisition unit 40 is also recorded as part of the attribute information.
  • playback history information is recorded as attribute information as necessary.
  • an attribute information providing server device that stores attribute information corresponding to music content identification information is provided on the Internet 5, and the music content identification information is stored in this server device. It is also assumed that an accompanying download request is sent and attribute information corresponding to the identification information of the music content is provided.
  • FIG. 5 and FIG. 6 are flowcharts of the operations of the recording / playback apparatus and the music content providing server apparatus 6 when acquiring the music content and attribute information from the music content providing server apparatus 6.
  • the recording / playback apparatus will be described by taking as an example the case where the music content providing server apparatus 6 is provided with music content data and attribute information associated therewith. Even when attribute information is transmitted / received between a plurality of different recording / reproducing apparatuses, almost the same processing is performed.
  • FIG. 5 shows the processing of the recording / playback apparatus that requests provision of music content data and attribute information associated therewith
  • FIG. 6 provides the music content data and attribute information associated therewith. 6 is a flowchart for explaining the processing of the music content providing server device 6 to be performed.
  • the CPU 1 of the recording / playback apparatus First, the selection input of the music content to be downloaded is accepted (step S11).
  • a music content provision request including an identifier of the music content requesting download is generated, and this is provided via the communication interface 14 and the Internet 5.
  • the data is transmitted to the server device 6 (step S12).
  • control unit (CPU) of the music content providing server device 6 always performs the processing shown in FIG. Whether or not a request for provision of music content with a recording / playback device capability is received through the Internet 5 and the communication interface of the device itself (step S21). (Step S22). If it is determined in step S22 that a request for providing music content has not been received, the processing in step S21 is repeated, and the reception of a request for providing music content is awaited.
  • step S22 when it is determined that the music content providing request of the music content providing server device 6 has been received, the control unit of the server device 6 receives the received provision. Based on the identifier of the music content included in the request, the music content stored in the server device 6 is searched for the data of the target music content and the attribute information corresponding thereto (step S23).
  • control unit of the music content providing server device 6 determines whether or not the data of the target music content exists (step S24). Then, the data is transmitted through the communication interface and the Internet 5 (step S25). Then, the process returns to step S21, and the processing from step S21 is repeated.
  • step S24 When it is determined in step S24 that the data of the target music content does not exist, the control unit of the music content providing server device 6 generates a response message indicating that, A response is made to the requesting recording / reproducing apparatus through the communication interface and the Internet 5 (step S26). Then, the process returns to step S21, and the processing from step S21 is repeated.
  • the requesting recording / playback apparatus receives the response (return) from the music content providing server apparatus 6 through the communication interface 14 (step S13), and based on the received response, the requested music is received. It is determined whether content data has been transmitted (step S14). If it is determined in step S14 that the requested music content data has been received, the received music content data and the attribute information provided along with the music content data are stored in the music. The contents are recorded (stored) in the content storage unit (step S15), and the processing shown in FIG. 5 is terminated.
  • step S14 the requested music content data is received. If it is determined that the corresponding music content data does not exist !, the control unit of the recording / playback apparatus does not show in FIG. Using the display elements such as LCD (Liquid Crystal Display), light emitting elements such as LEDs (Light Emitting Diodes), or buzzers or alarms, the music data of the target does not exist. Is notified to the user of the recording / reproducing apparatus (step S16), and the processing shown in FIG.
  • LCD Liquid Crystal Display
  • LEDs Light Emitting Diodes
  • the recording / reproducing apparatus provides attribute information provided along with the music content data when receiving the data of the target music content. Can be received. Then, the provided music content data and the attribute information for the music content data are stored in the music content storage unit 20 and can be used at the time of reproduction.
  • the music composition information obtained by the analysis by the music tone analysis unit 13 or the ambient environment information acquisition unit is obtained.
  • Force attribute information such as ambient environment information is configured and stored in the music content storage unit 20 in association with audiovisual data of the music content.
  • the music data of the music content already exists, but when there is no attribute information of the music content, the identification information of the music content is used as a searcher.
  • the server device 6 is accessed so that only its attribute information can be downloaded.
  • FIG. 7 is a diagram for explaining a conceptual configuration of a hard disk device as an example of the music content storage unit 20 of the recording / reproducing device of this embodiment.
  • the hard disk device 20HD as the music content storage unit 20 includes a region 23 for video and audio data Dt such as video data and audio data of music content, and a region 24 for attribute information At, and the region 23 is a video.
  • the acoustic data storage unit 21 is configured, and the area 24 configures the attribute information storage unit 22.
  • the music content storage unit 20 can also use a disk medium such as a DVD as a force-removable (detachable) recording medium configured by a hard disk device as the music content storage unit.
  • Figure 8 shows the music content in that case.
  • FIG. 11 is a diagram for explaining an example of a disk medium (for example, a magneto-optical disk or the like that can be recorded / reproduced) 20RD as another example of the storage unit 20;
  • content data (audio / video data) Dt such as audio content data and video content data is stored in the data storage area of the optical disc 20RD.
  • the optical disc 20RD is provided with a storage area for content attribute information At in addition to a lead-in area, a TOC (Table Of Contents) area, and a lead-out area that are usually provided on the optical disc.
  • the attribute information is stored in.
  • Content data Dt force When multiple pieces of music data are included, attribute information for each piece of music is recorded.
  • the content data Dt and the attribute information At are associated with each other by the music content identification information (music content ID) as described above.
  • the optical disc 20RD records music content downloaded from the Internet by a general user using a personal computer, for example, in addition to music content data recorded by a music content producer or the like. In some cases, it is created.
  • the attribute information At recorded on the recording medium is arbitrarily rewritten, added, deleted, or deleted by the user in the recording / reproducing apparatus. It is also possible to replace existing attribute information with new attribute information. For example, when adding delimiter information in units of music material to the attribute information, the recording / playback device automatically generates new delimiter information in units of music material by automatically analyzing the target music content data. It is possible to add delimiter information input by the user through the user interface 11.
  • a change instruction input from the user is accepted through the user interface 11, and the attribute information recorded in the music content storage unit 20 is changed.
  • a change instruction input from the user through the user interface 11 is input.
  • the attribute information recorded in the music content storage unit 20 is deleted and the attribute information already recorded is newly generated or input as described above. It can be replaced by replacement.
  • new attribute information is provided through the Internet 5 and the communication interface 14, or externally connected to a digital interface such as a USB (Universal Serial Bus) interface. It can be used for addition or replacement by receiving equipment capabilities or receiving it via a wireless LAN through a wireless interface and transmission / reception antenna.
  • the music content data and attribute information always correspond to each other by the music content identifier, and which attribute information is associated with which music content data. It will be clarified.
  • attribute information is attached to music content so that the attribute information is distributed along with the distribution of the music content data, and the music content data is used. Accordingly, the attribute information can be used effectively so that the music content data can be used in a new usage mode.
  • optical disc 7 to be read by the optical disc drive 16 is accompanied by attribute information as music content data, it has the same configuration as the optical disc 20RD shown in FIG.
  • FIG. 9 is a block diagram functionally extracting and representing the recording processing portion of the recording / reproducing apparatus of this embodiment.
  • 10 and 11 are flowcharts for explaining an example of the recording processing operation.
  • the recording / reproducing apparatus is composed of two elemental forces in terms of recording.
  • One is a music content storage unit 20 that stores and holds a plurality of music contents, and the other is a recording unit 100 that records music contents. Since the music content storage unit 20 is as described above, the description thereof is omitted here.
  • the recording unit 100 is a part that performs recording processing of music content data and attribute information. Hereinafter, the configuration of the recording unit 100 will be described.
  • the recording unit 100 stores the input music content data (audiovisual data) and attribute information in association with each other in the music content storage unit 20.
  • the attribute information corresponding to the music content is input, it is used as it is or Then, a part of the information is changed or added and stored in the attribute information storage unit 22 of the music content storage unit 20.
  • the recording unit 100 generates attribute information that can be generated on the recording / playback apparatus side, adds the attribute information to the music content data, and stores the music information. It has a function of storing in the attribute information storage unit 22 of the content storage unit 20.
  • the assigning user finally assigns the information by subjective judgment.
  • a part of the attribute information can be automatically calculated from the raw audiovisual data by the recording / playback device. That is, the tempo information of the music composition information that is a part of the attribute information, the location where the recording / reproducing apparatus exists, the surrounding environment information, etc. can be automatically calculated and added automatically.
  • the recording / reproducing apparatus only acquires the music composition information and the surrounding environment information, and finally the user decides whether or not it is the optimum power based on the attribute information given to the music content. Like you do.
  • the arrange information cannot be created by the user while recording, so the arrange information is not stored at the time of recording.
  • the user arranges while referring to the chord progression of the original music stored in the attribute information storage unit 22 of the music content storage unit 20, drum information, and other music composition information.
  • the attribute information storage unit 22 additionally stores the information corresponding to the music ID.
  • the recording unit 100 includes the above-described user interface 11, the music tone analysis unit 13, the reproduction history information holding unit 15, and the surrounding environment information acquisition unit 40, as well as functional units.
  • processing units a music content recording instruction control unit 101, a music content data holding unit 102, an audiovisual data recording setting unit 103, an attribute information recording setting unit 104, an encoding unit 105, and a music composition information acquisition unit 106.
  • the music content recording instruction control unit 101 performs music content recording instruction control in accordance with a user instruction through the user interface 11, and the CPU 1 Based on the recording program stored in OM3, it corresponds to the part that is executed using RAM4 as a work area.
  • the music content data holding unit 102 is a part for holding video and sound data of music content to be recorded and attribute information, if any, associated attribute information.
  • the music content providing server device 6 via the Internet 5 is the source power of the music content to be recorded
  • the music content such as a nota memory that temporarily stores the music content data captured through the communication interface 14 It corresponds to the content data holding unit 102.
  • the encoding unit 105 corresponds to the extracted function of only the encoding part of the encoding Z decoding unit 12.
  • the audiovisual data recording setting unit 103 holds audiovisual data to be sent to the encoding unit 105, and a part of the RAM 4 is used.
  • the attribute information recording setting unit 104 holds attribute information data to be sent to the encoder circuit, and this also uses a part of the RAM 4 area.
  • the music composition information acquisition unit 106 is a functional unit that acquires attribute information corresponding to the music content to be recorded when the attribute information is not attached to the music content data.
  • the function unit that accesses the attribute information providing server device as a searcher by using the music content ID as a searcher and obtains attribute information corresponding to the music content ID or the like as described above. It consists of a functional unit that acquires attribute information corresponding to the music content from a recording / playback device.
  • FIG. 10 and FIG. 11 Each processing step in FIG. 10 and FIG. 11 is executed by the CPU 1 using the RAM 4 as a work area according to the ROM 3 program.
  • the user Prior to recording, the user prepares music data to be recorded as music content and stores it in the music content data holding unit 102.
  • attribute information When attribute information is attached In the music content data holding unit 102, attribute information of the music as the music content is also stored.
  • the music content data holding unit 102 reports to the music content recording instruction control unit 101 whether or not the attribute information is attached to the music to be recorded. Thereby, the music content recording instruction control unit 101 recognizes in advance whether or not the music content to be recorded is accompanied by attribute information.
  • the music content recording instruction control unit 101 recognizes the recording instruction of the designated music piece (step S31 in FIG. 10).
  • the music content recording instruction control unit 101 determines whether or not attribute information is attached to the designated music piece (step S3).
  • the music content recording instruction control unit 101 also sends the audio / video data of the music content to be recorded held and stored in the music content data holding unit 102 to the audio / video data recording setting unit 103. And instructing the corresponding attribute information to be sent to the attribute information record setting unit 104 (step S34).
  • the music content data holding unit 102 sends the audio / video data of the music content to be recorded to the audio / video data recording setting unit 103 together with the music content ID, and the corresponding attribute information. It is sent to the attribute information record setting unit 104 together with the music content ID.
  • the attribute information recording setting unit 104 Upon receiving the attribute information (including the music content ID) from the music content data holding unit 102, the attribute information recording setting unit 104 creates a temporary list of attribute information to be recorded (step S35). The created temporary list of attribute information is presented to the user, for example, by displaying it on the display of the user interface 11 (step S36).
  • the user who has received the provisional list of attribute information to be recorded determines that the attribute information needs to be corrected or added, the user performs a predetermined operation through the operation unit of the user interface 11. If the attribute information is acceptable as it is, operate the enter key on the user interface 11 and enter it.
  • the music content recording instruction control unit 101 instructs the user to correct the attribute information. If it is determined that there is a correction instruction or an addition instruction, it is notified to the attribute information record setting unit 104.
  • the attribute information record setting unit 104 that has received this correction instruction or addition instruction corrects or adds attribute information in accordance with the contents of the correction instruction or addition instruction through the user interface 11 (step S38). Arrangement information may be additionally recorded when this attribute information is modified or added.
  • the music content recording instruction detects a decision input regarding the attribute information of the user (step S39), and sends the audio / video data from the audio / video data recording setting unit 103 to the encoding unit 105 and the attribute information recording / setting unit 104. Instructs to receive attribute information and encodes the received information.
  • the encoding unit 105 receives the audiovisual data and the attribute information, and executes an encoding process for storing it in the music content storage unit 20 (step S40).
  • the encoding unit 105 writes the encoded audiovisual data into the audiovisual data storage unit 21 and writes the encoded attribute information into the attribute information storage unit 22 (step S41). This is the end of the recording process.
  • step S32 if it is determined in step S32 that the attribute information is accompanying the music content, the music content recording instruction control unit 101 sends the attribute information of the music content to the attribute information recording setting unit 104. Is sent to the local device and recorded (step S51 in FIG. 11).
  • the music content recording instruction control unit 101 also stores the audio / video data of the recording-target music content held in the music content data holding unit 102 and the audio / video data recording setting unit 103 and the music tone analysis.
  • the unit 13 is instructed to send it (step S52).
  • the music content data holding unit 102 sends the audio / video data of the music content to be recorded to the audio / video data recording setting unit 103 together with the music content ID, and transmits the audio data of the music content to the music tone analysis unit 13. To send.
  • the music tone analysis unit 13 that has received the acoustic data from the music content data holding unit 102 Then, the sound data is analyzed to extract music composition information such as tempo, key, and chord for each music material (step S53).
  • the attribute information recording setting unit 104 receives an instruction from the music content recording instruction control unit 101 to generate attribute information on its own device, the reproduction history of the specified music is reproduced as reproduction history information. It is determined whether or not the data is held in the holding unit 15, and if it is held, the reproduction history is acquired to be part of the attribute information (step S54). If there is no reproduction history information, the reproduction history information as attribute information is “null” meaning no.
  • the attribute information recording setting unit 104 uses the brightness, Z ⁇ , intense ⁇ Z friendly, fun Z for the song input through the user interface 11 from the user who listened to the song to be recorded. It accepts numeric input of emotional information such as sadness (for example, the numerical values of the 16 levels described above) and uses it as a part of attribute information (step S55).
  • the attribute information record setting unit 104 acquires the music composition information analyzed and extracted by the music tone analysis unit 13 from the music tone analysis unit 13 and sets it as a part of the attribute information (step S56). Furthermore, the attribute information record setting unit 104 acquires the surrounding environment information from the surrounding environment information acquisition unit 40, and makes the surrounding environment information a part of the attribute information (step S57).
  • the attribute information recording setting unit 104 creates a temporary list of attribute information to be recorded based on the information acquired in steps S54 to S57 (step S58), and creates a temporary list of the created attribute information.
  • the list is presented to the user, for example, by displaying it on the display of the user interface 11 (step S36).
  • the user who has received the provisional list of attribute information to be recorded determines that the attribute information needs to be corrected or added, the user performs a predetermined operation through the operation unit of the user interface 11. If the attribute information is acceptable as it is, operate the enter key on the user interface 11 and enter it.
  • the music content recording instruction control unit 101 determines whether there is a correction instruction or addition instruction for the user power attribute information (step S37). Communicate to attribute information record setting unit 104. Upon receiving this correction instruction or addition instruction, the attribute information record setting unit 104 corrects or adds attribute information in accordance with the correction instruction contents or addition instruction contents through the user interface 11 (step S38).
  • the music content recording instruction detects a decision input regarding the attribute information of the user (step S39), and sends the audio / video data from the audio / video data recording setting unit 103 to the encoding unit 105 and the attribute information recording / setting unit 104. Instructs to receive attribute information and encodes the received information.
  • the encoding unit 105 receives the audiovisual data and the attribute information, and executes an encoding process for storing it in the music content storage unit 20 (step S40).
  • the encoding unit 105 writes the encoded audiovisual data into the audiovisual data storage unit 21 and writes the encoded attribute information into the attribute information storage unit 22 (step S41). This is the end of the recording process.
  • the music composition analysis unit 13 extracts the music composition information. If it is known from the information or the producer's information, the user does not need to analyze the tune, and the music composition information such as tempo, key, and chord based on the musical score information can be input as attribute information.
  • the attribute information record setting unit 104 acquires the music composition information through the music composition information acquisition unit 106 and sets the attribute information. It can also be made a part.
  • the reproduction history information of past users is accumulated in the reproduction history information holding unit 15.
  • a song that is often listened to has a high listener preference, whereas a song with a short playback time often has a low listener preference. Therefore, every time the reproduction frequency information for each music piece is updated, the information is added to the attribute area of the music content of each music piece.
  • the reproduction history information stored in the attribute information storage unit 22 of the music content storage unit 20 as attribute information is played back by playing the corresponding music that is not only at the time of recording the music content.
  • the playback history of the information holding unit 15 is updated, at the same time, the attribute information
  • the playback history information of the attribute information of the corresponding music in the storage unit 22 is also updated.
  • the device has a function of selecting a music piece that the user would like in order by simply performing a playback start operation and presenting it to the user.
  • the user selects the first song and inputs a continuous playback start operation through the operation unit of the user interface 11.
  • the recording / reproducing apparatus of this embodiment determines whether or not the user has a preference for the music selected first, based on the biological information acquired from the user (listener), and indicates the preference. If this is the case, the next song playback candidate is the song whose tone is similar to the first selected song.
  • the biometric information of the user (listener) who is the music listener is acquired, and for example, from the movement of the body such as the head and feet when riding on music, the pulse, etc.
  • the preference of the listener is determined.
  • the music that the listener may like based on the playback history information held in the playback history information holding unit 15 And select a song whose tone is similar to the selected song as the next music playback candidate.
  • the surrounding environment information of the listener is acquired, and the music that matches the acquired surrounding environment information is searched by referring to the attribute information, and the search result is easily reproduced.
  • a song and a song having a tone similar to the song are set as candidates for the next song reproduction.
  • V a so-called play list (list of playback music candidates) is created on the user side, and played in that order.
  • a so-called play list list of playback music candidates
  • the playlist needs to be revised each time the number of songs stored in the internal storage increases. This method also has a problem that it does not actively consider user preferences.
  • the playback device side uses the past user playback history information, biometric information input in real time by the user, etc., and further, geographical information on which the playback device exists.
  • the preference level is predicted against the attribute information of the currently played music, and the music that the user wants to listen to most in the current situation is provided.
  • a candidate is dynamically selected and played back.
  • a search is also made for the attribute information power of a large number of songs stored in the attribute information storage unit 22 for songs close to the tempo and tempo of songs that have been listened to in the past,
  • the listener can relax with the music that they listen to, and can acquire biometric information that seems to be relaxing.
  • a song having a similar structure is searched from the attribute information and played back.
  • music attribute information is used to dynamically present music that matches the listener's preference.
  • the attribute information the sensibility information of the music that the listener feels (for example, dark / bright music), the reproduction of how many times the user has played this music, etc.
  • Information on the surrounding environment such as history information, information on performers and instruments, geographical information on where the recording was made, and where to listen is recorded.
  • the second playback processing point in the recording / playback apparatus of this embodiment is that the music material unit is based on the music information being listened to, particularly the music composition information and arrangement information. It also has a function (called Arrange Mode) that allows you to reconfigure the music by changing the tempo and key (pitch), remixing, and applying effects.
  • Arrange Mode a function that allows you to reconfigure the music by changing the tempo and key (pitch), remixing, and applying effects.
  • the arrangement mode includes an automatic mode and a manual mode, which can be selected and set by the user.
  • the illustration of the arrangement mode is omitted, in the user interface 11, for example, the user selects “Setting” from the menu, selects the arrangement mode setting in the menu, and selects the automatic mode or the manual mode. This can be done by selecting a deviation.
  • the biometric information acquisition unit 30 detects the biometric information of the listener, and the listener's mood at that time is detected. In response to this, automatically remix the music data, such as a disc jockey, to play multiple songs at the same time, or change the tempo, key, etc.
  • the music inside is dynamically reconfigured.
  • the attribute information as described above, particularly the music composition information is attached, so that the music is matched to the atmosphere in which the listener is placed.
  • Replay 'synthesize while dynamically reconfiguring. Reconfiguration is just a listener It will change the music played so that it will be more enjoyable, and will offer listeners new ways to enjoy the music.
  • the attribute information as described above is intended to allow the music to be reconstructed and reproduced without impairing the musicality.
  • music (songs) is divided by measures, beats, etc.
  • chords are determined for each of those breaks, according to the music theory, for example, different music materials are combined for each measure. Therefore, it is possible to change the tone without losing musicality. This is a technique called remix that is generally performed by a disc jockey or the like.
  • the composition information of the music necessary for reconfiguring the music is attached to the audiovisual data of the music content in advance as an attribute. It is recorded as information.
  • the music composition information necessary for reconstructing the music is the music composition information in units of music materials such as tempo, key, chord, volume, and time signature as described above.
  • the attribute information need not always be attached to the audiovisual data of the music content. For example, only when necessary, the attribute information is stored in another storage location based on the identification information of the music content. Information may be read out or acquired from a server device of the attribute information through a network.
  • the music composition information is not automatically reconfigured.
  • the biological information from the listener is fed back to the playback device to dynamically grasp the viewing state of the listener, and the surrounding environment information of the place where the recording / playback device is located (existing) is dynamically grasped.
  • the music suitable for the occasion is re-synthesized with the attribute information power and provided to the listener.
  • the music is reconfigured only when the listener shows preference, so that the listener is more preferred! /
  • the listener's biometric information is also stored in the playback device during the automatic reconstruction of the music being listened to.
  • there is recommended effect information in the attribute information use it! I can do it.
  • the music content recording / playback apparatus of this embodiment particularly arranges the attribute information of the music in accordance with the arrangement instruction through the user interface 11 of the user. Based on the usage information and the music composition information, as described above, the music is reconfigured by changing the tempo, key (pitch), limiting, and applying effects for each music material. To arrange.
  • FIG. 12 shows an example of the user interface 11 including the LCD display screen in the manual mode of the arrange mode.
  • FIGS. 12A and 12B show an operation panel unit constituting a part of the user interface 11 of the music content recording / playback apparatus of this embodiment.
  • the music content recording / playback apparatus of this embodiment performs the music being played back.
  • Arrangement information (see Fig. 2 and Fig. 3) is extracted from the attribute information about the, and as shown in Fig. 12 (A), the arrangement information stored on the LCD display screen 111 as the attribute information is extracted. Display a list of information types.
  • the user While viewing the arrangement information list on the LCD display screen 111, the user operates the cross-shaped cursor button 112 in this example to select whether to instruct the arrangement using the deviation arrangement information. Manipulate. In this example, the user operates the up / down direction operation unit of the cross-shaped cursor button 112 to change the position of the currently selected item indicated by a halftone dot in FIG. Then, by operating the determination button at the center of the cross-shaped cursor button 112, the selected item is selected and determined.
  • the user uses the cross-shaped cursor button 112, and the user further selects a desired arrangement form from the arrangement form list.
  • the selected arrangement mode is selected and determined, information on the arrangement mode stored in the attribute information storage unit 22 is read out from the music data, and the music reconstruction process as described above is not performed. And the arrangement is executed.
  • FIG. 13 is a block diagram functionally extracting and representing the playback processing portion of the recording / playback apparatus according to the first embodiment.
  • 14 to 21 are diagrams for explaining the music reconfiguration process.
  • FIGS. 22 to 25 are flowcharts for explaining an example of the reproduction processing operation.
  • the playback processing unit of the recording / playback apparatus of the first embodiment is also composed of two components, like the recording processing unit described above.
  • One is a music content storage unit 20 in which a plurality of music contents are recorded and held, and the other is a playback unit 200 that plays back music content. Since the music content storage unit 20 is as described above, the playback unit 200 will be described here.
  • the playback unit 200 includes a user interface 11, a playback history information storage unit 15, a biological information acquisition unit 30, a surrounding environment information acquisition unit 40, a sound output unit 53, As a functional processing unit that is realized by processing by the CPU 1 in accordance with a program stored in the ROM 3 as well as a video output unit 56, an audiovisual data selection determination control unit 201, a decoding unit 202, an attribute,
  • the information acquisition unit 203, the audiovisual data acquisition unit 204, the audiovisual data decoding unit 205, and the audiovisual arrangement processing unit 206 are provided.
  • the audiovisual data selection determination control unit 201 selects music content to be played in accordance with a user instruction through the user interface 11, and performs playback control processing (music reconfiguration processing by automatic arrangement and manual operation by user instruction). (Including music reconfiguration processing of arrangement), the reproduction history information from the reproduction history information holding unit 15, the biological information acquired through the biological information acquisition unit 30, and the peripheral environment acquired from the peripheral environment information acquisition unit 40 Select music content to play based on information, etc.
  • the decoding unit 202 acquires the audio / video data and the attribute information from the music content storage unit 20 in accordance with the music content selection instruction from the audio / video data selection determination control unit 201, and converts the compressed data. This is for decompression decoding and corresponds to the decoding part of the encoding Z decoding part 12.
  • the decoding unit 202 passes the attribute information read and decompressed from the music content storage unit 20 to the attribute information acquisition unit 203, and the audiovisual data read from the music content storage unit 20 and decompressed and decoded is Supplied to the audiovisual data acquisition unit 204.
  • the attribute information acquisition unit 203 receives the attribute information read from the music content storage unit 20 and decoded from the decoding unit 202, and passes it to the audiovisual data selection determination control unit 201.
  • This attribute information acquisition unit 203 is composed of a buffer unit that uses a partial area of the RAM 4.
  • the audiovisual data acquisition unit 204 receives the audiovisual data that has been read and decoded from the music content storage unit 20 from the decoding unit 202 and passes it to the audiovisual data decoding unit 205.
  • the audiovisual data acquisition unit 204 is configured by a buffer unit that uses a partial area of the RAM 4.
  • the video / audio data decoding unit 205 is a part composed of the audio data decoding unit 51 and the video data decoding unit 54, which decodes the audio data and passes it to the video / audio arrangement processing unit 206.
  • the video data is decoded and passed to the video / audio arrangement processing unit 206.
  • the audio / video arrangement processing unit 206 is configured by the audio arrangement unit 52 and the video arrangement unit 55, and receives the control signal from the audio / video data selection determination control unit 201 and is decoded.
  • the sound data is remixed with the sound data of other songs, effects processing is applied to the sound data, and the tempo and key ⁇ change the chord progression to reconstruct the music.
  • the decoded video data may be subjected to post-processing.
  • the video / audio arrangement processing unit 206 supplies the audio data that has been remixed or effect-processed to the audio output unit 53, and supplies the video data that has been subjected to the F-side processing or the like to the video output unit 56.
  • the listener's biological information acquired by the biological information acquisition unit 30 is supplied to the audiovisual data selection determination control unit 201, and is used for selection of music content and reconfiguration of music.
  • the surrounding environment information such as information on the location where the recording / playback apparatus exists acquired by the surrounding environment information acquisition unit 40 is supplied to the audiovisual data selection determination control unit 201 to select music content and reconfigure the music. Used for.
  • the playback history information holding unit 15 supplies the held playback history information to the audiovisual data selection determination control unit 201 in accordance with the read request from the audiovisual data selection determination control unit 201 supplied thereto. To do.
  • This reproduction history information is used by the audiovisual data selection determination control unit 201 to select music content and reconstruct music.
  • FIG. 14 shows the configuration of a functional block diagram of the playback unit 200 of FIG. 13 viewed from the viewpoint of music reconfiguration processing, and the substantial configuration content is the same as FIG.
  • the playback unit 200 generates a rhythm master unit 210 that generates and outputs a synchronization signal and music reconstruction information that serve as a reference for the reconstruction of music data, and the rhythm master.
  • a rhythm slave unit 220 that receives the synchronization signal SYNC and the music reconstruction information ARI from the unit 210 and performs the reconstruction of the music data.
  • the synchronization signal SYNC from the rhythm master unit 210 is output in synchronization with the playback of the music data
  • the music reconstruction information ARI is output in synchronization with the synchronization signal SYNC, and the music data It is a value that changes dynamically in sync with playback.
  • the rhythm master section 210 has a function corresponding to a conductor in a concert, and the rhythm slave section 220 has a function corresponding to a player's position.
  • the audiovisual data selection determination control unit 201 determines the audiovisual data selection determination control RM (RM stands for rhythm master) belonging to the rhythm master unit 210 and the audiovisual data selection determination belonging to the rhythm slave unit 220.
  • Control RS (RS stands for Rhythm Slave) Part 201S And divided.
  • the attribute information acquisition unit 203 belongs to both the rhythm master unit 210 and the rhythm slave unit 220.
  • the rhythm master unit 210 includes an audiovisual data selection determination control RM unit (hereinafter referred to as “RM unit”) 201M and an attribute information acquisition unit 203.
  • RM unit audiovisual data selection determination control RM unit
  • the rhythm slave unit 220 acquires the biological information acquisition unit 30 and the surrounding environment information.
  • Unit 40 reproduction history information holding unit 15, video / audio data acquisition unit 204, video / audio data decoding unit 205, and video / audio arrangement processing unit 206.
  • the RM unit 201M of the rhythm master unit 210 is based on the attribute information of the music content being played back acquired by the attribute information acquisition unit 203! /
  • a synchronization signal SYNC serving as a reference for reconstruction and music composition data ARI are generated, and the generated synchronization signal SYNC and music reconstruction data ARI are supplied to the RS unit 201 S of the rhythm slave unit 220.
  • a bar synchronization signal PHSY with a period corresponding to a music bar and a beat synchronization signal BTSY with a period corresponding to a music bar are obtained.
  • the RM unit 201M generates and outputs a signal synchronized with the measure and the song of the music being reproduced.
  • the measure synchronization signal PHSY is a signal indicating the beginning of a measure of the song, and is, for example, a falling edge pulse only at the beginning of the measure of the song.
  • the beat synchronization signal BTSY is a signal indicating the beginning of the beat of the music. For example, only the beginning of the beat is a falling edge pulse.
  • the number of beats per measure varies depending on the number of beats.
  • the music reconstruction data ARI is sent from the rhythm master unit 210 to the rhythm slave unit 220 in synchronization with these synchronization signals. Since the music reconstruction data ARI is multi-valued data, it is assumed that the data flows on a multi-bit signal line such as a data nose.
  • the RM unit 201M generates, as the music reconstruction data ARI, the BPM value, the key value, and the code value of the music composition information as shown in FIG. And supplied to the RS unit 201S of the rhythm slave unit 220.
  • the data of each value may be transmitted via a multi-bit signal line, or one serial data as each. It may be possible to transmit via the signal line.
  • the BPM value is a value that becomes the master tempo of how fast the music is played in the rhythm slave unit 220. This BPM value corresponds to the oscillation frequency of the sync signal SYNC.
  • the key value is a value that determines the key of the music content to be reproduced. If you don't decide on a particular key, V, or a “null” value, is acceptable. When the key value of the music reconstruction data ARI is a “null” value, the rhythm slave unit 220 plays back with a free key.
  • the chord value is a value that determines the chord progression of the music content to be reproduced.
  • the rhythm slave unit 220 reproduces with a given chord value or with a substitute chord. According to music theory, it is good if the tonality does not collapse.
  • the code value may be a “null” value. When the chord value of the music reconfiguration data ARI is “null”, the rhythm slave unit 220 plays back with a free chord.
  • the RM unit 201M uses the BPM value, the key value, and the chord value extracted from the attribute information force of the music being played as it is as the music reconstruction information ARI. Output as.
  • FIG. 16 is a diagram showing a detailed configuration example of the rhythm master unit 210 in the first embodiment, and in particular, details of the functions of the RM unit 201M are made into blocks. That is, the RM unit 201M functionally includes an attribute information analysis unit 211, a synchronization signal generation unit 212, a synchronization signal output circuit 213, a music reconstruction data setting unit 214, and a music reconstruction data output. Circuit 215.
  • the attribute information analysis unit 211 of the RM unit 201M receives and analyzes the attribute information of the song being reproduced from the attribute information acquisition unit 203, analyzes the attribute information of the song being reproduced, and Extract the music composition information mentioned above, and out of the extracted music composition information
  • the BPM value as tempo information which is one of bar and hail break information, is supplied to the synchronization signal generator 212.
  • the synchronization signal generation unit 212 includes a PLL (Phase Locked Loop) circuit 216, oscillates at an oscillation frequency corresponding to the BPM value from the attribute information analysis unit 211, and measures the music content to be played back. And bar sync signal PHSY and beat A synchronization signal SYNC composed of the start signal BTSY is generated by using the PLL circuit 216, and the generated synchronization signal SYNC is supplied to the RS unit 201S through the synchronization signal output circuit 213 as shown in FIG.
  • PLL Phase Locked Loop
  • the attribute information analysis unit 211 of the RM unit 201M also receives the BPM value, the key value, and the code value from the music composition information of the attribute information of the music being played back received from the attribute information acquisition unit 203. Are extracted and supplied to the music reconstruction data setting unit 214.
  • the received BPM value is set in the BPM value setting unit 217
  • the received key value is set in the key value setting unit 218, and the received code value is set in the code value setting unit Set to 219.
  • the BPM value, key value, and chord value set in the BPM value setting unit 217, key value setting unit 218, and chord value setting unit 219 are output from the music reconfiguration data setting unit 214 to the music reconfiguration data.
  • the music reconstruction data output circuit 215 supplies the data to the RS unit 201S as music composition reconstruction data ARI.
  • the RM unit 201M generates the synchronization signal SYNC and the music reconstruction data ARI in real time based on the attribute information from the attribute information acquisition unit 203 in synchronization with the playback of the music data of the music content.
  • the rhythm slave unit 220 is supplied to the RS unit.
  • FIG. 17 shows a detailed configuration example of the rhythm slave unit 220 in the first embodiment.
  • the RS unit 201S of the rhythm slave unit 220 is functionally configured as shown in FIG. 17, and includes an arrangement control unit 221, a tempo correction amount calculation unit 222, and a pitch correction amount calculation unit 223. I have.
  • the audio / video arrangement processing unit 206 of the rhythm slave 220 includes a tempo correction circuit 225, a pitch correction circuit 226, and a mixer and effect circuit 227.
  • the arrangement control unit 221 acquires attribute information of all music contents from the attribute information storage unit 22 of the music content storage unit 20 through the attribute information acquisition unit 203 in advance, and acquires the acquired attribute information table. Create and retain the music reconstruction attribute information table 224.
  • the music reconstruction attribute information table 224 in addition to the music reconstruction attribute information used for automatic arrangement based on biometric information, surrounding environment information, reproduction history information, etc., the user's arrangement Attribute information to reconfigure music according to instructions Also included is music reconstruction attribute information created from the arrangement information contained therein.
  • the latter piece of music reconstruction attribute information is information for arranging in a musical genre (classic, pop, rock, soul, enka, etc.) desired by the user, as described above.
  • the music reconfiguration attribute information table 224 in the example of FIG. 18 performs remixing as an example of the reconfiguration processing, and thus can be configured as a remix attribute information table.
  • the music reconstruction attribute information table 224 in FIG. 18 includes a chord value, a BPM value, an instrument name, and a sensitivity value for each music material name.
  • the sensitivity value is only a bright feeling, but of course this is not the case.
  • the arrangement control unit 221 When executing the remix process, the arrangement control unit 221 is equal to or close to the BPM value and code value of the music reconstruction data ARI that also received the RM unit 201M force.
  • the music material having the BPM value and the chord value is searched from the music reconstruction attribute information table 224 for each musical instrument to be remixed.
  • the arrangement control unit 221 refers to the biological information from the biological information acquisition unit 30, the surrounding environment information from the surrounding environment information acquisition unit 40, and the reproduction history information from the reproduction history information holding unit 15.
  • the power of the listener requesting a bright feeling is determined whether this is the case, and the music material to be actually limited is determined by referring to the sensitivity value in the music reconstruction attribute information table.
  • the arrangement control unit 221 refers to the arrangement information when remixing is necessary as the arrangement processing based on the arrangement instruction of the user power when receiving the arrangement instruction of the user through the user interface 11. And determine the music material to be limited.
  • the arrangement control unit 221 then sends a selection instruction to the decoding unit 202 to read out the determined acoustic data of the music material from the music content storage unit 20.
  • the decoding unit 202 receives this, the decoding unit 202 reads out the audio data of the music material for which selection has been instructed from the music content storage unit 20, has already read out, and in addition to the audio / video data to be played back, Audio data acquisition unit for audio data of remix music material 20 Pass to 4.
  • the audiovisual data acquisition unit 204 supplies the audio data of one or more music materials for remixing to the audiovisual data decoding unit 205 in addition to the audiovisual data to be reproduced. become.
  • the video / audio data decoding unit 205 and the video / audio arrangement processing unit 206 process the plurality of video / audio data in parallel. That is, the video and audio data decoding unit 205 and the tempo correction circuit 225 and the pitch correction circuit 226 of the video and audio arrangement processing unit 206 are the number of video and audio data to be processed in parallel as shown in FIG. Each of them is functionally equipped with two (two in Fig. 17) processing circuit units.
  • FIG. 19 is a diagram showing the flow of the music signal in the audio / video data decoding unit 205 and the audio / video arrangement processing unit 206 of the rhythm slave unit 220 in synchronization with the synchronization signal SYNC from the rhythm master unit 210. It is. In this case, one of the music signal (sound data) playback signal streams is called a music track. As described above, in the rhythm slave unit 220, there are a plurality of music tracks, and the music data of each music track is subjected to tempo correction and pitch correction as necessary, and then the mixer and The effect circuit 227 is finally mixed.
  • the three music track outputs output from the audiovisual data decoding unit 205 are reproduced in synchronization with the synchronization signal SYNC from the rhythm master unit 210, and the status is output at the final stage. Is shown.
  • music track 1 is a music data track of music content to be played back
  • music track 2 and music track 3 are music material tracks to be limited.
  • the tempo correction amount calculation unit 222 and the BPM value acquired from the attribute information acquisition unit 203 and the BPM value in the music reconstruction data ARI from the rhythm master unit 210 target value of BPM value (target BPM value)
  • the tempo correction amount for the music material to be remixed with the currently playing music is also calculated. Even if the BPM value is different from the one that exactly matches the target BPM value, it is necessary to correct in this way as the music material to be limited such as key value and chord value. This is because when you select such music material, the BPM value matches the target BPM value.
  • the tempo correction amount calculation unit 222 supplies the calculated tempo correction amount to the corresponding music material processing circuit unit of the tempo correction circuit 225.
  • the tempo correction circuit 225 is a circuit that corrects the sound data so that only the playback tempo is changed while keeping the pitch constant.
  • This correction such as a method using a correlation function.
  • this embodiment is not characterized by the algorithm, detailed description thereof is omitted here.
  • the pitch correction amount calculation unit 223 includes the key value Z code value acquired from the attribute information acquisition unit 203, and the key value Z code value (key value Z code) in the music reconstruction data ARI from the rhythm master unit 210.
  • the pitch correction amount for each piece of music material that is limited to the currently playing music is calculated from the difference from the target value (which is the target key value Z target code value). It is necessary to correct in this way even if the key value and code value are not exactly the same as the target key value and target code value, but are different from each other. This is because some of the music materials to be remixed can be judged to be appropriate, so that when such music material is selected, its key value and chord value are matched to the target value.
  • the pitch correction amount calculation unit 223 supplies the calculated pitch correction amount to the corresponding music material processing circuit unit of the pitch correction circuit 226, respectively.
  • the pitch correction circuit 226 performs only the pitch of sound data while keeping the tempo constant. It is a circuit which correct
  • As a correction algorithm there are various methods. Since this embodiment is not characterized by the algorithm, detailed description thereof is omitted here.
  • the mixer and effect circuit 227 receives a mixing control signal and special effect control signal from the arrangement control unit 221 to apply a special effect to the audiovisual data from the pitch correction circuit 226, or from the pitch correction circuit 226. Or mix multiple audiovisual data.
  • the special effect to be applied depends on the special effect control No. 3 from the arrangement control unit 221.
  • FIG. 20 shows the flow of music signals in the audiovisual data decoding unit 205 and audiovisual arrangement processing unit 206 of the rhythm slave unit 220 in synchronization with the synchronization signal SYNC from the rhythm master unit 210.
  • FIG. 6 is a diagram showing the music reconfiguration operation in the audiovisual arrangement processing unit 206 of the rhythm slave unit 220 while making it correspond to the music reconfiguration data ARI of the rhythm master unit 210.
  • the music reconstruction data ARI is extracted from the attribute information power of the music content to be played back, and the music content to be played back is the music track 1 It is a playback signal stream.
  • the target values of BPM value “120”, key value “Cmajor”, chord progression “C” ⁇ “G” ⁇ “F” are rhythm from the rhythm master unit 210 as the music reconstruction data ARI. Input to slave unit 220.
  • rhythm slave unit 220 two playback signal streams of the music content to be played back on the music track 1 are acquired from the music content storage unit 20 based on a selection instruction from the arrangement control unit 221.
  • the audio data of the music tracks 2 and 3 are corrected by the audiovisual arrangement processing unit 206 so that they match the target BPM value and target code value of the music reconstruction data ARI, and then the music data It is mixed with the music data of track 1 and remixed.
  • the music material 3 of the music track 3 is collected through the force attribute information acquisition unit 203 mixed with the acoustic data of the music track 1. Since the BPM value in the measure section Pa of this music material 3 is “120”, which is the same as the BPM value of the music reconstruction data ARI, the music data of music material 3 Arrangement processing unit 206 does not correct the tempo.
  • the code value in the measure section Pa of the music material 3 acquired through the attribute information acquisition unit 203 is “D”, which is different from the code value “C” of the music reconstruction data ARI. Therefore, the music data of the music material 3 is subjected to the pitch correction as described above in the pitch correction circuit 226 of the audio / video arrangement processing unit 206 so that the target value becomes “D” ⁇ “C”. Changed to
  • the BPM value in the first half of the measure section Pb of the music material 2 acquired by the attribute information acquisition unit 203 is "100"
  • the chord value is "E”
  • the music reconstruction data ARI target Different from BP M value “120” and target code value “G”.
  • the music data of music material 2 is corrected in the first half of measure section Pb by the audio / video arrangement processing unit 206 from “100” to “120” so that it matches the target BPM value. , “E” to “G”, the pitch is corrected to match the target chord value.
  • the music data of the music material 2 that has been corrected is added to the music data of the music track 1.
  • the BPM value of music material 2 is "100”
  • the code value is “E”
  • the target BPM value "120” of the music reconstruction data ARI and the target code A force different from the value “F”
  • the BPM value of the music material 3 is “120” and the code value is “F”, which is the same as the target BPM value “120” and the target code value “F” of the music reconstruction data ARI It is.
  • the music material 2 of the music track 2 is corrected in the tempo and pitch by the video / audio arrangement processing unit 206 and added to the music data of the music track 1, and Music material 3 of music track 3 is added to the music data of music track 1 without being corrected.
  • the music reconfiguration based on the synchronization signal SYNC synchronized with the music content and the music configuration information of the music content.
  • the synchronization signal SYNC makes it possible to easily detect breaks between bars and bars, special effects can be easily applied to music data.
  • the above-described arrangement control can be executed dynamically in real time. For example, an input that changes from moment to moment, such as a biological information sensor input, can be easily followed.
  • loop reproduction processing can be performed as one of special effects processing of remixing.
  • This loop playback processing refers to a processing function that repeatedly plays back a small amount of music material data for one or more bars or one or more beats, for example. By playing this loop, even a small amount of music material can be played indefinitely.
  • An example of a music material for loop playback is a drum rhythm pattern.
  • the original music material as shown in Fig. 21 (C) has a mark-in (Markln) point that is the start point of loop playback and a mark-out (MarkOut) point that is the end point of loop playback. , Specified in advance.
  • a plurality of pieces of information on the original music material are stored in a “DJ loop information storage unit” separately provided in the attribute information storage unit 22 of the music content storage unit 20, for example.
  • the attribute information storage unit 22 may be provided with a “DJ loop information storage unit” in a separate storage area, and the original music material information may be stored in the storage unit.
  • One original music material power is selected from a plurality of original music materials, for example, through the user interface 11, and when loop playback is specified, the specified original music material information is stored from the attribute information storage unit 22. It is read out and supplied to the audiovisual data decoding unit 205 of the rhythm slave unit 220. Then, the audio / video data decoding unit 205 and the audio / video range processing unit 206 perform loop playback while performing tempo correction and pitch correction as necessary. [0253] In this case, the audiovisual data decoding unit 205 and the audiovisual arrangement processing unit 206 are synchronized with the bar synchronization signal PHSY of the synchronization signal SYNC or the beat synchronization signal BTSY (see Fig. 21 (A)).
  • the user selects the desired music content (song) from the selection screen of the music content on the display of the user interface 11, and sends the first song to the audiovisual data selection determination control unit 201. Instruct playback.
  • the second and subsequent songs are automatically selected by the recording / playback apparatus of the embodiment and playback continues.
  • the audio / video data selection determination control unit 201 that has received the playback instruction for the first song through the user interface 11 recognizes the music content that has received the playback instruction, and at the same time, the attribute information storage unit of the music content storage unit 20 From 22, the decoding unit 202 is instructed to read out the attribute information of the music content for which the reproduction instruction has been received and all or a predetermined amount of attribute information. Then, in response to the instruction, the attribute information sent from the decoding unit 202 through the attribute information acquisition unit 203 is read and analyzed (step S61).
  • the audiovisual data selection determination control unit 201 selects the next playback music candidate to be described later, the attribute information of the music content that has been instructed to be played in order to reconstruct the music being listened to, and The attribute information of other music contents is acquired and analyzed in advance, and preparations are made in advance for selection of a candidate for the next reproduced music, which will be described later, and for reconstruction of the music being listened to. [0259] Next, the audiovisual data selection determination control unit 201 instructs the decoding unit 202 to read the audiovisual data of the music content for which reproduction has been instructed. Then, the decoding unit 202 reads the audiovisual data of the music content instructed to be reproduced from the music content storage unit 20 and passes it to the audiovisual data acquisition unit 204.
  • the audiovisual data acquired by the audiovisual data acquisition unit 204 is delivered to the audiovisual data decoding unit 205, decoded, supplied to the audio output unit 53 through the audio / video arrangement processing unit 206, and output as audio.
  • the video is output to the video output unit 56, video is output, and playback is started (step S62).
  • the audiovisual data selection determination control unit 201 determines whether the arrangement mode is set to the automatic mode or the manual mode in this embodiment. (Step S63) When it is determined that the automatic mode is selected, the audiovisual data selection determination control unit 201 acquires the biological information of the listener from the biological information acquisition unit 30 and the surrounding environment information acquisition unit 40 Obtain environmental information (step S64). The acquisition of the biological information and the surrounding environment information is continued during reproduction.
  • the audiovisual data selection determination control unit 201 determines from the listener's biological information acquired from the biological information acquisition unit 30 whether or not the listener has a preference for the music being listened to (step S65). ).
  • the audiovisual data selection determination control unit 201 receives biological information such as body movements through the biological information sensor 31 and the biological information analysis unit 32 of the recording / playback device, so that the listener actively Determine whether you want to listen to music or not. For example, when riding on music, your body will naturally move to the music.
  • the cross-correlation function between the composition information of the music being played (such as the division of music material units and tempo) and the output signal of the body movement sensor (acceleration sensor, etc.) is calculated. Based on the correlation coefficient, it is possible to judge to some extent whether or not the listener wants to actively listen to music. In this case, it is even better to consider the sensitivity information in the attribute information. In other words, if the music is intense, the movement of the listener's body moves violently, and if the music is gentle, it can be predicted that the movement of the listener's body will be slow. [0264] The higher the correlation coefficient, the so-called “riding” state where the listener wants to actively listen to music. When the listener is actively listening to music, it is considered that music that matches the user's preference can be reproduced and presented by repeatedly playing music with a higher “ride” value.
  • step S65 When it is determined in step S65 that the listener does not indicate a preference for the music being played back, the audiovisual data selection determination control unit 201 captures the playback history information holding unit 15 or in advance. A piece of music with a high reproduction frequency is detected with reference to reproduction history information included in each music content of the attribute information (step S66).
  • the audiovisual data selection determination control unit 201 extracts the music composition information of the attribute information of the music having a high reproduction frequency, and determines the music tone that the listener is likely to like. In this case, when there are a plurality of music pieces having a high reproduction frequency and the music tunes match, it is determined that the listener likes the music composition information of the music tunes. Further, when there are a plurality of music pieces having a high frequency of reproduction and a plurality of music styles, for example, it is determined that the music composition information that the listener prefers a high-frequency music piece having the same music tone.
  • the audiovisual data selection determination control unit 201 prefers the above-mentioned listener, and other music having music composition information similar to the music composition information of the music tone determined to be preferred, that is, the music tone Other similar music is selected and set as the next music reproduction candidate (step S67). This is because the listener does not show preference to the music currently being played, so he tries to present to the listener music that the listener thinks is preferred from the playback history of the previous listener. To do.
  • the audiovisual data selection determination control unit 201 monitors whether or not the music being played has been played to the end (step S76 in FIG. 23), and when determining that the music has been played to the end, The reproduction history of the reproduced music (music content) is updated in the reproduction history information holding unit 15, and the reproduction history information of the attribute information of the music content is also updated (step S77).
  • the audiovisual data selection determination control unit 201 selects the music content of the music to be reproduced next from the reproduction music candidates determined in step S67, and reads the audiovisual data of the music content. And start playing the song (step S78). Then, the process returns to step S63, and the processes after step S63 are repeated.
  • the audiovisual data selection determination control unit 201 determines whether or not the listener has pressed the next button provided on the operation unit of the user interface 11. The force is discriminated (step S79).
  • the next button is a button that is pressed when the listener wants to listen to the next song that is not currently being listened to.
  • step S79 When it is determined in step S79 that the next button has been pressed, the audiovisual data selection determination control unit 201 proceeds to step S78, and from the reproduction music candidate candidates determined in step S67, the music to be reproduced next.
  • the music content is selected, the audio / video data of the music content is instructed to be read, and the playback of the music is started. Then, return to step S63 and repeat the processing from step S63 onward.
  • step S79 When it is determined in step S79 that the next button has been pressed, the audiovisual data selection determination control unit 201 determines whether or not the stop button on the operation unit of the user interface 11 has been pressed by the user. When it is determined that the stop button has not been pressed, the process returns to step S76 to monitor the end of the reproduced music, and when it is determined that the stop button has been pressed, this playback processing routine is terminated. .
  • step S65 If it is determined in step S65 that the listener has a preference for the music being played back, the audiovisual data selection determination control unit 201 determines whether the listener has a high preference, for example, as described above. Judgment is made using the “ride” value (step S71 in FIG. 23). [0276] When it is determined that the preference level of the listener is not so high, the audiovisual data selection determination control unit 201 takes into account the surrounding environment information acquired from the surrounding environment information acquisition unit 40 in this embodiment, and A music piece that is similar in tone to the currently played music piece is set as the next playable music candidate (step S72).
  • another piece of music is selected that uses the music composition information similar to the music composition information of the attribute information attached to the currently reproduced music. Then, obtain information on the current location acquired from the surrounding environment information acquisition unit 40, for example, information on mountains and seas, and listen to music in those locations that includes recommended ambient information as attribute information. The selected music is selected as the next playback music candidate.
  • the next reproduced music candidate may be determined based on only the surrounding environment information without searching for a music having the same tone as the currently reproduced music.
  • the music having the surrounding environment information that matches the surrounding environment information but also the music similar to the music composition information of the music and make them the next playback music candidates.
  • the audiovisual data selection determination control unit 201 sets a song whose tone is similar to that of the currently played song as the next played song candidate. (Step S73). In other words, other music is selected that uses the music composition information similar to the music composition information of the attribute information attached to the currently reproduced music as attribute information, and these are selected as the next reproduction music candidates.
  • the audiovisual data selection determination control unit 201 obtains the music composition information for each music material such as the tempo, key, and chord progression along with the piece information for the music material from the attribute information of the music being played. Obtain (step S 74). Then, the music data is reconstructed using the music material unit separation information and the music material unit music composition information so that there is no musical discomfort (step S75). In step S75, an effect may be applied to the video data.
  • the reconstruction of the acoustic data includes, for example, the above-mentioned limits, speeding up and slowing down the tempo, raising and lowering keys, changing the chord progression, etc. It includes processing.
  • a piece of music composition information of another piece of music that is similar to the piece of music composition information of the music being played is selected, and the division of the piece of music material is taken into consideration. And mix it with the original music so that there is no sense of incongruity.
  • what kind of music material unit music data is to be mixed may be referred to the sensitivity information in the attribute information.
  • the recording / playback device stores drum rhythmic ticks and percussion parts in advance, and limits them to the currently playing music while paying attention to the separation of music material units. Even if you want to.
  • the audiovisual data selection determination control unit 201 refers to the surrounding environment information, selects a piece of music suitable for the surrounding environment, and the surrounding environment information of the attribute information. It is also possible to search by referring to.
  • the effect parameters are used to pay attention to the separation of the music material units, making the music uncomfortable. It is possible to perform effect processing so that there is no problem.
  • the audiovisual data selection determination control unit 201 uses the biometric information of the listener as the biological information of the listener.
  • the surrounding environment information is obtained from the surrounding environment information obtaining unit 40 (step S91). This acquisition of biometric information and surrounding environment information continues during playback.
  • the audiovisual data selection determination control unit 201 determines from the listener's biological information acquired from the biological information acquisition unit 30 whether or not the listener has a preference for the music being listened to (step S92). ), When it is determined that the preference is not indicated, the process jumps to step S66 in FIG. 22 to execute the process after step S66 described above.
  • step S92 determines whether or not the listener indicates preference.
  • step S93 determines whether or not the user has given an arrangement instruction through the user interface 11 (step S93).
  • step S93 determines whether or not the user has given an arrangement instruction through the user interface 11 (step S93).
  • step S93 determines whether or not the user has given an arrangement instruction through the user interface 11 (step S93).
  • the audiovisual data selection determination control unit 201 listens to the listener from the biological information of the listener acquired from the biological information acquisition unit 30. It is determined whether or not the preference is shown for the music in the middle (step S95).
  • step S93 When it is determined in step S93 that the arrangement instruction is strong, the audiovisual data selection determination control unit 201 bypasses step S94 and proceeds to step S95, and the listener listens to the music being listened to. To indicate whether or not the user has a preference.
  • step S95 When it is determined in step S95 that the user's preference is not so high, in this embodiment, the video and sound data selection determination control unit 201 considers the surrounding environment information acquired from the surrounding environment information acquisition unit 40 in this embodiment. Then, a music piece whose tone is similar to that of the currently playing music piece is set as a next reproduced music candidate (step S 96).
  • the next reproduced music candidate may be determined based only on the surrounding environment information without searching for a music having a similar tone to that of the currently reproduced music.
  • the music having the surrounding environment information that matches the surrounding environment information but also the music similar to the music composition information of the music, and make them the next playback music candidates.
  • step S95 when it is determined in step S95 that the user's preference is high, the audiovisual data selection determination control unit 201 sets a song whose tone is similar to that of the currently played song as the next played song candidate. (Step S97). That is, other music is selected that uses the music composition information similar to the music composition information of the attribute information attached to the music currently being played back as attribute information, and these are selected as the next play music candidates.
  • step S98 the audiovisual data selection determination control unit 201 performs steps S96 and S97. After step S98, the process proceeds to step S98, where it is monitored whether the music being played has been played to the end. If it is determined that the music has been played to the end, the playback history of the played music (music content) is In addition to updating in the information holding unit 15, the reproduction history information of the attribute information of the music content is also updated (step S99).
  • the audiovisual data selection determination control unit 201 selects the music content of the music to be reproduced next from the reproduction music candidates determined in step S96 or S97, and the audiovisual data of the music content is selected. Read is instructed to start playback of the music (step S100). Then, the process returns to step S63 in FIG. 22, and the processes after step S63 are repeated.
  • step S98 determines whether or not the end of the music has not been reached.
  • the audiovisual data selection determination control unit 201 determines whether or not the listener has pressed the next button provided on the operation unit of the user interface 11. The force is discriminated (step S101).
  • This next button is a button that is pressed when the listener wants to listen to the next song that is not currently being listened to.
  • step S101 When it is determined in step S101 that the next button has been pressed, the audiovisual data selection determination control unit 201 proceeds to step S100 to select the next playback music candidate determined in step S96 or step S97. The music content of the music to be played back is selected, the audiovisual data of the music content is instructed to be read, and the playback of the music is started. Then, the process returns to step S63, and the processes after step S63 are repeated.
  • step S101 If it is determined in step S101 that the next button has not been pressed, the video / audio data selection determination control unit 201 receives an arrangement instruction from the user through the operation unit of the user interface 11. If it is determined that an arrangement instruction has been made, the process returns to step S94, and the processes after step S94 are repeated.
  • step S102 If it is determined in step S102 that an arrangement instruction has not been made, the video / audio data selection determination control unit 201 determines whether or not the stop button on the operation unit of the user interface 11 has been pressed by the user. If it is determined (step S103) and it is determined that the stop button has not been pressed, the process returns to step S98 to monitor the end of the playback music and press the stop button. When it is determined that the button has been pressed, this reproduction processing routine is terminated.
  • the playback history information is acquired in step S66, and the next history is acquired based on the playback history information in step S67.
  • the surrounding environment information acquired through the surrounding environment information acquisition unit 40 is analyzed to calculate the location of, for example, a mountain or the sea.
  • the attribute information is set as attribute information.
  • a song having surrounding environment information that matches the surrounding environment information may be determined as a next reproduction song candidate.
  • the music may be obtained and used as the next reproduction music candidate.
  • step S67 the audiovisual data selection determination control unit 201 uses both the reproduction history information and the surrounding environment information to determine the next reproduction music candidate. I'll do it.
  • FIG. 25 is a flowchart of an example of a process for generating and outputting a synchronization signal and music reconstruction data in the rhythm master unit 210.
  • the audiovisual data selection determination control RM unit 201M acquires the attribute information of the music content to be played back from the attribute information storage unit 22 of the music content storage unit 20 through the attribute information acquisition unit 203 (step S111). ), BPM value, key value, and code value are extracted from the acquired attribute information (step S112).
  • a synchronization signal SYNC including a bar synchronization signal PHSY and a beat synchronization signal BTSY is generated (step S113). Also, the extracted BPM value, key value, and code value are set in the BPM value setting unit, key value setting unit, and code value setting unit (step S114).
  • Step S115 the synchronization signal SYNC generated in step S113 and the music reconstruction data ARI including the BPM value, key value, and chord value set in step S114 are sent to the rhythm slave unit 220 ( Step S115).
  • step S116 it is determined whether or not the reproduction is finished. If the reproduction is finished, the processing routine of FIG. 25 is finished. If the playback is not finished, it is determined whether or not the currently played music has been played to the end (step S117), and the music is still finished. When it is determined that there is no data, the process returns to step S113, and the synchronization signal SYNC and the music reconstruction data ARI are continuously sent to the rhythm slave unit 220.
  • step S117 If it is determined in step S117 that the music has been completed, the next selected music is prepared for playback (step S118), and the process returns to step S111 and the above processing is repeated.
  • the time code information of, for example, a measure as a music material unit described in the attribute information, and the break of the measure of the actual audiovisual data The time code is configured to exactly match, and the audiovisual data of the music content and the attribute information correspond exactly. Therefore, the synchronization signal SYN C and the music reconstruction data ARI supplied from the rhythm master unit 210 to the rhythm slave unit 220 are the audio and video data input to the rhythm slave unit 220 through the audio / video data acquisition unit 204. It is completely synchronized with the playback signal stream.
  • FIG. 26 is a flowchart of an example of the music reconfiguration process in the rhythm slave unit 220.
  • the music reconfiguration process can be performed using only the remix process as an example, and the special effect process.
  • the audiovisual data selection determination control RS unit 201S receives the attributes of a plurality of music contents from the attribute information storage unit 22 of the music content storage unit 20 through the attribute information acquisition unit 203 only by the music to be played back. Information is acquired (step S121), and based on the acquired attribute information, a music material to be limited to the music to be reproduced is detected (step S122).
  • the attribute information of all music contents may be read out and acquired from the attribute information storage unit 22 of the music content storage unit 20, but the music stored in the music content storage unit 20 may be obtained.
  • the load of detecting music material that is limited to the music to be played becomes excessive. Therefore, in this example, all the attribute information at once is read out in multiple times rather than being read out from the attribute information storage unit 22 of the music content storage unit 20, and each piece of music is limited to the playback target song each time. Try to detect the material.
  • the process of detecting the music material to be limited is performed even after the playback of the music to be played back is started. Power to be played Considering that it is rare to limit the music at the same time as the playback of the music, it is enough to detect the music material that is limited to the music to be played.
  • Step S123 the audio / video data to be reproduced is acquired through the decode unit 202 and the audio / video data acquisition unit 204, and reproduction is started ( Step S123). As described above, this reproduction is performed in synchronization with the synchronization signal SYNC from the rhythm master unit 210 and the music reconstruction data ARI.
  • the audiovisual data selection determination control RS section 201S determines whether or not the music to be played is subjected to limit processing (step S124). Are transmitted to the audio output unit 53 and the video output unit 56 through the audiovisual data decoding unit 205 and the audiovisual arrangement processing unit 206 (step S 125).
  • step S124 When it is determined in step S124 that remix processing is to be performed, the tempo and pitch of the music material to be remixed detected in step S122 is stored in the music reconfiguration data ARI from the rhythm master unit 210 as described above. Based on this, the music data to be played back is remixed while correcting as necessary (step S126). Then, the music data subjected to the limit process is output (step S127).
  • step S 128 it is determined whether or not the reproduction is finished (step S 128), and if the reproduction is finished, the processing routine of FIG. 26 is finished. If the playback is not finished, it is determined whether or not the music being played has been played to the end (step S129), and if it is determined that the music is not yet finished, the process proceeds to step S124. Returning, the processing from step S124 is repeated.
  • step S129 If it is determined in step S129 that the music has ended, the next selected music is prepared for playback (step S130), and the process returns to step S121 and the above processing is repeated. [0318] [Second Embodiment]
  • the rhythm master unit 210 performs the reconfiguration process for the music to be played back based on the BPM value, key value, and chord value extracted from the attribute information power of the music content to be played back.
  • the case where the remix process is performed has been mainly described.
  • the explanation of changing the tempo and pitch of the music to be played was particularly powerful, but the listener's mood, the surrounding environment such as the location where the music is being listened to, information for arrangement, etc. Considering this, it is possible to change and correct the tempo and pitch of the music to be played, and perform music reconstruction processing.
  • the listener may give a tempo or pitch change instruction.
  • the music to be played is synchronized with the drum or piano played at the location where the recording / playback device is located, or the music input from the outside to the recording / playback device. There is also a request to let them play.
  • This second embodiment provides a recording / reproducing apparatus that can realize these requirements.
  • FIG. 27 is a block diagram of the recording / reproducing apparatus in the case of the second embodiment.
  • line input to the system bus 2 is performed.
  • the interface 17 and the microphone input interface 18 are additionally connected.
  • the other configurations are exactly the same as in the first embodiment.
  • the line input interface 17 is connected to the external input terminal 8.
  • the line input interface 17 sends the audiovisual data input through the external input terminal (line input terminal) 8 to the system bus 2.
  • the audiovisual data input through the external input terminal 8 is recorded and encoded by the encoding Z decoding unit 12 in response to a user instruction operation through the user interface 11, and the music content storage unit It is stored in 20 audiovisual data storage units 21.
  • the audiovisual data input through the external input terminal 8 is analyzed by the music tone analysis unit 13, and the music composition information obtained as a result is recorded by the encoding Z decoding unit 12. And stored in the attribute information storage unit 22 of the music content storage unit 20.
  • the attribute information stored in the music content storage unit 20 and the corresponding audiovisual data are associated by the identification information.
  • the music data to be played back can be played in synchronization with the tempo of the audiovisual data input through the external input terminal 8. It is comprised so that. That is, the audiovisual data input through the external input terminal 8 is analyzed by the music tone analysis unit 13, and the above-described synchronization signal SYNC is generated based on the BPM value that is one of the analysis results.
  • the microphone input interface 18 is connected to a microphone 9 as a sound collection means.
  • the sound signal strength obtained by collecting the sound by the microphone 9 is converted into a digital signal by the microphone input interface 18, Sent to system bus 2.
  • the music data to be played back is synchronized with the tempo of the sound data picked up by the microphone 9 and input through the microphone input interface 18. It is configured so that it can be played back.
  • a drum or peer-entry music played in the vicinity of the recording / playback device is picked up by the microphone 9, analyzed by the music tone analysis unit 13, and a BPM value is detected. Based on the detected BPM value, Accordingly, the above-described synchronization signal SYNC is generated.
  • FIG. 28 shows a reproduction unit 200 of the second embodiment corresponding to the reproduction unit of FIG. 13 of the first embodiment described above.
  • a line input interface 17 and a microphone input interface 18 are connected to the audiovisual data selection determination control unit 201, and the software processing in the audiovisual data selection determination control unit 201 is the first. This is different from the first embodiment. Others are the same as in the first embodiment.
  • FIG. 29 shows the configuration of a functional block diagram of the playback unit 200 of FIG. 28 viewed from the viewpoint of music reconfiguration processing, and the actual configuration content is the same as FIG.
  • the playback unit 200 generates a rhythm master unit 210 that generates and outputs a synchronization signal and music reconstruction information that serve as a reference for the reconstruction of music data, and the rhythm master.
  • the music data is reconstructed.
  • the rhythm slave unit 220 is executed.
  • the audiovisual data selection determination control unit 201 is divided into an RM unit 201M belonging to the rhythm master unit 210 and an RS unit 201S belonging to the rhythm slave unit 220, as in the first embodiment.
  • the biological information acquisition unit 30, the surrounding environment information acquisition unit 40, and the reproduction history information holding unit 15 that are required only by the attribute information acquisition unit 203 are the rhythm master unit 210, the rhythm master unit 210, and the rhythm master unit 210. It belongs to both slave units 220.
  • the rhythm master unit 210 in the second embodiment includes the RM unit 201M, the attribute information acquisition unit 203, the biological information acquisition unit 30, the surrounding environment information acquisition unit 40, and the reproduction history information holding And 15 part.
  • the rhythm slave unit 220 in the second embodiment is similar to the first embodiment in that the RS unit 201S, the attribute information acquisition unit 203, the biological information acquisition unit 30, and the surrounding environment information
  • the acquisition unit 40, the reproduction history information holding unit 15, the audiovisual data acquisition unit 204, the audiovisual data decoding unit 205, and the audiovisual arrangement processing unit 206 are configured.
  • the rhythm slave unit has substantially the same configuration as that of the first embodiment.
  • the RM unit 201M of the rhythm master unit 210 does not generate the synchronization signal SYNC that serves as a reference for music reconstruction based only on the attribute information from the attribute information acquisition unit 203.
  • the rhythm master unit 210 includes user input through the user interface 11, video acoustic data in which an external force is also input through the line input interface 17, and external sound pickup audio data input through the microphone input interface 18. Data, the listener's biometric information acquired by the biometric information acquisition unit 30, the peripheral environment information acquired by the peripheral environment information acquisition unit 40, and the playback history information read from the playback history information holding unit 15, Generate sync signal SYNC as a reference for reconstruction
  • the rhythm master unit 210 also receives music composition data ARI, which is not only the synchronization signal SYNC, from the user input through the user interface 11 and the line input interface 17 from the outside. Audio-visual data, externally collected audio data input through the microphone input interface 18, the biological information of the listener acquired by the biological information acquisition unit 30, and the peripheral environment acquired by the peripheral environment information acquisition unit 40 It can be generated based on the playback history information read from the boundary information and the playback history information holding unit 15.
  • music composition data ARI is not only the synchronization signal SYNC
  • FIG. 30 is a diagram showing a detailed configuration example of the rhythm master unit 210 in the second embodiment, and particularly shows details of the function of the RM unit 201M in a block form.
  • the RM unit 201M includes a synchronization signal generation unit 230 in place of the synchronization signal generation unit 212 of the first embodiment, and includes the attribute information analysis unit 211 of the first embodiment. Instead, a playback mode setting unit 240 is provided.
  • the reproduction mode setting unit 240 includes a biological information acquisition unit 30, a surrounding environment information acquisition unit 40, a reproduction history information holding unit 15, a line input interface 17, and a microphone input interface, which are not limited to the attribute information acquisition unit 203. 18 and user interface 11 outputs are provided. The rest of the configuration is the same as that of the rhythm master unit 210 of the first embodiment.
  • the synchronization signal generation unit 230 includes an internal rhythm synchronization generation unit 231, an external rhythm synchronization generation unit 23 2, a biological rhythm synchronization generation unit 233, and these three types of rhythm synchronization generation units 231, 232, and 233. And a selection switch circuit 234 for selecting any one of the output synchronization signals.
  • the internal rhythm synchronization generator 231 includes, for example, a PLL circuit, and generates the synchronization signal SYNC based on the extracted BPM value of the attribute information power of the music content to be played, as in the first embodiment.
  • the synchronization signal SYNC is generated based on the BPM value set by the user through the user interface 11.
  • the external rhythm synchronization generation unit 232 includes, for example, a PLL circuit, and the external input signal force input through the line input interface 17 The extracted BPM value or the external input through the microphone input interface 18 Based on the extracted BPM value of the collected sound signal power, a synchronization signal SYNC is generated so as to synchronize with the externally input music rhythm.
  • the biological rhythm synchronization generation unit 233 includes, for example, a PLL circuit, and the biological information such as the user's pulse wave, walking tempo, walking speed, arm and hand tempo, and speed acquired from the biological information acquisition unit 30. Then, a synchronization signal SYNC synchronized with the biological information is generated.
  • the PLL circuit consists of three synchronization generators 231, 232, 233, and one PLL circuit can be used in common. it can.
  • the playback mode setting unit 240 generates the synchronization signal SYNC in response to the user's synchronization selection input through the user interface 11, and generates an internal rhythm synchronization, an external rhythm synchronization, a biological rhythm. It decides which one to synchronize, and generates a selection control signal for the selection switch circuit 234 of the synchronization signal generator 230.
  • the power to synchronize with the attribute information of the music content to be played back and the power to synchronize with the BPM value set by the user through the user interface 11 are further selected.
  • the power to be synchronized with either the external input signal through the external input terminal 8 or the external sound picked up by the microphone 9 is further selected.
  • the playback mode setting unit 240 enters the state in which the selection switch circuit 234 selects the output of the internal rhythm synchronization generation unit 231.
  • the attribute information of the music content to be played is acquired through the attribute information acquisition unit 203, the attribute information power BPM value is extracted and supplied to the internal rhythm synchronization generation unit 231 of the synchronization signal generation unit 230.
  • the internal rhythm synchronization generator 231 generates a synchronization signal SYNC that oscillates at an oscillation frequency corresponding to the BPM value supplied thereto and that is phase-synchronized with the music rhythm of the music content to be played.
  • the synchronization signal SYNC generated based on the BPM value in the attribute information of the music content to be played is output from the synchronization signal generation unit 230 to the rhythm slave unit 220 through the synchronization signal output circuit 213. Is done.
  • the playback mode setting unit 240 extracts the key value and the chord value from the attribute information of the music content to be played acquired through the attribute information acquisition unit 203, and extracts the extracted BPM value.
  • the data is supplied to the music reconstruction data setting unit 214.
  • the music reconstruction data setting unit 214 sets the BPM value, key value, and code value in the setting units 217, 218, and 219, respectively.
  • the music reconstruction data ARI including “” is output to the rhythm slave unit 220 in synchronization with the synchronization signal SYNC.
  • the music is reconfigured based on the attribute information of the music content to be reproduced, as in the first embodiment.
  • the playback mode setting unit 240 switches the selection switch circuit 234 to a state in which the output of the internal rhythm synchronization generation unit 231 is selected and the BPM through the user interface 11
  • the input of the value is received, and the received BPM set value is supplied to the internal rhythm synchronization generation unit 231 of the synchronization signal generation unit 230.
  • the internal rhythm synchronization generator 231 generates a synchronization signal SYNC that oscillates at an oscillation frequency corresponding to the BPM value supplied thereto.
  • the synchronization signal generation unit 230 outputs the synchronization signal SYNC generated based on the BPM value designated by the user to the rhythm slave unit 220 through the synchronization signal output circuit 213.
  • the synchronization signal generation unit 230 supplies the synchronization signal SYNC generated based on the BPM value set by the user to the rhythm slave unit 220 through the synchronization signal output circuit 213.
  • the playback mode setting unit 240 accepts input of a key value and a chord value (chord progression) in addition to the BPM value through the user interface 11, and the accepted BPM value, key value, chord The value is supplied to the music reconstruction data setting unit 214.
  • the key value and code value are also input by the user in a manner that changes in time series.
  • the music reconstruction data setting unit 214 sets the BPM value, key value, and chord value in the setting units 217, 218, and 219, respectively.
  • the music reconstruction data ARI including the BPM value, key value, and chord value according to the user setting value is output to the rhythm slave unit 220 in synchronization with the synchronization signal SYNC.
  • the rhythm slave unit 220 can output the sound reproduction of the music at the tempo and music tone set by the user.
  • the playback mode setting unit 240 displays the selection switch.
  • the circuit 234 is switched to a state in which the output of the external rhythm synchronization generation unit 232 is selected, and the acoustic data captured through the line input interface 17 or the microphone input interface 18 is selected by the music tone analysis unit 13 according to the user selection.
  • the BPM value obtained as a result of the analysis is supplied to the external rhythm synchronization generator 232.
  • the external rhythm synchronization generator 232 generates a synchronization signal SYNC that oscillates at an oscillation frequency corresponding to the BPM value supplied thereto and that is phase-synchronized with the music rhythm input from the external force.
  • the synchronization signal generation unit 230 outputs the synchronization signal SYNC generated based on the BPM value detected from the external input signal or the microphone input signal to the rhythm slave unit 220 through the synchronization signal output circuit 213. Is done.
  • the playback mode setting unit 240 also extracts a key value and a chord value from the attribute information of the music content to be played back acquired through the attribute information acquisition unit 203, along with the extracted BPM value.
  • the data is supplied to the configuration data setting unit 214.
  • the music reconstruction data setting unit 214 sets the BPM value, key value, and chord value in the setting units 217, 218, and 219, respectively.
  • the music reconstruction data ARI including the BPM value, key value, and chord value detected from the external input signal or microphone input signal force is output to the rhythm slave unit 220 in synchronization with the synchronization signal SYNC. .
  • the rhythm slave unit 220 can output the sound of the music at a tempo set in synchronization with the music taken from the outside.
  • the reproduction mode setting unit 240 switches the selection switch circuit 234 to a state in which the output of the biological rhythm synchronization generation unit 233 is selected, and the biological information acquired through the biological information acquisition unit 30 Components related to force tempo and rhythm are extracted, information corresponding to the BPM value is generated from the extracted components, and the generated BPM value is supplied to the biological rhythm synchronization generation unit 231 of the synchronization signal generation unit 230.
  • the rhythm slave unit 220 can output the sound of the music at a tempo synchronized with the user's biological rhythm.
  • the surrounding environment information acquisition unit 40 does not simply generate the synchronization signal SYNC based only on the biological information acquired through the biological information acquisition unit 30. It is also possible to generate the sync signal SYNC by referring to the surrounding environment information from.
  • the uptempo is synchronized with the biological information.
  • biometric information such as the pulse of the listener who is watching the music is stored and stored in correspondence with each piece of music to obtain the biometric information.
  • the music that is obtained from the unit 30 and is the biometric information that approximates the biometric information is retrieved from the reproduction history information holding unit 15, and the attribute information power of the music is also obtained as the BPM value to generate the synchronization signal SYNC. You may do it.
  • the synchronization signal SYNC may be synchronized with the biological information acquired from the biological information acquisition unit 30, or may not be synchronized.
  • the reproduction mode setting unit 240 reproduces the biometric information from the biometric information acquisition unit 30 and Z or the surrounding environment information from the surrounding environment information acquisition unit 40 as search elements.
  • the reproduction history information held in the history information holding unit 15 is searched, the attribute information power BPM value, the key value, and the chord value of the music as a search result are generated and passed to the music reconfiguration data setting unit 214.
  • the music reconstruction data setting unit 214 sets the BPM value, key value, and chord value in the setting units 217, 218, and 219, respectively.
  • rhythm master unit 210 can generate a song progression as music reconstruction data ARI and supply it to the rhythm slave unit 220. This allows listeners to play music at a tempo and tune similar to the music they are listening to whenever they are uplifted.
  • the location such as the sea or mountains can be identified from the surrounding environment information, or the weather such as rain, sunny, etc. can be identified, those included in the playback history information
  • play a song that is often listened to at that location or environmental condition detect the history power, generate a sync signal SYNC based on the BPM value of that song
  • the key value and chord progression can be generated as music reconstruction data ARI and supplied from the rhythm master unit 210 to the rhythm slave unit 220. This allows the listener to play music with a tempo and tone similar to the music he is listening to, under similar ambient conditions.
  • the music reconstruction data ARI including the BPM value, key value, and code value in the attribute information of the music selected based on the biometric information and the Z or surrounding environment information, and the playback history information is synchronized.
  • the signal is output to the rhythm slave unit 220 in synchronization with the signal SYNC.
  • the rhythm slave 220 the music is reconstructed and reproduced in sound with the tempo and tune according to the user's mood at that time and the surrounding environment.
  • the method of generating the synchronization signal SYNC is not limited to the above example.
  • the synchronization signal SYNC determined from the surrounding environment information acquired by the surrounding environment information acquisition unit 40 and the reproduction history held in the reproduction history information holding unit 15 can be generated.
  • the reproduction history information stored in the reproduction history information holding unit 15 is searched by searching the reproduction history of the reproduction history information holding unit 15 using the surrounding environment information acquired from the peripheral environment information acquisition unit 40 as a search element.
  • Attribute of music that is detected as the surrounding environment information in the attribute information of the music included in The synchronization signal SYNC may be generated based on the BPM value included in the information.
  • the user selects the music piece to be played first. Also in the second embodiment, the user may select the first music piece, but in the case of synchronization by the user setting of internal rhythm synchronization, external rhythm synchronization, or biological rhythm synchronization, the rhythm slave In the unit 220, the music information that matches or approximates the music reconstruction data ARI is stored in the attribute information storage unit 22 of the music content storage unit 20, and is detected and played back. You can also
  • the reconfiguration process for the music being played back is performed using the synchronization signal SYNC and the music reconfiguration data ARI from the rhythm master unit 210 in the first embodiment. It can be done in the same way.
  • the playback mode setting unit 240 discriminates what force is the synchronization criterion selected and designated by the user via the user interface 11 (step S20 Do).
  • step S201 when it is determined that the internal rhythm is synchronized and the synchronization reference is the music content to be played back, the playback mode setting unit 240 of the audiovisual data selection determination control RM unit 201 M
  • the attribute information of the music content to be played is acquired from the attribute information storage unit 22 of the music content storage unit 20 through the attribute information acquisition unit 203 (step S202), and the BPM value, key value, and code are obtained from the acquired attribute information. Extract the value (step S203).
  • a synchronization signal SYNC composed of the bar synchronization signal PHSY and the beat synchronization signal B TSY is generated (step S204). Further, the extracted BPM value, key value, and code value are set in the BPM value setting unit, key value setting unit, and code value setting unit (step S 205).
  • step S204 the synchronization signal SYNC generated in step S204 and the music reconstruction data ARI including the BPM value, key value, and chord value set in step S205 are converted into a rhythm slave.
  • the data is sent to the unit 220 (step S206).
  • step S207 it is determined whether or not the reproduction is finished (step S207), and if the reproduction is finished, this processing routine is finished. If the playback is not finished, the power / force judgment is made until the music being played has been played to the end (step S208), and if the music is not finished yet, the user interface, for example, Through 11, it is determined whether the synchronization reference has been changed (step S210). If it is determined that the synchronization reference has been changed, the process returns to step S201, and the processes after step S201 are repeated.
  • step S210 If it is determined in step S210 that the operation for changing the synchronization reference has not been performed, the process returns to step S204, and the processes in and after step S204 are repeated.
  • step S208 If it is determined in step S208 that the music has ended, the next selected music is prepared for playback (step S209), and the process returns to step S202 and the above processing is repeated.
  • step S201 when it is determined that the set synchronization reference is internal rhythm synchronization and is a user setting input, the playback mode setting unit 240 sets the BPM set by the user input.
  • a value is acquired (step S221 in FIG. 32), and based on the acquired BPM value, a synchronization signal SYNC composed of a bar synchronization signal PHSY and a beat synchronization signal BTSY is generated (step S222).
  • the BPM value, key value, and chord value set by user input are acquired (step S223), and the acquired BPM value, key value, and chord value are sent to the music reconstruction data setting unit 214.
  • the BPM value setting unit 217, the key value setting unit 218, and the code value setting unit 219 are set (step S224).
  • step S222 the synchronization signal SYNC generated in step S222 and the music reconstruction data ARI including the BPM value, key value, and chord value set in step S223 are sent to the rhythm slave unit 220 (step S225). ).
  • step S226 it is determined whether or not the reproduction is finished (step S226), and if the reproduction is finished, this processing routine is finished. If the reproduction is not finished, the power / force judgment is made until the music being played has been played to the end (step S227), and if the music is not finished yet, the user interface, for example, 11 through
  • step S229 the quasi-change operation is determined (step S229), and when it is determined that the synchronization reference change operation is performed, the process returns to step S201, and the processes after step S201 are repeated.
  • step S229 If it is determined in step S229 that the synchronization reference change operation has not been performed, the process returns to step S225, and the processes in and after step S225 are repeated.
  • step S227 If it is determined in step S227 that the music has ended, the next selected music is prepared for playback (step S228), the process returns to step S225, and the processes in and after step S225 are repeated. .
  • step S201 when it is determined in step S201 that the set synchronization reference is the external rhythm synchronization, the external input serving as the synchronization reference is the input signal from the external input terminal 8 or the microphone 9. It is determined whether or not the sound signal has been heard (step S231 in FIG. 33).
  • step S231 When it is determined in step S231 that the input signal from the external input terminal 8 is used as a synchronization reference, the reproduction mode determination unit 240 supplies the audio signal input through the external input terminal 8 to the tone analysis unit 13. To perform analysis (step S232). If it is determined in step S231 that the audio signal collected by the microphone 9 is used as a synchronization reference, the playback mode determination unit 240 supplies the audio signal collected by the microphone 9 to the tune analysis unit 13, Perform analysis (step S233).
  • step S234 the analysis result power in the tune analysis unit 13 also obtains the BPM value, and passes the obtained BPM value to the synchronization signal generation unit 230 for synchronization.
  • a signal SYNC is generated (step S234).
  • the BPM value, key value, and chord value are obtained from the analysis result in the music tone analysis unit 13, and the obtained BPM value, key value, and chord value are sent to the music reconstruction data generation unit 214,
  • the BPM value setting unit 217, key value setting unit 218, and code value setting unit 219 are set (step S2 35).
  • step S234 the synchronization signal SYNC generated in step S234 and the music reconstruction data ARI including the BPM value, key value, and chord value set in step S235 are sent to the rhythm slave unit 220 (step S236). ).
  • step S237 it is determined whether or not playback has ended. This processing routine is terminated. If it is not the end of playback, it is determined whether or not the music being played has been played back to the end (step S238). Through 11, it is determined whether the synchronization reference has been changed (step S239). If it is determined that the synchronization reference has been changed, the process returns to step S201, and the processes after step S201 are repeated.
  • step S239 If it is determined in step S239 that the synchronization reference change operation has not been performed, the process returns to step S234 and the processes in and after step S234 are repeated.
  • step S238 If it is determined in step S238 that the music has been completed, the next selected music is prepared for playback (step S240), the process returns to step S231, and the processes in and after step S231 are repeated. .
  • step S201 when it is determined in step S201 that the set synchronization reference is the case of biological rhythm synchronization, the reproduction mode setting unit 240 acquires the biological information of the listener through the biological information acquisition unit 30 ( Step S251) in FIG. 34 and the ambient environment information of the recording / reproducing apparatus are acquired (step S252).
  • tempo information is extracted from the acquired biological information, the extracted tempo information is supplied to the synchronization signal generation unit 230, and a synchronization signal SYNC is generated from the tempo information (step S253). Then, the BPM value, the key value, and the code value are determined as described above from the biological information, the surrounding environment information, and the reproduction history information in the reproduction history information holding unit 15 (step S254).
  • the music reconstruction data ARI including the M value, key value, and chord value is sent to the rhythm slave unit 220 (step S256).
  • step S257 it is determined whether or not the reproduction is finished. If the reproduction is finished, this processing routine is finished. If the playback is not finished, the song being played will be When it is determined that the music is not yet finished (step S258), for example, when the user has changed the synchronization standard through the user interface 11, the judgment is made. However, if it is determined that the operation for changing the synchronization reference has been performed, the process returns to step S201, and the processes after step S201 are repeated.
  • step S260 If it is determined in step S260 that the synchronization reference change operation has not been performed, the process returns to step S251, and the processes in and after step S251 are repeated.
  • step S258 If it is determined in step S258 that the music has been completed, the next selected music is prepared for playback (step S259), the process returns to step S251, and the processes in and after step S251 are repeated. .
  • the listener can reconfigure the music being played back as desired by the user at the time of viewing by changing the instruction to change the tempo or pitch through the user interface, and output the sound.
  • the music to be played can be reconfigured to be played in synchronization with the sound input from the external force. It is also possible to play music according to the listener's walking or the pulse. You can also increase or decrease the tempo and increase or decrease the key according to the surrounding environment.
  • FIG. 35 shows the audio / video data decoding unit 205 and audio / video arrangement of the rhythm slave unit 220 that receives the synchronization signal SYNC and the music reconstruction data ARI from the rhythm master unit 210 in the second embodiment.
  • the flow of the music signal in the processing unit 206 is shown in synchronization with the synchronization signal SYNC from the rhythm master unit 210, and the music reconfiguration operation in the audiovisual arrangement processing unit 206 of the rhythm slave unit 220 is shown in FIG.
  • FIG. 10 is a diagram showing the music reconfiguration data ARI in the section 210 in correspondence with the ARI.
  • the music reconstruction data ARI is not necessarily extracted from the attribute information power of the music content to be played back, but the BPM value of the music content to be played back Is different. Further, the key value and code value included in the music reconstruction data ARI are also different from those of the music content to be reproduced.
  • the music content to be played is a playback signal stream of music track 1.
  • BPM value “120”, key value “Cmajor”, and chord progression “C” ⁇ “G” ⁇ “F” target value force rhythm master section 210 are used as music reconstruction data ARI.
  • the rhythm slave unit 220 the reproduction target stream acquired from the music content storage unit 20 based on the selection instruction from the arrangement control unit 221 with respect to the reproduction signal stream of the reproduction target music content of the music track 1
  • the tempo of the music data of the music content itself is corrected, and two music materials are output from the audiovisual data decoding unit 205 as music track 2 and music track 3, and the two music materials are output.
  • the music data of the music is corrected so as to match the target value of each value of the music reconstruction data ARI, and finally mixed with the music content to be played on the music track 1.
  • the audio data of the music track 1 is corrected by the video / audio arrangement processing unit 206 so as to match the target BPM value and the target code value of the music reconstruction data ARI, and the music tracks 2, 3
  • the audio / video arrangement processing unit 206 after being corrected to match the target BPM value and target code value of the music reconstruction data ARI, it is mixed with the music data of the music track 1 and remixed. Is made.
  • the acoustic data of the music track 1 has the BPM value of “140” in the bar sections Pa and Pb of the music material 1 acquired through the attribute information acquisition unit 203. Since the BPM value of the music reconstruction data ARI is 120, the tempo is corrected by the audio / video arranger 206, and the music data of the music track 1 in the bars Pa and Pb is The BPM value is corrected from “140” to “120”.
  • the acoustic data of the music track 1 is “D” in the bar section Pa of the music material 1 acquired through the attribute information acquisition unit 203, and the code of the music reconstruction data ARI is “D”. Since it is different from the value “C”, the audio / video arrangement processing unit 206 performs pitch correction, and the music data of the music track 1 is corrected so that the code value thereof changes from “D” to “C”.
  • the music material 3 acquired by the force attribute information acquisition unit 203 in which the music material 3 of the music track 3 is mixed with the acoustic data of the music track 1 is recorded.
  • the BPM value in the bar section Pa of “120” is the same as the BPM value of the music reconstruction data ARI, so the music data of music material 3 is the tempo of the audio / video arrangement processing unit 206. No correction is made! /
  • the code value in the measure section Pa of the music material 3 acquired through the attribute information acquisition unit 203 is “D”, which is different from the code value “C” of the music reconstruction data ARI. Therefore, the music data of the music material 3 is subjected to the pitch correction as described above in the pitch correction circuit 226 of the audio / video arrangement processing unit 206 so that the target value becomes “D” ⁇ “C”. Changed to
  • the acoustic data of the music track 1 is the chord value in the first half of the bar section Pb of the music material 1 acquired through the attribute information acquisition unit 203 is "D ”, Which is different from the code value“ G ”of the music reconstruction data ARI, the pitch correction is performed by the video / audio arrangement processing unit 206, and the music data of the music track 1 has the code value“ It is corrected so that it becomes “G” from “D”.
  • the acoustic data of the music track 1 is “D” in the latter half of the measure section Pb of the music material 1 acquired through the attribute information acquisition unit 203, and the music reconstruction data This is different from the code value “F” of the ARI, so the audio / video arrangement processing unit 206 performs pitch correction so that the music data of music track 1 changes from “D” to “F”. It is corrected to.
  • the music material 2 of the music track 2 is mixed with the acoustic data of the music track 1, and in the second half of the bar section Pb, the music material 2 of the music track 2 is The music material 3 of music track 3 is mixed with the music data of music track 1.
  • the BPM value in the first half of the measure section Pb of the music material 2 acquired by the attribute information acquisition unit 203 is "100", and the chord value is "E”.
  • Music reconstruction data ARI target BPM value “120” and target code value “G” are different.
  • the music data of music material 2 is corrected by the audio / video arranger 206 in the first half of the bar section Pb from “100” to “120” so that it matches the target BPM value.
  • the pitch is not corrected from “E” to “G” to match the target chord value. It is.
  • the music data of the music material 2 that has been corrected is added to the music data of the music track 1.
  • the BPM value of music material 2 is "100”
  • the code value is “E”
  • the target BPM value "120” of the music reconstruction data ARI and the target code A force different from the value “F”
  • the BPM value of the music material 3 is “120” and the code value is “F”, which is the same as the target BPM value “120” and the target code value “F” of the music reconstruction data ARI It is.
  • the music material 2 of the music track 2 is corrected for the tempo and pitch by the audio / video arrangement processing unit 206 and added to the music data of the music track 1, and Music material 3 of music track 3 is added to the music data of music track 1 without being corrected.
  • the music content to be played is For example, reconfiguration according to the listener's mood can be performed, and so-called remix processing can be executed with a sense of incongruity with the original music by mixing other music material. Then, according to the arrangement instruction, the user can easily change the tune to classical style, jazz style, rock style, etc. and enjoy the music.
  • the synchronization signal can be changed based on the biological information of the user who has listened to the musically reproduced music, the surrounding environment information, or the user's reproduction history information. Therefore, it is possible to reproduce sound with changes according to user preferences and environmental changes.
  • the arrangement information is prepared in advance by the music content provider on the attribute information, but the user includes the arrangement information. It's okay to make it yourself.
  • the chord progression or tempo of the original music in the music composition information included as the music content attribute information is presented to the user so that the user can correct it. To do.
  • the device (CPU1) Music composition information such as chord progression and tempo is extracted from the attribute information in units of music material and displayed on the LCD display screen 111, for example.
  • the user directly changes this, or copies and modifies it to create and input arrangement information. . Then, the user requests the music content recording / playback apparatus to register the created arrange information together with identification information such as its name.
  • the created arrangement information is included in the attribute information about the song as self-made arrangement information, and is stored in the attribute information storage unit 22 together with the identification information such as the name. .
  • the attribute information storage unit 22 may be provided with a separate storage area for the self-made arrangement information, and the self-made arrangement information may be stored in the storage area.
  • the recording / playback apparatus of the music content reads out the list of the information for self-made arrangement and presents it to the user.
  • the music is reconfigured according to the information for the home-made arrangement selected and instructed by the user, and the arrangement is executed.
  • the arrangement information created by the user may be uploaded to the server device 6 side together with the identification information and the music ID and provided for use by other users.
  • the information for self-arrangement for each piece of music can be presented to the user by presenting the music download request from the user.
  • the arrangement instruction operation is performed by combining the LCD display screen 111 and the touch panel using the LCD display screen 111 and the cursor button 112. Only on display screen 111, the user can Do what you can do!
  • an operation unit such as an operation button for directly instructing a change in tune tone that is not achieved by the combination of the LCD display screen 111 and the operation button is provided as a music content recording / playback device. Even if it is set up in.
  • a classic style button 113 a jazz style button 114, a lock style button 115, and other style buttons 116 are provided.
  • the attribute information of the music being played is referred to, the arrangement information for making the classic style is read out, and the arrangement information is included in the arrangement information. Based on the above, the music is reconstructed and reproduced as described above.
  • Attribute information power for classic style arrangement As described above, when information on multiple styles of classic style arrangement is included, when the classic style button 113 is pressed by the user, the classic style arrangement information is displayed. List power of multiple modes Displayed on the LCD screen 111 as in FIG. At this time, by operating the cross-shaped cursor button 112 to select and determine any arrangement mode, the music being played is reconfigured and played back in that arrangement mode.
  • one tune change button 117 is provided, and each time the tune change button 117 is pressed, for example, It may be changed to a cyclic style such as classical style ⁇ jazz style ⁇ rock style ⁇ hip hop style. At this time, when the music tone change button 117 is pressed, the music tone to be displayed is displayed on the LCD display screen 111 so that the user can be notified.
  • a touch panel is pasted on the LCD display screen 111, and the operation buttons 11 3 to 117 of Fig. 36 and Fig. 37 are displayed on the LCD display screen 111, and the user can operate these operation buttons through the touch panel. You can configure it! /
  • an operation means such as a force operation button is an example in which one “genre-like” is associated with one button operation, and the volume type variable operation means is configured. It can also be changed to a “le-style” with a single operation.
  • Fig. 38 shows an example of such a case in which a volume type variable knob 118 configured to be rotatable is used.
  • a volume position of the volume type variable knob 118 is set to the center, music is displayed.
  • the volume-type variable knob 1 18 is also turned to the right, the center position force is also turned to the right in the example shown in Fig. 38.
  • the playback device is configured to change the tune as described.
  • the volume-type variable knob 118 is turned to the left from the center position, the melody changes so that the “hip hop style” is gradually emphasized in the example of FIG. 38 according to the rotation angle.
  • the playback device is configured.
  • the volume type variable operation means is an example of a volume type variable knob using a rotary knob.
  • the force volume type variable operation means may be a slide type variable knob.
  • each of the operation buttons 113 to 116 for selecting each genre style in Fig. 36 is configured as a push button and a volume type variable knob, and when the push button is pressed, the corresponding genre style is displayed. If you turn it all the way to the left, the music content will be played in its original tune. The more you turn it to the right, the more gradually the genre style will be emphasized according to the rotation angle. It can also be configured such that the tune is changed as described.
  • the operation button 117 in the example of Fig. 37 may have the same configuration. In other words, each time the operation button 117 is pressed, the genre style is changed and selected, and as the configuration operation button 117 of the volume type variable knob is turned to the right, the selected genre style is gradually changed according to the rotation angle. It can also be configured to change the tune to be emphasized.
  • the volume type variable knob can be configured to be variably controlled in synchronization with the biological information from the biological information acquisition unit 30, for example, only by allowing the user to operate the volume type variable knob. It is. That is, for example, the user's travel tempo or the like is acquired from the biometric information acquisition unit 30, and “the user runs faster according to the acquired travel tempo”. Therefore, it is possible to arrange so that the music tempo is faster and the hip-hop style is emphasized at the same time.
  • the arrangement mode is provided with the automatic mode and the manual mode, but only the manual mode may be used.
  • the biological information acquisition unit 30 and the surrounding environment information acquisition unit 40 can be simplified in configuration.
  • the arrangement information is stored in the attribute information storage unit as part of the attribute information in association with the music data.
  • the arrangement information is a part of the attribute information. Separately from the attribute information that does not need to be set, it may be stored and managed in association with the song ID.
  • the storage unit arrangement information of the music content recording / playback apparatus is read to reconstruct the music data.
  • the server apparatus power can also acquire arrangement information, and the above-described reconstruction process (arrangement process) can be performed based on the acquired arrangement information. In that case, the music content recording / playback apparatus need not store the arrangement information.
  • the music content recording / playback apparatus does not need to be provided with a direct arrangement instruction operation unit.
  • the music content recording / playback apparatus accesses the server apparatus 6 and is presented by the server apparatus 6. From the list of arrangement types to be selected, it is sufficient if the arrangement type desired by the user can be indicated by, for example, a cross-shaped cursor button.
  • the acquisition of arrangement information with the server device power in that case need not be limited to the case before the music is played back. It is also possible to use the acquired arrangement information in real time and perform the reconstruction process (arrangement process) as described above.
  • the music content storage unit is the hard disk device.
  • the audio / video data of the music content and the attribute information are recorded in association with each other through the music content identification information (music content ID).
  • the unit can also be composed of an optical disc such as a DVD, which is a removable recording medium (detachable medium).
  • the attribute information is necessarily attached to the music content.
  • the attribute information can be obtained from the Internet, for example, as needed.
  • the content ID can also be acquired and used as a searcher.
  • a server device connected to the Internet may constitute the attribute information storage unit.
  • audiovisual data of music content and attribute information are stored in one storage unit and can be handled using information that associates both music content IDs and the like that are not necessary. If it is an aspect, it may be stored in a separate storage unit.
  • the present invention may be a reproducing apparatus without a recording function.
  • the user selects and designates the first music piece when starting the reproduction of the music piece. For example, there is biological information of the listener and surrounding environment information. Alternatively, the playback history information power may be selected automatically by the device.
  • the listener may be determined from the biological information of the listener whether the listener is in an excited state or in a calm state, and a song that matches or is in reverse, may be selected as the first song.
  • a song that matches or is in reverse may be selected as the first song.
  • the surrounding environment information whether the current position is a mountain or the sea, referring to the surrounding environment information included in the attribute information, selecting a song that matches the location, the first song It is good.
  • a song that is often listened to from the playback history may be selected as the first song.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

 聴取しているユーザの気分などに応じて、簡単に、楽曲自身を再構成(アレンジ)することができる装置を提供する。第1の取得手段は、複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する。第2の取得手段は、属性情報記憶部から音楽コンテンツの楽曲素材単位の属性情報を取得する。第3の取得手段は、音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成されているアレンジ用情報を取得する。ユーザのアレンジ指示に応じて、第2の取得手段により取得した楽曲構成情報と、第3の取得手段により取得したアレンジ用情報とに基づいて、音響再生出力する再生対象の音楽コンテンツのデータを再構成する。

Description

明 細 書
音楽コンテンツの再生装置および音楽コンテンツ再生方法
技術分野
[0001] この発明は、例えばディスクジョッキーが音楽コンテンツをアレンジして再生するのと 同様に、聴取者が、自分の好むように音楽コンテンツを再構成 (アレンジ)して再生す ることができるようにする音楽コンテンツの再生装置および音楽コンテンツ再生方法 に関する。
背景技術
[0002] 光ディスクゃノ、ードディスクなどの記録媒体の記録容量が大きくなつたことから、そ れら記録媒体に大量の音楽コンテンツが格納可能となっている。そして、この大容量 の記録媒体を用いた音楽コンテンツの再生装置も提供されて 、る。
[0003] 従来のこの種の音楽コンテンツの再生装置においては、音楽視聴を行なうユーザ 自身が、大量の音楽コンテンツの中から自分の聞きたい音楽コンテンツを選択し、再 生操作を行なっている。
[0004] また、例えば、ユーザの過去の音楽コンテンツに関する再生履歴を利用して、ユー ザに、再生楽曲候補を推薦するシステムも提供されている (例えば、特開 2003- 17 3350号公報参照)。
[0005] 上述のように、従来は、ユーザが選択したり、あるいは装置が過去の再生履歴に基 づいて選択したりして、ユーザに再生楽曲候補を呈示する方法は提案されている。し 力しながら、従来の音楽コンテンツの再生装置においては、上述のようにして選択さ れて再生される楽曲は、楽曲制作者の意図した通りにそのまま再生されるのみで、特 にユーザ毎に曲調の変化が施される等の個人の嗜好性が再生楽曲に反映させるよ うにするものは存在して 、な 、。
[0006] すなわち、アーティスト等の制作側で作られた楽曲は、従来の音楽コンテンツの再 生装置の再生機能上の制約等の理由もあり、ユーザ側では、制作者の意図した通り に、ただ固定的に聴くのみであった。
[0007] し力し、 、わゆるディスクジョッキーのように、再生しょうとする音楽コンテンツにつ!/ヽ て、テンポや音程を変えたり、他の楽曲とのリミックスをしたりする等して、クラシック風 、ジャズ風、ヒップホップ風などに楽曲を、聴取者(以下、単にユーザという)のその場 の気分に合うように再構成して変更することができれば、楽曲の再生について、ェン ターティンメント性を高めることができると期待できる。
[0008] この発明は、以上の点にかんがみ、聴取しているユーザ力 自分が好むように音楽 コンテンツを再構成 (アレンジ)することができるようにして、音楽コンテンツの再生に ついて、エンターテインメント性を高めることができるようにすることを目的とする。 発明の開示
[0009] 上記の課題を解決するために、請求項 1の発明は、
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部か ら、再生対象の音楽コンテンツのデータを取得する第 1の取得手段と、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材 単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第 2の取 得手段と、
前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成さ れているアレンジ用情報を取得する第 3の取得手段と、
前記第 1の取得手段により取得した前記再生対象の音楽コンテンツデータを音響 再生出力する手段と、
リスナーのアレンジ指示を受け付けるアレンジ指示受付手段と、
前記アレンジ指示受付手段で受け付けたアレンジ指示に応じて、前記第 2の取得 手段により取得した前記楽曲構成情報と、前記第 3の取得手段により取得した前記ァ レンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツ のデータを再構成する再構成手段と、
を備える音楽コンテンツの再生装置を提供することを特徴とする。
[0010] この請求項 1の発明によれば、リスナーのアレンジ指示に応じて、アレンジ用情報が 第 3の取得手段により取得され、第 2の取得手段で取得された楽曲構成情報と相俟 つて、音楽コンテンツのデータが再構成される。
[0011] この発明によれば、聴取しているユーザの気分、嗜好や周辺環境などに応じて楽 曲データを再構成して、当該ユーザの気分、嗜好や周辺環境などをリアルタイムに音 楽コンテンツの再生に反映させるので、音楽コンテンツの再生について、エンターテ インメント性を高めることができる。
図面の簡単な説明
[図 1]図 1は、この発明による音楽コンテンツの再生装置の第 1の実施形態が適用さ れた記録再生装置のブロック図である。
[図 2]図 2は、実施形態の記録再生装置で用いられる属性情報の一部の情報を説明 するための図である。
[図 3]図 3は、実施形態の記録再生装置で用いられる属性情報の一部の情報を説明 するための図である。
[図 4]図 4は、実施形態の記録再生装置で用いられる属性情報の一部の情報を説明 するための図である。
[図 5]図 5は、図 1の記録再生装置における処理の一例のフローチャートである。
[図 6]図 6は、図 1の記録再生装置の動作を説明するために用いるフローチャートであ る。
[図 7]図 7は、図 1の音楽コンテンツ記憶部の例を説明するための図である。
[図 8]図 8は、図 1の音楽コンテンツ記憶部の例を説明するための図である。
[図 9]図 9は、図 1の記録再生装置のうちの記録処理動作部を説明するための機能ブ ロック図である。
[図 10]図 10は、図 1の記録再生装置における記録処理動作を説明するためのフロー チャートの一部である。
[図 11]図 11は、図 1の記録再生装置における記録処理動作を説明するためのフロー チャートの一部である。
[図 12]図 12は、図 1の記録再生装置におけるアレンジ指示動作を説明するための図 である。
[図 13]図 13は、図 1の記録再生装置のうちの再生処理動作部を説明するための機 能ブロック図である。
[図 14]図 14は、図 1の記録再生装置の要部の機能ブロック図である。 [図 15]図 15は、図 14の機能ブロック図の説明のための図である。
[図 16]図 16は、図 14の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 17]図 17は、図 14の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 18]図 18は、図 14の機能ブロック図の一部の説明のための図である。
[図 19]図 19は、図 14の機能ブロック図の説明のためのタイミング図である。
[図 20]図 20は、図 14の機能ブロック図の説明のためのタイミング図である。
[図 21]図 21は、図 14の機能ブロック図の説明のための図である。
[図 22]図 22は、図 1の記録再生装置における再生処理動作を説明するためのフロー チャートの一部である。
[図 23]図 23は、図 1の記録再生装置における再生処理動作を説明するためのフロー チャートの一部である。
[図 24]図 24は、図 1の記録再生装置における再生処理動作を説明するためのフロー チャートの一部である。
[図 25]図 25は、図 14の一部を構成するリズムマスター部の処理動作のフローチヤ一 トである。
[図 26]図 26は、図 14の一部を構成するリズムスレーブ部の処理動作のフローチヤ一 トである。
[図 27]図 27は、この発明による音楽コンテンツの再生装置の第 2の実施形態が適用 された記録再生装置のブロック図である。
[図 28]図 28は、図 27の第 2の実施形態の記録再生装置のうちの再生処理動作部を 説明するための機能ブロック図である。
[図 29]図 29は、図 27の第 2の実施形態の記録再生装置の要部の機能ブロック図で ある。
[図 30]図 30は、図 27の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 31]図 31は、図 27の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 32]図 32は、図 27の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 33]図 33は、図 27の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 34]図 34は、図 27の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 35]図 35は、図 27の機能ブロック図の説明のためのタイミング図である。
[図 36]図 36は、実施形態の記録再生装置におけるアレンジ指示動作の他の例を説 明するための図である。
[図 37]図 37は、実施形態の記録再生装置におけるアレンジ指示動作の他の例を説 明するための図である。
[図 38]図 38は、実施形態の記録再生装置におけるアレンジ指示動作の他の例を説 明するための図である。
発明を実施するための最良の形態
[0013] [第 1の実施形態]
以下、この発明の第 1の実施形態を、図を参照しながら説明する。図 1は、この発明 の音楽コンテンツの再生装置の第 1の実施形態と、音楽コンテンツおよびその属性 情報の記録装置の第 1の実施形態とが適用された音楽コンテンツの記録再生装置の 一例の構成を示すブロック図である。
[0014] この第 1の実施形態においては、記録再生装置は、音楽コンテンツ記憶部を備える 力 この音楽コンテンツ記憶部には、音楽コンテンツのデータとして楽曲の音響デー タの他に、映像データが含まれる場合もあることを想定して、映像音響データが記憶 される。そして、この第 1の実施形態では、音楽コンテンツのデータに付随して、さら に、各楽曲についての属性情報が、各音楽コンテンツの識別情報により対応付けら れて記憶される。
[0015] この属性情報は、テンポ、キー(調)、コード(chord)などのリズムおよびリズムと結 びついて曲調を決定するための曲調属性情報 (後述する楽曲構成情報に含まれる) だけでなぐ後述するように演奏者情報、歌詞情報、感性情報、周辺環境情報等、さ らには再構成用情報(以下アレンジ用情報という)を含むものである。そして、音楽コ ンテンッに映像情報を含むときには、その映像についての属性に関する情報も含む 場合がある。
[0016] アレンジ用†青報は、音楽コンテンツを再生するときに、ロック風、クラシック風、ジャズ 風、ヒップホップ風、ソウル風などに楽曲データをアレンジするようにするための情報 である。
[0017] 後述するように、音楽コンテンツが DVD (Digital Versatile Disc)などのリムー バル (着脱可能)な記録媒体に記憶されて!、る場合にぉ 、て、この属性情報が当該 記録媒体に音楽コンテンツに対応付けられて記録されている場合には、その記録媒 体に記録されて 、る属性情報を用いることができる。
[0018] そして、 DVD等の記録媒体から、記録再生装置の記憶部に音楽コンテンツのデー タを記録する際には、属性情報も、対応付けて記録するようにする。
[0019] 記録媒体に、属性情報が記録されていない場合には、当該記録媒体から、記録再 生装置の記憶部に音楽コンテンッのデータを記録する際に、記録再生装置におい て、必要な属性情報を生成し、当該生成した属性情報を、記録する音楽コンテンツ につ 、ての映像音響データに対応付けて、記録するようにする。
[0020] この第 1の実施形態の記録再生装置では、音楽コンテンツの情報は、例えばインタ 一ネット上にある音楽コンテンツ提供サーノくからもダウンロードすることができるように 構成されている。
[0021] この例の場合の音楽コンテンツ提供サーバの音楽コンテンツの情報には、属性情 報が付随されていることを想定しており、この第 1の実施形態の記録再生装置力 の 音楽コンテンツの取得要求を受け取ると、音楽コンテンツ提供サーバは、要求された 音楽コンテンツの映像音響データと共に、属性情報を記録再生装置にダウンロード するよう〖こする。
[0022] そこで、記録再生装置は、ダウンロードされた映像音響データと、属性情報とを、音 楽コンテンツの識別情報により対応付けて、記憶部に記憶するようにする。
[0023] この例の記録再生装置は、マイクロコンピュータを搭載して構成されるもので、図 1 に示すように、 CPU (Central Processing Unit) 1に対してシステムバス 2を介し てプログラム ROM (Read Only Memory) 3およびワークエリア用 RAM (Rando m Access Memory) 4が接続されている。
[0024] そして、システムバス 2には、また、ユーザインターフェース 11と、エンコード Zデコ ード部 12と、曲調分析部 13と、通信インターフェース 14と、再生履歴情報保持部 15 と、光ディスクドライブ 16とが接続されている。
[0025] ユーザインターフェース 11は、ユーザの操作入力を受け付けるボタン操作部(図示 を省略)や、例えば LCD (Liquid Crystal Display)からなるディスプレイを含む。後 述するように、ユーザが音楽コンテンツの再生の際に指定するアレンジの種別(クラシ ック風やジャズ風などの種別)の指定入力が、このユーザインターフェース 11を通じ てなされる。
[0026] エンコード Zデコード部 12には、音楽コンテンツ記憶部 20が接続される。この例で は、この音楽コンテンツ記憶部 20は、例えば大容量のハードディスク装置により構成 される。なお、大容量の書き換え可能な光ディスクを用いる書き込み Z読み出し装置 部により、音楽コンテンツ記憶部 20を構成することもできる。
[0027] エンコード/デコード部 12は、この音楽コンテンツ記憶部 20を構成するハードディ スク装置にデータを書き込む際に、書き込み対象のデータをハードディスク装置に記 録できるフォーマットのデータにエンコード処理し、また、このハードディスク装置から 読み出したデータに対して、前記エンコードに対応するデコード処理を施すものであ る。この場合に、エンコード処理には、データ圧縮処理を含むことができ、それに対応 してデコード処理には、データ伸長処理を含むことができる。
[0028] この例では、音楽コンテンツのデータには、楽曲データのみではなぐ音楽コンテン ッに関連する映像データと、さらには、音楽コンテンツに関する属性情報 (後で詳述 する)が含まれている。
[0029] そして、音楽コンテンツ記憶部 20は、それぞれの音楽コンテンツに関して楽曲デー タと映像データとが記憶される映像音響データ記憶部 21と、それぞれの属性情報が 記憶される属性情報記憶部 22とからなる。映像音響データ記憶部 21の楽曲データ および映像データと、属性情報記憶部 22の属性情報とは、音楽コンテンツごとに音 楽コンテンツのそれぞれを識別する音楽コンテンツ識別情報 (コンテンツ ID)により互 いに関連付けられている。
[0030] 曲調分析部 13は、音楽コンテンツの楽曲データを音楽コンテンツ記憶部 20の映像 音響データ記憶部 21に記憶する際に、楽曲データを解析して、楽曲の楽曲素材単 位の区切りを検出すると共に、当該楽曲素材単位の楽曲構成情報を抽出する。この 楽曲構成情報は、前記属性情報の一部として、属性情報記憶部 22に記録されるよう にされる。曲調分析部 13は、記録すべき音楽コンテンツの情報に属性情報が附属さ れていない場合にのみ動作し、抽出された楽曲構成情報が属性情報の一部として記 録される。
[0031] ここで、楽曲素材単位とは、楽曲の拍、小節など、コードを付することができる単位 である。そして、楽曲構成情報は、楽曲の楽曲素材単位のテンポ、キー、コード、音 量、拍子、楽譜、コード進行などの、いわゆる曲調が決まる基準となる情報力もなるも のである。
[0032] 通信インターフェース 14は、外部のネットワーク例えばインターネット 5を通じて音楽 コンテンツ提供サーバ装置 6等に接続するために用いられるものである。この例では 、音楽コンテンツ提供サーバ装置 6は、楽曲データや映像データのみではなぐ属性 情報も提供することができるように構成されて 、る。
[0033] 再生履歴情報保持部 15は、当該記録再生装置において、過去に、どの音楽コン テンッをどのくら!/、の頻度や時間で聴 、たか、どのようなアレンジで聴 ヽて 、ることが 冬、、カゝ (アレンジの各種別とその視聴頻度)の履歴情報を保持する。再生された音楽 コンテンツの識別情報 (コンテンツ ID)に対応して再生回数 (頻度)、そのアレンジ種 別、その再生時間、その再生時の生体状態情報、その再生時の周辺環境情報 (周 辺環境情報につ 、ても後で詳述する)等が、この再生履歴情報保持部 15には記憶 されている。
[0034] 光ディスクドライブ 16は、 CD (Compact Disc)や DVD (Digital Versatile Dis c)などの光ディスク 7から、楽曲データや映像データの読み込みを行なう。光ディスク 7に音楽コンテンツについての属性情報が記録されている場合には、当該属性情報 の読み込みも行なう。 [0035] この例の記録再生装置においては、システムバス 2には、さらに、生体情報取得部 30と、周辺環境情報取得部 40と、映像音響出力部 50とが接続されている。
[0036] 生体情報取得部 30は、生体情報センサ 31と生体情報解析部 32とからなる。生体 情報センサ 31は、音楽コンテンツを視聴しているリスナー力 当該音楽コンテンツに 対して嗜好を示している力 あるいは、嗜好を示していないかなどを判別するための 情報 (生体状態情報)を検知する。この生体情報センサ 31は、リスナーの例えば体動 、呼吸、脈、血圧、体表温度、皮膚発汗、皮膚抵抗などの生体情報を検出し、それら の生体情報を生体情報解析部 32に供給するものである。
[0037] 例えば、リスナーが聴取している楽曲に嗜好を示しており、いわゆる「楽曲に乗って いる」状態のときには、リスナーの体動や呼吸は、演奏される音楽のリズムやテンポな どと同期したものとなることがある。例えば、ゆっくりとしたメロディーを演奏するように したいときには、体動や呼吸は、それに合わせたゆっくりしたものとなり、また、急激に 大きな音に移行するときには、それに合わせて体動が大きくなると共に、呼吸もそれ に合わせて吸気から、ー且、息を止め、一気に呼気に移るなどの変化をすることがあ る。
[0038] さらに、リスナーは、気分が高揚するような音楽パートでは、脈や心拍が多くなると 共に、皮膚発汗が多くなり、また、ゆったりとした音楽のパートでは脈や心拍はゆつく りと安定したものとなるなどの変化をすることがある。
[0039] 生体情報解析部 32では、以上のような、リスナーの感情的な情報を、生体情報セン サ 31から受け取り、リスナーが聴取中の楽曲に嗜好を示しているかどうかの判別結果 をシステムノ ス 2に送出する。この場合に、生体情報解析部 32では、再生中の楽曲 構成情報をも参照して、リスナーの体動などが、楽曲に同期しているかどうかも判断 するようにしている。
[0040] そして、この実施形態では、生体情報解析部 32は、例えば体動などの生体情報に 基づく嗜好の度合いについて、複数段階のスレツショールド値を持ち、例えば、「嗜 好を示していない(曲に乗ってない)」、「嗜好を示しているが嗜好の程度が低い」、「 非常に嗜好を示して 、る (曲に乗って 、る)」のような複数段階にっ 、ての判断出力 を送出するように構成されて 、る。 [0041] 周辺環境情報取得部 40は、 GPS受信機 41と、位置情報入力インターフェース 42 と、環境情報センサ 43と、環境情報生成部 44とからなる。
[0042] GPS受信機 41は、複数個の人工衛星力も受信した電波力も当該 GPS受信機 41 の位置を算出する測位演算をし、その演算結果を、位置情報入力インターフェース 4 2に送る。この例では、位置情報入力インターフェース 42は、 GPS受信機 41からの 測位演算結果を、例えば地名などの位置情報に変換して、システムバス 2に送出す る。この位置情報は、当該記録が行なわれた場所を示すものとされるもので、周辺環 境情報の一部として、音楽コンテンツが記録されたときに、その属性情報の一部とし て記録される。
[0043] 環境情報センサ 43は、温度センサや湿度センサの他、季節や日時を検知する時 計部を含んでいる。環境情報生成部 44は、環境情報センサ 43からの情報を受け取 り、温度、湿度、季節、日時などの情報をシステムバス 2に送出する。これらの情報も 、周辺環境情報の一部として、音楽コンテンツが記録されるときに、その属性情報の 一部として記録される。
[0044] 映像 ·音響出力部 50は、音響データデコード部 51と、音響アレンジ部 52と、音響 出力部 53と、映像データデコード部 54と、映像アレンジ部 55と、映像出力部 56と、 I /Oポート 57と力らなる。
[0045] 音響データデコード部 51は、音声データが、非圧縮音声信号である PCM音声信 号である場合には、そのまま音響アレンジ部 52を通じて音響出力部 53に出力する。 音楽データに、 ATRAC (Adaptive Transform Acoustic Coding)や AAC (A dvanced Audio Coding)などの圧縮が力かっている場合には、音響データデコ ード部 51は、当該圧縮を解凍 (伸長)して、デジタル音声信号にデコードする。音声 データが MIDI (Music Instrument Digital Interface)の場合には、音響デー タデコード部 51は、当該 MIDIのデータ力もデジタル音声信号を生成デコードする。
[0046] 音響アレンジ部 52は、 IZOポート 57を通じてこれに供給される制御信号に応じて 、テンポ補正、音程補正、特殊効果 (エフェクト)処理などをしたり、他の楽曲データを 混合 (リミッタス)したりする。これにより、曲調を変えたり、前述したクラシック風や、ジ ャズ風などのアレンジ種別を変更したりすることが可能になる。 [0047] この実施形態では、音響アレンジ部 52で行なうエフェクト処理としては、音響データ に、例えば、ディストーション(Distortion)をかけたり、リバーブ (Reverb)をかけたり する処理がなされる。
[0048] リミックスは、一般的なディスクジョッキーで行なわれている手法であり、ある小節や 拍単位で音楽性を損なわないように、再生中の楽曲に複数の音楽素材をミックスして いく方法である。これは、予め用意された小節の切れ目(楽曲素材単位の区切り)や テンポ情報、コード情報等の楽曲構成情報を利用して、音楽理論にしたがい、再生 中の楽曲に複数の音楽素材を、違和感無くミックスしていくものである。このリミックス も加わって、曲調を変えたり、前述したクラシック風や、ジャズ風などのアレンジ種別 を変更したりすることが可能になる場合もある。
[0049] リミックスの場合には、 CPU1の指示に従い、再生中の楽曲以外の他の楽曲から抽 出されるリミッタスする音響データ力 音響データデコード部 51に供給される。したが つて、この実施形態では、音響データデコード部 51は、再生中の音響データのデコ ード処理と、リミッタスする音響データのデコード処理とを並行して実行することができ る機能を備えている。
[0050] 音響アレンジ部 52の出力は、音響出力部 53に供給される。音響出力部 53では、こ れに入力されるデジタル音声信号をアナログ音声信号に変換し、当該変換したアナ ログ音声信号を出力アンプ((図示せず) )を介してスピーカや、出力端子を介してへ ッドホン (図示せず)に供給して、音響再生する。
[0051] 映像データデコード部 54は、この実施形態では、音楽コンテンツに付随する圧縮 映像データをデコード (圧縮解凍 (圧縮伸長))する。この場合、付随する圧縮映像デ ータとしては、 JPEG (Joint Photographic Experts Group)等で圧縮された静 止画データ、 MPEG (Moving Picture Experts Group) 2、 MPEG4等で圧縮 された動画データ等があり、映像データデコード部 54は、これらの圧縮を伸長デコー ド'する機會を備免るちのである。
[0052] この映像データデコード部 54でデコードされた映像データは、映像アレンジ部 55 に供給される。この映像アレンジ部 55では、映像データに、例えば特殊効果 (ェフエ タト)が施される。この特殊効果としては、既存の技術を用いるもので、この実施形態 では、詳細は省略する。
[0053] この映像アレンジ部 55の出力映像データは、映像出力部 56に供給される。映像出 力部 56は、デジタル映像データをデジタル映像信号のまま、若しくは必要に応じて アナログ映像信号に変換し、映像出力端子を通じてディスプレイの画面に表示される
[0054] [属性情報の説明]
この実施形態では、各音楽コンテンツの属性情報は、次に説明するような各種の情 報力 各楽曲に対応して記録される。
[0055] (1)楽曲構成情報
この楽曲構成情報は、前述した楽曲素材単位の区切り情報を含むと共に、楽曲の テンポ zキー Zコード Z音量 Z拍子の情報、楽譜の情報、コード進行の情報、繰り 返してりミックスするループ用の音楽波形の立ち上がり情報等を含む。テンポの情報 としては、例えば BPM (Beat Per Minutes)値が用いられる。
[0056] この楽曲構成情報は、楽曲の曲調を示すものであり、音楽コンテンツの記録再生装 置は、この楽曲構成情報を解析して、当該楽曲構成情報が似ている楽曲は、曲調が 似ていると判断することができる。したがって、再生中の楽曲に対してリスナーが嗜好 を示しているときには、この楽曲構成情報の解析結果に基づき、次の再生楽曲候補 として再生中の楽曲と似ている曲調の楽曲を選択することができる。
[0057] また、リスナーが再生中の楽曲に対して嗜好を示していないときには、例えば過去 の再生履歴力もリスナーが好んでいると思われる楽曲を検出し、その楽曲の楽曲構 成情報を調べて、その楽曲構成情報と似ている楽曲を次の楽曲再生候補とすること により、再生履歴に基づき、リスナーが好むと思われる楽曲と曲調が似ている楽曲を 、次の楽曲再生候補することができる。
[0058] また、この楽曲構成情報に含まれる楽曲素材単位の区切り情報や、楽曲のテンポ 等や、コード進行などの情報を用いることにより、違和感の無いリミックスが可能にな る。
[0059] この場合、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応してい るようにされている。例えば、楽曲構成情報として属性情報中に記述されている、楽 曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響デ ータの小節の区切りのタイムコードとが正確に一致して 、るように構成されて 、る。
[0060] したがって、この楽曲構成情報により、再生中の楽曲の楽曲素材単位の区切り、例 えば小節や柏の区切のタイミングを検出することができると共に、リミックスしょうとする 他の楽曲の楽曲素材単位の情報を、再生中の楽曲の楽曲素材単位の区切りに同期 して加算することができ、違和感の無 、リミッタスを行なえる。
[0061] (2)エフェクト情報
エフェクト情報は、当該楽曲にかける特殊効果の情報であり、例えば前述したディ ストーシヨンやリバーブ用のエフェクトパラメータ力もなる。この場合、エフェクトパラメ ータが時間的に変化する場合には、その時間変化に応じて変化するパラメータ情報 となる。
[0062] このエフェクト情報は、この例の音楽コンテンツの記録再生装置力 予め、固定的 に複数種を備えるものを用いることができる。しかし、各楽曲毎に効果的なお薦めの エフェクト情報がある場合には、各楽曲毎の属性情報の一部として含められるもので ある。このお薦めのエフェクト情報は、例えば、音楽コンテンツの制作者により与えら れる。エフェクト情報は、 1種類ではなぐ複数種類を属性情報として含めることができ る。
[0063] このエフェクト情報も、楽曲素材単位に対応した時間長分として、属性情報に含め ると良い。楽曲素材単位に対応した時間長分とすることにより、楽曲素材単位で、リア ルタイムに音楽再生しながら、エフェクト処理を変更してゆくことが可能となる。
[0064] (3)アレンジ用情報
アレンジ用情報は、前述したように、各楽曲の原曲の曲調を再構成して、ロック風、 クラシック風、ジャズ風にアレンジするための情報であり、アレンジパラメータが時間的 に変化する場合には、その時間変化に応じて変化するパラメータ情報となる。
[0065] このアレンジ用情報は、音楽コンテンツの記録再生装置が、予め、固定的に複数種 を備えるのではなぐ各楽曲毎の効果的なお薦めのアレンジ用情報力 音楽コンテン ッの記録媒体の各楽曲毎の属性情報の一部として含められて 、たり、音楽コンテン ッ提供サーバ装置 6から、ダウンロードされる各楽曲の属性情報の一部として提供さ れたりするものである。なお、この実施形態では、アレンジ用情報は、このお薦めのァ レンジ用情報のみではなぐ例えば、ユーザが作成したものを楽曲の属性情報として 登録するよう〖こすることちでさる。
[0066] また、各楽曲毎に、ユーザが作成したアレンジ用情報をサーバ装置 6にアップロー ドしたり、音楽コンテンツの制作者が作成したものをサーバ装置 6に用意しておいたり しておくことで、任意のユーザが、適宜、サーバ装置 6に問い合わせて、無料あるい は有料で取得することができるようにしても良い。
[0067] アレンジ用情報は、 1種類ではなぐ複数種類が属性情報として含められることがで きるのは勿論である。また、 1つの種類のアレンジ用情報、例えば同じクラシック風に する種別のアレンジ用情報であっても、バッハ風、ベートーベン風、モーツァルト風な ど、複数個を用意するようにすることもできる。
[0068] このアレンジ用情報も、楽曲素材単位に対応した時間長分として、属性情報に含め ると良い。楽曲素材単位に対応した時間長分とすることにより、楽曲素材単位で、リア ルタイムに音楽再生しながら、アレンジを変更してゆくことが可能となる。
[0069] 図 2に、このアレンジ用情報の一例を示す。この例では、原曲がロック系の楽曲であ る場合に、コードと、ドラムを付加、変更することにより、ソウル系の楽曲にアレンジ (再 構成 =編曲)する場合の例である。
[0070] 図 2に示すように、この例においては、ドラムの変更のアレンジは 1態様である力 コ ード進行は、アレンジ用情報として、 4態様が呈示され、ユーザは、この中から選ぶこ とがでさる。
[0071] 図 2は、例示であり、全ての聴取ユーザがこのようなアレンジをロック系力もソウル系 への変更として聴取することを保証するものではな 、。アレンジ後の曲調をどのような 感じに捕らえるかは、聴取ユーザにより異なる力もである。したがって、図 2の例は、 例えば、楽曲コンテンツの提供者が、お薦めとして例示するものであって、同じ傾向 のアレンジを目指す場合にも、作成者により種々のアレンジ用情報が提供されるもの である。
[0072] なお、アレンジ用情報は、前述もしたように、 1つの楽曲について 1種類というわけで はなぐ複数種類用意されるのが、通常である。図 3に、属性情報として記憶される楽 曲毎のアレンジ用情報の例を示す。
[0073] すなわち、属性情報は、図 3に示すように、アレンジ用情報のほか、楽曲構成情報、 エフェクト情報、その他、後述する各種情報が、楽曲識別情報 (楽曲 ID)に対応付け されて記憶されている。そして、アレンジ用情報は、クラシック風、ジャズ風、ロック風、 ソウル風、ヒップホップ風などのように種類に分けられて記憶されている。それぞれの 種類においても、図示は省略する力 例えば前述したように、クラシック風 1, 2, 3の ように、複数個のアレンジ用情報が記憶される場合もある。
[0074] (4)楽器情報
楽器情報は、当該楽曲において使用されているドラム、ギター等の楽器の情報であ る。例えば、 1小節分のドラムやパーカッションの演奏パターンを、属性情報として記 録しておき、それをループ状に繰り返し用いるようにすることもできる。また、リミックス 用にそれらの楽器の演奏パターン情報を用いることもできる。
[0075] なお、これらの 1小節分のドラムやパーカッションの演奏パターンの情報は、属性情 報として記録するのではなぐ予め、記録再生装置がリミックス用などのために、複数 パターンを備えておくようにしても良 、。
[0076] (5)演奏者情報
演奏者情報は、当該楽曲の演奏者 (歌手を含む)の名前 (グループ名を含む)、性 別、年齢、グループ編成など、演奏者に関する情報である。
[0077] (6)感性情報
感性情報は、当該楽曲を聴取したリスナーの感覚的認識を表すもので、例えば明 るい曲 Z暗い曲、静かな曲 Z激しい曲、楽しい曲 Z悲しい曲などを定量ィ匕したデー タである。この感性情報は、例えば図 4に示すように、明るい Z暗い、優しい Z激しい 、楽しい Z悲しいなどのそれぞれを、予め感性軸として定義しておき、各感性軸につ いて主観的な感覚的認識の程度を数値ィ匕したものを、リスナーにより設定してもらう 等の方法で取得する。
[0078] 例えば、明るい Z暗いの感性軸の場合、図 4に示すように、主観的な感覚的認識の 程度を、例えば、 16段階の数値で表す。図 4の例では、明るいとされる場合ほど数値 が大きぐ最も暗いとされる場合の数値として「一 8」が割り当てられている。優しい Z 激しい、楽しい Z悲しいなどの他の感性軸についても同様とすることができる。感性 軸は、これらの他にも設定することが可能である。
[0079] 図 4のように、これらの感性軸上の値が設定されると、それらの値を線で結ぶことに より、曲調に応じた形の図形(図 4では三角形の形が曲調に応じて変化)が得られる。 換言すれば、これらの感性軸を用いることにより、似た曲調の楽曲を容易に検索する ことができる。
[0080] この場合に、記録媒体に音楽コンテンツのデータに対応して記録する属性情報や 音楽コンテンツ提供サーノから提供する属性情報の場合には、例えば数十人のリス ナ一に当該楽曲を聴いてもらって、各感性軸についての主観的な感覚的認識の程 度の数値を報告してもらい、例えば、その平均値を各感性軸についての感性情報と するよう〖こすることがでさる。
[0081] 後述するように、記録再生装置の使用者がリスナーとして、楽曲を聴取して、この感 性情報を設定入力する場合もある。また、記録媒体に記録されていた属性情報に含 まれる感性情報の数値や、音楽コンテンツ提供サーバから取得した属性情報に含ま れる感性情報の通知が、実際にリスナーが楽曲を聴取した結果、異なるとリスナーが 感じた場合には、記録再生装置の音楽コンテンツ記憶部に記憶する属性情報の感 性情報としては、リスナー自身により、その感性情報の値を書き替えることができるよう に構成されている。
[0082] (7)周辺環境情報
この周辺環境情報は、 DVDの制作者や、音楽コンテンツ提供サーノくからの音楽コ ンテンッの提供者などにより設定入力される、当該楽曲を聴くのにお薦めの場所、例 えば山、海などの地域情報を含む。また、後述するように、記録再生装置での楽曲の 記録時に、前述した周辺環境情報取得部 40で取得された記録 (録音)された場所、 日時、季節、温度、湿度などの情報とされる場合もある。また、その記録時に、リスナ 一により設定入力される、当該楽曲を聴くのにお薦めの場所などの地域情報を含む
[0083] (8)再生履歴情報
再生履歴情報は、リスナーが、どの楽曲を、どのくらいの頻度や時間で聴取してい るかの情報であり、この実施形態では、前述したように、記録再生装置の再生履歴情 報保持部 15に記憶されて保持される。この再生履歴情報は、音楽コンテンツのデー タを、音楽コンテンッ記憶部 20に記憶する記録処理の際に属性情報に含められて、 音楽コンテンツ記憶部 20の属性情報記憶部 22に、属性情報の一部として格納され る。
[0084] なお、再生履歴情報は、制作者により制作される DVDや、サーバから取得する属 '性†青報には含まれて!/ヽな ヽ。
[0085] [第 1の実施形態の記録再生装置における記録処理]
次に、この第 1の実施形態の記録再生装置における記録処理について説明する。 この実施形態における記録処理の態様には、いくつかある。
[0086] その一つは、 DVDに記録されている音楽コンテンツのデータを読み込み、音楽コ ンテンッ記憶部 20に書き込んで記録する態様である。他の一つは、インターネット 5 を通じて、音楽コンテンツ提供サーバ装置 6から音楽コンテンツのデータをダウンロー ドしたものを記録する態様である。さらに、他の一つは、図示を省略したが、外部入力 端子を通じて、他の再生機器など力 音楽コンテンツのデータを転送し、それを音楽 コンテンッ記憶部 20に記録する態様である。
[0087] これらの態様にぉ 、て、音楽コンテンツのデータに属性情報が含まれて 、る場合に は、この実施形態の記録再生装置は、音楽コンテンツについての映像音響データに カロえて、その属性情報をも読み込み、音楽コンテンツ記憶部 20に書き込むようにす る。この実施形態の記録再生装置では、この記録の際に、ユーザが属性情報を追カロ 、変更がしたい場合には、その追加、変更ができるように構成されている。
[0088] また、音楽コンテンツのデータには、映像音響データのみしかなぐ属性情報が含 まれていない場合には、この実施形態の記録再生装置では、記録再生装置におい て属性情報を生成 (設定)して、音楽コンテンツ記憶部 20の属性情報記憶部 22に記 憶するようにする。
[0089] すなわち、曲調分析部 13で DVDやダウンロードした音響データを解析して、楽曲 構成情報を取得して、それを属性情報の一部として記録する。また、ユーザは、自分 力 S当該楽曲を実際に聴取した主観的な感覚的程度値の感性情報として、前述したよ うな 16段階のいずれかの数値を入力する。そして、この感性情報を属性情報の一部 として記録する。さらに、周辺環境情報取得部 40で取得した周辺環境情報も属性情 報の一部として記録する。さらには、再生履歴情報も必要に応じて属性情報として記 録するようにする。
[0090] なお、この実施形態では、インターネット 5上に、音楽コンテンツの識別情報に対応 して属性情報を格納する属性情報提供サーバ装置を設けて、このサーバ装置に、音 楽コンテンツの識別情報を伴うダウンロード要求を送って、当該音楽コンテンツの識 別情報に対応する属性情報の提供を受けるようにすることも想定している。
[0091] 図 5および図 6は、音楽コンテンツ提供サーバ装置 6から音楽コンテンツおよび属性 情報を取得する場合における記録再生装置と音楽コンテンツ提供サーバ装置 6の動 作のフローチャートである。
[0092] なお、ここでは、記録再生装置が音楽コンテンツ提供サーバ装置 6から音楽コンテ ンッのデータと、これに付随する属性情報との提供を受ける場合を例にして説明する 力 基本的には、異なる複数台の記録再生装置間で属性情報の送受を行なう場合 においても、ほぼ同様の処理となる。
[0093] 図 5は、音楽コンテンツのデータとこれに付随する属性情報の提供を要求する記録 再生装置の処理を、また、図 6は、音楽コンテンツのデータとこれに付随する属性情 報を提供する音楽コンテンツ提供サーバ装置 6の処理を、それぞれ説明するための フローチャートである。
[0094] 記録再生装置に対して、音楽コンテンツデータとこれに対する属性情報との提供の 要求を行なうためのプログラムを起動する所定の操作が行われると、記録再生装置 の CPU 1は、図 5に示す処理を実行し、まず、ダウンロードする音楽コンテンツの選択 入力を受け付ける (ステップ S 11)。
[0095] そして、受け付けた選択入力に基づ!/、て、ダウンロードを要求する音楽コンテンツ の識別子を含む音楽コンテンツの提供要求を生成し、これを通信インターフェース 1 4、インターネット 5を通じて、音楽コンテンツ提供サーバ装置 6に送信する (ステップ S 12)。
[0096] 一方、音楽コンテンツ提供サーバ装置 6の制御部(CPU)は、常時、図 6に示す処 理を実行しており、インターネット 5および自装置が備える通信インターフェースを通 じて、記録再生装置力もの音楽コンテンツの提供要求を受信待ちするようにし (ステツ プ S21)、提供要求を受信したか否かを判断する (ステップ S22)。ステップ S22にお いて、音楽コンテンツの提供要求を受信していないと判断したときには、ステップ S21 力 の処理を繰り返し、音楽コンテンツの提供要求の受信待ちとなる。
[0097] ステップ S22の判断処理において、音楽コンテンツ提供サーバ装置 6の制御部力 記録再生装置力もの音楽コンテンツの提供要求を受信したと判断したときには、サー バ装置 6の制御部は、受信した提供要求に含まれる音楽コンテンツの識別子に基づ いて、サーバ装置 6に記憶されている音楽コンテンツの中から、 目的とする音楽コン テンッのデータとこれに対する属性情報とを検索する (ステップ S23)。
[0098] そして、音楽コンテンツ提供サーバ装置 6の制御部は、 目的とする音楽コンテンツ のデータが存在するか否かを判断し (ステップ S24)、存在すると判断したときには、 要求元の記録再生装置に、通信インターフェースおよびインターネット 5を通じて送 信する(ステップ S25)。そして、ステップ S21に戻って、このステップ S21からの処理 を繰り返す。
[0099] また、ステップ S 24の判断処理において、 目的とする音楽コンテンツのデータが存 在しないと判断したときには、音楽コンテンツ提供サーバ装置 6の制御部は、その旨 を示す応答メッセージを生成し、要求元の記録再生装置に対して、通信インターフエ ースおよびインターネット 5を通じて返信する(ステップ S26)。そして、ステップ S21に 戻り、このステップ S21からの処理を繰り返す。
[0100] 一方、要求元の記録再生装置は、音楽コンテンツ提供サーバ装置 6からの応答 (返 信)を通信インターフェース 14を通じて受信し (ステップ S 13)、受信した応答に基づ いて、要求した音楽コンテンツのデータが送信されてきたか否かを判断する (ステップ S14)。このステップ S 14の判断処理において、要求した音楽コンテンツのデータを 受信したと判断したときには、その受信した音楽コンテンツのデータと、当該音楽コン テンッのデータに付随して提供された属性情報とを音楽コンテンツ記憶部に記録 (格 納)し (ステップ S 15)、この図 5に示す処理を終了する。
[0101] また、ステップ S 14の判断処理において、要求した音楽コンテンツのデータを受信 して ヽな ヽ(対応する音楽コンテンツのデータが存在しな!、ことのメッセージを受信し た)と判断したときには、記録再生装置の制御部は、図 1には図示しなかったが、自 装置が備える LCD (Liquid Crystal Display)などの表示素子や LED (Light E mitting Diode)などの発光素子、あるいは、ブザーやアラームなどを用いて、目的と する音楽コンテンツのデータが存在しな力つたことを記録再生装置のユーザに対して 通知し (ステップ S16)、この図 5に示す処理を終了する。
[0102] 以上のようにして、この実施形態では、記録再生装置は、目的とする音楽コンテン ッのデータの提供を受ける際に、この音楽コンテンッのデータに付随して提供される 属性情報の提供をも受けることができるようにされている。そして、提供を受けた音楽 コンテンツのデータ、および、当該音楽コンテンツのデータに対する属性情報を音楽 コンテンツ記憶部 20に記憶して再生時に利用することができるようにされる。
[0103] なお、音楽コンテンツのデータに属性情報が付随していないときには、上述したよう に、曲調分析部 13で解析して得られた楽曲構成情報や、周辺環境情報取得部で取 得された周辺環境情報など力 属性情報が構成されて、それが音楽コンテンツ記憶 部 20に音楽コンテンツの映像音響データと対応付けられて記憶される。
[0104] また、記録再生装置の音楽コンテンツ記憶部には、音楽コンテンツの楽曲データは 、既に存在しているが、その音楽コンテンツの属性情報が無いときには、音楽コンテ ンッの識別情報を検索子として、サーバ装置 6にアクセスして、その属性情報のみを ダウンロードすることちできるよう〖こされて 、る。
[0105] 次に、図 7は、この実施形態の記録再生装置の音楽コンテンツ記憶部 20の一例と してのハードディスク装置の概念的な構成を説明するための図である。すなわち、音 楽コンテンツ記憶部 20としてのハードディスク装置 20HDは、音楽コンテンツの映像 データや音響データ等の映像音響データ Dtの領域 23と、その属性情報 Atの領域 2 4とを備え、領域 23は映像音響データ記憶部 21を構成し、領域 24は属性情報記憶 部 22を構成する。
[0106] この実施形態では、音楽コンテンツ記憶部 20は、ハードディスク装置により構成し た力 リムーバル (着脱可能)の記録メディアとしての DVD等のディスク媒体を音楽コ ンテンッ記憶部として用いることもできる。図 8は、その場合における音楽コンテンツ 記憶部 20の他の例としてのディスク媒体 (例えば光磁気ディスク等の記録再生可能 なもの) 20RDの一例を説明するための図である。
[0107] この図 8に示すように、音声コンテンツデータや映像コンテンツデータなどのコンテ ンッデータ(映像音響データ) Dtが光ディスク 20RDのデータ格納領域に格納されて いる。そして、図 8に示すように、光ディスク 20RDには、光ディスクに通常設けられる リードインエリア、 TOC (Table Of Contents)エリア、リードアウトエリアのほかに、 コンテンツ属性情報 Atの格納エリアが設けられ、ここに属性情報が格納されるように されている。コンテンツデータ Dt力 複数の楽曲のデータを含む場合には、それぞれ の楽曲についての属性情報が記録される。この場合、コンテンツデータ Dtと属性情 報 Atとは、前述したように音楽コンテンツ識別情報 (音楽コンテンツ ID)によって対応 付けられている。
[0108] なお、光ディスク 20RDは、音楽コンテンツの制作者等により音楽コンテンツデータ が記録されて市販されるものの他、例えば、一般ユーザが、パーソナルコンピュータ などを用いて、インターネットからダウンロードした音楽コンテンツを記録するなどして 作成する場合もある。
[0109] なお、図 7、図 8に示したように、記録媒体に記録される属性情報 Atは、記録再生 装置においてユーザが任意に内容を書き換えたり、追加したり、削除したり、あるいは 、既存の属性情報を新たな属性情報に置き換えたりすることも可能である。例えば、 属性情報中に楽曲素材単位の区切り情報を追加する場合には、記録再生装置にお いて、目的とする音楽コンテンツデータを自動解析することにより、新たな楽曲素材 単位の区切り情報を自動生成したり、ユーザインターフェース 11を通じてユーザによ り入力された区切り情報を追加したりすることが可能である。
[0110] また、ユーザインターフェース 11を通じてユーザからの変更指示入力を受け付けて 、音楽コンテンツ記憶部 20に記録されている属性情報を変更したり、同様に、ユーザ インターフェース 11を通じてユーザからの変更指示入力を受け付けて、音楽コンテン ッ記憶部 20に記録されている属性情報を削除したり、また、既に記録されている属 性情報を、上述のように新たに生成したり、入力したりした属性情報で置き換えたりす ることちでさるようにされる。 [0111] また、新たな属性情報を、インターネット 5と通信インターフェース 14とを通じて提供 を受けたり、あるいは、 USB (Universal Serial Bus)インターフェースなどのデジ タルインターフェースに接続される他の記録再生装置等の外部機器力 提供を受け たり、また、無線インターフェースと送受信アンテナを通じて無線 LAN経由で提供を 受けたりして、これを追加や置き換えに用いることも可能である。
[0112] もちろん、上述したいずれの場合においても、音楽コンテンツの識別子によって、音 楽コンテンツデータと属性情報とは必ず対応するようにされ、どの属性情報がどの音 楽コンテンツデータに付随するものであるかは明確にされる。
[0113] そして、以上のように、音楽コンテンツには、属性情報を付随させるようにすることに より、音楽コンテンツのデータの流通に伴い、その属性情報をも流通させ、音楽コン テンッデータの利用に合わせて、その属性情報を有効に活用し、新たな利用態様で 音楽コンテンツデータを利用できるようにすることができる。
[0114] なお、光ディスクドライブ 16で読み込みを行なう光ディスク 7が、音楽コンテンツデー タとして属性情報を付随している場合には、図 8に示した光ディスク 20RDと同様の構 成を備えるものである。
[0115] 次に、図 1の実施形態の記録再生装置における記録処理動作の一例を、図を参照 して説明する。図 9は、この実施形態の記録再生装置のうちの記録処理部分を機能 的に抽出して表したブロック図である。また、図 10および図 11は、その記録処理動 作の一例を説明するためのフローチャートである。
[0116] 図 9に示すように、記録再生装置は、記録の機能的には、 2つの要素力 構成され る。一つは、複数個の音楽コンテンツが記憶保持されている音楽コンテンツ記憶部 2 0であり、もう一つは音楽コンテンツの記録をする記録部 100である。音楽コンテンツ 記憶部 20については、上述した通りであるので、ここでは、説明を省略する。記録部 100は、音楽コンテンツデータおよび属性情報の記録処理を行なう部分である。以下 、この記録部 100の構成について説明する。
[0117] 記録部 100は、この例では、入力された音楽コンテンツのデータ(映像音響データ) と、属性情報とを対応付けて音楽コンテンツ記憶部 20に記憶する。この場合に、音 楽コンテンツに対応する属性情報が入力される場合には、それをそのまま、あるいは 、一部変更したり、追加したりして、音楽コンテンツ記憶部 20の属性情報記憶部 22 に記憶するようにする。
[0118] しかし、属性情報が音楽コンテンツに付随していない場合には、記録部 100では、 記録再生装置側で生成可能な属性情報を生成して、音楽コンテンツのデータに付 与して、音楽コンテンツ記憶部 20の属性情報記憶部 22に格納するようにする機能を 備える。
[0119] この実施形態では、音楽コンテンツのデータに対する属性情報の付与方法として は、最終的には付与するユーザが主観的な判断で付与を行なうようにする。もっとも、 属性情報の一部の情報は、記録再生装置が自動的に生の映像音響データから計算 して付与することもできる。すなわち、属性情報の一部である楽曲構成情報のテンポ 情報や、記録再生装置の存在する場所や周辺環境情報等は、自動的に算出して、 自動的に付加することもできる。しかし、この例では、記録再生装置は、あくまで楽曲 構成情報や周辺環境情報を取得するのみで、最終的に、音楽コンテンツに付与する 属性情報にっ 、て、それが最適力どうかはユーザが決定するようにして 、る。
[0120] なお、音楽コンテンツ情報に属性情報が付加されていない場合においては、アレン ジ用情報は、記録しながらユーザが作成することはできないので、この記録時にはァ レンジ用情報は、記憶されない。この実施形態においては、記録処理の後に、音楽 コンテンツ記憶部 20の属性情報記憶部 22に記憶された原曲のコード進行や、ドラム の情報、その他の楽曲構成情報を参照しながら、ユーザがアレンジ用情報を作成し たときや、インターネットを通じて、当該音楽コンテンツの楽曲についてのアレンジ用 情報を取得したときに、属性情報記憶部 22に、楽曲 IDに対応して追加記憶される。
[0121] 記録部 100は、図 9に示すように、前述したユーザインターフェース 11と、曲調分析 部 13と、再生履歴情報保持部 15と、周辺環境情報取得部 40とを含むほか、機能的 な処理部として、音楽コンテンツ記録指示制御部 101と、音楽コンテンツデータ保持 部 102と、映像音響データ記録設定部 103と、属性情報記録設定部 104と、ェンコ ード部 105と、楽曲構成情報取得部 106とを備える。
[0122] 音楽コンテンツ記録指示制御部 101は、ユーザインターフェース 11を通じたユーザ 指示に従って、音楽コンテンツの記録指示制御を行なう部分であって、 CPU1が、 R OM3に記憶されている記録のためのプログラムに基づいて、 RAM4をワークエリアと して用いて実行する部分に相当する。
[0123] 音楽コンテンツデータ保持部 102は、これから記録すべき音楽コンテンツの映像音 響データや、付随する属性情報もあれば、当該属性情報を保持する部分である。
[0124] これは、記録しょうとする音楽コンテンツのソースが光ディスクドライブ 16で読み込ま れる光ディスク 7である場合には、当該光ディスク 7および光ディスクドライブ 16の部 分に相当する。
[0125] また、記録しょうとする音楽コンテンツのソース力 インターネット 5を通じた音楽コン テンッ提供サーバ装置 6である場合には、通信インターフェース 14を通じて取り込ま れた音楽コンテンツデータを一時的に蓄えるノッファメモリなど力 音楽コンテンツデ ータ保持部 102に相当する。
[0126] エンコード部 105は、エンコード Zデコード部 12のエンコード部分のみの機能を抽 出したものに相当する。
[0127] 映像音響データ記録設定部 103は、エンコード部 105に送り込む映像音響データ を保持するものであり、 RAM4の一部のエリアが利用される。
[0128] 属性情報記録設定部 104は、エンコーダ回路に送り込む属性情報のデータを保持 するものであり、これも RAM4の一部のエリアが利用される。
[0129] 楽曲構成情報取得部 106は、音楽コンテンツデータに属性情報が付随していない 場合に、記録しょうとする音楽コンテンツに対応する属性情報を取得する機能部であ る。これは、例えば、前述したように、インターネットを通じて、属性情報提供サーバ装 置に音楽コンテンッ IDを検索子としてアクセスして、当該音楽コンテンッ IDに対応す る属性情報を取得する機能部や、他の記録再生装置などから、当該音楽コンテンツ に対応する属性情報を取得する機能部などにより構成される。
[0130] 次に、図 10および図 11のフローチャートを参照しながら、記録処理動作について 説明する。なお、この図 10および図 11の各処理ステップは、 CPU1が ROM3のプロ グラムにしたがって、 RAM4をワークエリアとして用いて実行するものである。
[0131] 記録に先立ち、ユーザは、音楽コンテンツとして記録したい楽曲のデータを用意し 、音楽コンテンツデータ保持部 102に保存しておく。属性情報が付随されている場合 には、音楽コンテンツデータ保持部 102には、当該音楽コンテンツとしての楽曲の属 性情報も保存される。音楽コンテンツデータ保持部 102は、属性情報が当該記録し たい楽曲に付随しているかどうかを、音楽コンテンツ記録指示制御部 101に報告す る。これにより、音楽コンテンツ記録指示制御部 101は、記録すべき音楽コンテンツ に属性情報が付随して 、るかどうかを予め認識して 、る。
[0132] 次に、ユーザが、ユーザインターフェース 11の操作部を通じて記録指示をすると、 音楽コンテンツ記録指示制御部 101は、指定された楽曲の記録指示を認識する(図 10のステップ S31)。音楽コンテンツ記録指示制御部 101は、この記録指示を認識 すると、指定された楽曲には、属性情報が付随しているかどうかを判別し (ステップ S3
2)、属性情報が付随していると判別したときには、属性情報記録設定部 104に、音 楽コンテンツに付随する属性情報を記録するようにする記録指示を送る (ステップ S3
3)。
[0133] 音楽コンテンツ記録指示制御部 101は、また、音楽コンテンツデータ保持部 102に 、保持して!/ヽる記録対象の音楽コンテンツの映像音響データを映像音響データ記録 設定部 103に送出するようにすると共に、対応する属性情報を属性情報記録設定部 104に送出するように指示する (ステップ S34)。この指示を受けた音楽コンテンツデ ータ保持部 102は、記録対象の音楽コンテンツの映像音響データを、その音楽コン テンッ IDと共に映像音響データ記録設定部 103に送ると共に、対応する属性情報を 、その音楽コンテンツ IDと共に属性情報記録設定部 104に送る。
[0134] 属性情報記録設定部 104は、音楽コンテンツデータ保持部 102からの属性情報( 音楽コンテンツ IDを含む)を受け取ると、記録すべき属性情報の仮リストを作成し (ス テツプ S35)、当該作成した属性情報の仮リストを、例えばユーザインターフェース 11 のディスプレイに表示する等して、ユーザに呈示する(ステップ S36)。
[0135] この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について 修正や追カ卩が必要だと判断したときには、ユーザインターフェース 11の操作部を通 じて所定の操作を行ない、そのままの属性情報で良いとしたときには、ユーザインタ 一フェース 11の決定キーなどを操作して、その旨を入力する。
[0136] 音楽コンテンツ記録指示制御部 101は、ユーザ力も属性情報についての修正指示 や追加指示があつたかどうか判別し (ステップ S37)、修正指示や追加指示があった と判別したときには、その旨を属性情報記録設定部 104に伝える。この修正指示や 追加指示を受けた属性情報記録設定部 104は、ユーザインターフェース 11を通じた 修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップ S38)。この属性情報の修正、追加の際にアレンジ用情報を追加記録するようにして も良い。
[0137] 属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当 該属性情報につ!ヽて OKと ヽぅ意味で決定キーを操作すると、音楽コンテンツ記録指 示制御部 101は、そのユーザの属性情報についての決定入力を検知し (ステップ S3 9)、エンコード部 105に、映像音響データ記録設定部 103からの映像音響データと 、属性情報記録設定部 104からの属性情報とを受け取るように指示すると共に、受け 取った情報をエンコードするように指示する。エンコード部 105は、この指示を受ける と、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部 20に記憶す るためのエンコード処理を実行する(ステップ S40)。
[0138] そして、エンコード部 105は、エンコードした映像音響データを、映像音響データ記 憶部 21に書き込むと共に、エンコードした属性情報を、属性情報記憶部 22に書き込 む (ステップ S41)。以上で、記録処理は終了となる。
[0139] 一方、ステップ S32で、属性情報が音楽コンテンツに付随しては 、な 、と判別した ときには、音楽コンテンツ記録指示制御部 101は、属性情報記録設定部 104に、音 楽コンテンツの属性情報を自装置で生成して記録するようにする指示を送る(図 11 のステップ S51)。
[0140] 音楽コンテンツ記録指示制御部 101は、また、音楽コンテンツデータ保持部 102に 、保持して!/ヽる記録対象の音楽コンテンツの映像音響データを映像音響データ記録 設定部 103と、曲調分析部 13に送出するように指示する (ステップ S52)。この指示を 受けた音楽コンテンツデータ保持部 102は、記録対象の音楽コンテンツの映像音響 データをその音楽コンテンツ IDと共に映像音響データ記録設定部 103に送ると共に 、当該音楽コンテンツの音響データを曲調分析部 13に送出する。
[0141] 音楽コンテンツデータ保持部 102からの音響データを受け取った曲調分析部 13は 、その音響データを分析して、楽曲素材単位のテンポ、キー、コード等の楽曲構成情 報を抽出する (ステップ S53)。
[0142] 属性情報記録設定部 104は、音楽コンテンツ記録指示制御部 101からの自装置で 属性情報を生成する旨の指示を受け取ると、指定された楽曲にっ 、ての再生履歴が 再生履歴情報保持部 15に保持されているか否力判別し、保持されていれば、その 再生履歴を属性情報の一部とするために取得する (ステップ S54)。なお、再生履歴 情報がなければ、属性情報としての再生履歴情報は無しを意味する「null」とされる。
[0143] また、属性情報記録設定部 104は、記録対象の楽曲を聴取したユーザからユーザ インターフェース 11を通じて入力される当該楽曲につ 、ての明る 、Z喑 、、激し ヽ Z優しい、楽しい Z悲しいなどの感性情報の数値入力(例えば前述の 16段階の数 値)を受け付けて、属性情報の一部とする (ステップ S55)。
[0144] さらに、属性情報記録設定部 104は、曲調分析部 13で分析されて抽出された楽曲 構成情報を、曲調分析部 13から取得して、属性情報の一部とする (ステップ S56)。 また、さらに、属性情報記録設定部 104は、周辺環境情報取得部 40から周辺環境 情報を取得して、当該周辺環境情報を属性情報の一部とする (ステップ S57)。
[0145] 次に、属性情報記録設定部 104は、ステップ S54〜ステップ S57で取得した情報 に基づいて、記録すべき属性情報の仮リストを作成し (ステップ S58)、当該作成した 属性情報の仮リストを、例えばユーザインターフェース 11のディスプレイに表示する 等して、ユーザに呈示する(ステップ S36)。
[0146] この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について 修正や追カ卩が必要だと判断したときには、ユーザインターフェース 11の操作部を通 じて所定の操作を行ない、そのままの属性情報で良いとしたときには、ユーザインタ 一フェース 11の決定キーなどを操作して、その旨を入力する。
[0147] 音楽コンテンツ記録指示制御部 101は、ユーザ力 属性情報についての修正指示 や追加指示があつたかどうか判別し (ステップ S37)、修正指示や追加指示があった と判別したときには、その旨を属性情報記録設定部 104に伝える。この修正指示や 追加指示を受けた属性情報記録設定部 104は、ユーザインターフェース 11を通じた 修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップ S38)。
[0148] 属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当 該属性情報につ!ヽて OKと ヽぅ意味で決定キーを操作すると、音楽コンテンツ記録指 示制御部 101は、そのユーザの属性情報についての決定入力を検知し (ステップ S3 9)、エンコード部 105に、映像音響データ記録設定部 103からの映像音響データと 、属性情報記録設定部 104からの属性情報とを受け取るように指示すると共に、受け 取った情報をエンコードするように指示する。エンコード部 105は、この指示を受ける と、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部 20に記憶す るためのエンコード処理を実行する(ステップ S40)。
[0149] そして、エンコード部 105は、エンコードした映像音響データを、映像音響データ記 憶部 21に書き込むと共に、エンコードした属性情報を、属性情報記憶部 22に書き込 む (ステップ S41)。以上で、記録処理は終了となる。
[0150] なお、以上の実施形態では、属性情報の楽曲構成情報が音楽コンテンツに付随し ていないときには、曲調分析部 13で楽曲構成情報を抽出するようにしたが、予め楽 曲の曲調が譜面情報や制作者の情報により判っている場合には、曲調分析する必 要は無ぐユーザがこの譜面情報に基づくテンポ、キー、コード等の楽曲構成情報を 属性情報として入力することもできる。
[0151] また、インターネット 5などのネットワークを通じて楽曲構成情報が取得可能な場合 には、属性情報記録設定部 104は、楽曲構成情報取得部 106を通じて楽曲構成情 報を取得して、属性情報の一部とするようにすることもできる。
[0152] この実施形態の記録再生装置では、楽曲の再生を繰り返すと、再生履歴情報保持 部 15に、過去のユーザの再生履歴情報が蓄積されてくる。よく聴く曲はリスナーの嗜 好度が高ぐ逆に再生時間が短い曲はリスナーの嗜好度が低いことが多い。そこで、 この楽曲毎の再生頻度'再生時間情報が更新される度に、各楽曲の音楽コンテンツ の属性エリアに追記して 、く。
[0153] また、属性情報とされて、音楽コンテンツ記憶部 20の属性情報記憶部 22に記憶さ れた再生履歴情報は、音楽コンテンツの記録時のみではなぐ対応する楽曲が再生 されて、再生履歴情報保持部 15の再生履歴が更新されるときに、同時に、属性情報 記憶部 22の対応する楽曲の属性情報の再生履歴情報も更新されるようにされている
[0154] よく聴く曲はリスナーの嗜好度が高ぐ逆に再生時間が短い曲はリスナーの嗜好度 が低いことが多いので、この再生履歴情報を参照することにより、リスナーが嗜好する 楽曲を検知することができると共に、その嗜好度の高い楽曲の曲調は、リスナーの嗜 好度が高い曲調と判定することができる。そこで、この楽曲毎の再生頻度や再生時間 情報が更新される度に、各楽曲の属性情報記憶部の再生履歴情報を追記しておくこ とにより、この属性情報の再生履歴情報および楽曲構成情報を参照することで、リス ナ一に好まれている楽曲およびその曲調を判定して、再生時の楽曲の再構成に利 用することができる。
[0155] [第 1の実施形態の記録再生装置における再生処理]
次に、第 1の実施形態の記録再生装置における再生処理について説明する。この 実施形態では、再生処理のポイントとして、いくつかある。
[0156] 一つは、再生スタート操作をするだけで、ユーザが嗜好するであろう楽曲を順次に 装置が選択して、ユーザに呈示する機能を装置が備える点である。この場合、ユー ザは、最初の曲を選択し、連続再生スタート操作をユーザインターフェース 11の操作 部を通じて入力する。すると、この実施形態の記録再生装置は、その最初に選択さ れた楽曲にユーザが嗜好を示して 、るかどうか、ユーザ(リスナー)から取得した生体 情報に基づいて判別し、嗜好を示していれば、最初に選ばれた楽曲に曲調が似て いる楽曲を次の楽曲再生候補とする。
[0157] この場合において、楽曲聴取者であるユーザ (リスナー)の生体情報を取得して、例 えば、音楽に乗っているときの頭部や足等の体の動きや脈拍等から、その時々のリス ナ一の嗜好度を判定するようにする。
[0158] リスナーが聴取中の楽曲に嗜好を示していないと判別したときには、例えば再生履 歴情報保持部 15に保持されている再生履歴情報に基づいて、リスナーが好んでい ると考えられる楽曲を選択し、当該選択された楽曲に曲調が似ている楽曲を次の楽 曲再生候補とする。あるいは、リスナーの周辺環境情報を取得し、当該取得した周辺 環境情報に合致する楽曲を、属性情報を参照することにより検索し、検索結果の楽 曲および当該楽曲に似ている曲調の楽曲を次の楽曲再生候補とするようにする。
[0159] そして、 2番目以降の楽曲を聴取しているときにも、リスナーから取得した生体情報 に基づいて、当該聴取中の楽曲に嗜好を示しているかを常時判定して、上述と同様 の処理を行ない、次の楽曲再生候補を更新してゆくようにする。これにより、この実施 形態によれば、リアルタイムで、次の楽曲再生候補を更新しながらユーザに呈示する ことができると!/、う効果がある。
[0160] 従来の楽曲再生装置では、例えば数百曲以上の楽曲データを内蔵記憶部に記憶 しているときに、自動再生モードでは、アルバム単位や、記録された順、舌 L数によるラ ンダムな順序での再生が行なわれて 、るが、特にユーザ (リスナー)の嗜好を考慮し て、再生順序が決定されるものは無い。
[0161] また、 V、わゆるプレイリスト(再生楽曲候補のリスト)をユーザ側で作成して、その順 序で再生するという例もあるが、この方法の場合には、ユーザ側で、いちいちプレイリ ストを作成する必要があり、手間が力かるものである。さらに、内蔵記憶部に保存され る楽曲が増加するごとに、当該プレイリストを手直しする必要があるという問題もあつ た。そして、この方法も、ユーザの嗜好を積極的に考慮しているわけではないという問 題もあった。
[0162] これに対して、この実施形態では、再生装置側が過去のユーザの再生履歴情報や ユーザ力 リアルタイムに入力される生体情報等、さらには、再生装置が存在する地 理的な情報等から、現在再生されている楽曲の属性情報と照らし合わせて嗜好度の 予測を行ない、その場のユーザの状態において最も聴きたいと思われる楽曲を提供 するものである。
[0163] すなわち、音楽コンテンツの再生方法に関して、楽曲の属性情報と、リスナーの生 体情報や、再生履歴情報、周辺環境情報を用いて、その時々のリスナーの嗜好に最 適と思われる楽曲の候補を動的に選択し、それを再生提示するようにするものである
[0164] 例えば、過去によく聴いた楽曲のコード進行やテンポに近い楽曲を、属性情報記 憶部 22に記憶されている多数の楽曲の属性情報力も探索して、それを再生したり、 現在聴 、て 、る楽曲でリスナーがリラックスして 、ると思われる生体情報が取得でき た場合には、その構成に近い楽曲を、前記属性情報から探索して、それを再生したり するものである。すなわち、この実施形態では、楽曲の属性情報を利用してリスナー の嗜好に合う楽曲を動的に提示するものである。
[0165] また、上述したように、この実施形態では、属性情報として、リスナーがどう感じるか の楽曲の感性情報 (例えば暗い/明るい曲)、ユーザが何回この楽曲を再生したか等 の再生履歴情報や演奏者や楽器に関する情報、どこで録音されたものか'どこで聴く と良いかの地理情報等の周辺環境情報等も記録されている。これらの情報を、必要 に応じて再生側で利用することにより、多数の音楽コンテンツの中から、よりユーザの 好みに合うものを抽出することができる。
[0166] この実施形態の記録再生装置における二つ目の再生処理のポイントは、聴取中の 楽曲に対して、その属性情報中の、特に楽曲構成情報やアレンジ用情報に基づい て、楽曲素材単位で、テンポやキー(音程)を変えたり、リミックスしたり、エフェクトをか けたりして、楽曲を再構成するようにする機能 (アレンジモードと呼ぶことにする)を備 える点、である。
[0167] この実施形態では、アレンジモードは、自動モードと手動モードとが用意されており 、ユーザが選択設定しておくことができるようにされている。このアレンジモードの設定 は、図示は省略するが、ユーザインターフェース 11において、例えば、ユーザが、メ ニューから「設定」を選択し、その中のアレンジモード設定を選択し、自動モードか、 手動モードの 、ずれかを選択することでできる。
[0168] アレンジモードとして自動モードが設定されているときには、この実施形態の音楽コ ンテンッの記録再生装置では、生体情報取得部 30で、リスナーの生体情報を検出し て、リスナーのその時の気分に応じて、自動的に、ディスクジョッキーのように、楽曲デ 一タにリミックス処理する等して複数曲を同時に再生したり、あるいは楽曲そのものの テンポやキー等の曲調を変更したりして、聴取中の楽曲を動的に再構成するもので ある。
[0169] この動的な再構成のために、この実施形態では、楽曲データに、前述のような属性 情報、特に楽曲構成情報を付随させて、リスナーが置かれた雰囲気に合うように楽曲 を動的に再構成しながら再生 '合成するものである。再構成は、あくまでリスナーがよ り楽しくなるように、再生される楽曲に変化を与えるものであり、新たな楽曲の楽しみ 方をリスナーに提案するものである。
[0170] 前述したような属性情報は、音楽性を損なわずに楽曲を再構成再生することができ るようにすることを目的としたものである。一般に、音楽 (楽曲)は、小節、拍等で区切 られており、更に、それらの区切りごとにコードが決められているので、音楽理論に従 えば、例えば小節毎に別の音楽素材を組み合わせて 、つても音楽性を損なわずに 曲調を変更することができる。これは、一般に、ディスクジョッキー等で行なわれてい るリミックスと呼ばれる手法である。
[0171] 以上のことを考慮して、この実施形態では、前述したように、特に楽曲を再構成する に必要な楽曲の構成情報を、当該音楽コンテンツの映像音響データに予め付帯さ せて属性情報として記録しておくものである。ここで、楽曲を再構成するに必要な楽 曲の構成情報とは、前述した、テンポ、キー、コード、音量、拍子等の楽曲素材単位 の楽曲構成情報である。
[0172] なお、属性情報は、常に音楽コンテンツの映像音響データに付帯させておく必要 はなぐ例えば必要なときにのみ、音楽コンテンツの識別情報に基づいて、他の格納 場所に格納されている属性情報を読み出したり、ネットワークを通じて当該属性情報 のサーバ装置等から取得したりしても良い。
[0173] この実施形態では、楽曲構成情報を用いて、やみくもに自動的に再構成する訳で はない。例えば、リスナーからの生体情報を再生装置にフィードバックして、リスナー の視聴状態を動的に把握し、また、記録再生装置が置かれている (存在する)場所の 周辺環境情報を動的に把握し、その場に適した楽曲をその属性情報力 再合成し、 リスナーに提供するものである。
[0174] 以下に説明するように、この第 1の実施形態では、リスナーが嗜好を示しているとき にのみ楽曲を再構成するようにして、よりリスナー好まれるようにするようにして!/、る。 しかし、リスナーが嗜好を示していないときにも、楽曲を自動的に再構成して、リスナ 一に再構成後の楽曲を呈示することで、リスナーに嗜好を喚起させるようにしても勿 論よい。
[0175] この聴取中の楽曲の自動的な再構成の際にも、リスナーの生体情報を再生装置に フィードバックしたり、再生履歴情報を参照したり、周辺環境情報を参照したりして、 再構成のためにリミッタスする楽曲を選択したり、エフェクトを選択したりするようにして も勿論よい。さらには、属性情報中にお薦めのエフェクト情報があれば、それを使用 することち勿!^できる。
[0176] アレンジモードとして手動モードが設定されているときには、この実施形態の音楽コ ンテンッの記録再生装置では、ユーザのユーザインターフェース 11を通じたアレンジ 指示に応じて、当該楽曲の属性情報中の特にアレンジ用情報および楽曲構成情報 に基づいて、前述したように、楽曲素材単位で、テンポやキー(音程)を変えたり、リミ ッタスしたり、エフェクトをかけたりして、楽曲を再構成して、楽曲をアレンジするように する。
[0177] 図 12に、このアレンジモードの手動モードにおける LCDの表示画面を含むユーザ インターフェース 11の例を示す。図 12 (A) , (B)は、この実施形態の音楽コンテンツ の記録再生装置の、ユーザインターフェース 11の一部を構成する操作パネル部を示 すものである。
[0178] アレンジモードとして手動モードが設定されている場合において、例えば LCD画面 に表示されるメニューからアレンジモードが選択されると、この実施形態の音楽コンテ ンッの記録再生装置は、再生中の楽曲についての属性情報の中から、アレンジ用情 報(図 2および図 3参照)を抽出して、図 12 (A)に示すように、 LCD表示画面 111に、 属性情報として記憶されているアレンジ用情報の種類の一覧を表示する。
[0179] ユーザは、この LCD表示画面 111のアレンジ用情報一覧を見ながら、この例では、 十字型カーソルボタン 112を操作して、 、ずれのアレンジ用情報を用いたアレンジを 指示するかを選択操作する。この例では、ユーザは、十字型カーソルボタン 112の上 下方向操作部を操作して、図 12において、網点を付して示す選択中項目の位置を 変更するようにする。そして、十字型カーソルボタン 112の中央部の決定ボタンを操 作することにより、選択中項目の選択決定をする。
[0180] 図 12 (A)の例のように、(1)クラシック風が選択されている状態において、選択決定 操作がされると、選択されたアレンジ用情報に、属性情報として、さらに下位層のァレ ンジ態様が記憶されている場合には、図 12 (B)に示すように、当該アレンジ態様の 一覧が、 LCD表示画面 111に表示される。
[0181] そして、ユーザは、十字型カーソルボタン 112を用いて、そのアレンジ態様一覧から ユーザは、さらに希望するアレンジ態様を選択するようにする。そして、選択されたァ レンジ態様が選択決定されると、楽曲データは、属性情報記憶部 22に記憶されてい る当該アレンジ態様の情報が読み出されて、前述したような楽曲再構成処理がなさ れて、アレンジが実行される。
[0182] 次に、以上の再生処理の詳細処理動作例を、図を参照して説明する。図 13は、こ の第 1の実施形態の記録再生装置のうちの再生処理部分を機能的に抽出して表し たブロック図である。また、図 14〜図 21は、楽曲の再構成処理を説明するための図 である。さらに、図 22〜図 25は、その再生処理動作の一例を説明するためのフロー チャートである。
[0183] 図 13に示すように、この第 1の実施形態の記録再生装置の再生処理部も、前述し た記録処理部と同様に、 2つの構成要素からなる。一つは、複数個の音楽コンテンツ が記録保持されている音楽コンテンツ記憶部 20であり、もう一つは、音楽コンテンツ の再生を行なう再生部 200である。音楽コンテンツ記憶部 20は、前述した通りである ので、ここでは、再生部 200について説明する。
[0184] 再生部 200は、図 13に示すように、ユーザインターフェース 11と、再生履歴情報保 持部 15と、生体情報取得部 30と、周辺環境情報取得部 40と、音響出力部 53と、映 像出力部 56とを含むと共に、 ROM3に記憶されているプログラムにしたがって CPU 1による処理により実現される機能的な処理部として、映像音響データ選択判断制御 部 201と、デコード部 202と、属性情報取得部 203と、映像音響データ取得部 204と 、映像音響データデコード部 205と、映像音響アレンジ処理部 206とを備える。
[0185] 映像音響データ選択判断制御部 201は、ユーザインターフェース 11を通じたユー ザ指示に従って、再生対象の音楽コンテンツを選択したり、その再生制御処理(自動 アレンジによる楽曲再構成処理およびユーザ指示による手動アレンジの楽曲再構成 処理を含む)を行なったり、また、再生履歴情報保持部 15からの再生履歴情報、生 体情報取得部 30を通じて取得した生体情報、周辺環境情報取得部 40から取得した 周辺環境情報等に基づいて、再生対象の音楽コンテンツを選択したり、その再生制 御(楽曲再構成を含む)を行なったりする部分であって、 CPU1が、 ROM3に記憶さ れて 、る記録のためのプログラムに基づ 、て、 RAM4をワークエリアとして用いて実 行する部分に相当する。
[0186] デコード部 202は、映像音響データ選択判断制御部 201からの音楽コンテンツの 選択指示にしたがって、音楽コンテンツ記憶部 20から映像音響データおよび属性情 報を取得して、圧縮されているデータを伸長デコード処理するもので、エンコード Z デコード部 12のデコード部に相当する。
[0187] そして、デコード部 202は、音楽コンテンツ記憶部 20から読み出して伸長デコード した属性情報は、属性情報取得部 203に渡すと共に、音楽コンテンツ記憶部 20から 読み出して伸長デコードした映像音響データは、映像音響データ取得部 204に供給 する。
[0188] 属性情報取得部 203は、デコード部 202からの、音楽コンテンツ記憶部 20から読 み出されてデコードされた属性情報を受け取り、映像音響データ選択判断制御部 20 1に渡す。この属性情報取得部 203は、 RAM4の一部領域を用いるバッファ部で構 成されるちのである。
[0189] 映像音響データ取得部 204は、デコード部 202からの、音楽コンテンツ記憶部 20 カゝら読み出されてデコードされた映像音響データを受け取り、映像音響データデコー ド部 205に渡す。この映像音響データ取得部 204は、 RAM4の一部領域を用いるバ ッファ部で構成されるものである。
[0190] 映像音響データデコード部 205は、音響データデコード部 51と、映像データデコー ド部 54とで構成される部分であり、音響データをデコードして、映像音響アレンジ処 理部 206に渡すと共に、映像データをデコードして、映像音響アレンジ処理部 206に 渡す。
[0191] 映像音響アレンジ処理部 206は、音響アレンジ部 52と、映像アレンジ部 55とで構 成される部分であり、映像音響データ選択判断制御部 201からの制御信号を受けて 、デコードされた音響データに、他の楽曲の音響データをリミックスしたり、音響デー タにエフェクト処理を施したり、テンポやキーある ヽはコード進行を変えたりして楽曲 の再構成処理をする。また、デコードされた映像データにエフヱタト処理を施したりす る。
[0192] そして、映像音響アレンジ処理部 206は、リミックスしたりエフェクト処理したり等した 音響データを音響出力部 53に供給すると共に、エフヱ外処理等した映像データを 映像出力部 56に供給する。
[0193] 生体情報取得部 30で取得されるリスナーの生体情報は、映像音響データ選択判 断制御部 201に供給され、音楽コンテンツの選択および楽曲の再構成のために用い られる。また、周辺環境情報取得部 40で取得された記録再生装置が存在する場所 の情報などの周辺環境情報は、映像音響データ選択判断制御部 201に供給され、 音楽コンテンッの選択および楽曲の再構成のために用いられる。
[0194] また、再生履歴情報保持部 15は、これに供給される映像音響データ選択判断制御 部 201からの読み出し要求に従って、保持している再生履歴情報を映像音響データ 選択判断制御部 201に供給する。この再生履歴情報は、映像音響データ選択判断 制御部 201において、音楽コンテンツの選択および楽曲の再構成のために用いられ る。
[0195] 図 14は、図 13の再生部 200を、楽曲の再構成処理の観点から見た機能ブロック図 の構成を示すもので、実質上の構成内容は、図 13と変わりはない。
[0196] この図 14に示すように、再生部 200は、楽曲データの再構成の基準となる同期信 号と楽曲再構成用情報とを生成して出力するリズムマスター部 210と、このリズムマス ター部 210からの同期信号 SYNCと楽曲再構成用情報 ARIとを受けて、楽曲データ の再構成を実行するリズムスレーブ部 220とからなる。リズムマスター部 210からの同 期信号 SYNCは、楽曲データの再生に同期して出力されるものであり、また、楽曲再 構成用情報 ARIは、同期信号 SYNCに同期して出力され、楽曲データの再生に同 期して動的に変化する値である。
[0197] リズムマスター部 210は、コンサートで言うと指揮者に相当する機能を持ち、また、リ ズムスレーブ部 220は、演奏者の立場に相当する機能を持つ。
[0198] 映像音響データ選択判断制御部 201は、リズムマスター部 210に属する映像音響 データ選択判断制御 RM (RMはリズムマスターの略)部 201Mと、リズムスレーブ部 2 20に属する映像音響データ選択判断制御 RS (RSは、リズムスレーブの略)部 201S とに分けられる。また、属性情報取得部 203は、リズムマスター部 210と、リズムスレー ブ部 220の両方に属するものとされる。
[0199] すなわち、リズムマスター部 210は、映像音響データ選択判断制御 RM部(以下、 R M部という) 201Mと、属性情報取得部 203とを備えて構成される。
[0200] また、リズムスレーブ部 220は、映像音響データ選択判断制御 RS部(以下、 RS部 という) 201Sと、属性情報取得部 203のほかに、生体情報取得部 30と、周辺環境情 報取得部 40と、再生履歴情報保持部 15と、映像音響データ取得部 204と、映像音 響データデコード部 205と、映像音響アレンジ処理部 206とを備えて構成される。
[0201] そして、この第 1の実施形態では、リズムマスター部 210の RM部 201Mは、属性情 報取得部 203で取得した再生中の音楽コンテンッの属性情報に基づ!/、て、楽曲の 再構成の基準となる同期信号 SYNCと、楽曲構成用データ ARIとを生成し、当該生 成した同期信号 SYNCおよび楽曲再構成用データ ARIを、リズムスレーブ部 220の RS部 201 Sに供給する。
[0202] この実施形態では、この同期信号 SYNCとして、図 15に示すように、楽曲の小節に 対応する周期の小節同期信号 PHSYと、楽曲の柏に対応する周期のビート同期信 号 BTSYとを生成出力する。この場合に、 RM部 201Mは、この第 1の実施形態では 、再生中の楽曲の小節および柏に同期する信号を生成出力する。
[0203] 小節同期信号 PHSYは、楽曲の小節の頭を示す信号であり、例えば楽曲の小節 の先頭でのみ、立ち下がりエッジパルスとなっている。また、ビート同期信号 BTSYは 、楽曲の拍の頭を示す信号であり、例えば、拍の先頭のみ立下りエッジパルスとなつ ている。何拍子の曲かにより小節当たりの拍数は異なる。
[0204] これらの同期信号に同期する形で、リズムマスター部 210からリズムスレーブ部 220 へ楽曲再構成用データ ARIが送られる。この楽曲再構成用データ ARIは、多値のデ ータなのでデータノ ス等の複数ビット信号線上を流れる信号とされている。
[0205] この第 1の実施形態では、 RM部 201Mは、楽曲再構成用データ ARIとして、図 15 に示すように、楽曲構成情報の BPM値と、キー値と、コード値の 3つを生成し、リズム スレーブ部 220の RS部 201Sに供給するようにする。各値のデータは、複数ビットの 信号線により伝送するようにしても良いし、それぞれシリアルデータとして 1本づつの 信号線により伝送するようにしても良 ヽ。
[0206] BPM値は、リズムスレーブ部 220において、楽曲をどれくらいのテンポで再生する かのマスターテンポとなる値である。この BPM値は、同期信号 SYNCの発振周波数 に相当する。
[0207] キー値は、再生する音楽コンテンツのキーを決める値である。特定のキーを決めな V、場合は「null」値でも良 、。楽曲再構成用データ ARIのキー値が「null」値の場合、 リズムスレーブ部 220では、自由なキーで再生が行なわれる。
[0208] コード値は、再生する音楽コンテンツのコード進行を決める値である。リズムスレー ブ部 220は、与えられたコード値で再生したり、代理コードで再生したりする。音楽理 論に則り、調性が崩れなければ良い。コード値は「null」値でも良い。楽曲再構成デ ータ ARIのコード値が「null」値の場合、リズムスレーブ部 220では、自由なコードで 再生を行なう。
[0209] なお、この第 1の実施形態の場合に、 RM部 201Mは、再生中の楽曲の属性情報 力も抽出した BPM値と、キー値と、コード値とを、そのまま楽曲再構成用情報 ARIと して出力する。
[0210] 図 16は、この第 1の実施形態におけるリズムマスター部 210の詳細構成例を示す 図であり、特に RM部 201Mの機能の詳細をブロック化したものである。すなわち、 R M部 201Mは、機能的には、属性情報解析部 211と、同期信号生成部 212と、同期 信号出力回路 213と、楽曲再構成用データ設定部 214と、楽曲再構成用データ出 力回路 215とを備える。
[0211] RM部 201Mの属性情報解析部 211では、属性情報取得部 203から、再構成をし ようとする再生中の楽曲の属性情報を受け取って解析し、当該再生中の楽曲の属性 情報のうちの前述した楽曲構成情報を抽出し、当該抽出された楽曲構成情報のうち
、特に小節や柏の区切り情報の一つであるテンポ情報としての BPM値を同期信号 生成部 212に供給する。
[0212] 同期信号生成部 212は、 PLL (Phase Locked Loop)回路 216を備え、属性情 報解析部 211からの BPM値に相当する発振周波数で発振し、かつ、再生対象の音 楽コンテンツの小節および柏に位相同期する小節同期信号 PHSYおよびビート同 期信号 BTSYとからなる同期信号 SYNCを、前記 PLL回路 216を用いて生成し、生 成した同期信号 SYNCを同期信号出力回路 213を通じて、図 15に示すように、 RS 部 201Sに供給する。
[0213] RM部 201Mの属性情報解析部 211では、また、属性情報取得部 203から受け取 つた、前記再生中の楽曲の属性情報の楽曲構成情報のうち、 BPM値と、キー値と、 コード値とを抽出して、楽曲再構成用データ設定部 214に供給する。
[0214] 楽曲再構成用データ設定部 214では、受け取ったBPM値はBPM値設定部217 に設定し、受け取ったキー値はキー値設定部 218に設定し、受け取ったコード値は コード値設定部 219に設定する。そして、 BPM値設定部 217、キー値設定部 218お よびコード値設定部 219に設定された BPM値、キー値およびコード値は、楽曲再構 成用データ設定部 214から楽曲再構成用データ出力回路 215に渡され、この楽曲 再構成用データ出力回路 215から、図 15に示すように、楽曲再構成用データ ARIと して、 RS部 201Sに供給される。
[0215] RM部 201Mは、同期信号 SYNCおよび楽曲再構成用データ ARIを、音楽コンテ ンッの楽曲データの再生に同期して、属性情報取得部 203からの属性情報に基づ いてリアルタイムに生成し、リズムスレーブ部 220の RS部に供給する。
[0216] 次に、この第 1の実施形態におけるリズムスレーブ部 220の詳細構成例を図 17に 示す。リズムスレーブ部 220の RS部 201Sは、機能的には、図 17に示すような構成と されるもので、アレンジ制御部 221と、テンポ補正量算出部 222と、音程補正量算出 部 223とを備えている。また、リズムスレーブ 220の映像音響アレンジ処理部 206は、 テンポ補正回路 225と、音程補正回路 226と、ミキサーおよびエフェクト回路 227とか らなる。
[0217] アレンジ制御部 221は、予め、音楽コンテンツ記憶部 20の属性情報記憶部 22から 、属性情報取得部 203を通じて、すべての音楽コンテンツの属性情報を取得し、その 取得した属性情報カゝら楽曲再構成用属性情報テーブル 224を作成して、保持して 、 る。この楽曲再構成用属性情報テーブル 224には、生体情報、周辺環境情報、再生 履歴情報などに基づ 、て自動的にアレンジを行なうために用いられる楽曲再構成用 属性情報の他、ユーザのアレンジ指示に応じた楽曲再構成をするために、属性情報 中に含まれるアレンジ用情報から作成される楽曲再構成用属性情報も含まれる。後 者の楽曲再構成用属性情報は、この例では、前述したように、ユーザが希望する楽 曲ジャンル(クラシック、ポップス、ロック、ソウル、演歌など)風にアレンジするための 情報である。
[0218] この楽曲再構成用属性情報テーブル 224の一部の一例を図 18に示す。この図 18 の例の楽曲再構成用属性情報テーブル 224は、この実施形態では、再構成処理の 一例としてリミックスを行なうので、リミックス用の属性情報テーブルの構成となって ヽ る。そして、図 18の楽曲再構成用属性情報テーブル 224は、それぞれの楽曲素材 名について、コード値と、 BPM値と、楽器名と、感性値とからなる。感性値は、この例 では、明るい感じのみとしているが、当然ながらこの限りではない。
[0219] アレンジ制御部 221は、リミックス処理を実行する際には、 RM部 201M力も受け取 つた楽曲再構成用データ ARIの BPM値およびコード値に等しい、あるいは当該 BP M値およびコード値に近似する BPM値およびコード値を有する楽曲素材を、リミック スしょうとする楽器ごとに、楽曲再構成用属性情報テーブル 224から検索する。
[0220] そして、アレンジ制御部 221は、生体情報取得部 30からの生体情報や周辺環境情 報取得部 40からの周辺環境情報、再生履歴情報保持部 15からの再生履歴情報を 参照して、リスナーが明るい感じのものを要求している力 そうではないかを判別し、 楽曲再構成用属性情報テーブルの感性値を参照して、実際にリミッタスする楽曲素 材を決定する。
[0221] また、アレンジ制御部 221は、ユーザインターフェース 11を通じたユーザのアレンジ 指示を受けた場合において、ユーザ力 のアレンジ指示によるアレンジ処理として、リ ミックスが必要な場合には、アレンジ用情報を参照し、リミッタスする楽曲素材を決定 する。
[0222] そして、アレンジ制御部 221は、決定した当該楽曲素材の音響データを音楽コンテ ンッ記憶部 20から読み出すようにする選択指示をデコード部 202に送る。
[0223] これを受けたデコード部 202は、選択指示された楽曲素材の音声データを音楽コン テンッ記憶部 20から読み出し、既に読み出しをして 、る再生対象の映像音響データ に加えて、これらのリミックス用の楽曲素材の音響データを映像音響データ取得部 20 4に渡す。
[0224] したがって、映像音響データ取得部 204は、再生対象の映像音響データに加えて 、このリミックス用の 1個または複数個の楽曲素材の音響データを、映像音響データ デコード部 205に供給するようになる。
[0225] このため、映像音響データデコード部 205および映像音響アレンジ処理部 206で は、それらの複数個の映像音響データを並行して処理するものである。すなわち、映 像音響データデコード部 205と、映像音響アレンジ処理部 206のテンポ補正回路 22 5および音程補正回路 226とは、図 17に示すように、並行して処理する映像音響デ 一タの数分(図 17では 2個)の処理回路部を、機能的に、それぞれ備える構成となつ ている。
[0226] 図 19は、リズムスレーブ部 220の映像音響データデコード部 205および映像音響 アレンジ処理部 206における楽曲信号の流れを、リズムマスター部 210からの同期信 号 SYNCに、同期させて示した図である。この場合、楽曲データ (音響データ)の再 生信号のストリームの一つを楽曲トラックと呼ぶことにする。上述したように、リズムスレ ーブ部 220においては、楽曲トラックは、複数個力もなり、それぞれ楽曲トラックの楽 曲データについて、テンポ補正や音程補正が必要に応じてなされた後、ミキサーおよ びエフェクト回路 227において最終的にミックスされる。
[0227] 図 19の例では、映像音響データデコード部 205から出力された 3つの楽曲トラック 力 リズムマスター部 210からの同期信号 SYNCに同期して再生され、最終段でミツ タス出力されている様子を示している。この例では、楽曲トラック 1は再生対象の音楽 コンテンツの楽曲データのトラックであり、楽曲トラック 2および楽曲トラック 3は、リミッタ スする楽曲素材のトラックである。
[0228] この図 19の楽曲トラック 2や楽曲トラック 3のように、リミックスされる楽曲素材は、全 部の小節区間に対応してすべて存在している必要はなぐミックスする小節区間ゃ複 数拍分の区間の間だけ、飛び飛びで再生されるようにしても良!、。
[0229] なお、再生対象の音楽コンテンツの楽曲データについて、リミックスをすることなぐ 特殊効果のみをかける場合には、再生対象の音楽コンテンツの楽曲データについて のストリームしかなぐミキサーおよびエフェクト回路 227においては、前述したリバ一 ブゃディストーションなどの特殊効果処理が再生対象の音楽コンテンツの楽曲デー タについて施される。
[0230] テンポ補正量算出部 222は、属性情報取得部 203から取得した BPM値と、リズム マスター部 210からの楽曲再構成用データ ARI中の BPM値(BPM値の目標値(目 標 BPM値)となる)との差分力も現在再生中の楽曲にリミックスする楽曲素材につい てのテンポ補正量を算出する。このように補正する必要があるのは、 BPM値が目標 B PM値に全く一致しているものだけではなぐ異なっているものであっても、キー値や コード値など、リミッタスする楽曲素材として適切なものと判断できるものもあるので、 そのような楽曲素材を選択した際に、その BPM値を目標 BPM値に合わせるためで ある。
[0231] そして、テンポ補正量算出部 222は、算出したテンポ補正量をテンポ補正回路 225 の対応する楽曲素材用の処理回路部に供給する。
[0232] テンポ補正回路 225は、音響データにっ 、て、音程を一定に保ちながら再生テン ポのみを変更するように補正する回路である。この補正のアルゴリズムは、相関関数 を使用する方法等、種々の方法が存在するが、この実施形態はそのアルゴリズムに 特徴を有するものではな 、ので、ここではその詳細な説明は省略する。
[0233] 音程補正量算出部 223は、属性情報取得部 203から取得したキー値 Zコード値と 、リズムマスター部 210からの楽曲再構成用データ ARI中のキー値 Zコード値(キー 値 Zコード値の目標値(目標キー値 Z目標コード値)となる)との差分から現在再生 中の楽曲にリミッタスする楽曲素材のそれぞれについての音程補正量を算出する。こ のように補正する必要があるのは、キー値およびコード値が目標キー値および目標コ ード値に全く一致しているものだけではなぐ異なっているものであっても、その他の 条件など力 して、リミックスする楽曲素材として適切なものと判断できるものもあるの で、そのような楽曲素材を選択した際に、そのキー値およびコード値を目標値に合わ せるためである。
[0234] そして、音程補正量算出部 223は、算出した音程補正量を音程補正回路 226の、 対応する楽曲素材用の処理回路部にそれぞれ供給する。
[0235] 音程補正回路 226は、音響データについて、テンポを一定に保ちながら音程のみ を変更するように補正する回路である。この補正のアルゴリズムとしては、種々の方法 が存在する力 この実施形態はそのアルゴリズムに特徴を有するものではな 、ので、 ここではその詳細な説明は省略する。
[0236] ミキサーおよびエフェクト回路 227は、アレンジ制御部 221からのミキシング制御信 号や特殊効果制御信号を受けて、音程補正回路 226からの映像音響データに特殊 効果をかけたり、音程補正回路 226からの複数個の映像音響データをミキシングした りする。どのような特殊効果をかけるかは、アレンジ制御部 221からの特殊効果制御 ¾号による。
[0237] 図 20は、リズムスレーブ部 220の映像音響データデコード部 205および映像音響 アレンジ処理部 206における楽曲信号の流れを、リズムマスター部 210からの同期信 号 SYNCに、同期させて示すと共に、リズムスレーブ部 220の映像音響アレンジ処理 部 206における楽曲再構成の動作を、リズムマスター部 210の楽曲再構成用データ ARIとの対応させながら示す図である。
[0238] 図 20の例の場合には、楽曲再構成用データ ARIは、再生対象の音楽コンテンツの 属性情報力 抽出したものとなっており、当該再生対象の音楽コンテンツは、楽曲ト ラック 1の再生信号ストリームとなっている。図 20の例では、楽曲再構成用データ ARI として、 BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリ ズムマスター部 210からリズムスレーブ部 220へ入力されている。
[0239] そして、リズムスレーブ部 220では、この楽曲トラック 1の再生対象音楽コンテンツの 再生信号ストリームに対して、アレンジ制御部 221による選択指示に基づいて音楽コ ンテンッ記憶部 20から取得された 2個の楽曲素材が楽曲トラック 2、楽曲トラック 3とし て映像音響データデコード部 205から出力され、前記楽曲再構成用データ ARIのそ れぞれの値の目標値に合うように補正され、最終的にミックスされる。
[0240] すなわち、楽曲トラック 2, 3の音響データは、映像音響アレンジ処理部 206におい て、楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正さ れた後、楽曲トラック 1の楽曲データにミックスされて、リミックス処理がなされる。
[0241] この場合、図 20に示すように、小節区間 Paにおいては、楽曲トラック 3の楽曲素材 3 力 楽曲トラック 1の音響データにミックスされる力 属性情報取得部 203を通じて取 得されたこの楽曲素材 3の小節区間 Paでの BPM値は「120」であって、楽曲再構成 用データ ARIの BPM値と同一であるので、楽曲素材 3の楽曲データについては、映 像音響アレンジ処理部 206ではテンポの補正はなされない。
[0242] しかし、属性情報取得部 203を通じて取得された楽曲素材 3の小節区間 Paでのコ 一ド値は「D」であって、楽曲再構成用データ ARIのコード値「C」とは異なるので、当 該楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 206の音程補正 回路 226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値に なるように変更される。
[0243] また、次の小節区間 Pbの前半においては、楽曲トラック 2の楽曲素材 2が楽曲トラッ ク 1の音響データにミックスされ、また、小節区間 Pbの後半においては、楽曲トラック 2 の楽曲素材 2と、楽曲トラック 3の楽曲素材 3とが楽曲トラック 1の楽曲データにミックス される。
[0244] そして、属性情報取得部 203により取得された楽曲素材 2の小節区間 Pbの前半で の BPM値は「100」、コード値は「E」であって、楽曲再構成用データ ARIの目標 BP M値「120」および目標コード値「G」と異なる。このため、楽曲素材 2の楽曲データは 、小節区間 Pbの前半において、映像音響アレンジ処理部 206で、「100」から「120」 と、目標 BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、 目標コード値に合致するように音程の補正がなされる。そして、小節区間 Pbの前半 では、それらの補正がなされた楽曲素材 2の楽曲データが、楽曲トラック 1の楽曲デ ータに加算される。
[0245] また、この小節区間 Pbの後半では、楽曲素材 2の BPM値は「100」、コード値は「E 」であって、楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「F」 と異なる力 楽曲素材 3の BPM値は「120」、コード値は「F」であって、楽曲再構成用 データ ARIの目標 BPM値「120」および目標コード値「F」と同一である。
[0246] このため、小節区間 Pbの後半では、楽曲トラック 2の楽曲素材 2については、映像 音響アレンジ処理部 206でテンポおよび音程の補正がなされて楽曲トラック 1の楽曲 データに加算され、また、楽曲トラック 3の楽曲素材 3については補正されずに、楽曲 トラック 1の楽曲データに加算される。 [0247] 以上のようにして、この第 1の実施形態では、再生対象の音楽コンテンツに対して、 当該音楽コンテンツに同期する同期信号 SYNCと、当該音楽コンテンツの楽曲構成 情報に基づく楽曲再構成用データ ARIとを生成して、この同期信号 SYNCおよび楽 曲再構成用データ ARIを基にして、他の楽曲素材をミックスすることにより、いわゆる リミックス処理を元の楽曲に対して違和感なぐ実行することができる。
[0248] また、同期信号 SYNCにより、小節や柏の区切りを容易に検出することができるの で、楽曲データについて特殊効果を施すことも容易に行なうことができる。
[0249] これら上述のアレンジ制御は、リアルタイムかつ動的に実行することができる。例え ば、生体情報センサ入力のように時々刻々変化する入力に対しても、容易に追従す ることがでさる。
[0250] なお、この実施形態では、リミックスの特殊効果処理の一つとして、ループ再生処理 ができるようにしている。このループ再生処理とは、例えば 1または複数小節分あるい は 1または複数拍分の少量の楽曲素材のデータを、繰り返し再生する処理機能を言 う。このループ再生することにより、少量の楽曲素材だけであっても、無限に音楽を奏 でることができる。このループ再生を行なう楽曲素材としては、ドラムのリズムパターン などが例として挙げられる。
[0251] 例えば、図 21 (C)に示すような元楽曲素材には、ループ再生の開始点であるマー クイン(Markln)点と、ループ再生の終了点であるマークアウト(MarkOut)点とが、 予め指定されている。この元楽曲素材の情報は、複数個が、例えば音楽コンテンツ 記憶部 20の属性情報記憶部 22に、別個に設けられた「DJループ情報格納部」に格 納されている。属性情報記憶部 22ではなぐ別の記憶エリアに「DJループ情報格納 部」を設けて、当該格納部に元楽曲素材情報を格納するようにしても勿論よ 、。
[0252] 複数の元楽曲素材から 1つの元楽曲素材力 例えばユーザインターフェース 11を 通じて選択指定され、ループ再生が指定されると、属性情報記憶部 22から、指定さ れた元楽曲素材情報が読み出され、リズムスレーブ部 220の映像音響データデコ一 ド部 205に供給される。そして、この映像音響データデコード部 205と、映像音響ァレ ンジ処理部 206とにぉ 、て、テンポ補正および音程補正を必要に応じて行 、ながら 、ループ再生を実行する。 [0253] この場合、映像音響データデコード部 205および映像音響アレンジ処理部 206は、 同期信号 SYNCの小節同期信号 PHSYまたはビート同期信号 BTSY (図 21 (A)参 照)に同期して、図 21 (B)に示すように、ループ再生を行なう楽曲トラックにおいて、 元楽曲素材のマークイン点力 再生を開始し、マークアウト点まで再生すると、当該 マークアウト点からマークイン点にジャンプすることにより、ループ再生を実行する。こ の場合、マークアウト点からマークイン点へループジャンプするタイミングとマークァゥ ト点への到達タイミングは一致して 、るものとする。
[0254] この場合、ループ再生を行なう一つの楽曲トラックだけでなぐ全ての楽曲トラックが 同期信号 SYNCに同期して再生動作しているので、違和感無ぐ DJループ再生を行 なうことができる。
[0255] 次に、図 22〜図 24のフローチャートを参照しながら、上述した再生処理動作につ いて説明する。なお、この図 22、図 23、図 24の各処理ステップは、 CPU1が ROM3 のプログラムにしたがって、 RAM4をワークエリアとして用いて実行するものである。
[0256] ユーザは、先ず、ユーザインターフェース 11のディスプレイの音楽コンテンツの選 択面から、希望する音楽コンテンツ (楽曲)を選択して、映像音響データ選択判断制 御部 201に対して、 1曲目の再生を指示する。 2曲目以降は、実施形態の記録再生 装置にて自動的に選択されて再生が続行される。
[0257] ユーザインターフェース 11を通じて 1曲目の再生指示を受けた映像音響データ選 択判断制御部 201は、当該再生指示を受けた音楽コンテンツを認識すると共に、音 楽コンテンツ記憶部 20の属性情報記憶部 22から、当該再生指示を受けた音楽コン テンッの属性情報およびその他の全部の、あるいは所定量の属性情報を読み出す ようにデコード部 202に指示を出す。そして、その指示に応じてデコード部 202から 属性情報取得部 203を通じて送られてくる属性情報を読み込み、解析する (ステップ S61)。
[0258] ここで、映像音響データ選択判断制御部 201は、後述する次の再生楽曲候補の選 定ゃ、聴取中の楽曲の再構成のために、再生指示された音楽コンテンツの属性情報 と、他の音楽コンテンツの属性情報を予め取得し、解析して、後述する次の再生楽曲 候補の選定や、聴取中の楽曲の再構成のための事前準備をするものである。 [0259] 次に、映像音響データ選択判断制御部 201は、デコード部 202に、再生指示され た音楽コンテンツの映像音響データの読み出しを指示する。すると、デコード部 202 は、音楽コンテンツ記憶部 20から再生指示された音楽コンテンツの映像音響データ を読み出して、映像音響データ取得部 204に渡す。映像音響データ取得部 204で 取得された映像音響データは、映像音響データデコード部 205に渡されてデコード され、映像音響アレンジ処理部 206を通じて音響出力部 53に供給されて、音響出力 されると共に、映像出力部 56に供給されて、映像出力され、再生が開始される (ステ ップ S62)。
[0260] こうして、音楽コンテンツの再生が開始されると、映像音響データ選択判断制御部 2 01は、この実施形態では、アレンジモードの設定が自動モードである力、手動モード であるかを判別し (ステップ S63)、自動モードであると判別したときには、映像音響デ ータ選択判断制御部 201は、リスナーの生体情報を、生体情報取得部 30から取得 すると共に、周辺環境情報取得部 40から周辺環境情報を取得する (ステップ S64)。 この生体情報と周辺環境情報の取得は、再生中は継続するものである。
[0261] そして、映像音響データ選択判断制御部 201は、生体情報取得部 30から取得した リスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどう か判別する (ステップ S65)。
[0262] 映像音響データ選択判断制御部 201は、例えば、体の動きなどの生体情報を、記 録再生装置の生体情報センサ 31および生体情報解析部 32を通じて受けることによ り、リスナーが積極的に音楽を聴きたい状態か、そうでない状態かを判断する。例え ば、音楽に乗って 、る状態では自然と音楽に合わせて体が動く。
[0263] すなわち、再生中の楽曲の楽曲構成情報 (楽曲素材単位の区切りやテンポ等)と、 体の動きのセンサ (加速度センサ等)の出力信号の相互相関関数を計算する等すれ ば、その相関係数によりリスナーが積極的に音楽を視聴したい状態力どうかをある程 度判断することが可能である。この場合に、属性情報中の感性情報も考慮するとさら に良い。つまり、激しい楽曲であれば、リスナーの体の動きもそれに応じて激しく動き 、優しい楽曲の場合では、リスナーの体の動きはゆっくりとしたものとなると予測できる [0264] 相関係数が高い程、リスナーが音楽を積極的に視聴したい、いわゆる「乗り」の状態 と捉えることができる。リスナーが積極的に音楽を聴いている状態にある場合には、よ り「乗り」数値の高い楽曲の繰り返し再生をすることで、ユーザの嗜好に合わせた楽曲 を再生提示できると考えられる。
[0265] また、逆に、楽曲聴取中のリスナーの体の動きが少なぐ脳波等も落ち着いた状態 であれば、逆に、「乗り」数値の低い静かな曲を音量が小さい状態等で再生提示する ことにより、ユーザはより穏やかに音楽を楽しむことができると考えられる。
[0266] なお、「乗り」だけでなぐ再生中の音楽コンテンツの属性情報に含まれる感性情報
、例えば「明るい/暗い」、「やさしい/激しい」、「悲しい Z楽しい」等の感性的な数値 を参照しながら、リスナー生体情報を解析することで、ユーザが嗜好を示しているかど うかを判断するようにする。つまり、例えば優しい楽曲や悲しい楽曲などは「乗り」数値 は低いが、脳波や脈等が落ち着いた状態であれば、嗜好を示しているとされる場合 もめる。
[0267] ステップ S65で、リスナーは再生中の楽曲に対して嗜好を示してはいないと判別し たときには、映像音響データ選択判断制御部 201は、再生履歴情報保持部 15ある いは予め取り込んだ属性情報の各音楽コンテンツに含まれる再生履歴情報を参照し て、再生頻度の高い楽曲を検出する (ステップ S66)。
[0268] 次に、映像音響データ選択判断制御部 201は、再生頻度の高い楽曲の属性情報 の楽曲構成情報を抽出して、リスナーが好んでいると考えられる曲調を判定する。こ の場合、再生頻度の高い楽曲が複数個あり、それらの曲調が一致している場合には 、その曲調の楽曲構成情報をリスナーが好んでいると判定する。また、再生頻度の高 い楽曲が複数あり、かつ、曲調も複数通りあるときには、例えば曲調が同様の高頻度 再生楽曲をリスナーが好んでいる楽曲構成情報と判定する。
[0269] そして、映像音響データ選択判断制御部 201は、上記のリスナーが好んで 、ると判 定した曲調の楽曲構成情報と似ている楽曲構成情報を備える他の楽曲、つまり、曲 調が似ている他の楽曲を選出し、それらを次の楽曲再生候補とする (ステップ S67)。 これは、リスナーが現在再生中の楽曲に嗜好を示していないので、過去のリスナーの 再生履歴から、リスナーが嗜好していると考えられる楽曲を、リスナーに呈示しようと するものである。
[0270] そして、映像音響データ選択判断制御部 201は、再生中の楽曲が最後まで再生さ れたかを監視し(図 23のステップ S76)、楽曲の最後まで再生されたと判別したときに は、当該再生した楽曲(音楽コンテンツ)についての再生履歴を、再生履歴情報保持 部 15において更新すると共に、当該音楽コンテンツの属性情報の再生履歴情報も 更新する (ステップ S 77)。
[0271] そして、映像音響データ選択判断制御部 201は、ステップ S67で決定した再生楽 曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツ の映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする (ステ ップ S78)。そして、ステップ S63に戻り、当該ステップ S63以降の処理を繰り返す。
[0272] ステップ S76で、楽曲の最後まで至っていないと判別したときには、映像音響デー タ選択判断制御部 201は、リスナーによりユーザインターフェース 11の操作部に設け られている次ボタンが押下された力否力判別する(ステップ S79)。この次ボタンは、リ スナ一が現在聴いている楽曲ではなぐ次の楽曲を聴きたいときに押下されるボタン である。
[0273] ステップ S79で、次ボタンが押下されたと判別したときには、映像音響データ選択 判断制御部 201は、ステップ S78に進んで、ステップ S67で決定した再生楽曲候補 の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像 音響データの読み出しを指示し、その楽曲の再生を開始するようにする。そして、ス テツプ S63〖こ戻り、当該ステップ S63以降の処理を繰り返す。
[0274] また、ステップ S79で次ボタンが押下されては ヽな 、と判別したときには、映像音響 データ選択判断制御部 201は、ユーザインターフェース 11の操作部の停止ボタンが ユーザにより押下された力否力判別し (ステップ S80)、停止ボタンが押下されていな いと判別したときには、ステップ S76に戻り、再生楽曲の終了を監視し、停止ボタンが 押下されたと判別したときには、この再生処理ルーチンを終了する。
[0275] また、ステップ S65で、リスナーが再生中の楽曲に嗜好を示していると判別したとき には、映像音響データ選択判断制御部 201は、リスナーの嗜好度は高いかどうか、 例えば前述した「乗り」数値などを用いて判定する(図 23のステップ S71)。 [0276] そして、リスナーの嗜好度がそれほど高くないと判別したときには、映像音響データ 選択判断制御部 201は、この実施形態では、周辺環境情報取得部 40から取得した 周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽 曲候補とする (ステップ S72)。すなわち、例えば、先ず、現在再生中の楽曲に付随 する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲 を選定する。そして、周辺環境情報取得部 40から取得した現在地の情報、例えば山 や海などの情報を取得し、それらの場所において聴取することがお薦めとなっている 周辺環境情報を属性情報に含む楽曲を、その選定された楽曲の中から選択して、次 の再生楽曲候補とする。
[0277] なお、ステップ S72においては、現在再生中の楽曲と曲調が似ている楽曲は探索 せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても 良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく 、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補と するようにしてちょい。
[0278] 次に、ステップ S71で、嗜好度が高 、と判別した時には、映像音響データ選択判断 制御部 201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とす る (ステップ S73)。すなわち、現在再生中の楽曲に付随する属性情報の楽曲構成情 報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを次の再生 楽曲候補とする。
[0279] さらに、映像音響データ選択判断制御部 201は、再生中の楽曲の属性情報から、 楽曲素材単位の区切り情報と共に、テンポや、キーや、コード進行などの楽曲素材 単位の楽曲構成情報を取得する (ステップ S 74)。そして、この楽曲素材単位の区切 り情報や、楽曲素材単位の楽曲構成情報を用いて、音楽的に違和感の無いように、 楽曲の音響データを再構成する(ステップ S75)。なお、このステップ S75では、映像 データにも、エフェクトをかけたりしても良い。
[0280] 音響データの再構成は、例えば前述したリミッタスゃ、エフェクトの他、テンポを速く したり、遅くしたり、また、キーを上げたり、下げたり、コード進行を変えてみたりする等 の処理を含むものである。 [0281] 例えば、リミックスの場合には、他の楽曲の楽曲構成情報の中から、当該再生中の 楽曲の楽曲構成情報と似ているものを選定して、前記楽曲素材単位の区切りを考慮 して、違和感の無い様に元の楽曲に混合するようにする。このリミックスの際に、どの ような楽曲素材単位の曲データをミックスするかを、属性情報中の前記感性情報を参 照するようにしても良い。
[0282] また、記録再生装置に、予めドラムによるリズムの刻みや、パーカッションのパートを 記憶して用意しておき、それらを、再生中の楽曲に楽曲素材単位の区切りに注意し ながらリミッタスするようにするようにしてもょ 、。
[0283] また、映像音響データ選択判断制御部 201は、リミッタスする他の楽曲を選定する 場合に、周辺環境情報を参照して、当該周辺環境に適合する楽曲を、その属性情報 の周辺環境情報を参照することにより探索するようにすることもできる。
[0284] また、再生中の楽曲の属性情報中に、お薦めのエフェクトパラメータが含まれてい る場合には、そのエフェクトのパラメータを用いて、楽曲素材単位の区切りに注意して 、音楽的に違和感の無いように、エフェクト処理を行なうこともできる。
[0285] ステップ S63で、アレンジモードとして手動モードが設定されている判別したときに は、映像音響データ選択判断制御部 201は、映像音響データ選択判断制御部 201 は、リスナーの生体情報を、生体情報取得部 30から取得すると共に、周辺環境情報 取得部 40から周辺環境情報を取得する (ステップ S91)。この生体情報と周辺環境 情報の取得は、再生中は継続するものである。
[0286] そして、映像音響データ選択判断制御部 201は、生体情報取得部 30から取得した リスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどう か判別し (ステップ S92)、嗜好を示していないと判別したときには、図 22のステップ S 66にジャンプし、前述したこのステップ S66以降の処理を実行する。
[0287] ステップ S92で、リスナーは嗜好を示していると判別したときには、映像音響データ 選択判断制御部 201は、ユーザからのユーザインターフェース 11を通じたアレンジ 指示があった力否か判別する (ステップ S93)。このステップ S93で、アレンジ指示が あつたと判別したときには、映像音響データ選択判断制御部 201は、属性情報記憶 部 22から指示されたアレンジ用情報、その他必要な情報を読み出して、ユーザ指示 に従ったアレンジを行なうように、楽曲データの再構成を行なう (ステップ S94)。
[0288] この楽曲データの再構成により、再生中の楽曲の曲調が変わることから、映像音響 データ選択判断制御部 201は、生体情報取得部 30から取得したリスナーの生体情 報から、リスナーが聴取中の楽曲に対して嗜好度を示しているかどうか判別する (ステ ップ S95)。
[0289] ステップ S93で、アレンジ指示がな力つたと判別したときには、映像音響データ選択 判断制御部 201は、ステップ S 94をバイパスして、ステップ S95に進み、リスナーが聴 取中の楽曲に対して嗜好度を示して 、るかどうか判別する。
[0290] ステップ S95で、ユーザの嗜好度がそれほど高くないと判別したときには、映像音 響データ選択判断制御部 201は、この実施形態では、周辺環境情報取得部 40から 取得した周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の 再生楽曲候補とする (ステップ S 96)。
[0291] すなわち、例えば、先ず、現在再生中の楽曲に付随する属性情報の楽曲構成情報 と似ている楽曲構成情報を属性情報とする他の楽曲を選定する。そして、周辺環境 情報取得部 40から取得した現在地の情報、例えば山や海などの情報を取得し、そ れらの場所において聴取することがお薦めとなっている周辺環境情報を属性情報に 含む楽曲を、その選定された楽曲の中から選択して、次の再生楽曲候補とする。
[0292] なお、ステップ S96においては、現在再生中の楽曲と曲調が似ている楽曲は探索 せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても 良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく 、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補と するようにしてちょい。
[0293] 次に、ステップ S95で、ユーザの嗜好度が高いと判別した時には、映像音響データ 選択判断制御部 201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲 候補とする (ステップ S97)。すなわち、現在再生中の楽曲に付随する属性情報の楽 曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを 次の再生楽曲候補とする。
[0294] そして、映像音響データ選択判断制御部 201は、ステップ S96およびステップ S97 の後には、ステップ S98に進み、再生中の楽曲が最後まで再生されたかを監視し、 楽曲の最後まで再生されたと判別したときには、当該再生した楽曲(音楽コンテンツ) についての再生履歴を、再生履歴情報保持部 15において更新すると共に、当該音 楽コンテンツの属性情報の再生履歴情報も更新する (ステップ S99)。
[0295] そして、映像音響データ選択判断制御部 201は、ステップ S96またはステップ S97 で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、 当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始 するようにする(ステップ S 100)。そして、図 22のステップ S63に戻り、当該ステップ S 63以降の処理を繰り返す。
[0296] ステップ S98で、楽曲の最後まで至っていないと判別したときには、映像音響デー タ選択判断制御部 201は、リスナーによりユーザインターフェース 11の操作部に設け られている次ボタンが押下された力否力判別する(ステップ S101)。この次ボタンは、 リスナーが現在聴いている楽曲ではなぐ次の楽曲を聴きたいときに押下されるボタ ンである。
[0297] ステップ S101で、次ボタンが押下されたと判別したときには、映像音響データ選択 判断制御部 201は、ステップ S100に進んで、ステップ S96またはステップ S97で決 定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該 音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始する ようにする。そして、ステップ S63に戻り、当該ステップ S63以降の処理を繰り返す。
[0298] また、ステップ S101で次ボタンが押下されてはいないと判別したときには、映像音 響データ選択判断制御部 201は、ユーザインターフェース 11の操作部を通じて、ュ 一ザによりアレンジ指示がなされて ヽな 、かどうかの判別を行な!/、、アレンジ指示が なされていると判別したときには、ステップ S94に戻り、このステップ S94以降の処理 を繰り返す。
[0299] また、ステップ S 102で、アレンジ指示がなされていないと判別したときには、映像音 響データ選択判断制御部 201は、ユーザインターフェース 11の操作部の停止ボタン がユーザにより押下された力否か判別し (ステップ S103)、停止ボタンが押下されて いないと判別したときには、ステップ S98に戻り、再生楽曲の終了を監視し、停止ボタ ンが押下されたと判別したときには、この再生処理ルーチンを終了する。
[0300] なお、上述の例では、リスナーが再生中の楽曲に嗜好を示していないときには、ス テツプ S66で再生履歴情報を取得し、ステップ S67で当該再生履歴情報に基づ 、て 、次の再生楽曲候補を定めるようにしたが、ステップ S66で、周辺環境情報取得部 4 0を通じて取得した周辺環境情報を解析して例えば山とか海とかの場所を算出し、ス テツプ S67で、属性情報として、当該周辺環境情報に合致する周辺環境情報を備え る楽曲を次の再生楽曲候補として定めるようにしてもよい。また、当該周辺環境情報 に合致する周辺環境情報を備える楽曲のみではなぐその楽曲の楽曲構成情報と似 て 、る楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよ 、。
[0301] さらには、映像音響データ選択判断制御部 201は、ステップ S67において、再生履 歴情報と、周辺環境情報との両方を用いて、次の再生楽曲候補を決定するようにす ることちでさる。
[0302] 図 25は、リズムマスター部 210での同期信号および楽曲再構成用データの生成出 力処理の一例のフローチャートである。
[0303] 先ず、映像音響データ選択判断制御 RM部 201Mは、属性情報取得部 203を通じ て音楽コンテンツ記憶部 20の属性情報記憶部 22から再生対象の音楽コンテンツの 属性情報を取得し (ステップ S 111)、当該取得した属性情報中から、 BPM値、キー 値およびコード値を抽出する (ステップ S112)。
[0304] 次に、抽出した BPM値に基づいて、小節同期信号 PHSYおよびビート同期信号 B TSYからなる同期信号 SYNCを生成する (ステップ S 113)。また、抽出した BPM値 、キー値およびコード値を、 BPM値設定部、キー値設定部およびコード値設定部に 設定する (ステップ S 114)。
[0305] そして、ステップ S 113で生成した同期信号 SYNCと、ステップ S 114で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S115)。
[0306] そして、再生の終了であるか否か判別し (ステップ S116)、再生の終了であればこ の図 25の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が 最後まで再生されて終了となった力否か判別し (ステップ S 117)、楽曲はまだ終了で はないと判別したときには、ステップ S113に戻って、同期信号 SYNCおよび楽曲再 構成用データ ARIをリズムスレーブ部 220に送出を続ける。
[0307] また、ステップ S 117で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S118)、ステップ S111に戻り、以上の処理を繰り返す
[0308] なお、この場合、前述したように、例えば、属性情報中に記述されている、楽曲素材 単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小 節の区切りのタイムコードとが正確に一致しているように構成されており、音楽コンテ ンッの映像音響データと属性情報とは、きっちりと対応しているようにされている。した がって、リズムマスター部 210からリズムスレーブ部 220に供給される同期信号 SYN Cおよび楽曲再構成用データ ARIは、リズムスレーブ部 220に映像音響データ取得 部 204を通じて入力される映像音響データの再生信号ストリームと、全く同期してい るものである。
[0309] 次に、図 26は、リズムスレーブ部 220での楽曲再構成処理の一例のフローチャート である。なお、ここでは、楽曲再構成処理は、リミックス処理のみを例として説明する 力、特殊効果処理をすることもできることは前述した通りである。
[0310] 先ず、映像音響データ選択判断制御 RS部 201Sは、属性情報取得部 203を通じ て音楽コンテンツ記憶部 20の属性情報記憶部 22から、再生対象の楽曲だけでなぐ 複数個の音楽コンテンツの属性情報を取得し (ステップ S121)、当該取得した属性 情報に基づいて、再生対象の楽曲にリミッタスする楽曲素材を検出する (ステップ S1 22)。
[0311] ここで、音楽コンテンツ記憶部 20の属性情報記憶部 22から、すべての音楽コンテ ンッの属性情報を読み出して取得するようにしてもよいが、音楽コンテンツ記憶部 20 に記憶されている音楽コンテンツの数が大量になると、再生対象の楽曲にリミッタスす る楽曲素材の検出の負荷が過大になってしまう。そこで、この例では、一度にすベて の属性情報を音楽コンテンツ記憶部 20の属性情報記憶部 22から読み出すのでは なぐ複数回に分けて読み出して、各回において再生対象の楽曲にリミッタスする楽 曲素材の検出をするようにする。 [0312] 複数回に分けて、属性情報を音楽コンテンツ記憶部 20の属性情報記憶部 22から 読み出すので、リミッタスする楽曲素材の検出処理は、再生対象の楽曲の再生が開 始された後にも行なわれることになる力 楽曲の再生開始と同時にリミッタスすること はあまり無 ヽことを考慮すると、再生対象の楽曲にリミッタスする楽曲素材の検出処理 としては、十分に間に合う。
[0313] 次に、映像音響データ選択判断制御 RS部 201Sからの選択指示にしたがってデコ ード部 202および映像音響データ取得部 204を通じて、再生対象の映像音響データ を取得して再生を開始する(ステップ S123)。この再生は、リズムマスター部 210から の同期信号 SYNCおよび楽曲再構成用データ ARIに同期してなされるのは前述し た通りである。
[0314] 次に、映像音響データ選択判断制御 RS部 201Sは、再生中の楽曲にリミッタス処 理を施す力否かを判別し (ステップ S 124)、リミックス処理をしないと判別したときには 、再生対象の楽曲データを映像音響データデコード部 205および映像音響アレンジ 処理部 206を通じて音響出力部 53および映像出力部 56に送出する (ステップ S 125
) o
[0315] また、ステップ S124で、リミックス処理をすると判別したときには、ステップ S122で 検出したリミックスする楽曲素材のテンポと音程を、前述したように、リズムマスター部 210からの楽曲再構成用データ ARIに基づいて、必要に応じて補正しながら、再生 対象の楽曲データにリミックスする (ステップ S126)。そして、リミッタス処理した楽曲 データを出力する (ステップ S 127)。
[0316] そして、再生の終了であるか否か判別し (ステップ S 128)、再生の終了であればこ の図 26の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が 最後まで再生されて終了となった力否か判別し (ステップ S 129)、楽曲はまだ終了で はないと判別したときには、ステップ S 124に戻って、このステップ S 124以降の処理 を繰り返す。
[0317] また、ステップ S 129で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S130)、ステップ S121に戻り、以上の処理を繰り返す [0318] [第 2の実施形態]
上述の第 1の実施形態では、リズムマスター部 210は、再生対象の音楽コンテンツ の属性情報力 抽出した BPM値、キー値、コード値に基づいて、再生対象の楽曲に ついての再構成処理として、リミックス処理をする場合を主として説明した。このため、 再生対象の楽曲のテンポや音程を変更することの説明は特に行なわな力つたが、リ スナ一の気分や、楽曲を聴取している場所などの周辺環境や、アレンジ用情報など を考慮して、再生対象の楽曲について、テンポや音程を変更補正し、楽曲の再構成 処理をすることちできる。
[0319] また、場合によっては、リスナーがテンポや音程の変更指示をする場合も考えられ る。また、再生対象の楽曲を、記録再生装置が置かれている場所で演奏されているド ラムやピアノなどに同期させて再生させたいという要求や、記録再生装置に外部から 入力される楽曲に同期させて再生させたいとする要求もある。
[0320] この第 2の実施形態は、これらの要求を実現することができるようにした記録再生装 置を提供するものである。
[0321] 図 27は、この第 2の実施形態の場合における記録再生装置のブロック図で、図 1の 第 1の実施形態の場合における記録再生装置において、システムバス 2に対して、ラ イン入力インターフェース 17と、マイク入力インターフェース 18とが追加接続されて いる構成とされており、ハードウェア的には、その他の構成は、第 1の実施形態と全く 同様である。
[0322] そして、ライン入力インターフェース 17には、外部入力端子 8が接続されている。ラ イン入力インターフェース 17は、この外部入力端子 (ライン入力端子) 8を通じて入力 された映像音響データをシステムバス 2に送出する。
[0323] この第 2の実施形態では、外部入力端子 8を通じて入力された映像音響データは、 ユーザインターフェース 11を通じたユーザ指示操作に応じて、エンコード Zデコード 部 12で記録エンコードされ、音楽コンテンツ記憶部 20の映像音響データ記憶部 21 に格納される。
[0324] また、外部入力端子 8を通じて入力された映像音響データが曲調分析部 13で分析 され、その結果得られた楽曲構成情報がエンコード Zデコード部 12により記録ェンコ ードされ、音楽コンテンツ記憶部 20の属性情報記憶部 22に格納される。この場合、 音楽コンテンツ記憶部 20に格納される属性情報と、対応する映像音響データとは、 その識別情報により対応付けられるのは前述した通りである。
[0325] そして、この第 2の実施形態では、後述するように、この外部入力端子 8を通じて入 力された映像音響データのテンポに同期して、再生対象の楽曲データの再生が可 能とされるように構成されている。すなわち、外部入力端子 8を通じて入力された映像 音響データが曲調分析部 13で分析され、その分析結果の一つである BPM値に基 づいて、前述した同期信号 SYNCが生成されるものである。
[0326] マイク入力インターフェース 18には、収音手段としてのマイクロホン 9が接続されて おり、このマイクロホン 9で収音されて得られる音声信号力 このマイク入力インターフ エース 18でデジタル信号に変換されて、システムバス 2に送出される。
[0327] そして、この第 2の実施形態では、後述するように、マイクロホン 9で収音されて、マ イク入力インターフェース 18を通じて入力された音響データのテンポに同期して、再 生対象の楽曲データの再生が可能とされるように構成されて 、る。
[0328] 例えば、記録再生装置の近傍で演奏されているドラム、ピア入楽曲がマイクロホン 9で収音され、曲調分析部 13で分析されて、 BPM値が検出され、検出された BPM 値に基づ 、て、前述した同期信号 SYNCが生成される。
[0329] 図 28は、前述の第 1の実施形態の図 13の再生部に対応する第 2の実施形態の再 生部 200を示すものである。映像音響データ選択判断制御部 201に対して、ライン 入力インターフェース 17が接続されると共に、マイク入力インターフェース 18が接続 されている点が異なると共に、映像音響データ選択判断制御部 201におけるソフトゥ エア処理が第 1の実施形態の場合とは異なる。その他は、第 1の実施形態と同様であ る。
[0330] 図 29は、図 28の再生部 200を、楽曲の再構成処理の観点から見た機能ブロック図 の構成を示すもので、実質上の構成内容は、図 28と変わりはない。
[0331] この図 29に示すように、再生部 200は、楽曲データの再構成の基準となる同期信 号と楽曲再構成用情報とを生成して出力するリズムマスター部 210と、このリズムマス ター部 210からの同期信号と楽曲再構成用情報とを受けて、楽曲データの再構成を 実行するリズムスレーブ部 220とからなる。
[0332] 映像音響データ選択判断制御部 201は、第 1の実施形態と同様に、リズムマスター 部 210に属する RM部 201Mと、リズムスレーブ部 220に属する RS部 201Sとに分け られる。そして、この第 2の実施形態では、属性情報取得部 203だけでなぐ生体情 報取得部 30と、周辺環境情報取得部 40と、再生履歴情報保持部 15とが、リズムマス ター部 210と、リズムスレーブ部 220の両方に属するものとされる。
[0333] すなわち、この第 2の実施形態におけるリズムマスター部 210は、 RM部 201Mと、 属性情報取得部 203と、生体情報取得部 30と、周辺環境情報取得部 40と、再生履 歴情報保持部 15とを備えて構成される。
[0334] 一方、この第 2の実施形態におけるリズムスレーブ部 220は、第 1の実施形態と同 様に、 RS部 201Sと、属性情報取得部 203と、生体情報取得部 30と、周辺環境情報 取得部 40と、再生履歴情報保持部 15と、映像音響データ取得部 204と、映像音響 データデコード部 205と、映像音響アレンジ処理部 206とを備えて構成される。つまり 、リズムスレーブ部は、第 1の実施形態とほぼ同様の構成とされる。
[0335] そして、リズムマスター部 210の RM部 201Mは、属性情報取得部 203からの属性 情報のみに基づいて楽曲の再構成の基準となる同期信号 SYNCを生成するのでは ない。この第 2の実施形態では、リズムマスター部 210は、ユーザインターフェース 11 を通じたユーザ入力、ライン入力インターフェース 17を通じて外部力も入力される映 像音響データ、マイク入力インターフェース 18を通じて入力される外部収音音声デ ータ、生体情報取得部 30で取得されたリスナーの生体情報、周辺環境情報取得部 4 0で取得された周辺環境情報、再生履歴情報保持部 15から読み出される再生履歴 情報に基づいて、楽曲の再構成の基準となる同期信号 SYNCを生成するようにする
[0336] また、この第 2の実施形態では、リズムマスター部 210は、同期信号 SYNCのみで はなぐ楽曲構成用データ ARIも、ユーザインターフェース 11を通じたユーザ入力、 ライン入力インターフェース 17を通じて外部から入力される映像音響データ、マイク 入力インターフェース 18を通じて入力される外部収音音声データ、生体情報取得部 30で取得されたリスナーの生体情報、周辺環境情報取得部 40で取得された周辺環 境情報、再生履歴情報保持部 15から読み出される再生履歴情報に基づいて、生成 することが可能とされている。
[0337] 図 30は、この第 2の実施形態におけるリズムマスター部 210の詳細構成例を示す 図であり、特に RM部 201Mの機能の詳細をブロック化したものである。この第 2の実 施形態では、 RM部 201Mは、第 1の実施形態の同期信号生成部 212に代わって同 期信号生成部 230を備えると共に、第 1の実施形態の属性情報解析部 211に代わつ て、再生態様設定部 240を備える。
[0338] そして、再生態様設定部 240には、属性情報取得部 203だけではなぐ生体情報 取得部 30、周辺環境情報取得部 40、再生履歴情報保持部 15、ライン入力インター フェース 17、マイク入力インターフェース 18およびユーザインターフェース 11の出力 が供給される。その他は、第 1の実施形態のリズムマスター部 210と同様に構成され る。
[0339] 同期信号生成部 230は、内部リズム同期発生部 231と、外部リズム同期発生部 23 2と、生体リズム同期発生部 233と、これら 3種のリズム同期発生部 231, 232, 233か らの出力同期信号のいずれかを選択する選択スィッチ回路 234とを備えて構成され る。
[0340] 内部リズム同期発生部 231は、例えば PLL回路を備え、第 1の実施形態と同様に、 再生対象の音楽コンテンツの属性情報力 抽出された BPM値に基づいて同期信号 SYNCを生成するか、あるいは、ユーザインターフェース 11を通じてユーザにより設 定された BPM値に基づいて同期信号 SYNCを生成する。
[0341] 外部リズム同期発生部 232は、例えば PLL回路を備え、ライン入力インターフエ一 ス 17を通じて入力された外部入力信号力 抽出された BPM値や、マイク入力インタ 一フェース 18を通じて入力された外部収音音声信号力も抽出された BPM値に基づ いて、外部から入力される音楽リズムに同期するように同期信号 SYNCを生成する。
[0342] 生体リズム同期発生部 233は、例えば PLL回路を備え、生体情報取得部 30から取 得したユーザの脈波や歩行テンポや歩行速度、腕や手を振るテンポや速度などの生 体情報から、当該生体情報に同期する同期信号 SYNCを生成する。なお、 PLL回 路は、 3個の同期発生部 231, 232, 233で、 1個の PLL回路を共通に用いることが できる。
[0343] 再生態様設定部 240は、この第 2の実施形態では、ユーザインターフェース 11を通 じたユーザの同期選択入力により、同期信号 SYNCの発生を、内部リズム同期、外 部リズム同期、生体リズム同期の何れにするかを決定し、同期信号生成部 230の選 択スィッチ回路 234の選択制御信号を生成する。
[0344] [内部リズム同期]
(再生対象音楽コンテンツに同期)
内部リズム同期の場合には、再生対象の音楽コンテンツの属性情報に同期させる の力、ユーザインターフェース 11を通じてユーザ設定された BPM値に同期させるの 力が、さら〖こ選択される。同様に、外部リズム同期の場合には、外部入力端子 8を通 じた外部入力信号またはマイクロホン 9で収音された外部音声の何れに同期させるの 力が、さらに選択される。
[0345] そして、内部リズム同期の再生対象の音楽コンテンツの属性情報同期が選択され たときには、再生態様設定部 240は、選択スィッチ回路 234は、内部リズム同期発生 部 231の出力を選択する状態に切り換えると共に、属性情報取得部 203を通じて再 生対象の音楽コンテンツの属性情報を取得し、その属性情報力 BPM値を抽出し て同期信号生成部 230の内部リズム同期発生部 231に供給する。内部リズム同期発 生部 231は、これに供給された BPM値に相当する発振周波数で発振し、かつ、再生 対象の音楽コンテンツの音楽リズムに位相同期する同期信号 SYNCを生成する。
[0346] したがって、同期信号生成部 230からは、再生対象の音楽コンテンツの属性情報 中の BPM値に基づいて生成された同期信号 SYNCが同期信号出力回路 213を通 じてリズムスレーブ部 220に出力される。
[0347] また、このとき、再生態様設定部 240は、属性情報取得部 203を通じて取得した再 生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出 した BPM値と共に、楽曲再構成用データ設定部 214に供給する。楽曲再構成用デ ータ設定部 214は、それら BPM値、キー値、コード値をそれぞれの設定部 217, 21 8, 219に設定する。
[0348] したがって、再生対象の音楽コンテンツの属性情報中の BPM値、キー値、コード値 を含む楽曲再構成用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される。この結果、リズムスレーブ部 220では、第 1の実施形態と同様にし て、再生対象の音楽コンテンツの属性情報に基づいて楽曲に対する再構成がなされ る。
[0349] (ユーザ入力に同期)
また、内部リズム同期のユーザ入力設定同期が選択されたときには、再生態様設定 部 240は、選択スィッチ回路 234を、内部リズム同期発生部 231の出力を選択する 状態に切り換えると共に、ユーザインターフェース 11を通じて BPM値の入力を受け 付け、当該受け付けた BPM設定値を、同期信号生成部 230の内部リズム同期発生 部 231に供給する。内部リズム同期発生部 231は、これに供給された BPM値に相当 する発振周波数で発振する同期信号 SYNCを生成する。
[0350] したがって、同期信号生成部 230からは、ユーザにより指定された BPM値に基づ いて生成された同期信号 SYNCが同期信号出力回路 213を通じてリズムスレーブ部 220に出力される。これにより、同期信号生成部 230からは、ユーザが設定した BPM 値に基づいて生成された同期信号 SYNCが同期信号出力回路 213を通じてリズム スレーブ部 220に供給される。
[0351] また、このとき、再生態様設定部 240は、ユーザインターフェース 11を通じて、 BP M値の他、キー値およびコード値 (コード進行)の入力を受け付け、当該受け付けた BPM値、キー値、コード値を楽曲再構成用データ設定部 214に供給する。この場合 、キー値やコード値は、時系列的に変化する態様もユーザにより入力されることにな る。楽曲再構成用データ設定部 214は、それら BPM値、キー値、コード値をそれぞ れの設定部 217, 218, 219に設定する。
[0352] したがって、ユーザの設定値に応じた BPM値、キー値、コード値を含む楽曲再構 成用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される 。この結果、リズムスレーブ部 220から、ユーザが設定したテンポや曲調で楽曲の音 響再生出力をすることができる。
[0353] [外部リズム同期]
また、外部リズム同期が選択されたときには、再生態様設定部 240は、選択スィッチ 回路 234を、外部リズム同期発生部 232の出力を選択する状態に切り換えると共に、 ユーザ選択にしたがって、ライン入力インターフェース 17を通じて、あるいはマイク入 力インターフェース 18を通じて取り込まれた音響データを、曲調分析部 13で分析し、 その分析結果として得られる BPM値を外部リズム同期発生部 232に供給する。外部 リズム同期発生部 232は、これに供給された BPM値に相当する発振周波数で発振 し、かつ、外部力 入力される音楽リズムに位相同期する同期信号 SYNCを生成す る。
[0354] これにより、同期信号生成部 230からは、外部入力信号またはマイク入力信号から 検出された BPM値に基づいて生成された同期信号 SYNCが同期信号出力回路 21 3を通じてリズムスレーブ部 220に出力される。
[0355] 再生態様設定部 240は、また、属性情報取得部 203を通じて取得した再生対象の 音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出した BPM 値と共に、楽曲再構成用データ設定部 214に供給する。楽曲再構成用データ設定 部 214は、それら BPM値、キー値、コード値をそれぞれの設定部 217, 218, 219に 設定する。
[0356] したがって、外部入力信号またはマイク入力信号力 検出された BPM値、キー値、 コード値を含む楽曲再構成用データ ARIが、同期信号 SYNCに同期して、リズムス レーブ部 220に出力される。
[0357] これにより、この外部リズム同期の状態においては、リズムスレーブ部 220から、外 部から取り込まれた楽曲に同期して設定されたテンポで楽曲の音響再生出力をする ことができる。
[0358] [生体リズム同期]
また、生体リズム同期が選択されたときには、再生態様設定部 240は、選択スィッチ 回路 234を、生体リズム同期発生部 233の出力を選択する状態に切り換えると共に、 生体情報取得部 30を通じて取得した生体情報力 テンポやリズムに関する成分を抽 出し、抽出した成分から BPM値に対応する情報を生成し、当該生成した BPM値を、 同期信号生成部 230の生体リズム同期発生部 231に供給する。
[0359] これにより、同期信号生成部 230においては、ユーザの生体リズムに相当する発振 周波数で発振し、かつ、生体リズムに位相同期された同期信号 SYNCが生成され、 当該生成された同期信号 SYNCが同期信号出力回路 213を通じてリズムスレーブ 部 220に供給される。したがって、リズムスレーブ部 220から、ユーザの生体リズムに 同期したテンポで楽曲の音響再生出力をすることができる。
[0360] なお、この生体リズム同期が選択されたときにおいては、単純に、生体情報取得部 30を通じて取得した生体情報のみに基づいて同期信号 SYNCを生成するのではな ぐ周辺環境情報取得部 40からの周辺環境情報をも参照して、同期信号 SYNCを 生成することちでさる。
[0361] 例えば、周辺環境情報から、記録再生装置が存在する位置カ^海」で、気温が高く 、天候が雨ではないと判別したときには、生体情報に同期して、アップテンポとなるよ うな同期信号 SYNCを生成し、また、記録再生装置が存在する位置が「山」であると きには、生体情報に同期して、スローテンポとなるような同期信号 SYNCを生成する ようにすることができる。
[0362] また、再生履歴情報保持部 15の再生履歴情報として、各楽曲に対応して、当該楽 曲を視聴中のリスナーの脈などの生体情報を記憶して保持しておき、生体情報取得 部 30から取得して生体情報に近似する生体情報となっている楽曲を、再生履歴情 報保持部 15から検索し、その楽曲の属性情報力も BPM値を求めて、同期信号 SY NCを生成するようにしてもよい。その場合には、同期信号 SYNCは、生体情報取得 部 30から取得した生体情報に同期させてもよいし、また、同期させなくても良い。
[0363] また、このとき、再生態様設定部 240は、この実施形態では、生体情報取得部 30か らの生体情報および Zまたは周辺環境情報取得部 40からの周辺環境情報を検索子 として、再生履歴情報保持部 15に保持されている再生履歴情報を検索し、検索結果 の楽曲の属性情報力 BPM値、キー値、コード値を生成し、それらを楽曲再構成用 データ設定部 214に渡す。楽曲再構成用データ設定部 214は、それら BPM値、キ 一値、コード値をそれぞれの設定部 217, 218, 219に設定する。
[0364] 例えば、生体情報からリスナーは気分が高揚していることが判定された場合に、当 該気分が高揚して 、るときに 、つも聴 、て 、る楽曲を再生履歴から検出し、その楽 曲の BPM値に基づいて同期信号 SYNCを生成し、その楽曲の BPM値、キー値、コ ード進行を楽曲再構成用データ ARIとして生成して、リズムマスター部 210からリズム スレーブ部 220に供給することができる。これにより、リスナーは、気分が高揚してい るときにいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可 會 になる。
[0365] また、周辺環境情報から、海または山などの場所を特定することができたり、雨、晴 れ、などの天候を特定することができた場合に、再生履歴情報に含まれるそれらの周 辺環境情報を参照して、当該場所や環境条件において、よく聴いている楽曲を再生 履歴力 検出し、その楽曲の BPM値に基づいて同期信号 SYNCを生成し、その楽 曲の BPM値、キー値、コード進行を楽曲再構成用データ ARIとして生成して、リズム マスター部 210からリズムスレーブ部 220に供給することができる。これにより、リスナ 一は、同じような周辺環境条件において、いつも聴いている楽曲に近似するテンポや 曲調で楽曲を再生することが可能になる。
[0366] したがって、生体情報および Zまたは周辺環境情報、さらに再生履歴情報に基づ いて選定された楽曲の属性情報中の BPM値、キー値、コード値を含む楽曲再構成 用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される。 この結果、リズムスレーブ 220では、そのときのユーザの気分や、周辺環境に応じた テンポおよび曲調で、楽曲が再構成されて、音響再生される。
[0367] また、ユーザがユーザインターフェース 11を通じてアレンジ指示をした場合には、 当該アレンジ指示に応じたテンポ、曲調で、楽曲が再構成されて、音響再生されるの は、前述した第 1の実施形態と同様である。
[0368] なお、この第 2の実施形態において、同期信号 SYNCの発生の方法としては、上述 の例に限定されるものではない。例えば、周辺環境情報取得部 40で取得した周辺 環境情報と、再生履歴情報保持部 15に保持されている再生履歴とから定めた同期 信号 SYNCを発生するよう〖こすることもできる。
[0369] 例えば、周辺環境情報取得部 40から取得した周辺環境情報を検索子として、再生 履歴情報保持部 15の再生履歴を検索し、当該再生履歴情報保持部 15に記憶され ている再生履歴情報に含まれる楽曲の属性情報中の周辺環境情報として同じ、ある いは近似するものを検出し、当該周辺環境情報を検索子として検索した楽曲の属性 情報に含まれる BPM値に基づ 、て、同期信号 SYNCを生成するようにしてもょ ヽ。
[0370] 上述した第 1の実施形態では、最初に再生する楽曲は、ユーザが選択するようにし た。この第 2の実施形態においても、最初の楽曲は、ユーザが選択するようにしても 良いが、内部リズム同期のユーザ設定による同期の場合や、外部リズム同期、また、 生体リズム同期では、リズムスレーブ部 220において、楽曲再構成用データ ARIに合 致するあるいは近似する楽曲を、音楽コンテンツ記憶部 20の属性情報記憶部 22〖こ 記憶されて 、る属性情報力 検出して、再生をするようにすることもできる。
[0371] また、再生中の楽曲に対する再構成処理は、この第 2の実施形態においても、リズ ムマスター部 210からの同期信号 SYNCおよび楽曲再構成用データ ARIを用いて、 第 1の実施形態と同様にしてできるものである。
[0372] [リズムマスター部 210の動作説明]
この第 2の実施形態におけるリズムマスター部 210での処理動作のフローチャート を、図 31〜図 34を参照しながら説明する。
[0373] 先ず、再生態様設定部 240は、この実施形態では、ユーザインターフェース 11を 通じて、ユーザにより選択指定された同期基準は何である力判別する (ステップ S20 D o
[0374] このステップ S201で、内部リズム同期の場合であって、同期基準は、再生対象の 音楽コンテンッであると判別すると、映像音響データ選択判断制御 RM部 201 Mの 再生態様設定部 240は、属性情報取得部 203を通じて音楽コンテンツ記憶部 20の 属性情報記憶部 22から再生対象の音楽コンテンツの属性情報を取得し (ステップ S2 02)、当該取得した属性情報中から、 BPM値、キー値およびコード値を抽出する (ス テツプ S203)。
[0375] 次に、抽出した BPM値に基づいて、小節同期信号 PHSYおよびビート同期信号 B TSYからなる同期信号 SYNCを生成する (ステップ S204)。また、抽出した BPM値 、キー値およびコード値を、 BPM値設定部、キー値設定部およびコード値設定部に 設定する (ステップ S 205)。
[0376] そして、ステップ S204で生成した同期信号 SYNCと、ステップ S 205で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S206)。
[0377] そして、再生の終了であるか否か判別し (ステップ S207)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S208)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S210)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0378] また、ステップ S210で同期基準の変更操作がなされていないと判別したときには、 ステップ S204〖こ戻り、このステップ S204以降の処理を繰り返す。
[0379] また、ステップ S 208で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S209)、ステップ S202に戻り、以上の処理を繰り返す
[0380] 次に、ステップ S201で、設定された同期基準は、内部リズム同期の場合であって、 ユーザ設定入力であると判別すると、再生態様設定部 240は、ユーザ入力により設 定された BPM値を取得し(図 32のステップ S221)、当該取得した BPM値に基づい て、小節同期信号 PHSYおよびビート同期信号 BTSYからなる同期信号 SYNCを 生成する (ステップ S222)。また、ユーザ入力により設定された BPM値、キー値およ びコード値を取得し (ステップ S223)、当該取得した BPM値、キー値およびコード値 を、楽曲再構成用データ設定部 214に送って、その BPM値設定部 217、キー値設 定部 218およびコード値設定部 219に設定する(ステップ S224)。
[0381] そして、ステップ S222で生成した同期信号 SYNCと、ステップ S223で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S225)。
[0382] そして、再生の終了であるか否か判別し (ステップ S226)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S227)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S229)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0383] また、ステップ S229で同期基準の変更操作がなされていないと判別したときには、 ステップ S225〖こ戻り、このステップ S225以降の処理を繰り返す。
[0384] また、ステップ S 227で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S228)、ステップ S225に戻り、このステップ S225以 降の処理を繰り返す。
[0385] 次に、ステップ S201で、設定された同期基準は、外部リズム同期であると判別した ときには、同期基準となる外部入力は、外部入力端子 8からの入力信号か、マイクロ ホン 9で収音された音声信号かを判別する(図 33のステップ S231)。
[0386] このステップ S231で、外部入力端子 8からの入力信号を同期基準とすると判別した ときには、再生態様判定部 240は、外部入力端子 8を通じて入力された音声信号を 曲調分析部 13に供給して、分析を行なわせる (ステップ S232)。また、ステップ S23 1で、マイクロホン 9で収音した音声信号を同期基準とすると判別したときには、再生 態様判定部 240は、マイクロホン 9で収音された音声信号を曲調分析部 13に供給し て、分析を行なわせる (ステップ S233)。
[0387] ステップ S232およびステップ S233の次〖こは、何れもステップ S234に進み、曲調 分析部 13での分析結果力も BPM値を求め、求めた BPM値を同期信号生成部 230 に渡して、同期信号 SYNCを生成する (ステップ S234)。
[0388] また、曲調分析部 13での分析結果から BPM値、キー値、コード値を求め、当該求 めた BPM値、キー値、コード値を楽曲再構成用データ生成部 214に送って、その B PM値設定部 217、キー値設定部 218、コード値設定部 219に設定する (ステップ S2 35)。
[0389] そして、ステップ S234で生成した同期信号 SYNCと、ステップ S235で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S236)。
[0390] そして、再生の終了であるか否か判別し (ステップ S237)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S238)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S239)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0391] また、ステップ S239で同期基準の変更操作がなされていないと判別したときには、 ステップ S234〖こ戻り、このステップ S234以降の処理を繰り返す。
[0392] また、ステップ S 238で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S240)、ステップ S231に戻り、このステップ S231以 降の処理を繰り返す。
[0393] 次に、ステップ S201で、設定された同期基準は、生体リズム同期の場合であると判 別すると、再生態様設定部 240は、生体情報取得部 30を通じてリスナーの生体情報 を取得し(図 34のステップ S251)、また、記録再生装置の周辺環境情報を取得する( ステップ S252)。
[0394] そして、取得した生体情報から、テンポ情報を抽出し、その抽出したテンポ情報を 同期信号生成部 230に供給し、当該テンポ情報から、同期信号 SYNCを生成する( ステップ S253)。そして、生体情報と、周辺環境情報と、再生履歴情報保持部 15の 再生履歴情報とから、前述したようにして、 BPM値、キー値、コード値を決定する (ス テツプ S254)。
[0395] そして、決定した BPM値、キー値およびコード値を、楽曲再構成用データ設定部 2
14に送って、その BPM値設定部 217、キー値設定部 218およびコード値設定部 21
9に設定する(ステップ S255)。
[0396] そして、ステップ S253で生成した同期信号 SYNCと、ステップ S255で設定した BP
M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S256)。
[0397] そして、再生の終了であるか否か判別し (ステップ S257)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S258)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S260)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0398] また、ステップ S260で同期基準の変更操作がなされていないと判別したときには、 ステップ S251〖こ戻り、このステップ S251以降の処理を繰り返す。
[0399] また、ステップ S 258で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S259)、ステップ S251に戻り、このステップ S251以 降の処理を繰り返す。
[0400] 以上のようにして、この第 2の実施形態では、再生対象の楽曲についても、テンポ や音程を変える再構成を行なうことができる。リスナーは、例えばユーザインターフエ ースを通じて、テンポや音程の変更指示を変えることにより、再生中の楽曲を、当該 視聴時点において自分が好むように再構成して、音響再生出力することができる。
[0401] また、再生対象の楽曲を、外部力 入力された音声に同期して再生するように再構 成することができる。また、リスナーの歩行に合わせたり、脈拍に合わせたりして、楽 曲を再生することが可能になる。また、周辺環境に応じて、テンポを上げたり、下げた り、また、キーを上げたり、下げたりすることもできる。
[0402] 図 35は、この第 2の実施形態において、リズムマスター部 210からの同期信号 SY NCおよび楽曲再構成用データ ARIを受けたリズムスレーブ部 220の映像音響デー タデコード部 205および映像音響アレンジ処理部 206における楽曲信号の流れを、 リズムマスター部 210からの同期信号 SYNCに、同期させて示すと共に、リズムスレ ーブ部 220の映像音響アレンジ処理部 206における楽曲再構成の動作を、リズムマ スター部 210の楽曲再構成用データ ARIとの対応させながら示す図である。
[0403] 図 35の例の場合には、楽曲再構成用データ ARIは、再生対象の音楽コンテンツの 属性情報力 抽出したものとなっているとは限らず、再生対象の音楽コンテンツの BP M値と異なっている。また、楽曲再構成用データ ARIに含まれるキー値やコード値も 、再生対象の音楽コンテンツのそれらと異なっている。 [0404] 図 35において、再生対象の音楽コンテンツは、楽曲トラック 1の再生信号ストリーム となっている。図 35の例では、楽曲再構成用データ ARIとして、 BPM値「120」、キ 一値「Cmajor」、コード進行「C」→「G」→「F」の目標値力リズムマスター部 210からリ ズムスレーブ部 220へ入力されている。
[0405] そして、リズムスレーブ部 220では、楽曲トラック 1の再生対象音楽コンテンツの再生 信号ストリームに対して、アレンジ制御部 221による選択指示に基づいて音楽コンテ ンッ記憶部 20から取得された当該再生対象音楽コンテンツの楽曲データ自身のテ ンポゃ音程が補正されると共に、 2個の楽曲素材が、楽曲トラック 2、楽曲トラック 3とし て映像音響データデコード部 205から出力され、その 2個の楽曲素材の楽曲データ 力 前記楽曲再構成用データ ARIのそれぞれの値の目標値に合うように補正され、 楽曲トラック 1の再生対象音楽コンテンッに対して最終的にミックスされる。
[0406] すなわち、楽曲トラック 1の音響データは、映像音響アレンジ処理部 206において、 楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正され ると共に、楽曲トラック 2, 3の音響データ力 映像音響アレンジ処理部 206において 、楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正さ れた後、楽曲トラック 1の楽曲データにミックスされて、リミックス処理がなされる。
[0407] この場合、図 35に示すように、楽曲トラック 1の音響データは、属性情報取得部 203 を通じて取得されたこの楽曲素材 1の小節区間 Pa、 Pbでの BPM値は「140」であつ て、楽曲再構成用データ ARIの BPM値「120」と異なっているので、映像音響アレン ジ処理部 206でテンポの補正がなされて、当該小節区間 Paおよび Pbにおける楽曲 トラック 1の楽曲データは、その BPM値が「140」から「120」になるように補正される。
[0408] また、楽曲トラック 1の音響データは、属性情報取得部 203を通じて取得されたこの 楽曲素材 1の小節区間 Paでのコード値は「D」であって、楽曲再構成用データ ARIの コード値「C」と異なっているので、映像音響アレンジ処理部 206で音程補正がなされ て、楽曲トラック 1の楽曲データは、そのコード値が「D」から「C」になるように補正され る。
[0409] そして、この小節区間 Paでは、楽曲トラック 3の楽曲素材 3が、楽曲トラック 1の音響 データにミックスされる力 属性情報取得部 203を通じて取得されたこの楽曲素材 3 の小節区間 Paでの BPM値は「120」であって、楽曲再構成用データ ARIの BPM値 と同一であるので、楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 2 06ではテンポのネ甫正はなされな!/、。
[0410] しかし、属性情報取得部 203を通じて取得された楽曲素材 3の小節区間 Paでのコ 一ド値は「D」であって、楽曲再構成用データ ARIのコード値「C」とは異なるので、当 該楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 206の音程補正 回路 226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値に なるように変更される。
[0411] また、次の小節区間 Pbの前半においては、楽曲トラック 1の音響データは、属性情 報取得部 203を通じて取得されたこの楽曲素材 1の小節区間 Pbの前半でのコード値 は「D」であって、楽曲再構成用データ ARIのコード値「G」と異なっているので、映像 音響アレンジ処理部 206で音程補正がなされて、楽曲トラック 1の楽曲データは、そ のコード値が「D」から「G」になるように補正される。
[0412] そして、楽曲トラック 1の音響データは、属性情報取得部 203を通じて取得されたこ の楽曲素材 1の小節区間 Pbの後半でのコード値は「D」であって、楽曲再構成用デ ータ ARIのコード値「F」と異なっているので、映像音響アレンジ処理部 206で音程補 正がなされて、楽曲トラック 1の楽曲データは、そのコード値が「D」から「F」になるよう に補正される。
[0413] そして、小節区間 Pbの前半においては、楽曲トラック 2の楽曲素材 2が楽曲トラック 1の音響データにミックスされ、また、小節区間 Pbの後半においては、楽曲トラック 2 の楽曲素材 2と、楽曲トラック 3の楽曲素材 3とが楽曲トラック 1の楽曲データにミックス される。
[0414] そして、この小節区間 Pbの前半においては、属性情報取得部 203により取得され た楽曲素材 2の小節区間 Pbの前半での BPM値は「100」、コード値は「E」であって、 楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「G」と異なる。こ のため、楽曲素材 2の楽曲データは、小節区間 Pbの前半において、映像音響アレン ジ処理部 206で、「100」から「120」と、目標 BPM値に合致するようにテンポの補正 がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなさ れる。そして、小節区間 Pbの前半では、それらの補正がなされた楽曲素材 2の楽曲 データが、楽曲トラック 1の楽曲データに加算される。
[0415] また、この小節区間 Pbの後半では、楽曲素材 2の BPM値は「100」、コード値は「E 」であって、楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「F」 と異なる力 楽曲素材 3の BPM値は「120」、コード値は「F」であって、楽曲再構成用 データ ARIの目標 BPM値「120」および目標コード値「F」と同一である。
[0416] このため、小節区間 Pbの後半では、楽曲トラック 2の楽曲素材 2については、映像 音響アレンジ処理部 206でテンポおよび音程の補正がなされて楽曲トラック 1の楽曲 データに加算され、また、楽曲トラック 3の楽曲素材 3については補正されずに、楽曲 トラック 1の楽曲データに加算される。
[0417] 以上のようにして、この第 2の実施形態においては、リズムマスター部力 の同期信 号 SYNCと、楽曲再構成用データ ARIとを基にして、再生対象の音楽コンテンツに 対して、例えば、リスナーの気分に応じた再構成を施すことができると共に、他の楽曲 素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なぐ 実行することができる。そして、ユーザがアレンジ指示により、曲調をクラシック風、ジ ャズ風、ロック風などに、容易に変更して楽曲を楽しむことができる。
[0418] また、この第 2の実施形態においても、同期信号 SYNCにより、小節や柏の区切り を容易に検出することができるので、楽曲データについて特殊効果を施すことも容易 に行なうことができる。同様にして、この第 2の実施形態においても、リミックスの特殊 効果処理の一つとして、ループ再生処理ができる。
[0419] そして、この第 2の実施形態では、音響再生された楽曲を聴取したユーザの生体情 報や、周辺環境情報あるいはユーザの再生履歴情報に基づいて、同期信号を変更 することもできるようにされているので、ユーザの好みや、環境変化に応じて、変化の ある音響再生をすることが可能となる。
[0420] [第 3の実施形態]
以上の実施の形態においては、アレンジ用情報は、予め、音楽コンテンツの提供者 側が、推奨情報を作成して、属性情報に含めておくようようにしたが、ユーザが、ァレ ンジ用情報を自作することができるようにしてぉ ヽても良 、。 [0421] この場合には、音楽コンテンツの属性情報として含まれる楽曲構成情報中の、原曲 についてのコード進行やテンポなどをユーザに呈示して、それをユーザが修正するこ とができるようにする。
[0422] すなわち、ユーザが、楽曲 IDなどの楽曲識別情報を伴う自作アレンジ用情報の作 成要求を、音楽コンテンツの記録再生装置において行うと、当該装置 (CPU1)は、 要求された楽曲についての属性情報から、コード進行やテンポ、などの楽曲構成情 報を、楽曲素材単位で抽出し、例えば LCD表示画面 111に表示するようにする。
[0423] これに対して、ユーザは、表示された楽曲構成情報のそれぞれにつ 、て、これを直 接変更したり、あるいは、コピー、修正を行なうことにより、アレンジ用情報の作成入力 をする。そして、ユーザは、音楽コンテンツの記録再生装置に対して、作成したアレン ジ用情報を、その名前などの識別情報と共に登録要求をする。
[0424] すると、作成されたアレンジ用情報は、自作アレンジ用情報として、当該楽曲につ いての属性情報に含められて、前記名前などの識別情報と共に、属性情報記憶部 2 2に記憶される。属性情報とは別に、属性情報記憶部 22ではなぐ自作アレンジ用情 報の記憶エリアを別個に設け、当該記憶エリアに自作アレンジ用情報を記憶するよう にしても良い。
[0425] そして、ユーザからのアレンジ指示力 自作アレンジ用情報であるときに、音楽コン テンッの記録再生装置は、この自作アレンジ用情報の一覧を読み出してユーザに呈 示し、上述と同様にして、ユーザにより選択指示された自作アレンジ用情報に従って 楽曲を再構成してアレンジを実行するようにする。
[0426] なお、自作したアレンジ用情報は、その識別情報および楽曲 IDと共に、サーバ装 置 6側にアップロードして、他のユーザの使用のために提供するようにしても良い。サ ーバ装置 6側では、それぞれの楽曲についての自作アレンジ用情報を、ユーザから の楽曲ダウンロード要求があつたときに提示して、ユーザに提供することができる。
[0427] [その他の実施形態および変形例]
なお、以上の説明では、アレンジ指示操作は、図 12に示したように、 LCD表示画 面 111と、カーソルボタン 112とを用いるようにした力 LCD表示画面 111とタツチパ ネルとを組み合わせて、 LCD表示画面 111上でのみユーザがアレンジ指示操作を することがでさるようにしてちょ!、。
[0428] また、逆に、図 12に示したような、 LCD表示画面 111と操作ボタンとの組み合わせ ではなぐ曲調変更を直接的に指示する操作ボタンなどの操作部を、音楽コンテンツ の記録再生装置に設けるようにしてもょ 、。
[0429] 例えば、図 36の例は、アレンジ指示が上述のように、曲調を他のジャンルの曲風に 変更するようにするものである場合に、変更後の「ジャンル風」を指示するボタンを設 けるようにした場合である。
[0430] すなわち、この図 36の例においては、クラシック風ボタン 113、ジャズ風ボタン 114 、ロック風ボタン 115、その他風ボタン 116が設けられている。そして、楽曲の再生中 に、ユーザがクラシック風ボタン 113を押下すると、再生中の楽曲の属性情報が参照 されて、クラシック風にするためのアレンジ用情報が読み出され、当該アレンジ用情 報に基づいて、上述のようにして、楽曲が再構成されて、再生される。
[0431] もしも、クラシック風のアレンジのための属性情報力 前述したように、複数態様のク ラシック風アレンジ用情報を含む場合には、クラシック風ボタン 113をユーザが押下 すると、そのクラシック風アレンジの複数の態様の一覧力 図 12 (B)と同様に、 LCD 画面 111に表示される。このときには、十字型カーソルボタン 112を操作して、いず れかのアレンジ態様を選択して、決定すると、そのアレンジ態様に、再生中楽曲が再 構成されて再生される。
[0432] また、図 36のように、複数個のボタンを設けるのではなぐ図 37に示すように、曲調 変更ボタン 117を、 1個、設け、この曲調変更ボタン 117を押す毎に、例えば、クラシ ック風→ジャズ風→ロック風→ヒップホップ風→· · ·と、サイクリックに変更するようにし ても良い。このとき、曲調変更ボタン 117を押したときに、どの曲調になるかを、 LCD 表示画面 111に表示して、ユーザに報せるようにするものである。
[0433] また、 LCD表示画面 111にタツチパネルを貼付して、図 36や図 37の操作ボタン 11 3〜 117を LCD表示画面 111に表示し、タツチパネルを通じてユーザ力 それらの操 作ボタンを操作するように構成してもよ!/、。
[0434] 図 36の例は、 1つのボタン操作に 1つの「ジャンル風」を対応させた例である力 操 作ボタンなどの操作手段をボリューム型可変操作手段の構成とし、 2種類の「ジヤン ル風」に 1つの操作手段で変えるようにすることもできる。
[0435] 図 38は、その場合の例で、回動可能な構成とされたボリューム型可変つまみ 118を 用いる場合の例で、このボリューム型可変つまみ 118のボリューム位置を中央にして いるときには、音楽コンテンツは元の曲調で再生される力 ボリューム型可変つまみ 1 18を、中央位置力も右側に回すと、その回動角の大きさに応じて、図 38の例では、 だんだん「クラシック風」が強調されるように曲調を変更するように、再生装置が構成さ れる。逆に、ボリューム型可変つまみ 118を、中央位置から左側に回すと、その回動 角の大きさに応じて、図 38の例では、だんだん「ヒップホップ風」が強調されるように 曲調を変更するように、再生装置が構成される。
[0436] 図 38の例は、ボリューム型可変操作手段は、回動つまみによるボリューム型可変つ まみの例である力 ボリューム型可変操作手段は、スライド型の可変つまみであって も良い。
[0437] なお、図 36の各ジャンル風を選択する操作ボタン 113〜116のそれぞれを、押ボタ ンで、かつ、ボリューム型可変つまみの構成にして、押ボタンを押すことで、当該ジャ ンル風が選択でき、さら〖こ、例えば左に一杯に回した状態では、音楽コンテンツは元 の曲調で再生される力 右に回すほど、その回動角に応じて、それぞれのジャンル風 が徐々に強調されるように曲調が変更されるように構成することもできる。
[0438] また、図 37の例の操作ボタン 117についても同様の構成とすることができる。つまり 、操作ボタン 117を押す毎に、ジャンル風を変更選択すると共に、ボリューム型可変 つまみの構成操作ボタン 117を右に回すほど、その回動角に応じて、それぞれ選択 されたジャンル風が徐々に強調されるように曲調が変更されるように構成することもで きる。
[0439] また、ボリューム型可変つまみも LCD表示画面 111に表示して、タツチパネルを通 じて可変操作するように構成することも勿論可能である。
[0440] また、ボリューム型可変つまみをユーザが操作するようにするだけでなぐ例えば生 体情報取得部 30から生体情報に同期させて、ボリューム型可変つまみを可変制御 するように構成することも可能である。すなわち、例えば、ユーザの走行テンポなどを 生体情報取得部 30から取得し、その取得した走行テンポに応じて、「ユーザが速く走 つていれば、楽曲テンポをより速くすると同時にヒップホップ風がより強調される」とい うようにアレンジを行なうように構成することも可能である。
[0441] なお、上述の実施形態の説明では、アレンジモードは、自動モードと手動モードと を設けるようにしたが、手動モードだけであっても良!、。
[0442] 手動モードだけの場合には、上述の実施形態の場合のように、ユーザが嗜好度を 示しているときに、アレンジ指示をするようにする必要はなぐ任意の時点でアレンジ 旨示をすることができることは言うまでもな 、。
[0443] また、手動モードだけの場合には、生体情報取得部 30や周辺環境情報取得部 40 は、設ける必要がなぐ構成を簡単にすることができる。
[0444] 上述の実施形態では、アレンジ用情報は、属性情報の一部として属性情報記憶部 に、楽曲データと対応して保存しておくようにしたが、アレンジ用情報は、属性情報の 一部とする必要はなぐ属性情報とは別個に、楽曲 IDと対応して記憶して管理するよ うにするようにしても良い。
[0445] また、上述の実施形態では、ユーザがアレンジ指示をしたときに、音楽コンテンツの 記録再生装置の記憶部力 アレンジ用情報を読み出して、楽曲データの再構成をす るようにしたが、ユーザがアレンジ指示をしたときにサーバ装置力もアレンジ用情報を 取得して、当該取得したアレンジ用情報に基づいて、上述したような再構成処理 (ァ レンジ処理)を行なうようにすることもできる。その場合には、音楽コンテンツの記録再 生装置には、アレンジ用情報を記憶しておく必要はない。
[0446] その場合には、音楽コンテンツの記録再生装置には、直接的なアレンジ指示操作 部を設ける必要はなぐ音楽コンテンツの記録再生装置は、サーバ装置 6にアクセス し、サーバ装置 6から呈示されるアレンジ種類の一覧から、例えば十字型カーソルボ タンなどにより、自分が希望するアレンジ種類を指示することができればよい。
[0447] また、その場合のサーバ装置力ものアレンジ用情報の取得は、楽曲の再生前であ る場合に限られる必要はなぐ楽曲再生中であっても良ぐ音楽コンテンツの記録再 生装置は、取得したアレンジ用情報をリアルタイムで利用して、上述したような再構成 処理 (アレンジ処理)を行なうよう〖こすることもできる。
[0448] なお、上述の実施形態の説明では、音楽コンテンツ記憶部は、ハードディスク装置 で構成し、音楽コンテンツの映像音響データと、属性情報とが、音楽コンテンツ識別 情報 (音楽コンテンツ ID)を介して対応付けられて記録されるようにしたが、前述もし たように、音楽コンテンツ記憶部は、リムーバル記録メディア (着脱可能メディア)であ る DVDなどの光ディスクで構成することもできる。
[0449] また、上述の説明では、音楽コンテンツ記憶部においては、音楽コンテンツには、 属性情報が必ず付随するように説明したが、属性情報は、必要に応じて、例えばイン ターネットから、音楽コンテンツ IDを検索子として取得して使用するようにすることもで きる。その場合には、インターネットに接続されるサーバ装置が属性情報記憶部を構 成すること〖こなる。
[0450] つまり、音楽コンテンツの映像音響データと、属性情報とは、 1つの記憶部に格納さ れて 、る必要はなぐ音楽コンテンツ IDなどの両者を対応付ける情報を用いて対応 することが可能な態様であれば、別々の記憶部に格納されて 、てもよ 、。
[0451] また、上述の実施形態は、記録再生装置の場合であるが、この発明は、記録機能 の無 、再生装置であってもよ 、ことは言うまでもな 、。
[0452] また、前述した図 22〜図 24の再生処理の流れは、一例であって、どのように再生 を行なうかは、これに限られるものではない。
[0453] 例えば、嗜好度が高いときにのみ、再生中の楽曲について、テンポやキーを変更し たり、リミッタスしたり、エフェクトをかけたりして再構成処理を行なうようにした力 嗜好 度に関係なぐ再生中の楽曲にっ 、て再構成処理を行なうようにしてもょ 、。
[0454] また、上述の実施形態では、音楽コンテンツとしては、映像データが付随したものを 取り扱うようにした力 映像データは必須では無いことは言うまでもない。
[0455] また、上述の第 1の実施形態では、楽曲の再生を開始する際、最初の楽曲は、ユー ザが選択指定するようにしたが、例えば、リスナーの生体情報や、周辺環境情報ある いは再生履歴情報力 最初の楽曲を装置が自動的に選択するようにしてもよい。
[0456] 例えば、リスナーの生体情報から、リスナーが興奮状態あるいは沈静状態であるか を判別し、それに合致するあるいは逆の曲調の楽曲を最初の曲として選択するように しても良い。また、現在位置が山か、海かを周辺環境情報から判別し、属性情報に含 まれる周辺環境情報を参照して、当該場所に合致する楽曲を選択して、最初の楽曲 としてもよい。また、再生履歴から良く聴いている楽曲を最初の楽曲として選択するよ うにしても良い。

Claims

請求の範囲
[1] 複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部か ら、再生対象の音楽コンテンツのデータを取得する第 1の取得手段と、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材 単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第 2の取 得手段と、
前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成さ れているアレンジ用情報を取得する第 3の取得手段と、
前記第 1の取得手段により取得した前記再生対象の音楽コンテンツデータを音響 再生出力する手段と、
リスナーのアレンジ指示を受け付けるアレンジ指示受付手段と、
前記アレンジ指示受付手段で受け付けたアレンジ指示に応じて、前記第 2の取得 手段により取得した前記楽曲構成情報と、前記第 3の取得手段により取得した前記ァ レンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツ のデータを再構成する再構成手段と、
を備える音楽コンテンツの再生装置。
[2] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
楽曲の小節に対応する周期の信号と楽曲の柏に対応する周期の信号とを含む同 期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリ ズムマスター部と、
前記第 1の取得手段により取得した前記再生対象の音楽コンテンッデータを、前記 リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに基づくと共に、前 記第 3の取得手段により取得した前記アレンジ用情報を用いて再構成して、出力楽 曲データを生成して音響再生出力するリズムスレーブ手段と、
を備えることを特徴とする音楽コンテンツの再生装置。
[3] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
前記アレンジ用情報は、自装置の記憶部に記憶されているものであり、 前記第 3の取得手段は、前記アレンジ指示受付手段で受け付けられた前記アレン ジ指示に応じて、前記自装置の記憶部から前記アレンジ用情報を読み出す手段で ある
ことを特徴とする音楽コンテンツの再生装置。
[4] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
前記第 3の取得手段は、通信ネットワークを通じて前記アレンジ用情報が保持され て 、るサーバ装置から、前記アレンジ指示受付手段で受け付けられた前記アレンジ 指示に応じて、前記アレンジ用情報を取得する手段である
ことを特徴とする音楽コンテンツの再生装置。
[5] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
前記アレンジ用情報は、前記リスナーによって作成されたものである
ことを特徴とする音楽コンテンツの再生装置。
[6] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
前記アレンジ指示受付手段は、アレンジ種類を指定するための操作部を備える ことを特徴とする音楽コンテンツの再生装置。
[7] 請求項 1に記載の音楽コンテンツの再生装置にお 、て、
前記アレンジ指示受付手段は、ボリューム型可変操作手段で構成され、 前記ボリューム型可変操作手段によるボリューム位置が一側に変位したときには、 その変位量に応じて第 1のアレンジ種類の曲調が徐々に強調されるようにされ、前記 ボリューム位置が他側に変位したときには、その変位量に応じて第 2のアレンジ種類 の曲調が徐々に強調されるようにされる
ことを特徴とする音楽コンテンツの再生装置。
[8] 複数個の音楽コンテンツのデータが格納されて 、る音楽コンテンツデータ記憶部か ら、再生対象の音楽コンテンツのデータを取得する第 1の取得ステップと、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材 単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第 2の取 得ステップと、
前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成さ れているアレンジ用情報を取得する第 3の取得ステップと、 前記第 1の取得ステップで取得した前記再生対象の音楽コンテンッデータを音響 再生出力するステップと、
リスナーのアレンジ指示を受け付けるアレンジ指示受付ステップと、
前記アレンジ指示受付ステップで受け付けたアレンジ指示に応じて、前記第 2の取 得ステップで取得した前記楽曲構成情報と、前記第 3のステップで取得した前記ァレ ンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツの データを再構成する再構成ステップと、
を備える音楽コンテンツの再生方法。
PCT/JP2006/307191 2005-04-25 2006-04-05 音楽コンテンツの再生装置および音楽コンテンツ再生方法 WO2006114998A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800124474A CN101160615B (zh) 2005-04-25 2006-04-05 音乐内容重放设备和音乐内容重放方法
KR1020077019469A KR101233800B1 (ko) 2005-04-25 2006-04-05 음악 콘텐츠의 재생장치 및 음악 콘텐츠 재생방법
EP06731139.9A EP1876583B1 (en) 2005-04-25 2006-04-05 Musical content reproducing device and musical content reproducing method
US11/910,563 US8269092B2 (en) 2005-04-25 2006-04-05 Musical content reproducing device and musical content reproducing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-125920 2005-04-25
JP2005125920A JP4626376B2 (ja) 2005-04-25 2005-04-25 音楽コンテンツの再生装置および音楽コンテンツ再生方法

Publications (1)

Publication Number Publication Date
WO2006114998A1 true WO2006114998A1 (ja) 2006-11-02

Family

ID=37214626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/307191 WO2006114998A1 (ja) 2005-04-25 2006-04-05 音楽コンテンツの再生装置および音楽コンテンツ再生方法

Country Status (6)

Country Link
US (1) US8269092B2 (ja)
EP (1) EP1876583B1 (ja)
JP (1) JP4626376B2 (ja)
KR (1) KR101233800B1 (ja)
CN (1) CN101160615B (ja)
WO (1) WO2006114998A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134375A (ja) * 2006-11-28 2008-06-12 Sony Corp マッシュアップ用のデータファイル、マッシュアップ装置およびコンテンツの作成方法
JP2008165837A (ja) * 2006-12-04 2008-07-17 Sony Corp マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置
US20110093100A1 (en) * 2009-10-16 2011-04-21 Immersion Corporation Systems and Methods for Output of Content Based on Sensing an Environmental Factor

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43379E1 (en) * 2003-10-09 2012-05-15 Pioneer Corporation Music selecting apparatus and method
US20080022208A1 (en) * 2006-07-18 2008-01-24 Creative Technology Ltd System and method for personalizing the user interface of audio rendering devices
JP4623028B2 (ja) * 2007-03-20 2011-02-02 ヤマハ株式会社 曲編集装置およびプログラム
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
JP5007563B2 (ja) * 2006-12-28 2012-08-22 ソニー株式会社 音楽編集装置および方法、並びに、プログラム
KR101410928B1 (ko) * 2007-07-26 2014-06-23 삼성전자주식회사 음악 재생 장치의 사용자에게 추천할 음악을 결정하는 방법및 이를 위한 장치
US7804016B2 (en) * 2007-07-26 2010-09-28 Samsung Electronics Co, Ltd. Method and device for selecting music to be recommended for user by using music reproduction device
JP5181640B2 (ja) * 2007-12-03 2013-04-10 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
EP2304726A1 (en) * 2008-05-16 2011-04-06 Tonium AB Audio mix instruction file with timing information referring to unique patterns within audio tracks
US8558100B2 (en) * 2008-06-24 2013-10-15 Sony Corporation Music production apparatus and method of producing music by combining plural music elements
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
WO2010041147A2 (en) * 2008-10-09 2010-04-15 Futureacoustic A music or sound generation system
JP2010262723A (ja) * 2009-05-11 2010-11-18 Pioneer Electronic Corp 再生装置、プレーヤー、再生装置の再生履歴情報記録方法、プレーヤーの再生履歴情報記録方法およびプログラム
GB2483409A (en) * 2009-06-01 2012-03-07 Starplayit Pty Ltd Music game improvements
JP2010282160A (ja) * 2009-06-08 2010-12-16 Yamaha Corp 音楽コンテンツ処理装置及びプログラム
KR101594391B1 (ko) * 2009-10-22 2016-02-16 삼성전자주식회사 휴대용 멀티미디어 재생기에서 사용자 경험에 기반한 멀티미디어 재생 목록 생성방법 및 장치
JP2012015809A (ja) * 2010-06-30 2012-01-19 Kddi Corp 楽曲選択装置、楽曲選択方法および楽曲選択プログラム
CN102412920B (zh) * 2010-09-20 2015-04-29 阿尔派株式会社 电子设备及其控制方法
JP5594052B2 (ja) * 2010-10-22 2014-09-24 ソニー株式会社 情報処理装置、楽曲再構成方法及びプログラム
US9514481B2 (en) * 2010-12-20 2016-12-06 Excalibur Ip, Llc Selection and/or modification of an ad based on an emotional state of a user
JP5853371B2 (ja) * 2011-01-25 2016-02-09 ヤマハ株式会社 楽音合成装置およびプログラム
US20120224828A1 (en) * 2011-02-08 2012-09-06 Stephen Silber Content selection
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
CN102956230B (zh) * 2011-08-19 2017-03-01 杜比实验室特许公司 对音频信号进行歌曲检测的方法和设备
JP5614422B2 (ja) * 2012-03-19 2014-10-29 ブラザー工業株式会社 運動支援装置、運動支援方法、及び、プログラム
US9552607B2 (en) * 2012-03-21 2017-01-24 Beatport, LLC Systems and methods for selling sounds
CN103514432B (zh) 2012-06-25 2017-09-01 诺基亚技术有限公司 人脸特征提取方法、设备和计算机程序产品
EP2868112A4 (en) * 2012-06-29 2016-06-29 Nokia Technologies Oy SYSTEM FOR VIDEO MIX
JP2014010275A (ja) * 2012-06-29 2014-01-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN103578514A (zh) * 2012-08-01 2014-02-12 北大方正集团有限公司 歌曲播放方法和装置
JP5980931B2 (ja) * 2012-08-23 2016-08-31 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置およびプログラム
JP5980930B2 (ja) * 2012-08-23 2016-08-31 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
US8869031B1 (en) * 2012-08-27 2014-10-21 Zynga Inc. Scaling intro music
EP2793222B1 (en) * 2012-12-19 2018-06-06 Bellevue Investments GmbH & Co. KGaA Method for implementing an automatic music jam session
EP2765573B1 (en) * 2013-02-08 2016-08-03 Native Instruments GmbH Gestures for DJ scratch effect and position selection on a touchscreen displaying dual zoomed timelines.
US10016650B2 (en) * 2013-02-08 2018-07-10 Excel Equipment Llc Systems and methods for target training including synchronized music
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
CN103794205A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动合成适配音乐的方法及设备
SG11201610951UA (en) * 2014-06-30 2017-02-27 Sony Corp Information processing apparatus and information processing method
CN104298722B (zh) * 2014-09-24 2018-01-19 张鸿勋 多媒体交互系统及其方法
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN104778216B (zh) * 2015-03-20 2017-05-17 广东欧珀移动通信有限公司 一种预设风格歌曲处理的方法及装置
JP5896064B2 (ja) * 2015-03-25 2016-03-30 ヤマハ株式会社 楽音合成装置およびプログラム
US20170019471A1 (en) * 2015-07-13 2017-01-19 II Paisley Richard Nickelson System and method for social music composition
CN105335507A (zh) * 2015-10-29 2016-02-17 维沃移动通信有限公司 一种推送歌曲的方法及装置
US10318233B2 (en) 2016-09-23 2019-06-11 Sonos, Inc. Multimedia experience according to biometrics
CN106453051A (zh) * 2016-10-10 2017-02-22 深圳万发创新进出口贸易有限公司 多媒体交互系统
TWI633784B (zh) * 2017-03-15 2018-08-21 宏碁股份有限公司 用於移動載具的多媒體播放方法與系統
CN108668154A (zh) * 2017-03-30 2018-10-16 宏碁股份有限公司 用于移动载具的多媒体播放方法与系统
GB201721061D0 (en) * 2017-12-15 2018-01-31 Pob Enterprises Ltd System for processing music
US10803843B2 (en) * 2018-04-06 2020-10-13 Microsoft Technology Licensing, Llc Computationally efficient language based user interface event sound selection
CN110555126B (zh) 2018-06-01 2023-06-27 微软技术许可有限责任公司 旋律的自动生成
US10714065B2 (en) * 2018-06-08 2020-07-14 Mixed In Key Llc Apparatus, method, and computer-readable medium for generating musical pieces
CN108831425B (zh) 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN110658979B (zh) * 2018-06-29 2022-03-25 杭州海康威视系统技术有限公司 一种数据重构方法、装置、电子设备及存储介质
US11127386B2 (en) * 2018-07-24 2021-09-21 James S. Brown System and method for generating music from electrodermal activity data
CN109144271B (zh) * 2018-09-07 2021-07-20 武汉轻工大学 三维空间音频关注度分析方法、系统、服务器及存储介质
GB2581319B (en) * 2018-12-12 2022-05-25 Bytedance Inc Automated music production

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099011A (ja) * 1999-09-24 2000-04-07 Yamaha Corp 自動編曲装置
JP2002091438A (ja) * 2001-08-09 2002-03-27 Yamaha Corp 自動演奏装置
JP2002169550A (ja) * 2000-11-30 2002-06-14 Victor Co Of Japan Ltd 楽曲データ作成装置
JP2003173350A (ja) 2001-12-05 2003-06-20 Rainbow Partner Inc 音楽・映像コンテンツを推薦するシステム
US20040159221A1 (en) 2003-02-19 2004-08-19 Noam Camiel System and method for structuring and mixing audio tracks

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3245890B2 (ja) * 1991-06-27 2002-01-15 カシオ計算機株式会社 拍検出装置及びそれを用いた同期制御装置
US5304112A (en) * 1991-10-16 1994-04-19 Theresia A. Mrklas Stress reduction system and method
JP3013648B2 (ja) * 1993-03-23 2000-02-28 ヤマハ株式会社 自動編曲装置
JP3239672B2 (ja) * 1995-02-15 2001-12-17 ヤマハ株式会社 自動演奏装置
US5693902A (en) * 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
JP3707122B2 (ja) * 1996-01-29 2005-10-19 ヤマハ株式会社 スタイル変更装置およびカラオケ装置
JP3846122B2 (ja) * 1999-09-17 2006-11-15 ヤマハ株式会社 再生制御装置と媒体
AT500124A1 (de) * 2000-05-09 2005-10-15 Tucmandl Herbert Anlage zum komponieren
KR100867760B1 (ko) 2000-05-15 2008-11-10 소니 가부시끼 가이샤 재생장치, 재생방법 및 기록매체
DE60045001D1 (de) 2000-07-04 2010-11-04 Sony France Sa Vorrichtung und Verfahren zur inkrementellen Fertigstellung von Sequenzen von Musiktitel-Elementen
GB2384596A (en) * 2000-10-23 2003-07-30 Ntt Comm Corp Musical composition recognition method and system, storage medium where musical composition program is stored, commercial recognition method and system,
US6888999B2 (en) * 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
US6683241B2 (en) 2001-11-06 2004-01-27 James W. Wieder Pseudo-live music audio and sound
JP4303485B2 (ja) * 2003-01-27 2009-07-29 株式会社音楽館 楽曲編成システム、楽曲編成システムの制御方法、プログラム及び楽曲編成方法
JP2006171133A (ja) 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
US20070261537A1 (en) * 2006-05-12 2007-11-15 Nokia Corporation Creating and sharing variations of a music file
US8311656B2 (en) * 2006-07-13 2012-11-13 Inmusic Brands, Inc. Music and audio playback system
AU2008229637A1 (en) * 2007-03-18 2008-09-25 Igruuv Pty Ltd File creation process, file format and file playback apparatus enabling advanced audio interaction and collaboration capabilities
US8173883B2 (en) * 2007-10-24 2012-05-08 Funk Machine Inc. Personalized music remixing
US20100075806A1 (en) * 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099011A (ja) * 1999-09-24 2000-04-07 Yamaha Corp 自動編曲装置
JP2002169550A (ja) * 2000-11-30 2002-06-14 Victor Co Of Japan Ltd 楽曲データ作成装置
JP2002091438A (ja) * 2001-08-09 2002-03-27 Yamaha Corp 自動演奏装置
JP2003173350A (ja) 2001-12-05 2003-06-20 Rainbow Partner Inc 音楽・映像コンテンツを推薦するシステム
US20040159221A1 (en) 2003-02-19 2004-08-19 Noam Camiel System and method for structuring and mixing audio tracks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1876583A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134375A (ja) * 2006-11-28 2008-06-12 Sony Corp マッシュアップ用のデータファイル、マッシュアップ装置およびコンテンツの作成方法
US8115090B2 (en) 2006-11-28 2012-02-14 Sony Corporation Mashup data file, mashup apparatus, and content creation method
JP2008165837A (ja) * 2006-12-04 2008-07-17 Sony Corp マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置
US20110093100A1 (en) * 2009-10-16 2011-04-21 Immersion Corporation Systems and Methods for Output of Content Based on Sensing an Environmental Factor
US10254824B2 (en) * 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor

Also Published As

Publication number Publication date
US8269092B2 (en) 2012-09-18
EP1876583B1 (en) 2014-07-16
CN101160615B (zh) 2012-11-14
US20090088877A1 (en) 2009-04-02
JP2006301471A (ja) 2006-11-02
KR101233800B1 (ko) 2013-02-18
JP4626376B2 (ja) 2011-02-09
EP1876583A4 (en) 2012-05-09
EP1876583A1 (en) 2008-01-09
CN101160615A (zh) 2008-04-09
KR20070122452A (ko) 2007-12-31

Similar Documents

Publication Publication Date Title
JP4626376B2 (ja) 音楽コンテンツの再生装置および音楽コンテンツ再生方法
WO2006064722A1 (ja) 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JP4713129B2 (ja) 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
US7982120B2 (en) Performance apparatus and storage medium therefor
JP5243042B2 (ja) 音楽編集装置及び音楽編集方法
JP2006084749A (ja) コンテンツ生成装置およびコンテンツ生成方法
JP4243862B2 (ja) コンテンツ利用装置およびコンテンツ利用方法
JPWO2007066819A1 (ja) 音楽編集装置及び音楽編集方法
JP2009093779A (ja) コンテンツ再生装置及びコンテンツ再生方法
JP2006127574A (ja) コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体
JPH10207476A (ja) カラオケ装置
JP2012018282A (ja) 演奏ファイル管理装置、演奏ファイル再生装置および演奏ファイル再生方法
JPH1091173A (ja) 楽音再生装置
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
KR100797390B1 (ko) 휴대용 디지털 오디오 재생 장치에서의 음악 연출 장치 및그 방법
JP2007140224A (ja) 楽曲コンテンツ選択再生装置、楽曲コンテンツ選択再生方法および楽曲コンテンツ配信再生システム
JP5980930B2 (ja) コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
JP2000267652A (ja) 楽譜データ変換装置及び情報記録媒体
JP2000250536A (ja) カラオケ装置及び楽曲演奏方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680012447.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020077019469

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11910563

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006731139

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006731139

Country of ref document: EP