WO2006030612A1 - コンテンツ生成装置およびコンテンツ生成方法 - Google Patents

コンテンツ生成装置およびコンテンツ生成方法 Download PDF

Info

Publication number
WO2006030612A1
WO2006030612A1 PCT/JP2005/015418 JP2005015418W WO2006030612A1 WO 2006030612 A1 WO2006030612 A1 WO 2006030612A1 JP 2005015418 W JP2005015418 W JP 2005015418W WO 2006030612 A1 WO2006030612 A1 WO 2006030612A1
Authority
WO
Grant status
Application
Patent type
Prior art keywords
information
content
data
content generation
material
Prior art date
Application number
PCT/JP2005/015418
Other languages
English (en)
French (fr)
Inventor
Yasushi Miyajima
Kosei Yamashita
Motoyuki Takai
Yoichiro Sako
Toshiro Terauchi
Toru Sasaki
Yuichi Sakai
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/311Distortion, i.e. desired non-linear audio processing to change the tone color, e.g. by adding harmonics or deliberately distorting the amplitude of an audio waveform
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571Chords; Chord sequences
    • G10H2210/576Chord progression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G10H2220/376Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information using brain waves, e.g. EEG
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Abstract

 素材としての音声コンテンツデータを種々の態様で利用し、完成度の高い新しい音声コンテンツを簡単に生成することができるようにする。素材データとして用いられる多数の音声コンテンツデータが素材データ記憶部31に予め用意される。素材データのそれぞれには、付加データが付随するようにされており、この付加データが素材データベース記憶部32に記憶される。制御部10において、受付部20を通じて受け付けた外部情報と再構成法則データベース記憶部33に記憶されている法則情報との一方あるいは両方に基づき、付加データを介して素材データ記憶部31から必要な素材データが抽出され、これらから新たな楽曲が生成される。

Description

明 細 書

コンテンツ生成装置およびコンテンツ生成方法

技術分野

[0001] この発明は、例えば、楽曲を楽曲パート、小節などに細分ィ匕することにより得られる 音声コンテンツデータなどを素材として用いて、新たな楽曲(音声コンテンツ)の音声 コンテンツデータを生成するようにする装置、方法に関する。

背景技術

[0002] 昨今の携帯型のシリコンオーディオプレイヤーやハードディスク音楽プレイヤーの 台頭によって、数百〜数万曲の楽曲(音楽コンテンツ)を 1台の再生装置内部の記録 媒体に記録し、これを再生することができるようになり、ユーザーは自分の好みの楽 曲をすベて持ち出して、これをいつでも再生して聴けるようになった。

[0003] 数多くの楽曲を記録媒体に記録し、再生可能にしておくことで長時間音楽を楽しむ ことができ、また、再生順番をランダムに変更して再生するいわゆるシャッフル再生を 行うことで思いもよらな力つた曲順で楽曲を聴けるため飽きがきにくい。しかしながら、 これらのオーディオプレイヤ一は予め録音された楽曲を単純に再生するだけであり、 曲数は増えて 、るが 1曲 1曲につ 、て見れば、毎回同じ音声を再生して 、るにすぎな い。

[0004] 一方で、自動作曲ソフト(自動作曲プログラム)のようにユーザーが曲の雰囲気ゃ誕 生日などのシチュエーションを入力するだけで曲を作成してくれるコンピュータ用ソフ トウエアが存在する。例えば、後に記す特開 2002— 117069号公報には、データべ ース内の音楽アイテム(素材となる音声データ)から任意の長さの適切な音楽シーケ ンス (音声データの並び)を生成する方式が開示されて 、る。

[0005] このような、いわゆる自動作曲ソフトをパーソナルコンピュータを通じて利用すること によって、ユーザーは、簡単に、かつ、気軽に、独自の音声コンテンツを作成して再 生し、これを楽しむことができるようにされている。

[0006] し力しながら、上述したような自動作曲ソフトは、 1音ずつ音符を生成していくように したり、予め決められた素材を連結したりするだけであり、多くの聴取者力 ^優れた曲」 であると感じるような完成度の高い楽曲(音声コンテンツ)を生成することは難しい。ま た、パーソナルコンピュータにおいて起動される自動作曲ソフトに対する操作が複雑 であったり、分力り難かったりするために、パーソナルコンピュータに不慣れなユーザ 一にとつては利用し難いものもあると考えられる。

[0007] また、自動作曲ソフトの場合には、 MIDI (Musical Instrument Digital Interface)デ ータを用いて作曲を行うようにするものがほとんどであり、楽器音色のリアルさが不足 していたり、自然な人間の歌声を出すこができな力つたりするなどの制約が存在する 。そもそも、リアルさが増したとしても人間の演奏ではないとユーザーが分力つている 場合には感動が呼び起こされな 、場合が多 、。

[0008] 以上のことに鑑み、この発明は、素材としての音声コンテンツデータを種々の態様 で利用し、完成度の高い新しい音声コンテンツを簡単に生成することが可能な装置、 方法を提供することを目的とする。

発明の開示

[0009] 上記課題を解決するため、本発明のコンテンツ生成装置は、

素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と 多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引 Z構成情報として の機能を有する付加データを記憶保持する付加データ記憶手段と

を備えるとともに、

外部情報の入力を受け付ける受付手段と、

多数の前記音声コンテンツデータ力 必要なものを抽出して新たな音声コンテンツ を構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と

の一方あるいは両方を備え、

前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則 情報との一方あるいは両方に基づ!、て、前記付加データ記憶手段の前記付加デー タを介して前記素材記憶手段力 必要な音声コンテンツデータを抽出するとともに構 成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴 とする。 [0010] この本発明のコンテンツ生成装置によれば、例えば、楽曲を構成する音声コンテン ッデータを、楽器パート、小節などに細分ィ匕するなどして形成され、素材として用いら れる多数の音声コンテンツデータが素材記憶手段に予め用意される。素材として用 いられる多数の音声コンテンツデータのそれぞれには、索引 Z構成情報としての機 能を有する付加データが付随するようにされており、この付加データが付加データ記 憶手段に記憶される。

[0011] そして、構成処理手段において、受付手段を通じて受け付けた外部情報と法則記 憶手段に記憶されている法則情報との一方あるいは両方に基づき、付加データを介 して素材記憶手段から素材として用いる複数の音声コンテンツデータが抽出され、こ れらを用いて新しい楽曲を形成する一連の音声コンテンツデータが構成される(生成 される)、これを禾 IJ用することができるよう〖こされる。

[0012] この発明によれば、予め用意される素材としての音声コンテンツデータを種々の態 様で利用することにより、完成度が高く新しい楽曲を簡単に生成し、これを利用できる ようにすることができる。また、外部情報などの変化に応じて、毎回、新しい楽曲を生 成してこれを利用できるようにすることができる。

[0013] また、ユーザーのインタラクションによってリアルタイムに楽曲を変化させたり、少な い素材力もでも数多くの楽曲を生成したりすることができる。このため、従来の CD (C ompact Disc)のように録音済みの同じ楽曲を繰り返し聴くという音楽の楽しみ方を根 底力 変化させ、新しい音楽の楽しみ方をユーザーに提供することができる。

図面の簡単な説明

[0014] [図 1]図 1は、この発明による装置、方法の概要を説明するための図である。

[図 2]図 2は、この発明の一実施の形態が適用された再生装置を説明するためのプロ ック図である。

[図 3]図 3は、再構成処理の具体例を説明するための図である。

[図 4A]図 4Aは、再構成処理の具体例を説明するための図である。

[図 4B]図 4Bは、再構成処理の具体例を説明するための図である。

[図 4C]図 4Cは、再構成処理の具体例を説明するための図である。

[図 4D]図 4Dは、再構成処理の具体例を説明するための図である。 [図 5]図 5は、再構成処理の具体例を説明するための図である。

[図 6]図 6は、再構成処理の具体例を説明するための図である。

[図 7]図 7は、再構成処理の具体例を説明するための図である。

[図 8]図 8は、再構成法則データベースの情報の一部について説明するための図で ある。

[図 9]図 9は、図 2に示した再生装置において行われる新たな楽曲の再構成処理 (生 成処理)を説明するためのフローチャートである。

発明を実施するための最良の形態

[0015] 以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明 する。以下に説明する実施の形態においては、この発明による装置、方法を種々の 楽曲などの音声コンテンツデータを再生する音声再生装置(以下、単に再生装置と いう。 )に適用した場合を例にして説明する。

[0016] [再生装置の概要]

図 1は、この発明による装置、方法が適用された再生装置の概要を説明するための ブロック図である。この実施の形態の再生装置は、例えば携帯型の音声再生装置で ある。そして、この実施の形態の再生装置は、図 1に示すように楽曲を生成 (構成)す るための音声コンテンツデータである多数の素材データ 1と、予め決められる再構成 法則情報 (法則情報)のデータベースである再構成法則データベース 2と、予め決め られる再構成の処理手順である再構成アルゴリズム 3とを予め備えて 、る。ここで素 材データ 1は、楽曲を構成する楽器パート単位や小節単位などのように、所定の単位 毎に細分ィ匕することにより細分ィ匕された単位で利用可能になった音声コンテンツデ ータである。

[0017] また、この実施の形態の再生装置は、気温、湿度などといった環境情報、この再生 装置のユーザー (使用者)の心拍、皮膚温度などの生体情報、ユーザーからの操作 入力情報などの外部情報を受け付ける受付部 4を備えている。そして、この実施の形 態の再生装置は、再生時において、受付部 4を通じて受け付けた種々の外部情報と 再構成法則データベースの法則情報とに基づいて、さらに、再構成アルゴリズム 3に したがって、多数の素材データ 1から必要な素材データを抽出し、この抽出した素材 データを再構成処理することにより、新たな楽曲(音声コンテンツ)を生成 (再構成)し て、これを再生して利用できるようにするものである。

[0018] すなわち、既に完成された楽曲を記憶保持し、これを単に再生するものではなぐ 音声コンテンツデータである多数の素材データを記憶保持し、この多数の素材デー タの中から必要な素材データを抽出し、この抽出した素材データを再構成処理する ことによって、全く新 、楽曲を生成して再生することができるものである。

[0019] [再生装置の構成と動作]

次に、この実施の形態の再生装置の構成と、その動作について説明する。図 2は、 この実施の形態の再生装置を説明するためのブロック図である。図 2に示すように、こ の実施の形態の再生装置は、大きく分けると制御部 10、受付部 20、記憶装置部 30 、表示装置部 40、出力部 50を備えている。

[0020] 制御部 10は、 CPU (Central Processing Unit) 11、 ROM (Random Access Memory ) 12、 RAM (Read Only Memory) 13力 CPUバス 14を通じて接続されて形成された マイクロコンピュータであり、この実施の形態の再生装置の各部を制御したり、素材デ 一タカ 新たな楽曲を生成したりするなどの種々のデータ処理を行ったりすることが できるものである。

[0021] 受付部 20は、生体情報センサ 21、 A/D (Analog/Digital)変換部 22、環境情報セ ンサ 23、 AZD変換部 24、入力デバイス 25を備え、生体情報、感性情報、環境情報 、操作入力情報などの種々の外部情報を受け付けて、この受け付けた外部情報を制 御部 10に供給することができるものである。なお、入力デバイス 25は、ユーザーから の操作入力を受け付けるものであり、キーボードなどと呼ばれるキー操作部やマウス などのポインティングデバイス、ボタン、タツチパネルなどをも含むものである。

[0022] また、記憶装置部 30は、新たな楽曲(音声コンテンツデータ)を生成するために必 要になるデータやプログラムを記憶保持するものである。すなわち、この実施の形態 の再生装置の記憶装置部 30は、例えば、ハードディスクドライブであり、内蔵するハ ードディスクには、素材データ記憶部 31、素材データベース記憶部 32、再構成法則 データベース記憶部 33、アルゴリズム実装プログラム記憶部 34などを備え、種々の 情報を記憶保持している。 [0023] また、表示装置部 40は、例えば、 LCD (Liquid Crystal Display)、 PDP (Plasma Dis play Panel)、有機 EL (Organic Electro luminescence Panel)、 CRT (Cathode-Ray Tu be)等の表示素子と、当該表示素子のコントローラなどを備え、各種のメッセージ情報 などの画像情報を表示するものである。また、出力部 50は、音声出力装置部 51と、 DZA変換部 52とを備えたものであり、この実施の形態の再生装置において、新た に生成 (構成)された音声コンテンツデータに応じた楽曲を音声として放音するため のものである。

[0024] そして、この実施の形態の再生装置において、記憶装置部 30の素材データ記憶 部 31には、新たな楽曲を構成するための素材データとなる多数の音声コンテンツデ ータが記憶されている。ここで、素材データとなる音声コンテンツデータは、上述もし たように、楽曲を構成する音声コンテンツデータを、楽器パート毎や小節毎などに細 分ィ匕することにより(小分けすることにより)形成されるものである。もちろん、素材デー タとして、所定の楽器のパート部分のみを新たに録音するなど、素材データを独立し て形成し、これを記憶保持することもできるよう〖こされる。

[0025] また、素材データベース記憶部 32には、素材データ記憶部 31に記憶されている素 材データを特定することが可能な識別子と、多数の素材データのそれぞれ毎に付随 する付加データとが対応付けられて記憶されて 、る。素材データベース記憶部 32の 付加データと、素材データ記憶部 31の各素材データとは、予め決められた識別子に より、相互に関連付けられ、付加データから素材データを特定したり、素材データか らその素材データに対応する付加データを特定したりすることができるようにしている

[0026] また、再構成法則データベース記憶部 33には、どのような場合に、どのような素材 データを、どのように用いて、再構成処理することにより新たな楽曲を生成するかを示 す再構成法則情報 (法則情報)などが記憶されている。なお、ここで用いた再構成と いう文言の「再」の意味は、「同じものをふたたび」という意味ではなぐ新たな楽曲の 構成を「繰り返し行える」 t 、う意味である。

[0027] また、アルゴリズム実装プログラム記憶部 34には、新たな楽曲を構成する処理を行 う場合に実行されるプログラムが格納されて 、る。このプログラムのアルゴリズムにお いても、どのような場合に、どのような素材データを、どのように用いるかについて、変 更ゃ調整を行うこともできるよう〖こされる。

[0028] なお、ここでは記憶装置部 30は 1つしか示していないが、いくつかの記憶装置部( 記録媒体)に素材データ記憶部 31、素材データベース記憶部 32、再構成法則デー タベース記憶部 33、アルゴリズム実装プログラム記憶部 34を分散させて設けるように してもよい。すなわち、素材データ記憶部 31、素材データベース記憶部 32、再構成 法則データベース記憶部 33、アルゴリズム実装プログラム記憶部 34のそれぞれを異 なる記憶装置部(記録媒体)に設けるようにしてもよいし、いくつかをまとめて同じ記憶 装置部に記憶させるようにしてもよい。

[0029] そして、この実施の形態の再生装置においては、制御部 10に接続された入力デバ イス 25を通じて、ユーザーからの音声再生指示入力を受け付けると、制御部 10は、 生体情報センサ 21を通じて受け付けた生体情報やユーザーの動き情報は、 AZD 変換部 22を通じて制御部 10に供給され、環境情報センサ 23を通じて受け付けた環 境情報は、 AZD変換部 24を通じて供給される。また、入力デバイス 25を通じて受け 付けたユーザー力もの入力情報も制御部 10に供給される。

[0030] 制御部 10の CPU11は、記憶装置部 30のアルゴリズム実装プログラム記憶部 34に 記憶されて 、るアルゴリズムを読み出して実行し、このアルゴリズムにしたがって素材 の属性、入力デバイス 25からの入力情報や生体情報センサ 21や環境情報センサ 2 3からの入力情報などの外部情報を再構成法則データベースと照らし合わせながら、 素材データ記憶部 31から必要な素材データを抽出し、この抽出した素材データ (音 声コンテンツデータ)を上述したアルゴリズムや再構成法則データベース記憶部 33 の法則情報に基づいて再構成処理することによって新たな楽曲を生成する。

[0031] なお、後述もするが、素材データベース記憶部 32を介して、同じ付加データを有す る複数の素材データを抽出し、これを再構成法則データベース記憶部 33の法則情 報にしたがって処理することにより、新たな楽曲を生成し、これを再生することもできる ようにされる。すなわち、この実施の形態の再生装置は、自己の記憶装置部 30に備 える多数の素材データの中力 必要となる素材データを、素材データベース記憶部 32や再構成法則データベース記憶部 33を介して抽出し、これを再構成法則データ ベース記憶部 33の法則情報や再構成アルゴリズムに応じて処理し、新しい楽曲(音 声コンテンツ)を生成 (構成)して、これを再生することができるようにして ヽる。

[0032] [付加データの詳細]

次に、この実施の形態の再生装置で用いられる素材データに付随する付加データ につ 、て説明する。予め素材データ記憶部 31に記憶保持されて 、る素材データを 柔軟に利用して、新たな楽曲を自由に生成するために、素材データとしての音声コン テンッデータのそれぞれにつ 、て、その素性を表すための付加データが付加される

[0033] 換言すれば、付加データは、多数の素材データの中から目的とする素材データを 抽出するための索引(インデックス)となるものである。この付加データ力 図 2に示し た再生装置の記憶装置部 30の素材データベース記憶部 32に記憶保持され、この付 加データを介して、目的とする素材データを抽出して、新たな楽曲の構成に利用する ことができるようにされる。以下、素材データとしての音声コンテンツデータに付随す る付加データについて詳述する。

[0034] 付加データは、大きく分けると、(1)素材データとしての音声コンテンツデータの楽 音情報 (楽曲情報)と時間情報、 (2)素材データとしての音声コンテンツデータの人 物情報、(3)感性情報、(4)環境情報、(5)生体情報がある。これら 5つに分類される 付加データのそれぞれにつ ヽて説明する。

[0035] (1)素材データとしての音声コンテンツデータの楽音情報と時間情報について

(1)の付加データは、素材データの楽音情報と、それがどれ位の時間的長さを有 するかを示す時間情報とが対応付けられたものである。楽音情報は、素材データを 再生することにより得られる楽音 (音声)についての情報である。具体的には、素材デ ータを再生することにより得られる音声についての、スケール (キー)、コード、テンポ 、 BPM (Beats Per Minute)と呼ばれる 1分間あたりの拍数、ビート情報(ドラムパター ン)、拍子、小節数、音量、音符'休符情報、ループ情報、ジャンル情報、楽器情報、 地域情報などの情報である。

[0036] ここで、スケール(キー)は、 Cメジャースケール、あるいは、ハ長調、ニ長調などの楽 曲の主音の位置に応じて決まる楽曲の特性であり、コードは、 C、 Am、 Em7などの 楽曲の和音(コード)である。これら、スケールやコードが素材データである音声コン テンッデータの途中で変化する場合には、その変化する位置情報 ·時間情報 (デー タの先頭からのオフセット情報)なども含められる。

[0037] テンポは、楽曲進行の速さであり、 BPMは、上述もしたようにように 1分間あたりの 拍の数であり、ビート情報は、ここではドラムのリズムパターン(ドラムパターン)である 。 BPMの場合、例えば、 1分間に 120拍であるときには、 120BPMなどと表現される 。また、リズムパターンとして、 バスドラム、スネアドラムのアタック音が入る位置情報' 時間情報 (データの先頭力 のオフセット情報)なども含められる。

[0038] 拍子は、 2拍子、 3拍子などのように楽曲においてひとまとまりとなるリズムの基礎を なす拍の数であり、例えば、 3Z4 (4分の 3)拍子、 4Z4 (4分の 4)拍子などのように 表現されるものである。小節数は、上述した拍子で何小節分になるのかを示す情報 であり、例えば、 1小節分、 2小節分などのように表現されるものである。

[0039] 音量(peak, loudness)は、音の大きさのピークや強さ(レベル)などであり、素材デー タごとの音量のばらつきを揃えるなどのために用いることができる情報である。音符' 休符情報は、例えば、 MML(Music Macro Language)や MIDI信号などで記述された 素材データを再生することにより得られる音声を構成する音符や休符を表す情報で あり、例えば、素材データの音符 ·休符の情報を抽出するために用いる。

[0040] ループ情報は、例えば、 Loop (ループ)、 OneShot (ワン.ショット)などの当該素材 データが、ループ可能な素材か、一度だけ演奏されることを期待しているものかを表 すものである。ループ可能な素材データは、当該素材データ (音声コンテンツデータ )の最後と最初を切れ目がないように繋いでも、ノイズが発生せず、テンポが狂わず、 聴覚的に不自然になることがないものである。

[0041] ジャンル情報は、例えば、ジャズ (Jazz)、ロック(Rock)、テクノ(Techno) · · ·などの素 材データが属するジャンルを示す値または文字列である。楽器情報は、例えば、リズ ム楽器(ドラム、パーカッション)、ギター、ベース、ピアノ…などの用いられている楽器 の種類を示す情報である。ドラム系の楽器や特に音階のない効果音の場合には、ピ ツチ変換をする必要がな 、(逆にしては 、けな 、場合が多 、)ため、この情報を元に ピッチ変換に適応をする素材データ力否かを決定することが可能となる。また、再構 成時の楽器のバランスや種類を決定する場合などにおいても用いることができる。

[0042] 地域情報は、例えば、インドネシア、 沖縛、イングランド…など、素材データが、ある 地域と密接に関連している場合に、その地域を表す情報である。例えば、インドネシ ァのガムラン音楽の素材データや沖縛音階の素材データなどを区別するためのもの である。

[0043] このような、各種の楽音情報とその継続時間を示す時間情報とを組み合わせて付 加データの一部とすることによって、各素材データがどのような音声をど; |1 ^立の時間 発するものである力 すなわち、各素材データの素性や性質を正確に把握し、適切 に処理することができるよう〖こされる。

[0044] (2)素材データとしての音声コンテンツデータの人物情報について

この(2)の人物情報には、作曲者情報、演奏者情報、録音者情報、素材グループ 情報などがある。作曲者情報は、素材データを再生することにより得られる旋律の作 曲者を示すものである。この情報は、特定の作曲者の素材データだけを集めて、新 たな楽曲を構成する場合などにおいて利用可能なものである。この作曲者情報は、 主には作曲者の氏名、芸名、筆名などの作曲者を特定することが可能な情報である 。しかし、これに限るものではなぐ作曲者が属するグループ名、作曲者の出身地や 活動地域などを示す地域情報、作曲者の年齢や性別など、作曲者に関する種々の 情報を含ませるようにしてもょ ヽ。

[0045] 演奏者情報は、素材データを再生することにより得られる旋律を実際に演奏した演 奏者を示すものである。ある演奏者の素材データだけを集めて曲として構成したい場 合などに利用可能である。この演奏者情報もまた、主には演奏者の氏名、芸名など の演奏者を特定することが可能な情報である。しかし、これに限るものではなぐ演奏 者が属するグループ名、演奏者の出身地や活動地域などを示す地域情報、演奏者 の年齢や性別など、演奏者に関する種々の情報を含ませるようにしてもよい。

[0046] 録音者情報は、素材データを録音した録音エンジニアの情報である。ある録音ェン ジユアが録音した素材だけを集めて曲として構成したい場合などに利用可能である。 この録音者情報についても、主には録音者の氏名、芸名などの録音者を特定するこ とが可能な情報である。しかし、これに限るものではなぐ録音者が属するグループ名 、録音者の出身地や活動地域などを示す地域情報、録音者の年齢や性別など、演 奏者に関する種々の情報を含ませるようにしてもよ 、。

[0047] 素材グループ情報は、例えば、沖縛民謡素材、パーカッショングループ · · ·などのよ うなひとまとまりとなる素材データのグループを示す情報である。すなわち、素材デー タは、単独で提供される場合もあるが、複数の素材のアーカイブとして提供される場 合もある。素材データがどの素材データと一緒に提供されたかと ヽぅグループを識別 するための IDもしくは文字列が素材グループ情報である。この素材グループ情報を 用いることにより、ある特定の素材群を用いた楽曲の構成が可能となる。

[0048] (3)感性情報について

(3)の感性情報は、素材データを人の主観的な感性によって分類するために付カロ するものである。素材データを再生することにより得られる音声についての、例えば、 「明る 、」、「悲し 、」などと 、つた当該音声が聴取者に与えるであろう印象を示す情 報や、「サビに向いている」、「イントロに向いている」、「BGM (Background Music)に 向 、て 、る」などを示す情報である。

[0049] なお、感性情報は、例えば、「明る!/、: 7」、「悲 、: 8」などのように、システムで予め 決められた印象や感じ方の分類とそれに対する点数付けのようにして表現するように してもよいし、また、自由な文字列やキーワードによって表現し、システム側やユーザ 一がそれを解釈できるようにしておくようにしてもよ!、。この付加データがあることで、 感性情報が「明るく元気な」である素材データだけを利用して新たな楽曲を構成した り、感性情報力 ^悲しい」である素材データだけを利用して新たな楽曲を構成したりす ることがでさる。

[0050] また、上述のような感性情報は主観的なものであり、例えば素材データの提供者が 前もって設定してぉ ヽた感性情報 (値や文字列として設定された感性情報)が、素材 データを実際に利用するユーザーにとってあてはまらない可能性がある。このため、 感性情報については、素材データを利用するユーザー自身が書き換えできるように しておく。つまり、素材データベース記憶部 32の各素材データの感性情報を再生装 置の入力デバイス 25を通じて変更できるようにしておく。このようにしておくことによつ て、ユーザーの感性に合致した感性情報を各素材データに対して設定することが可 能となる。

[0051] (4)環境情報について

(4)の環境情報は、その素材データが関連づけられるとよいであろう環境に関する 情報であり、基本的には素材データの提供者がその判断にぉ 、て付加するものであ る。この環境情報についても、上述した感性情報と同様に、素材データを利用するュ 一ザ一が変更することができるようにされる。

[0052] 以下においては、環境情報の説明を容易にするために、環境情報をいくつかの力 テゴリに分類しして説明する。環境情報は、例えば、気候 ·時間に関する情報、動き に関する情報、位置に関する情報、人物に関する情報、その他の情報というように、 大きく 5つのカテゴリに分類することができる。

[0053] 気候'時間に関する情報は、素材データを再生することにより得られる音声力 Sもつ 属性で、気候や時間に関するものである。具体的には、気温、湿度、天気、風速、日 付、時刻、季節、積雪量、降雨量などに関するものである。例えば、ある素材データ による音声が「夏の晴れた日の夜」をイメージするものである場合、「季節:夏」、「天気 :晴れ」、「時刻:夜」という気候 '時間に関する情報が付加される。また、ある素材デー タによる音声が「蒸し暑い夜」と関連するものである場合、「気温:比較的に高い」、「 湿度:高い」、「時刻:夜」などと 、う気候 ·時間に関する情報が付加されることになる。

[0054] 動きに関する情報は、素材データを再生することにより得られる音声がもつ属性で、 動きに関するものである。具体的には、移動速度、加速度、振動、重力変化などに関 するものである。例えば、ある素材データによる音声が「疾走感がある激しいリズム」で ある場合などに、移動速度や振動のパラメータを適切な値に設定することで表現する ことが可能となる。

[0055] 位置に関する情報は、素材データを再生することにより得られる音声力もつ属性で 、位置に関するものである。具体的には、緯度、経度、地図情報、周囲の物体情報、 海抜などに関するものである。例えば、地図情報や周囲の物体情報を用いることによ つて、「海の近く」や「渋谷系」などの属性を素材データに対して付加することができる

[0056] 人物に関する情報は、素材データを再生することにより得られる音声力もつ属性で 、人物(の関係性)や団体に関するものである。具体的には、特定の関係にある人物

、団体などに関するものである。例えば、「恋人といるとき」、「家族といるとき」、「満員 電車の中で」というようなシチュエーションに関する情報を素材データに対して付加す ることがでさる。

[0057] その他の情報としては、上述した情報以外の種々の情報、例えば、月齢、匂い、騒 音レベル、大気汚染度、周辺の色などの様々な情報が環境情報として考えられる。 例えば、素材データを再生することにより音声力 Sインド風の旋律であれば、匂いとして 「カレー」の環境情報を付加しておくなどのことが考えられる。

[0058] なお、上述した種々の環境情報は、文字列により表現するようにしてもよいし、数値 化して表現するようにしてもょ ヽ。

[0059] (5)生体情報について

(5)の生体情報は、上述した環境情報と同じように、その素材データを再生すること により得られる音声に対して関連付けられるとよいであろう、生体情報に関する情報 を素材データの提供者が付加する。具体的には、発汗、心拍、脈波、呼吸、瞬目、眼 球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気 抵抗、マイクロバイブレーション (MV)、筋電位、血中酸素飽和度 (SP02)などの情報 である。

[0060] 例えば、ある素材データによる音声が「静かにしているとき」をイメージする場合には 、心拍、脈波、呼吸などが低く (少なく)設定され、逆に、ある素材データによる音声が 「心臓がどきどきしたとき」をイメージする場合には、心拍、脈波、呼吸などが高く(多く )設定される。この他、緊張感のある音声の場合に凝視時間を長くしたり、激しい運動 をイメージする音声の場合には、体動を激しい状態にあることを示す情報にしたりす るなどのことを行うことができるようにされる。

[0061] また、この生体情報についても、感性情報や環境情報と同様に、素材データを利用 するユーザーが自己の感覚 '主観に基づいて変更することができるようにされる。

[0062] このように、この実施の形態の再生装置においては、上述のような(1)素材データと しての音声コンテンツデータの楽音情報と時間情報、(2)素材データとしての音声コ ンテンッデータの人物情報、(3)感性情報、(4)環境情報、(5)生体情報が付加デ ータとして、素材データ記憶部 31に記憶されている各素材データと関連付けられて、 素材データベース記憶部 32に記憶されて 、る。

[0063] なお、各素材データには、上述した全ての付加データが必ず付加されなくてもよい 。各素材データに対しては、上述した種々の付加データのうち該当する付加データ が存在する場合にのみ付加するようにされる。例えば、人物情報などは、作曲者、演 奏者、録音者などが不明である場合には付加されない。また、感性情報、環境情報、 生体情報についても、該当する情報がない場合には付加されない。

[0064] そして、上述もしたように、各素材データに付随する付加データに基づ!/、て、新た な楽曲を構成する場合に必要な素材データを抽出することができるようにされる。

[0065] ifたな楽曲の生成 (再構成)方法につ!、て]

次に、この実施の形態の再生装置にお 、て行われる素材データを用いた新たな楽 曲の生成処理 (再構成処理)の種々の態様について、図 3〜図 7を参照しながら説明 する。新たな楽曲を生成 (再構成)する場合には、以下に説明するように、素材の結 合、テンポの変更、ピッチの変更、音量の変更、エフェクトの適用、パン設定の変更、 素材のスキップ (抽出)、素材の合成などの各処理を再構成法則にしたがって適用す ることによって新し 、楽曲を構成することができるようにされる。これらの各処理につ!ヽ て説明する。

[0066] 図 3は、素材データの結合処理について説明するための図である。図 3において、 上段が抽出された素材データ A、 B、 C、 Dの各波形であり、下段が素材データ A、 B 、 C、 Dを結合することにより生成した音声データの波形である。図 3の上段に示した ように、抽出した個々の素材データ A、 B、 C、 Dを時間軸方向に重なり合うことがない ように結合し、図 3の下段に示したように連続した音声データ (結合結果 X)を得るよう にする処理が素材データの結合処理である。

[0067] 図 4Aは、素材データのテンポの変更処理を説明するための図である。図 4Aにお いて、上段がテンポ変更前の素材データの波形であり、下段がテンポ変更後の当該 素材データの波形である。このテンポの変更はピッチは変更することなぐテンポのみ を変更するものであり、再生時間は短くなるが音程は変えないようにする処理である。

[0068] 図 4Bは、素材データのピッチの変更処理を説明するための図である。図 4Bにおい て、上段がピッチ変更前の素材データの波形であり、下段がピッチ変更後の当該素 材データの波形である。このピッチの変更はテンポは変更することなぐピッチのみを 変更するものであり、再生時間は同じである力 音程は変えられる処理である。

[0069] 図 4Cは、素材データの音量の変更処理を説明するための図である。図 4Cにおい て、上段が音量変更前の素材データの波形であり、下段が音量変更後の当該素材 データの波形である。この図 4Cに示した例は、素材データについて徐々に音量を下 げた後、音量を徐々に上げるようにした場合を示している。この他、音量を徐々に上 げるようにした後に、音量を徐々に下げるようにしたり、あるいは、音量を頻繁に上下 させたり、あるいは、音量を所定のレベルとなるようにしたりするなどの処理である。

[0070] 図 4Dは、素材データに対してエフェクトを適用する処理を説明するための図である 。図 4Dにおいて、上段がエフェクト適用前の素材データの波形であり、下段がェフエ タト適用後の当該素材データの波形である。この図 4Dに示した例は、素材データに 対してディストーションを掛けるようにした場合の例である。エフェクト処理は、ディスト ーシヨンに限るものではなぐリバーブ、コーラス、イコライザ、ローパスフィルタ(LPF) 処理、ハイパスフィルタ(HPF)処理などの種々のエフェクト処理を適用することが可 能である。また、エフェクト処理は、素材データの全体に適用することも可能であるし 、素材データの一部分に適用することもできる。

[0071] 図 5は、素材データに対するパン設定の変更処理を説明するための図である。図 5 に示した 2つの波形は、同じ素材データから生成した左 (L)チャンネルと右 (R)チヤ ンネルの波形である。このように、素材に対してパン設定を変更して、音源の左右バ ランスを変ィ匕させる。

[0072] この場合においても、素材データの全体あるいは部分的にパン設定を変更すること ができるようにされる。なお、図 5においては、左右 2チャンネルの場合を例にした力 4チャンネル、 5. 1チャンネルなどのいわゆるマルチチャンネルの場合には、音像の 前後、上下などの空間的位置を調整することができるようにされる。

[0073] 図 6は、素材データのスキップ (抽出)処理を説明するための図である。図 6におい て上段は、スキップ前の素材データの波形であり、下段はスキップ後の素材データの 波形である。すなわち、素材データのスキップは、素材データの一部分を読み飛ばし 、必要な部分のみを抽出して利用できるようにする処理である。

[0074] 図 7は、素材データの合成処理を説明するための図である。図 6において、上側 4 つの波形は、素材データ A、 B、 C、 Dの合成前のそれぞれの波形であり、図 6におい て最下段の波形が素材データ A、 B、 C、 Dを合成することによって形成した音声デー タについてのものである。このように、素材データの合成は、複数の素材データを時 間軸を同じにして重ね合わせて新たな音声データを生成する処理である。これによつ て、さまざまな楽器パートやボーカルパートを合成して合奏曲を生成するなどのことが できるようにされる。

[0075] そして、実際に素材データを用い新たな楽曲を生成する場合に、上述した各種の 処理を組み合わせ、また、 2つ以上の処理を同時に適用することにより、様々な楽曲 を生成することが可能となる。例えば、 5種類の楽器の音色 (音声)を録音することに より得られたそれぞれの素材データについて、テンポを「120」に揃えて、コードを「G コード」にし、ギター素材にディストーションをかけた後すベてを合成して、最後にエフ ェクト処理としてリバーブエフェクトをかける等と 、つた処理が可能となり、多数の素材 データを用いることによって、全く新し 、楽曲を生成することが可能となる。

[0076] [再構成法則データベースの内容]

次に、この実施の形態の再生装置が受付部 20を通じて取得する各種の外部情報 や素材データベース記憶部 32の付加データに基づ 、て参照され、新たな楽曲の生 成のために必要になる情報を提供する再構成法則データベース記憶部 33に記憶保 持される情報について説明する。

[0077] 再構成法則データベース記憶部 33には、後述もするように、新たに生成する楽曲 のベースとなる楽曲構成情報と、必要な素材データを抽出する場合の入力キー情報 となる外部情報と素材データに付随する付加データとの関係を示す関係情報および 外部情報などに基づいて選択可能とされる再構成処理内容を示す情報が記憶保持 されている。ここで外部情報は、上述もしたように、この実施の形態の受付部 20のセ ンサ 21, 23や入力デバイス 25を通じて受け付けた情報である。

[0078] そして、ベースとなる楽曲構成情報は、新たに生成する楽曲の骨子となる曲構成を 示すものであり、例えば、コード進行やテンポの情報力もなるものである。この楽曲構 成情報は多数用意されている。例えば、ジャズ調、ロック調、ポップス調、バラード調 など種々のジャンル毎に多数の楽曲構成情報が用意されている。この楽曲構成情報 は、例えば、再生装置の制御部 10がランダムに選択するようにすることもできるし、入 力デバイス 25を通じて入力されるユーザー力もの指示入力に応じて選択するように したり、あるいは、生体情報センサ 21や環境情報センサ 23からの入力情報に基づい て選択したりすることもできるようにされる。

[0079] また、上述した関係情報および再構成処理内容を示す情報のうち、関係情報は、 例えば、図 8に示すような情報として、再構成法則データベース記憶部 33に記憶保 持される。すなわち、図 8は、再構成法則データベースの付加データと外部情報との 関係を示す関係情報を説明するための図である。

[0080] 図 8において、素材番号は、素材データ記憶部 31に記憶保持されている多数の素 材データのそれぞれに付けられている識別子である。この識別子によって、素材デ ータ記憶部 31に記憶されている多数の素材データの内から目的とする素材データを 特定することができる。

[0081] 図 8において、気温属性、体動属性、時刻属性、感性属性は、この実施の形態に お!、て用いられる外部情報および素材データに付随する付加データである。また、 図 8において、「NZA (Not/Applicable)」は、該当データ無しを意味している。そして 、生体情報センサ 21、環境情報センサ 23、入力デバイス 25からの外部情報力 得ら れる属性情報のうち、体動属性が「10以上」、時刻属性が「夜」、感性属性が「静かな 」である場合には、素材番号が 1番の素材データが選択される。

[0082] もちろん、属性情報が一致する素材データは複数存在する場合もあるので、その中 力 他の外部情報などに基づいて用いる素材データを絞り込んだり、また、素材デー タベース記憶部 32の他の付加データから素材データを選択したりすることも行われる 。例えば、ベースとなる楽曲構成情報がロック調のものである場合には、例えば、日 本民謡などのジャンルの異なる素材データは素材データベース記憶部 32の該当デ ータに基づ 、て選択しな 、ようにすることができるようにされる。

[0083] また、再構成処理内容を示す情報は、以下に説明するように、各素材データ毎に、 その素材データをどのように処理するのかを指示する情報であり、結合、テンポ変更 、ピッチ変更、音量変更、エフェクト適用、パン設定の変更、素材のスキップ、素材の 結合などの具体的な処理内容を示す情報である。

[0084] このような種々の情報が、再構成法則データベース記憶部 33に予め記憶保持され ており、この実施の形態の再生装置が取得した上述の外部情報などに基づ 、て参照 し、楽曲構成情報を取得したり、新たな楽曲を生成するために必要な素材データを 特定したり、特定した素材データの処理方法を特定したりすることができるようにして いる。

[0085] たな楽曲の生成処理]

次に、上述したように構成されるこの実施の形態の再生装置において、新たな楽曲 を構成する場合の動作について図 9のフローチャートを参照しながら説明する。上述 もしたように、この実施の形態の再生装置は、携帯型の音声再生装置であり、例えば 屋外で使用されているものとする。この場合、天気は晴天であり、この再生装置のュ 一ザ一は、元気よく歩いているものとする。また、この実施の形態の再生装置は、環 境情報センサ 23として、気温センサ、加速度センサを内蔵しているものとする。

[0086] ユーザーがこの実施の形態の再生装置の電源を入れると、再生装置の制御部 10 は、図 9のフローチャートに示す処理を実行する。そして、制御部 10は、まず初めに 新たに生成する楽曲の骨子となるベースの曲構成を示す情報である楽曲構成情報 を再構成法則データベース記憶部 33より取得し (ステップ S101)、生成する楽曲の テンポを決定する (ステップ S 102)。

[0087] ステップ S101で取得される楽曲構成情報は、上述もしたように、例えば曲のコード 進行やテンポを示す情報力もなるものである。この楽曲構成情報は 1つに限らず多数 記録されている方力 Sバリエーションが増えることになる。この楽曲構成情報の選択は 種々の態様が考えられる。例えば、再生装置の制御部 10がランダムに選択するよう にしてもよいし、センサ 21、 23からの情報や入力デバイス 25からのユーザー力も入 力情報に基づいて選択するようにしてもよい。もちろん、自動選択とユーザーの指示 選択とをユーザーが切り換えることもできるようにされる。

[0088] 楽曲構成情報からテンポが決まると、制御部 10は BPM (Beat Per Minutes)クロック をスタートさせる (ステップ S 103)。これは小節の頭をカウントするために使用されるも のであり、図 2においては図示しなかったが、制御部 10に設けられる時計回路によつ て BPMクロックがカウントされる。素材データを次力も次へと自然につないでいくため には、音楽的に小節の頭で区切ってつないでいくことが大切である。

[0089] 次に、制御部 10は、センサ 21、 23からの入力を取得する。この実施の形態におい ては、まず、気温センサ力もの入力を取得し (ステップ S104)、続いて加速度センサ 力もの入力を取得する(ステップ S105)。この例では気温センサと加速度センサの入 力値である力 ステップ S105における加速度センサ入力値は近傍数秒間の積分値 または平均値などの処理が施されているものである。ここでは、外部情報として、温度 センサ力もの情報と加速度センサからの情報を用いるものとした力 入力デバイス 25 やその他のスィッチなどを使用したユーザーの明示的な入力を取得し、これを考慮 するようにしてちょい。

[0090] ステップ S 104、ステップ S 105においてセンサから取得した入力値をキーとして、再 構成法則データベース記憶部 33を参照し、現在の気温、運動量に適した素材デー タを検索して取得する (ステップ S 106)。すなわち、図 8を用いて説明したように、再 構成法則データベース記憶部 33には、素材データ記憶部 31に記録されて 、る素材 の付加情報と入力キー (外部情報)との関係が記述されている。そこで、入力キーとな る外部情報に基づいて、情報を検索することにより、図 8に示した素材番号を特定し、 この特定した素材番号に基づいて、素材データ記憶部 31から目的とする素材データ を読み出すことになる。

[0091] なお、再構成法則データベース記憶部 33に記憶保持される関係情報の具体的な 記述方式に関しては、図 8に示したように、単純にあるセンサの値に対応する素材の マッチング法則を記述するものであってもよいし、あるいは、素材データをグルーピン グしてあるグループの素材群力 別の素材グループへの状態遷移条件を記述するよ うにした情報であってもよ!/、。

[0092] 同様に、再構成法則データベース記憶部 33には、詳述した結合や合成などの再 構成処理方法と入力キー (外部情報)との関係も記述されており、素材データに対し てどのような信号処理をかけるべきかが記述されている。そして、制御部 10は、再構 成法則データベース記憶部 33から行うべき処理内容を示す情報を取得し (ステップ S 107)、この取得した情報に基づいて、ステップ S106において取得した素材データ に対して再構成信号処理 (構成処理)を行う(ステップ S 108)。

[0093] このステップ S108の処理においては、必ずしも再構成法則データベース記憶部 3 3の情報にのみ従う必要はなぐ実装するアルゴリズムによっては単調さを避けるため に乱数の要素や確率要素などを使用して再構成にノ リエーシヨンを持たせるようにし てもよい。またこのようにアルゴリズムによって処理内容に変化を持たせることは、効 果的に新たな楽曲の生成を行うことが可能となる。つまり、新たな楽曲のバリエーショ ンを持たせることができる。

[0094] そして、信号処理を終えた再構成済みの音声データは DZA変換部 52、音声出力 装置部 (スピーカ部) 51を通じて処理され、再構成済みの音声データに応じた音声 が音声出力装置部 51から放音される (ステップ S109)。なお、再構成済みの音声デ ータは、実際には十分大きな音声バッファにいったん出力され、途切れることがない ように再生処理されることになる。これは、小節の頭で一連の上記処理を行うと音声 が小節の区切りで途切れてしまう可能性があるからであり、ある小節が再生されてい る間に裏で次の小節の音声が準備するようにされる。

[0095] そして、制御部 10は、次の処理対象が小節の先頭になった力否かを判断し (ステツ プ S110)、小節の先頭になったと判断したときには、ステップ S 104からの処理を繰り 返す。また、ステップ S 110の判断処理において、小節の先頭ではないと判断したと きには、ユーザーからの停止要求を受け付けた力否かを判断し (ステップ S 111)、停 止要求は受け付けていないと判断したときには、制御部 10はステップ S 110からの処 理を繰り返すようにする。

[0096] また、ステップ S 110の判断処理において、停止要求を受け付けたと判断したときに は、この図 9に示す処理を終了し、新たな楽曲の生成を終了する。

[0097] このように、この実施の形態の再生装置は、多数の素材データを利用して、いつで も新しい楽曲を生成して、これを再生し、ユーザーに対して提供することができるよう にされる。これにより、ユーザーは、生体情報や環境情報、さらには、自己の入力情 報に応じた新たな楽曲を再構成してこれを聴取することができるようにされる。

[0098] また、ユーザーにとっては毎回異なる楽曲を聴く楽しみができ、またユーザーの要 求や状態にあわせて再構成方法を変えることでより状況に合った楽曲生成が可能と なる。一方、クリエータにとつては、 1曲を完成させるという従来の演奏、録音方法だけ でなぐ素材としてさまざまなフレーズを作曲して、これを録音して売るという新しいビ ジネスモデルができ、クリエータのチャンスも広がる。

[0099] また、音楽レーベル各社にとっても、低迷して!/、ると!/、われる既存の録音媒体だけ でなぐ素材が記録された媒体を売るというビジネスを新たに開拓できる。また、再生 装置を商品化するメーカーにとってみても、新たな音楽再生装置として高付加価値 の新カテゴリの商品として新たな巿場開拓ができる。つまり、この発明を用いることに より、新しい音楽を楽しむ文化が産まれ、ひいては音楽産業全体を活性ィ匕することが できる。

[0100] なお、再構成法則データベースおよび再構成アルゴリズムは本装置の実装者が自 由に決めてよく、これらの部分だけをユーザーに提供することによって、素材および その属性をいっさい変更することなく出力される楽曲が変化することになる。また逆に 、再構成法則とアルゴリズムを変更せずに素材だけを入れ換えることによつても、出 力される楽曲が変化する。したがって、数多くの素材と数多くの法則ベースとアルゴリ ズムによって実質無限の組合わせの楽曲生成が可能となる。

[0101] また、環境情報や生体情報の取得にセンサを使わずに、操作パネル力 ユーザー が明示的にメニューから選んだりキーボードから入力したりするなどしてもよい。

[0102] たなコンテンツの再構成方法の他の例にっ ヽて]

図 9を用いて説明した再構成方法の場合には、用いる素材データを、センサ 21、 2 3からの外部情報に基づいて、再構成法則データベース記憶部 33にアクセスし、こ の再構成法則データベース記憶部 33に記憶保持されて 、る付加データを用いて新 たな音声コンテンツの再構成に用いる素材データを抽出するようにした。しかし、これ に限るものではない。

[0103] 例えば、 1人以上の作曲者を指定して、新たな音声コンテンツを生成しょうとする場 合には、素材データベース記憶部 32の情報を参照して、指定された 1人以上の作曲 者の素材データを抽出し、これを用 、て新たな音声コンテンッを生成するようにして もよい。また、センサ 21、 23からの外部情報や入力デバイス 25を通じて受け付けた ユーザーからの指示入力に基づいて、素材データベース記憶部 32にアクセスし、必 要になる素材データを抽出し、これを用いて新たな音声コンテンツを生成することも できる。

[0104] このように、再構成法則データベース記憶部 33と素材データベース記憶部 32との うちのいずれか一方を用いることによって、新たな音声コンテンツを生成することが可 能である。この場合、どのような楽曲を新たに生成するのかを決めるための重要な情 報である楽曲構成情報については、再構成法則データベース記憶部 32に記憶され ているものを用いるようにしてもよいし、入力デバイス 25を通じて、ユーザーからの指 示入力に応じた楽曲構成情報を用いるようにしてもょ 、。

[0105] また、上述の実施の形態において、再構成法則データベース記憶部 33には、楽曲 構成情報、素材番号と利用対象の付加データと再構成処理内容を示す情報とが関 連付けられた情報が記憶されているものとして説明したが、楽曲構成情報と、その他 の情報とを別の記録媒体に設けるようにしてももちろんよ 、。

[0106] このように、この実施の形態の再生装置は、音楽の素材を PCMまたは圧縮オーデ ィォで記録した記録媒体から素材データおよびその素材の付加データをもとに楽曲 を再生時に再構成して再生することができるようにされる。これにより、同じ素材を使 用したとしても再生のたびに異なる楽曲を生成することができる。

[0107] また、 MIDIデータによる自動作曲と異なり、人間が実際に演奏したフレーズを 1単 位として素材ィ匕しているため、実際の人の演奏を感じることができる。さらに、各フレ ーズは自動的に作曲されるわけではなぐ演奏家、作曲家の感性で「よい」と思うフレ ーズを録音して 、るため、自動作曲ソフトのように「音楽としてお力しくはな 、がよ 、フ レーズでもない」という限界を超えることができる。いわば、作曲家、演奏家の個性を 残すことができるわけである。

[0108] これらの録音素材を再構成可能な情報とともに記録、再生することで柔軟かつ高音 質な楽曲を自動的に再構成することが可能となる。

[0109] [その他]

なお、素材データとしての音声コンテンツデータは、リニア PCMデータ、あるいは、 種々の方式でデータ圧縮された圧縮オーディオデータの!/、ずれであってもよ!/、。ま た、素材データは、リニア PCMデータや圧縮オーディオデータなどの音声データ実 体と再構成に必要な付加データにより構成されることになる。

[0110] また、上述もしたように、素材データと、再構成データベースとはそれぞれ独立に、 追加、変更、削除、一部交換、全部交換などを行うことができるようにされる。

[0111] また、上述した実施の形態においては、記録媒体としてハードディスクを用いている ものとして説明した力 これに限るものではない。光ディスク、光磁気ディスク、磁気デ イスクなどの各種のディスク記録媒体、半導体メモリーなどの種々の記録媒体を用い るようにしてももちろんよい。この場合、素材データと再構成法則データベースが異な る記録媒体に記録するようにされてももちろんよ 、。

[0112] また、上述した実施の形態の再生装置は、携帯型のものとして説明したが、これに 限るものではない。家庭などに据え置かれて利用される設置型の再生装置に適用す ることももちろん可會である。

[0113] また、図 9を用いて説明した処理をプログラム化することによって、このプログラムを 実行可能なパーソナルコンピュータをこの発明による再生装置とすることができ、また 、パーソナルコンピュータにおいて、この発明による方法を実現することもできる。

[0114] また、上述の実施の形態の再生装置においては、新たな音声コンテンツの生成と 再生とをリアルタイムで行うものとして説明した力 これに限るものではない。例えば、 新たな音声コンテンツを予め生成し、これを記憶媒体に記録しておき、この記録媒体 に記録された新たに生成された音声コンテンツを再生するようにすることももちろんで きる。

[0115] また、上述した実施の形態においては、制御部 10において、再構成アルゴリズム、 再構成法則データベースを用い、必要な素材データを用いた再構成処理を行うもの として説明した力 これに限るものではない。新たな音声コンテンツの再構成処理用 に、音声コンテンツデータの処理用の DSP (Digital Signal Processor)を用いるように してちよい。

[0116] また、上述もしたように、利用可能な生体情報としては、発汗、心拍、脈波、呼吸、 瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、 皮膚電気抵抗、マイクロノイブレーシヨン、筋電位、血中酸素飽和度など種々のもの があり、そのそれぞれを検出可能なセンサを設けることはコストがかかる。このため、 例えば、体温センサと脈波センサのみを用いるようにするなど、いくつかの生体情報 に絞って検出して、生体情報を利用するようにしてももちろんよい。

[0117] 同様に、利用可能な環境情報としては、気温、湿度、天気、風速、日付、時刻、季 節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地 図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、 人物情報など種々のものがあり、その全部を利用可能にすることはコストがかかり好ま しくない場合もある。そこで、上述した実施の形態の再生装置のように、例えば、気温 センサと加速度センサのみを設け、これによつて利用可能な環境情報を得るようにし てももちろんよい。

[0118] また、上述のようにして自動的に生成 (再構成)された音声コンテンツについて、ュ 一ザ一が入力デバイス 25を通じて情報を入力することにより、再構成法則データべ ースの情報を修正、変更したり、あるいは、作成済みの音声コンテンツデータに対し て、手動でアレンジを施したりすることができるようにしておくことによって、ユーザー の好みに合った新たな音声コンテンツをより柔軟に生成することができるようになる。

Claims

請求の範囲
[1] 素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と 多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引 Z構成情報として の機能を有する付加データを記憶保持する付加データ記憶手段と
を備えるとともに、
外部情報の入力を受け付ける受付手段と、
多数の前記音声コンテンツデータ力 必要なものを抽出して新たな音声コンテンツ を構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と
の一方あるいは両方を備え、
前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則 情報との一方あるいは両方に基づ!、て、前記付加データ記憶手段の前記付加デー タを介して前記素材記憶手段力 必要な音声コンテンツデータを抽出するとともに構 成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴 とするコンテンッ生成装置。
[2] 請求項 1に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、テンポ、スケール、コード、拍子、小節数、音量、音符 •休符列、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者 情報、録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少な くとも 1つ以上を含む前記付加データを記憶保持することを特徴とするコンテンツ生 成装置。
[3] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、人間の気分、情動、感情を表現する数値または Zお よび文字列により記述された情報を前記感性情報として前記付加データに含めて記 憶保持することを特徴とするコンテンツ生成装置。
[4] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、前記付加データに含まれる前記生体情報として、発 汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、 体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸 素飽和度のうち少なくとも 1つ以上を記憶保持することを特徴とするコンテンツ生成装 置。
[5] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、前記付加データに含まれる前記環境情報として、気 温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音 レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速 度、加速度、月齢、重力変化、振動、人物情報、のうち少なくとも 1つ以上を記憶保持 することを特徴とするコンテンツ生成装置。
[6] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、 前記環境情報のうちの 1つ以上についての変更指示入力を受け付ける変更指示入 力受付手段を備え、
前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの 1っ以 上について任意に変更ができることを特徴とするコンテンツ生成装置。
[7] 請求項 1に記載のコンテンツ生成装置であって、
前記受付手段として、生体情報の検出受付手段と、環境情報の検出受付手段と、 ユーザーからの指示入力を受け付ける指示入力受付手段と、感性情報の入力を受 け付ける感性情報受付手段とのうちの 1つ以上を備えることを特徴とするコンテンツ 生成装置。
[8] 請求項 7に記載のコンテンツ生成装置であって、
前記生体情報の検出受付手段は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝 視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイ クロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を検出して 受け付けることを特徴とするコンテンツ生成装置。
[9] 請求項 7に記載のコンテンツ生成装置であって、
前記感性情報受付手段により受け付けられる前記感性情報は、人間の気分、情動 、感情を表現する数値または Zおよび文字列により記述されて用いるようにされること を特徴とするコンテンツ生成装置。
[10] 請求項 7に記載のコンテンツ生成装置であって、
前記環境情報の検出受付手段は、気温、湿度、天気、風速、 日付、時刻、季節、明 度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報 、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにい る人物情報、の少なくとも 1つ以上を検出して受け付けることを特徴とするコンテンツ 生成装置。
[11] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段は、素材としての音声コンテンツデータに対して、並べ替え、合 成、ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも 1つ以上を行うこと を特徴とするコンテンツ生成装置。
[12] 請求項 1に記載のコンテンツ生成装置であって、
前記法則記憶手段にお!、ては、音楽構成情報と上記素材の付加データと上記受 付手段からの前記外部情報のうちの少なくとも 1つ以上を用いて、構成処理の内容を 決定する法則情報を記憶保持することを特徴とするコンテンツ生成装置。
[13] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段にぉ ヽて行われる音声コンテンツの構成処理に対応して、前記 構成処理手段により生成された音声コンテンッをリアルタイムに再生する再生処理手 段を備えたことを特徴とするコンテンツ生成装置。
[14] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段により生成された音声コンテンツを記憶保持する生成コンテンツ 記憶手段と、
前記生成コンテンツ保持手段に保持された音声コンテンツを再生する再生処理手 段と
を備えることを特徴とするコンテンツ生成装置。
[15] 素材として用いられる多数の音声コンテンツデータと、多数の前記音声コンテンツ データのそれぞれ毎に付随し索引 Z構成情報としての機能を有する付加データとを 記憶保持し、 外部力 受け付ける外部情報と、多数の前記音声コンテンツデータ力 必要なもの を抽出して新たな音声コンテンツを構成する構成処理時に用いる法則情報との一方 あるいは両方に基づ 、て、記憶保持されて 、る前記付加データを介して多数の前記 音声コンテンツデータ力 必要な音声コンテンツデータを抽出するとともに構成処理 を行って、新たな音声コンテンツを生成するコンテンツ生成方法。
[16] 請求項 15に記載のコンテンツ生成方法であって、
前記付加データは、テンポ、スケール、コード、拍子、小節数、音量、音符'休符列 、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者情報、 録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少なくとも 1 つ以上を含むことを特徴とするコンテンツ生成方法。
[17] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含められる前記感性情報は、人間の気分、情動、感情を表現す る数値または Zおよび文字列により記述されることを特徴とするコンテンツ生成方法。
[18] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含まれる前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球 運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵 抗、マイクロノイブレーシヨン、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を 含むことを特徴とするコンテンツ生成方法。
[19] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含まれる前記環境情報は、気温、湿度、天気、風速、日付、時刻 、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度 、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振 動、人物情報、のうち少なくとも 1つ以上を含むことを特徴とするコンテンツ生成方法
[20] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、 前記環境情報のうちの 1つ以上についての変更指示入力を受け付けて、
前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの 1っ以 上について任意に変更ができることを特徴とするコンテンツ生成方法。
[21] 請求項 16に記載のコンテンツ生成方法であって、
前記外部情報として、生体情報と、環境情報と、感性情報と、ユーザーからの指示 入力情報との 1つ以上を含むことを特徴とするコンテンツ生成方法。
[22] 請求項 21に記載のコンテンツ生成方法であって、
前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の 大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーショ ン、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を含むことを特徴とするコンテ ンッ生成方法。
[23] 請求項 21に記載のコンテンツ生成方法であって、
前記感性情報は、人間の気分、情動、感情を表現する数値または Zおよび文字列 により記述されることを特徴とするコンテンツ生成方法。
[24] 請求項 21に記載のコンテンツ生成方法であって、
前記環境情報は、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、 積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周 囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにいる人物情報、の 少なくとも 1
つ以上を含むことを特徴とするコンテンツ生成方法。
[25] 請求項 15に記載のコンテンツ生成方法であって、
前記構成処理は、素材としての音声コンテンツデータに対して、並べ替え、合成、 ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも 1つ以上を行うことを 特徴とするコンテンッ生成方法。
[26] 請求項 15に記載のコンテンツ生成方法であって、
前記法則情報は、音楽構成情報と上記素材の付加データと前記外部情報のうちの 少なくとも 1つ以上を用いて、構成処理の内容を指示するものであることを特徴とする コンテンツ生成方法。
[27] 請求項 15に記載のコンテンツ生成方法であって、
構成処理されて新たに生成された前記音声コンテンツをリアルタイムに再生するこ とを特徴とするコンテンツ生成方法。
請求項 15に記載のコンテンツ生成方法であって、
構成処理されて新たに生成された前記音声コンテンツをメモリーに記憶保持し、 前記メモリーに記憶保持された音声コンテンツを再生できるようにしたことを特徴と するコンテンツ生成方法。
PCT/JP2005/015418 2004-09-16 2005-08-25 コンテンツ生成装置およびコンテンツ生成方法 WO2006030612A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004-269086 2004-09-16
JP2004269086A JP2006084749A5 (ja) 2004-09-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11661040 US7960638B2 (en) 2004-09-16 2005-08-25 Apparatus and method of creating content
EP20050780942 EP1791111A4 (en) 2004-09-16 2005-08-25 Content creating device and content creating method

Publications (1)

Publication Number Publication Date
WO2006030612A1 true true WO2006030612A1 (ja) 2006-03-23

Family

ID=36059868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/015418 WO2006030612A1 (ja) 2004-09-16 2005-08-25 コンテンツ生成装置およびコンテンツ生成方法

Country Status (5)

Country Link
US (1) US7960638B2 (ja)
EP (1) EP1791111A4 (ja)
KR (1) KR20070059102A (ja)
CN (1) CN101014994A (ja)
WO (1) WO2006030612A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
US7750228B2 (en) 2007-01-09 2010-07-06 Yamaha Corporation Tone processing apparatus and method
US9700333B2 (en) 2014-06-30 2017-07-11 Ethicon Llc Surgical instrument with variable tissue compression

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818386B2 (en) 1999-10-19 2017-11-14 Medialab Solutions Corp. Interactive digital music recorder and player
EP1791111A4 (en) * 2004-09-16 2011-12-28 Sony Corp Content creating device and content creating method
JP4640463B2 (ja) * 2008-07-11 2011-03-02 ソニー株式会社 再生装置、表示方法および表示プログラム
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
WO2010041147A3 (en) * 2008-10-09 2011-04-21 Futureacoustic A music or sound generation system
KR20100089526A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 생체 신호를 이용한 음악 생성 장치 및 그 방법
US20110184539A1 (en) * 2010-01-22 2011-07-28 Sony Ericsson Mobile Communications Ab Selecting audio data to be played back in an audio reproduction device
US8878043B2 (en) 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
GB2506921B (en) 2012-10-14 2015-06-10 Gibbs Tech Ltd Enhanced steering
US8847054B2 (en) * 2013-01-31 2014-09-30 Dhroova Aiylam Generating a synthesized melody
US8927846B2 (en) * 2013-03-15 2015-01-06 Exomens System and method for analysis and creation of music
JP6295583B2 (ja) * 2013-10-08 2018-03-20 ヤマハ株式会社 音楽データ生成装置および音楽データ生成方法を実現するためのプログラム
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
FR3043242A1 (fr) * 2015-11-03 2017-05-05 Univ Grenoble I Joseph Fourier Dispositif de generation de sons musicaux dans une gamme non-harmonique : le dynalophone
US20170131965A1 (en) * 2015-11-09 2017-05-11 Jarno Eerola Method, a system and a computer program for adapting media content
JP2018068601A (ja) * 2016-10-28 2018-05-10 ロレアル ヒトケラチン物質の状態について使用者に知らせるための方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313993A (en) * 1989-06-13 1991-01-22 Ii P R Japan:Kk Car music synthesizer
JPH05204387A (ja) * 1992-01-29 1993-08-13 Kawai Musical Instr Mfg Co Ltd 環境適応型音響発生装置
JPH08227297A (ja) * 1994-12-21 1996-09-03 Fujitsu Ltd サウンド・データのマッピング方法及び表示装置
JPH08248953A (ja) * 1995-03-07 1996-09-27 Brother Ind Ltd 音楽再生方法及び装置と、これらのための音楽データベースシステム及び音楽データベース
JP2002117069A (ja) * 2000-07-04 2002-04-19 Sony France Sa シーケンス生成方法
JP2002247697A (ja) * 2001-02-19 2002-08-30 Ad Step:Kk 環境オーディオ放送システムとその放送制御装置
JP2004086189A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 楽曲検索システム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399731A (en) * 1981-08-11 1983-08-23 Nippon Gakki Seizo Kabushiki Kaisha Apparatus for automatically composing music piece
US4926737A (en) * 1987-04-08 1990-05-22 Casio Computer Co., Ltd. Automatic composer using input motif information
EP0301790A3 (en) * 1987-07-24 1990-06-06 BioControl Systems, Inc. Biopotential digital controller for music and video applications
US4982643A (en) * 1987-12-24 1991-01-08 Casio Computer Co., Ltd. Automatic composer
US5451709A (en) * 1991-12-30 1995-09-19 Casio Computer Co., Ltd. Automatic composer for composing a melody in real time
JP3303617B2 (ja) * 1995-08-07 2002-07-22 ヤマハ株式会社 自動作曲装置
US5693902A (en) * 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
US5627335A (en) * 1995-10-16 1997-05-06 Harmonix Music Systems, Inc. Real-time music creation system
US5990407A (en) * 1996-07-11 1999-11-23 Pg Music, Inc. Automatic improvisation system and method
JP3578464B2 (ja) * 1996-09-13 2004-10-20 株式会社日立製作所 自動作曲方法
US6121532A (en) * 1998-01-28 2000-09-19 Kay; Stephen R. Method and apparatus for creating a melodic repeated effect
JP3484986B2 (ja) * 1998-09-09 2004-01-06 ヤマハ株式会社 自動作曲装置、自動作曲方法および記憶媒体
JP3541706B2 (ja) * 1998-09-09 2004-07-14 ヤマハ株式会社 自動作曲装置および記憶媒体
JP3557917B2 (ja) * 1998-09-24 2004-08-25 ヤマハ株式会社 自動作曲装置および記憶媒体
JP3533974B2 (ja) * 1998-11-25 2004-06-07 ヤマハ株式会社 曲データ作成装置および曲データ作成プログラムを記録したコンピュータで読み取り可能な記録媒体
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP3533975B2 (ja) * 1999-01-29 2004-06-07 ヤマハ株式会社 自動作曲装置および記憶媒体
US7176372B2 (en) * 1999-10-19 2007-02-13 Medialab Solutions Llc Interactive digital music recorder and player
US7078609B2 (en) * 1999-10-19 2006-07-18 Medialab Solutions Llc Interactive digital music recorder and player
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
US20010035087A1 (en) * 2000-04-18 2001-11-01 Morton Subotnick Interactive music playback system utilizing gestures
JP3620409B2 (ja) * 2000-05-25 2005-02-16 ヤマハ株式会社 携帯通信端末装置
FI20001592A (fi) * 2000-07-03 2002-04-11 Elmorex Ltd Oy Nuottipohjaisen koodin generointi
JP3666577B2 (ja) * 2000-07-18 2005-06-29 ヤマハ株式会社 コード進行修正装置、コード進行修正方法及び同装置に適用されるプログラムを記録したコンピュータ読取り可能な記録媒体
JP2002032078A (ja) * 2000-07-18 2002-01-31 Yamaha Corp 自動作曲装置、方法及び記録媒体
US6384310B2 (en) * 2000-07-18 2002-05-07 Yamaha Corporation Automatic musical composition apparatus and method
US7373209B2 (en) * 2001-03-22 2008-05-13 Matsushita Electric Industrial Co., Ltd. Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same
EP1193616A1 (en) * 2000-09-29 2002-04-03 Sony France S.A. Fixed-length sequence generation of items out of a database using descriptors
US6392133B1 (en) * 2000-10-17 2002-05-21 Dbtech Sarl Automatic soundtrack generator
KR100401012B1 (ko) * 2000-12-15 2003-10-30 김연경 감정상태에 기초한 선곡기능을 가진 음악제공시스템 및 방법
EP1241588A3 (en) * 2001-01-23 2006-01-04 Matsushita Electric Industrial Co., Ltd. Audio information provision system
US6822153B2 (en) * 2001-05-15 2004-11-23 Nintendo Co., Ltd. Method and apparatus for interactive real time music composition
US7169996B2 (en) * 2002-11-12 2007-01-30 Medialab Solutions Llc Systems and methods for generating music using data/music data file transmitted/received via a network
US6984781B2 (en) * 2002-03-13 2006-01-10 Mazzoni Stephen M Music formulation
US7053291B1 (en) * 2002-05-06 2006-05-30 Joseph Louis Villa Computerized system and method for building musical licks and melodies
EP1489765A3 (en) * 2003-06-17 2005-12-14 Matsuhita Electric Industrial Co., Ltd. Music selection apparatus and music delivery system
EP1791111A4 (en) * 2004-09-16 2011-12-28 Sony Corp Content creating device and content creating method
US7683252B2 (en) * 2005-11-23 2010-03-23 Microsoft Corporation Algorithm for providing music to influence a user's exercise performance
US7728214B2 (en) * 2005-11-23 2010-06-01 Microsoft Corporation Using music to influence a person's exercise performance
US20070137463A1 (en) * 2005-12-19 2007-06-21 Lumsden David J Digital Music Composition Device, Composition Software and Method of Use
FR2903804B1 (fr) * 2006-07-13 2009-03-20 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.
WO2008018056A3 (en) * 2006-08-07 2008-04-10 Silpor Music Ltd Automatic analasis and performance of music
US20090071315A1 (en) * 2007-05-04 2009-03-19 Fortuna Joseph A Music analysis and generation method
EP2175403A1 (en) * 2008-10-06 2010-04-14 Sap Ag Method, system and computer program product for composing and executing service processes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313993A (en) * 1989-06-13 1991-01-22 Ii P R Japan:Kk Car music synthesizer
JPH05204387A (ja) * 1992-01-29 1993-08-13 Kawai Musical Instr Mfg Co Ltd 環境適応型音響発生装置
JPH08227297A (ja) * 1994-12-21 1996-09-03 Fujitsu Ltd サウンド・データのマッピング方法及び表示装置
JPH08248953A (ja) * 1995-03-07 1996-09-27 Brother Ind Ltd 音楽再生方法及び装置と、これらのための音楽データベースシステム及び音楽データベース
JP2002117069A (ja) * 2000-07-04 2002-04-19 Sony France Sa シーケンス生成方法
JP2002247697A (ja) * 2001-02-19 2002-08-30 Ad Step:Kk 環境オーディオ放送システムとその放送制御装置
JP2004086189A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 楽曲検索システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1791111A1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750228B2 (en) 2007-01-09 2010-07-06 Yamaha Corporation Tone processing apparatus and method
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
US9700333B2 (en) 2014-06-30 2017-07-11 Ethicon Llc Surgical instrument with variable tissue compression

Also Published As

Publication number Publication date Type
EP1791111A4 (en) 2011-12-28 application
US7960638B2 (en) 2011-06-14 grant
CN101014994A (zh) 2007-08-08 application
EP1791111A1 (en) 2007-05-30 application
US20080288095A1 (en) 2008-11-20 application
JP2006084749A (ja) 2006-03-30 application
KR20070059102A (ko) 2007-06-11 application

Similar Documents

Publication Publication Date Title
Sundberg et al. Musical performance: A synthesis-by-rule approach
Burns A typology of ‘hooks’ in popular records
Juslin Emotional communication in music performance: A functionalist perspective and some data
Turino Music as social life: The politics of participation
Levitin This is your brain on music: The science of a human obsession
Kim et al. Moodswings: A collaborative game for music mood label collection.
US6541692B2 (en) Dynamically adjustable network enabled method for playing along with music
US6353170B1 (en) Method and system for composing electronic music and generating graphical information
US6287124B1 (en) Musical performance practicing device and method
Butler Unlocking the groove: Rhythm, meter, and musical design in electronic dance music
US20090258700A1 (en) Music video game with configurable instruments and recording functions
US5801694A (en) Method and apparatus for interactively creating new arrangements for musical compositions
Evens Sound ideas: Music, machines, and experience
Resnicow et al. Is recognition of emotion in music performance an aspect of emotional intelligence?
US7145070B2 (en) Digital musical instrument system
US20090038467A1 (en) Interactive music training and entertainment system
Finnäs How can musical preferences be modified? A research review
Miranda Composing music with computers
Bhatara et al. Perception of emotional expression in musical performance.
US20020144588A1 (en) Multimedia data file
McAdams et al. Influences of large-scale form on continuous ratings in response to a contemporary piece in a live concert setting
Pinch et al. " Should one applaud?": Breaches and boundaries in the reception of new technology in music
US20020144587A1 (en) Virtual music system
Kirke et al. A survey of computer systems for expressive music performance
Kuhn Instrumentation for the measurement of music attitudes

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1093/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2005780942

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200580030448.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020077005981

Country of ref document: KR

NENP Non-entry into the national phase in:

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005780942

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11661040

Country of ref document: US