JP5012097B2 - 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム - Google Patents

Description

この発明は、放送中の番組に連動して動作する電子音楽装置、放送する番組を制作する放送コンテンツ制作装置、これらの装置からなる電子音楽装置連動システム、及びそれらに用いるプログラムに関する。特に、電子透かし技術により番組自体に電子透かし情報として楽曲演奏データを埋め込んでおき、該電子透かし情報に基づき放送中の番組にあわせて電子音楽装置を連動動作する技術に関する。

従来から、音源を駆動して楽音を鳴らさせるなどの電子音楽装置側の動作を、テレビやラジオなどの受信側装置から流れてくる番組（放送コンテンツとも呼ぶ）、つまり放送局から不特定多数のユーザに対して随時に配信されている所定の放送信号に基づき再生される、映像や音声さらには音楽等を含む番組の放送にあわせて、自動的に連動して動作させることができるようにしたものが知られている。従来においては、放送局から配信される放送信号に楽曲演奏用のディジタルデータ（例えばMIDIデータなど、楽曲演奏データとも呼ぶ）を含ませておき、受信側装置（例えばテレビなど）でこの放送信号を受信して映像／楽音の再生を行うだけに限らず、該受信した放送信号から楽曲演奏データを取り出して、これに基づき電子音楽装置を放送中の番組にあわせて連動動作させるようにしている。こうした放送信号に楽曲演奏データを含ませて配信することができる装置の一例を挙げると、例えば下記に示す特許文献１または特許文献２に記載の装置がある。
特開平10-247091号公報 特開平10-268879号公報

ところで、上述した特許文献１に記載した従来の装置においては、放送信号内に楽曲演奏データを定義する際に、楽曲演奏データを動画データ（映像）や楽音データ（音声やオーディオ）などからなる番組（放送コンテンツ）と明確に区別して取り出すことができるように、楽曲演奏データに対して専用のタグを新規に付加した形式、つまり通常用いられる一般的な形式とは異なる形式で配信している。他方、上述した特許文献２に記載した従来の装置においては、動画データや楽音データなどの放送コンテンツとは別の同期信号内に楽曲演奏データを含ませておき、こうした楽曲演奏データを含む同期信号を放送コンテンツと共に放送信号として配信するようにしている。このようにして、従来では放送コンテンツとは別の情報である楽曲演奏データを放送コンテンツ自体に挿入することなく、放送コンテンツとは明確に区別できるようにして挿入するようにしていた。しかし、楽曲演奏データを専用のタグを付加した特別な形式の放送信号で配信する方法は、放送仕様／形式（特に同期の仕方）に対応した機器が必要とされることから、コンテンツを制作／記録／編集する上での汎用性がなく都合が悪い。また、放送コンテンツと楽曲演奏データが別々になっていると、それらを保管し管理するのにも都合が悪い。一方、楽曲演奏データを同期信号に含ませて配信する方法は、同期の仕方によって同期フォーマット（同期の取り方）が変わることから、使用される放送仕様／形式を都度考慮しながら同期信号に楽曲演奏データを含ませなければならず面倒である、という問題点があった。また、そもそも同期信号はアナログ放送の場合に必要とされる信号であって、ディジタル放送には必要のない信号であることから、楽曲演奏データを同期信号に含ませて配信する方法はディジタル放送には適用することができない。

そこで、電子透かし技術を用いて楽曲演奏データを放送コンテンツ自体に電子透かし情報として挿入して配信すると共に、放送中の放送コンテンツから取り出した楽曲演奏データに基づき電子音楽装置を連動動作させることができるものが従来から望まれていたが、従来そうしたものは考えられていなかった。なお、この明細書において、電子透かし情報とは、人間の知覚の特性を利用し、静止画、動画やオーディオなどのマルチメディアコンテンツに対して、コンテンツの特徴を損なわないように埋め込む、コンテンツ自体とは別の情報である。また、この明細書において、楽音という場合、音楽的な音に限るものではなく、音声あるいはその他任意の音の波形を含んでいてもよい意味あいで用いるものとする。

本発明は上述の点に鑑みてなされたもので、電子透かし技術により放送コンテンツ自体に楽曲演奏データを電子透かし情報として埋め込んでおき、該埋め込まれた楽曲演奏データを放送中の番組に連動して電子音楽装置を自動的に駆動するためのデータとして利用することができるようにした電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラムを提供しようとするものである。

本発明の請求項１に係る電子音楽装置は、少なくとも音源、演奏操作子、表示器のいずれか１つを具えた電子音楽装置において、少なくとも音源、演奏操作子、表示器のいずれか１つを駆動する駆動手段と、電子透かし情報として符号化された楽曲演奏データが埋め込まれている、符号化された画像及び／又は楽音データからなる放送コンテンツを取得するコンテンツ取得手段であって、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれてなるものと、前記取得した放送コンテンツから、電子透かし情報として埋め込まれている楽曲演奏データを抽出する抽出手段であって、該抽出手段は、符号化された画像及び／又は楽音データを復号化して、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられた前記楽曲演奏データを抽出するものと、前記抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するようにして前記駆動手段を駆動するよう制御する制御手段とを具える。

本発明によると、符号化された画像及び／又は楽音データからなる放送コンテンツに、電子透かし情報として符号化された楽曲演奏データが埋め込まれている。この放送コンテンツを取得すると、符号化された画像及び／又は楽音データを復号化する。この際に、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれているので、画像及び／又は楽音データの復号化に応じて、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられて楽曲演奏データが抽出されることになる。電子透かし情報として埋め込まれている楽曲演奏データを抽出すると、該抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するように、少なくとも音源、演奏操作子、表示器のいずれか１つが駆動されます。このようにして、放送コンテンツ自体に電子透かし情報として符号化された楽曲演奏データを、符号化された画像及び／又は楽音データの復号に応じて当該画像及び／又は楽音データの時間的位置に複数のイベントの各発生時間が関連付けられて抽出されるので、使用される放送仕様／形式等を特に考慮せずとも、また特別な同期処理を行わなくとも、放送中の番組にあわせて電子音楽装置を連動動作させることが容易にできるようになることから、汎用性が高く便利である。

本発明の請求項２に係る放送コンテンツ制作装置は、放送局から配信する画像及び／又は楽音データからなる放送コンテンツを制作するコンテンツ制作装置において、画像及び／又は楽音データを取得し、該取得した画像及び／又は楽音データに基づく放送コンテンツを作成するコンテンツ作成手段と、少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動するためのものであって、離散的な時間に発生する複数のイベントから構成される楽曲演奏データを取得する取得手段と、前記取得した楽曲演奏データを電子透かし情報化し、前記作成した放送コンテンツに含まれる画像及び／又は楽音データに埋め込む電子透かし手段であって、該電子透かし手段は、前記取得した楽曲演奏データを符号化し、該符号化した楽曲演奏データのビットレートを、前記画像及び／又は楽音データを符号化する際に用いたタイミング制御情報に基づいて前記符号化した画像及び／又は楽音データのビットレートに一致させることにより、前記楽曲演奏データを構成する各イベントの発生時刻と前記画像及び／又は楽音データの時間的位置とを関連付けるものと、前記電子透かし情報として符号化した楽曲演奏データが埋め込まれた前記符号化した画像及び／又は楽音データからなる放送コンテンツを出力する出力手段とを具える。これによると、使用される放送仕様／形式等に関係なく、また特別な同期処理を行わなくとも、放送中の番組にあわせて電子音楽装置を連動動作させることが可能な、汎用性の高い放送コンテンツを容易に作成することができるようになる。

本発明の請求項３に係る電子音楽装置連動システムは、画像及び／又は楽音データを取得し、該取得した画像及び／又は楽音データに基づく放送コンテンツを作成するコンテンツ作成手段と、少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動するためのものであって、離散的な時間に発生する複数のイベントから構成される楽曲演奏データを取得する取得手段と、前記取得した楽曲演奏データを電子透かし情報化し、前記作成した放送コンテンツに含まれる画像及び／又は楽音データに埋め込む電子透かし手段であって、該電子透かし手段は、前記取得した楽曲演奏データを符号化し、該符号化した楽曲演奏データのビットレートを、前記画像及び／又は楽音データを符号化する際に用いたタイミング制御情報に基づいて前記符号化した画像及び／又は楽音データのビットレートに一致させることにより、前記楽曲演奏データを構成する各イベントの発生時刻と前記画像及び／又は楽音データの時間的位置とを関連付けるものと、前記電子透かし情報として符号化した楽曲演奏データが埋め込まれた前記符号化した画像及び／又は楽音データからなる放送コンテンツを出力する出力手段とを含むコンテンツ制作装置と、前記コンテンツ制作装置により作成された放送コンテンツを配信する配信手段を少なくとも含む放送局と、少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動する駆動手段と、電子透かし情報として符号化された楽曲演奏データが埋め込まれている、符号化された画像及び／又は楽音データからなる放送コンテンツを取得するコンテンツ取得手段であって、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれてなるものと、前記取得した放送コンテンツから、電子透かし情報として埋め込まれている楽曲演奏データを抽出する抽出手段であって、該抽出手段は、符号化された画像及び／又は楽音データを復号化して、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられた前記楽曲演奏データを抽出するものと、前記抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するようにして前記駆動手段を駆動するよう制御する制御手段とを含む電子音楽装置とを具える。これによると、使用される放送仕様／形式等に関係なく、また特別な同期処理を行わなくとも、放送中の番組にあわせて電子音楽装置を連動動作させることが容易にできるようになる。

本発明は、装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、放送局から配信される放送コンテンツ自体に電子音楽装置を連動動作させるために利用する楽曲演奏データを電子透かし情報として含ませておき、該放送コンテンツ内に埋め込まれた電子透かし情報に基づき電子音楽装置を連動動作するようにしたことから、放送コンテンツ自体に放送コンテンツとは別の情報である楽曲演奏データを挿入して配信することが番組の放送仕様／形式に関わらず容易にできるようになり、汎用性が高く便利である、という効果を得る。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

まず、放送局から配信されている放送中の番組（放送コンテンツ）にあわせて、電子音楽装置を連動動作させる電子音楽装置連動システムの概要について、図１を用いて説明する。図１は、本発明に係る電子音楽装置連動システムの全体構成の一実施例を略示するシステムブロック図である。なお、放送局からの放送コンテンツの放送（配信）仕様／形式はディジタル放送であってもよいし、アナログ放送であってもよいが、この明細書では説明を理解しやすくするために、特にディジタル放送の場合を例にして説明する。また、電子音楽装置連動システムとしてはこの図１に示す以外のものを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。

この実施例に示す電子音楽装置連動システムは、放送コンテンツをテレビ放送やラジオ放送などとして配信するコンテンツ提供側である放送局ＨＳと、放送局ＨＳから放送コンテンツの提供を受けるエンドユーザ側の機器であり、放送局ＨＳから配信される放送コンテンツのうちユーザ所望の番組を受信（取得）することに応じて、該放送中の番組の映像や楽音にあわせて連動動作する電子音楽装置ＤＭ（例えば、電子楽器やパーソナルコンピュータなど）とに大きく分けることができる。

放送局ＨＳは、例えばコンサートなどの音楽番組、楽音を含んだコマーシャルや映画あるいはドラマなど、映像や楽音を含む放送コンテンツを制作し、該制作した放送コンテンツを放送信号として多数のユーザに対して無線あるいは有線にて配信する。放送局ＨＳは放送コンテンツを制作／配信するために、データ生成装置群Ｒ、コンテンツ制作装置ＣＳ、外部記憶装置Ｋ、放送設備Ｈなどの機器を備えている。データ生成装置群Ｒは、放送コンテンツの素材となる映像用のディジタル動画データや音声／オーディオ用のディジタル楽音データ、あるいは楽曲演奏データであるMIDI（Musical Instruments Digital Interface）データなどを記憶・再生・生成することが可能な各種の記憶／再生／生成機器からなり、またコンテンツ制作者の必要に応じて記憶済みのこれらの情報をコンテンツ制作装置ＣＳに対して送信することができるようになっている。こうしたデータ生成装置群Ｒは、動画データや楽音データあるいはMIDIデータのいずれかを発生することができればどのような機器からなっていてもよく、例えばディジタルレコーダの他に、ビデオカメラ、マイクやミキサ、MIDIキーボードなどが一例として挙げられる。また、データ生成装置群Ｒの機能を１台の装置で実現するようにしてもよい。

コンテンツ制作装置ＣＳは、前記データ生成装置群Ｒから受信した各種信号に基づき映像、楽音等を含んでなる放送コンテンツを制作する、あるいは制作済みの放送コンテンツの内容を変更するための機器である。このコンテンツ制作装置ＣＳでは、データ生成装置群Ｒから取得した動画データや楽音データに基づき放送コンテンツ（番組）を制作する際に、前記動画データや楽音データのいずれかに、データ生成装置群Ｒから取得したMIDIデータ（楽曲演奏データ）を電子透かし等の技術を用いて電子透かし情報として任意に埋め込むことができる。すなわち、コンテンツ制作装置ＣＳで制作される放送コンテンツ自体に、放送コンテンツとは別の情報であって、本発明において電子音楽装置を連動動作するのに利用するMIDIデータを「電子透かし情報」として含ませておくことで、MIDIデータを放送コンテンツの一部として配信して、放送中の番組を見ながら同時に電子音楽装置を楽しむことができるようにしている。こうしたコンテンツ制作装置ＣＳは、動画エンコード部ＭＥ、MIDIビットストリーム生成部ＢＳ、楽音エンコード部ＶＥ、マルチプレックス部Ｐを含んでなる。

動画エンコード部ＭＥは、データ生成装置群Ｒから取得した動画データを符号化して、動画ビットストリームデータ（ディジタル放送の場合、一例としてMPEG（Moving Picture Experts Group）-2 Video形式）に変換する。このデータ変換時において、MIDIビットストリーム生成部ＢＳからMIDIビットストリームデータが送信されている場合には、該受信したMIDIビットストリームデータを電子透かし情報として、動画ビットストリームデータ内に適宜に埋め込みながら変換を行う。変換後の動画ビットストリームデータは、マルチプレックス部Ｐに送られる。

楽音エンコード部ＶＥは、データ生成装置群Ｒから取得したディジタル楽音データを符号化して、楽音ビットストリームデータ（ディジタル放送の場合、一例としてMPEG-2 Audio AAC（Advanced Audio Coding）形式）に変換する。このデータ変換時において、MIDIビットストリーム生成部ＢＳからMIDIビットストリームデータが送信されている場合には、該受信したMIDIビットストリームデータを電子透かし情報として、楽音ビットストリームデータ内に適宜に埋め込みながら変換を行う。変換後の楽音ビットストリームデータは、マルチプレックス部Ｐに送られる。MIDIビットストリーム生成部ＢＳは、データ生成装置群Ｒから取得したMIDIデータを符号化してMIDIビットストリームデータに変換し、該変換後のMIDIビットストリームデータを、動画エンコード部ＭＥあるいは楽音エンコード部ＶＥのいずれか一方（勿論、MIDIデータを埋め込む対象とする情報を処理するどちらか一方の機器）に対してのみ送信する。

MIDIビットストリーム生成部ＢＳはMIDIデータをMIDIビットストリームデータに変換する際に、動画エンコード部ＭＥあるいは楽音エンコード部ＶＥのいずれか（ただし、MIDIデータを埋め込む対象とする情報を処理する機器）からクロック（タイミング制御情報：タイマ）を受け取り、該受け取ったクロックに基づき、MIDIデータを動画データあるいは楽音データに同期させたMIDIビットストリームデータに変換する。この際には、変換後のMIDIストリームデータのビットレートを、動画エンコード部ＭＥあるいは楽音エンコード部ＶＥで処理される、MIDIデータを埋め込む対象とする動画データあるいは楽音データのレートに一致させる。例えばMIDIストリームデータを動画データに埋め込む場合に、MPEG方式において5400ブロックからなる「Ｉ（Intra-coded）ピクチャ」が１秒に２フレームずつ送られており、各ブロック毎に３ビットずつMIDIストリームデータを埋め込むには、ビットレートを32400bpsとするとよい。一方、MIDIストリームデータを楽音データに埋め込む場合に、ＭＤＣＴ（Modified Discrete Cosine Transform）変換されたすべての係数に１ビットずつMIDIストリームデータを埋め込むには、ビットレートを48000bpsとするとよい。

MIDIビットストリーム生成部ＢＳでは、動画エンコード部ＭＥあるいは楽音エンコード部ＶＥからクロックを受信することにより、MIDIビットストリームデータを埋め込む対象とした動画ビットストリームデータあるいは楽音ビットストリームデータ上におけるビット位置を、元の動画データあるいは楽音データと時間的な関連付けを行う。ここでは、MIDIデータの時刻情報をどのＭＤＣＴ係数に対応付けるかによって、時刻情報を符号化された動画又は楽音ビットストリーム内に情報としてもつようにしている（後述する）。これにより、変換後のMIDIビットストリームデータを、動画データあるいは楽音データに同期したものとして、MIDIデータの時刻情報を符号化された楽音又は動画ビットストリーム内に情報としてもつことができるようにする。こうすると、外部のディジタルテレビ装置ＴＶなどが動画や楽音を再生するのと同じ所定の時間間隔で、MIDIデータの復号を行うことができ、動画や楽音などとMIDIデータに基づく電子音楽装置ＤＭの連動動作とが同期する。

上記MIDIビットストリームの形式としては、公知の調歩同期方式シリアル通信に倣い、スタートビットを「１」、ストップビットを「０」として、MIDIデータのイベント発生時刻に相当するビットからスタートビット、２進化された１バイト分のMIDIデータ、ストップビットの順にデータを割り当てる。該当のタイミングに発生するMIDIデータがない場合には、「０」が割り当てられる。例えば、MIDIデータが「…イベントなし…、90、60、…」であるような場合、このMIDIデータは「…011001000001011000000…」のMIDIビットストリームに変換される。表記のMIDIビットストリームについて先頭ビットから順に説明すると、「…0」まではイベントなし、「1」はスタートビット、「1001」は90の９、「0000」は90の０、「0」はストップビット、「1」はスタートビット、「0110」は60の６、「0000」は60の０、「0」はストップビットを示す。

マルチプレックス部Ｐは、動画エンコード部ＭＥから送信された動画ビットストリームデータと、楽音エンコード部ＶＥから送信された楽音ビットストリームデータとを多重化して、１つの多重化されたコンテンツデータ（ディジタル放送の場合、一例としてMPEG-2 TS形式）を生成する。ここでは、多重化する動画ビットストリームデータ及び楽音ビットストリームデータのいずれかにはMIDIデータが埋め込まれている場合があるが、MIDIデータが埋め込まれているか否かに関わらずに、従来知られている一般的なMPEGデータの多重化処理を行えばよい。放送設備Ｈは、多重化されたコンテンツデータに対して符号化や変調等を行って、多重化されたコンテンツデータを放送信号として配信するためのものである。外部記憶部Ｋは、制作したコンテンツデータを後日に日を改めて配信するために、マルチプレックス部Ｐにより多重化されたコンテンツデータを記憶しておくためのものである。なお、多重化されたコンテンツデータを外部記憶部Ｋに記憶させることなく、直接放送設備Ｈに送って配信させると所謂生放送として番組が放送されることになる。

他方、電子音楽装置ＤＭは例えば後述の図１０に示すようなハード構成からなる電子楽器であって、放送局ＨＳから配信される放送信号に基づく放送コンテンツ（番組）にあわせて連動動作、例えば自機が有する演奏操作子（鍵盤等）６を駆動して自動的に押鍵動作を行ったり、音源回路９を駆動して楽音を鳴らしたり、ディスプレイ７Ａを駆動して放送中の番組内で流れている楽音の歌詞や楽譜などを表示したり、さらには図示しない鍵盤LEDを駆動して自動的に点灯／消灯を繰り返し行ったりするなどの動作を連動して行うことができる機器である。電子音楽装置ＤＭは、チューナ／復調部Ｔ、デマルチプレックス部ＤＰ、動画デコード部ＭＤ、楽音デコード部ＶＤ、MIDIイベント生成部ＩＢ、楽器駆動制御部Ｇを含んでなる。チューナ／復調部Ｔは、放送局ＨＳから配信される放送信号を受信し、受信した放送信号を動画ビットストリームデータと楽音ビットストリームデータとが多重化されたデータであるコンテンツデータ（一例として、MPEG-2 TS形式）に復調する。

デマルチプレックス部ＤＰは、復調されたコンテンツデータから、動画ビットストリームデータ（一例として、MPEG-2 Video形式）と楽音ビットストリームデータ（一例として、MPEG-2 Audio AAC形式）とを取り出し、動画ビットストリームデータについては動画デコード部ＭＤに、楽音ビットストリームデータについては楽音デコード部ＶＤにそれぞれ送る。動画デコード部ＭＤは、デマルチプレックス部ＤＰから送られてきた動画ビットストリームデータから、その中に電子透かし情報として埋め込まれているMIDIビットストリームデータを抽出する。楽音デコード部ＶＤは、デマルチプレックス部ＤＰから送られてきた楽音ビットストリームデータから、その中に電子透かし情報として埋め込まれているMIDIビットストリームデータを抽出する。抽出されたMIDIビットストリームデータは、MIDIイベント生成部ＩＢへと送られる。

MIDIイベント生成部ＩＢは、動画デコード部ＭＤ又は楽音デコード部ＶＤのいずれかからMIDIビットストリームデータを受信すると、該受信したMIDIビットストリームデータをMIDIデータに逆変換して、楽器駆動制御部Ｇに出力する。楽器駆動制御部Ｇは、MIDIイベント生成部ＩＢからMIDIデータを受け取ると、該MIDIデータに基づき電子音楽装置ＤＭを駆動するよう制御する。具体的には、楽器駆動制御部Ｇは電子音楽装置ＤＭの動作を制御するためのものであって、制御としては例えば演奏操作子（鍵盤等）６が放送中の番組内で流されている楽音にあわせて自動的に押鍵動作を行うように駆動回路５を制御する、放送中の番組内で流されている楽音に関連した楽音等を鳴らすように音源回路９を制御する、放送中の番組内で流されている楽音の歌詞や楽譜などをディスプレイ７Ａに表示するように表示回路７を制御する、さらには図示しない鍵盤LEDが放送中の番組内で流されている楽音にあわせて自動的に点灯／消灯を繰り返し行うように制御するなどがある。ディジタルテレビ装置ＴＶは、外部のチューナ／復調部ＯＴで復調されたコンテンツデータに基づき、映像や楽音などを含む番組を再生する機器であり、該ディジタルテレビ装置ＴＶで放送されている番組にあわせて電子音楽装置ＤＭで上記したような連動動作が行われる。

なお、放送局ＨＳから配信される放送信号を受信するチューナ／復調部Ｔは、上述した実施例のように電子音楽装置ＤＭ内部に具えているものに限らない。チューナ／復調部Ｔは、電子音楽装置ＤＭとは別体の専用の外部機器ＯＴであってよい。そのような場合には、外部のチューナ／復調部ＯＴで受信した放送信号に基づき復調されたコンテンツデータを、所定の通信経路（例えばIEEE1394）経由で電子音楽装置ＤＭに出力するとよい。また、外部のチューナ／復調部ＯＴで受信した放送信号に基づき復調されたコンテンツデータを、所定の通信経路（例えばIEEE1394）経由で外部ディジタルレコーダ装置ＯＲに記録できるようにし、外部ディジタルレコーダ装置ＯＲに記録されたコンテンツデータを電子音楽装置ＤＭに対して出力するようにしてもよい。
なお、電子音楽装置ＤＭ側で番組にあわせて駆動制御する対象の機器を、電子音楽装置ＤＭを利用するユーザが任意に選択できるようにしてもよいし、コンテンツ制作者が予め指定しておくことができるようにしてもよい。コンテンツ制作者が予め指定しておくことができるようにする場合には、制御対象機器を指定する関連情報（例えば、機器ID番号など）もMIDIデータと共に動画データ又は楽音データ内に電子透かし情報として埋め込んで配信するようにしてもよいし、関連情報は動画データ又は楽音データ内に電子透かし情報として埋め込むことなく、従来のように動画データ及び楽音データとは別のデータ信号として配信するようにしてもよい。

次に、放送局ＨＳ側の処理であって、電子音楽装置ＤＭを連動動作するために利用するMIDIデータを電子透かし情報として埋め込みながら、楽音データを符号化した楽音ビットストリームデータに変換する楽音エンコード処理、あるいは動画データを符号化した動画ビットストリームデータに変換する動画エンコード処理について、それぞれ説明する。まず、放送局ＨＳにおける楽音エンコード部ＶＥによる、楽音データを符号化して楽音ビットストリームデータに変換する楽音エンコード処理について、図２〜図４を用いて説明する。ただし、ここでは説明を理解しやすくするために、楽音データのエンコードをMPEG-2 Audio AAC形式に則るものとする。図２は、図１に示した楽音エンコード部ＶＥの機能の一実施例を略示する機能ブロック図である。図３は、図２に示した楽音エンコード部ＶＥにおける各機能を説明するための概念図である。

フレーム切り出し部Ｖ１は、後述するＭＤＣＴ変換の前処理として、図３（ａ）上段に示すように、データ生成装置群Ｒなどから取得したディジタル楽音データ（ディジタル放送の仕様にあわせて、例えばサンプリングレート48kHz、１ワード16bit長からなるデータ）から、所定のサンプル数（例えば、2048サンプルなど）を１つのフレーム（図中frameｉ）として順次に切り出す。このフレーム単位でディジタル楽音データの切り出しを行う際には適当な窓関数（例えばカイザーベッセル派生窓）を用い、また図３（ａ）中段に示すように前回適用した窓関数と今回適用する窓関数とを５０％ずつオーバーラップさせて楽音データをフレーム単位に切り出す。適当な窓関数を適用して切り出された１フレーム分の楽音データを示すと、図３（ａ）下段に示すようなデータとなる。フレーム切り出し部Ｖ１は、この１フレーム分の楽音データをＭＤＣＴ変換部Ｖ２及び心理聴覚分析部Ｖ３にそれぞれ送る。

心理聴覚分析部Ｖ３はフレーム切り出し部Ｖ１から送られた１フレーム分の楽音データを分析し、マスキング特性を得る。具体的には、１フレームの楽音データを高速フーリエ変換（ＦＦＴ）して周波数スペクトルを求め、それを元に聴覚のマスキングを計算することで、予め設定された周波数帯域ごとのマスキング閾値（許容量子化雑音電力）と、そのフレームに対する心理聴覚特性（心理聴覚エントロピー（Perceptual Entropy）などと呼ばれる）などのパラメータを求める。こうしたマスキング特性の一例を、図３（ｂ）に示す。図３（ｂ）は、周波数に応じたマスキング曲線と、レベルの大きな周波数成分の周りのクリティカルバンド（後述する）と、その他の心理聴覚特性（心理聴覚エントロピー）とをモデル化して示した図である。この図３（ｂ）において、マスキング閾値より低い周波数領域（図中において塗りつぶしで示した箇所）にある周波数成分の音は、人には聴こえることがない音である。一方、心理聴覚エントロピー（ＰＥ）は、当該楽音データを聴くユーザが雑音を知覚することがないように、そのフレームを量子化するのに必要な総ビット数と考えてよい。また、心理聴覚エントロピー（ＰＥ）は、楽音のアタック部のように信号レベルが急激に増大するところで大きな値を取るという特性がある。そこで、心理聴覚エントロピー（ＰＥ）の値の急変部を元にしてＭＤＣＴの変換ブロック長を決定する。

ＭＤＣＴ変換部Ｖ２は、心理聴覚分析部Ｖ３で決定されたＭＤＣＴの変換ブロック長に基づき、１フレームの楽音データを高速フーリエ変換（ＦＦＴ）することにより周波数スペクトル（ＭＤＣＴ係数と呼ぶ）に変換する。具体的には、１フレーム分の楽音データを０番目から1023番目までの1024個の周波数成分に分解し、各周波数成分毎のスペクトル係数を求める。このスペクトル係数は周波数毎の強度を表すものであり、こうしたスペクトル係数の一例を図３（ｃ）に示す（ただし、図中におけるＭ＝1024）。

マスキング部Ｖ４は、ＭＤＣＴ変換部Ｖ２により求められた各周波数成分毎のスペクトル係数のうち、心理聴覚分析部Ｖ３により得られたマスキング閾値に基づき、マスキング閾値に満たないスペクトル係数をマスクする。こうすることにより、図３（ｃ）に示したスペクトル係数の分布から、図３（ｄ）に示すようなスペクトル係数の分布が取得される。

量子化部Ｖ５はMPEG-2 Audio AACエンコーダにおける一般的な量子化として、ＭＤＣＴ変換部Ｖ２からのＭＤＣＴ係数を予め設定された周波数帯域ごとの複数本でグループ化し、これを単位として量子化（情報を丸め込んで、桁数を減らす処理）を行う。これらＭＤＣＴ係数のグループを、クリティカルバンド（又はスケールファクタバンド）と呼ぶ。クリティカルバンド（又はスケールファクタバンド）は、聴覚の特性にあわせて低域側では狭くなり、高域側では広くなるように設定されている。また量子化を行う前に、このフレームで使用可能なビット数を、平均ビットレート、心理聴覚分析部Ｖ３で求めた心理聴覚エントロピー（ＰＥ）の値、及び図示しないビットリザーバ等に蓄積されているビット数を元に算出しておく。そして、量子化部Ｖ５では、心理聴覚分析部Ｖ３により得られたマスキング特性に基づき（図３（ｂ）参照）、量子化の割り当てビット数を決定し、該決定した割り当てビット数に応じて１フレーム分の楽音データ毎に、量子化を実行する。

量子化部Ｖ５に対してはMIDIビットストリーム生成部ＢＳ（図１参照）で生成されたMIDIビットストリームが入力されており、量子化部Ｖ５は量子化の際に、入力されたMIDIビットストリームを1024ビットずつに分け（図３（ｅ）参照）、該分けられた1024ビットからなるMIDIビットストリームの各ビットに対して各周波数成分（ＭＤＣＴ係数）を対応付ける。また、その際には、対応付けられたビット情報に従って各周波数成分毎に情報の丸め方を変える。図３（ｆ）に示すように、例えばMIDIビットストリームのビット値が「１」の場合にはそれに対応するスペクトル係数を奇数に丸め込む一方で、MIDIビットストリームのビット値が「０」の場合にはそれに対応するスペクトル係数を偶数に丸め込む。勿論、これに限らず、すべてのスペクトル係数に対して量子化を行った後に、所定のスペクトル係数に関してのみMIDIビットストリームのビットに応じて「＋１」又は「−１」して、スペクトル係数を奇数又は偶数に丸め込むようにしてもよい。このようにして、量子化部Ｖ５では、心理聴覚分析部Ｖ３で求めたクリティカルバンド（又はスケールファクタバンド）毎の許容量子化雑音電力を下回ることを目標に量子化を行う。

量子化されたＭＤＣＴ係数は、ハフマン符号化部Ｖ６によりハフマン符号化を施されて冗長度が削減される。具体的には、ハフマン符号化により「１」と「０」からなるコードを割り当てる。上記量子化・ハフマン符号化の処理は反復ループ処理に従い行われ、実際に生成される符号量がフレームに割り当てられたビット数を下回るまで繰り返される。ビットストリーム生成部Ｖ７は、１フレーム単位に楽音データを符号化された楽音ビットストリームとして出力する（図３（ｇ）参照）。ここで、量子化部Ｖ５において１フレーム分の楽音データのスペクトル係数全てに対してMIDIデータを割り当てるとすると、MIDIデータを埋め込むレートは48000bpsとなる。なお、MIDIデータの情報量が少ない場合には、送信側と受信側との共通規則によって選択されたスペクトル係数にだけMIDIデータを埋め込むようにしてもよい。

図４は、上記した楽音エンコード部ＶＥにおける各機能を実現する具体的な処理の一実施例を示すフローチャートである。図４に示す処理はソフトウェアプログラムであって、コンテンツ制作装置ＣＳ本体の電源オンに応じて起動される。

ステップＳ１は、放送コンテンツとするMPEG-2 Audio AAC形式のディジタル楽音データを所定のサンプル数を１フレームとしてフレーム単位で取得する（切り出す）。ステップＳ２は、取得した１フレームの楽音データに対して所定の窓関数をかける。ステップＳ３は、取得した１フレームの楽音データを基に心理聴覚分析を行う。ステップＳ４は、窓掛けした楽音データをＭＤＣＴ変換する。ステップＳ５は、心理聴覚分析結果に基づいて、ＭＤＣＴ変換後のデータに対してマスキング処理を行う。

ステップＳ６は、電子音楽装置ＤＭを連動動作するために利用するMIDIデータが任意に入力されている場合、該MIDIデータを楽音データに同期させたビット列（MIDIビットストリームデータ）に変換する。ステップＳ７は、上記ステップＳ３で行った心理聴覚分析を利用して、上記ステップＳ４の実行に伴って得られたＭＤＣＴ係数を量子化する。その際には同時に、変換後のMIDIデータのビット列（MIDIビットストリームデータ）を埋め込む処理を実行する。ここでは、MIDIデータの時刻情報をどのＭＤＣＴ係数に対応付けるかによって、情報としてもつようにしている。ステップＳ８は、量子化されたＭＤＣＴ係数をハフマン符号化する。ステップＳ９は、楽音データと共に放送コンテンツとする別途用意したMPEG-2 Video形式の動画ビットストリームデータを取得し、該取得したMPEG-2 Video形式の動画ビットストリームデータとステップＳ８の処理後のデータとを多重化して、MPEG-2 TS形式の多重化されたコンテンツデータを生成する。ステップＳ１０は、前記生成したMPEG-2 TS形式の多重化されたコンテンツデータを出力する。このようにして、電子音楽装置ＤＭを連動動作するために利用するMIDIデータを電子透かし情報として、符号化した楽音ビットストリームデータに埋め込むようにしている。

次に、放送局ＨＳにおける動画エンコード部ＭＥによる、動画データを符号化して動画ビットストリームデータに変換する動画エンコード処理について、図５〜図９を用いて説明する。ただし、ここでは説明を理解しやすくするために、動画データのエンコードをMPEG-2 Video形式に則るものとする。

図５は、図１に示した動画エンコード部ＭＥによる動画エンコードの処理概要を示す模式図である。従来知られているように、MPEG-2 Video形式においては、動画データを構成する複数の静止画像フレーム（図中0〜19で示す各フレーム）のうち、いくつかの静止画像データ（例えば15フレームずつ）をＧＯＰ（Group Of Picture）毎にまとめてデータ圧縮を行う。ＧＯＰ内のフレームは、Ｉ（Intra-coded）ピクチャ、Ｐ（Predictive-coded）ピクチャ、Ｂ（Bidirectionally-coded）ピクチャという圧縮方法の異なる静止画像フレームで構成されている。Ｐピクチャ（図中に示す5P、8P、11P、14P、20P）とＢピクチャ（図中に示す0B、1B、3B、4B、6B、7B、9B、10B、12B、13B、15B、16B、18B、19B）はフレーム間の差分を用いてデータ圧縮を行うものであり、Ｉピクチャ（図中に示す2Ｉ、17Ｉ）は１つのフレームだけをもとにデータ圧縮を行うものである。デコードの際には、Ｐピクチャ、Ｂピクチャの差分情報から静止画像を復元する都合上、エンコードの際にはフレームの順番を入れ替える必要がある。図５から理解できるように、この発明ではＩピクチャに対してのみに、まとめてMIDIデータ（詳しくはMIDIビットストリームデータ）を電子透かし情報として埋め込むようにしている。なお、１つの静止画像フレームは輝度成分（Ｙ成分）情報と色差成分（Ｃｒ成分、Ｃｂ成分）情報を含むものであるが、ここでは輝度成分（Ｙ成分）情報にのみMIDIデータを埋め込む。

図６は、図１に示した動画エンコード部ＭＥの機能の一実施例を略示する機能ブロック図である。フレーム並べ替え部Ｍ１は、取得したディジタル動画データ（ディジタル放送の仕様にあわせて例えば480P、すなわち縦480×横720の画素からなる静止画像フレームが１秒間に30フレーム連続して構成されるデータ）から、静止画像フレームを15フレームずつＧＯＰにまとめる。この際には、ＧＯＰの先頭に１つだけＩピクチャを配置するように各ピクチャの並べ替えを行う（図５参照）。

減算器Ｍ２は、所謂フレーム間予測を行うためのものである。すなわち、動画データは複数のフレームと呼ばれる静止画像により構成されており、あるフレームと直前のフレームとの間では、多くの場合それぞれの画像はそのほとんどが似たものである。そこで、直前のフレームを元に、現フレームとの差のみを抽出して符号化すれば、ビット数の削減につながることが従来知られている（これをフレーム間予測と呼ぶ）。ただし、フレーム並べ替え部Ｍ１から送られるＧＯＰを処理する際に、処理するピクチャがＩピクチャである場合には減算処理を行うことなく、当該Ｉピクチャをそのまま後続のＤＣＴ( Discrete Cosine Transform）変換部Ｍ３に素通しする一方で、処理するピクチャがＰピクチャあるいはＢピクチャである場合には、後述するフレームメモリ／予測器Ｍ１０からの出力との差分をとってからＤＣＴ変換部Ｍ３に送る。

また、自然画像においては領域を狭く限ると画素のレベル値が互いに近いことが多く、これはある領域（空間）内における画素値の変化の度合い（空間周波数と呼ぶ）が比較的小さいと言える。したがって、画像を空間空間周波数領域のデータに変換すると、データは低周波側に偏る。この結果、高周波側のデータにより少ないビット数を割り当てることにより、全体として変換前より少ないビット数で画像を符号化することができる。MPEGでは、この空間‐周波数変換にＤＣＴという手法を用い、ブロックと呼ばれる8×8画素単位でＤＣＴを行うことが公知である。ＤＣＴ変換部Ｍ３は、１フレームの動画データを高速フーリエ変換（ＦＦＴ）することにより、縦8画素×横8画素のブロック単位で周波数スペクトル（ＤＣＴ係数と呼ぶ）に変換する。これ以降では、縦480×横720の画素からなる１フレーム分の動画データを、縦8画素×横8画素のブロックによって縦60ブロック×横90ブロックに分け、それぞれのブロック単位に圧縮処理を行う。そうすると、例えば１つのＩピクチャは、0ブロックから5399ブロックまでの5400個のブロックで構成されることになる。こうしたＩピクチャの１画面分のブロックデータ群の一例を、図７に示す。

量子化部Ｍ４に対してはMIDIビットストリーム生成部ＢＳ（図１参照）で生成されたMIDIビットストリームデータが入力されており、量子化部Ｍ４は量子化の際にMPEG-2 Videoエンコーダにおける一般的な量子化として、情報を丸め込んで桁数を減らす処理を実行する。具体的には、Ｉピクチャを構成する0ブロックから5399ブロックまでの各ブロックに対して、MIDIビットストリーム生成部ＢＳ（図１参照）で生成したMIDIビットストリームデータを時間順に３ビットずつ埋め込む。図８を参照しながら具体的に説明する。図８は、所定のＤＣＴ係数へのMIDIデータの埋め込みを説明するための概念図である。

１つのブロック内の処理としては、まずエンコーダとデコーダとの間で共通の規則（例えば、同一の種から生成される擬似乱数を基にした、エンコーダとデコーダとで共通の系列を利用するなど）に従って、１フレーム分の動画データを周波数変換したＤＣＴ係数の複数のＡＣ成分（ＤＣ成分と呼ばれる直流成分を除いた成分）のうちの３成分を順に選択する。次に、その選択した３成分（３つのＤＣＴ係数）に対し、MIDIビットストリームデータの３ビット分をそれぞれ時間順に１ビットずつ割り当てる。そして、その３成分を量子化する際に、例えば、MIDIビットストリームデータのビット値が「１」の場合にはそれに対応するＤＣＴ係数を奇数に丸め込む一方で、MIDIビットストリームデータのビット値が「０」の場合にはそれに対応するＤＣＴ係数を偶数に丸め込む。図８に示した例では、MIDIビットストリームデータ「110010…」が、ブロック０から順に割り当てられている。すなわち、MIDIデータの時刻情報をどのＤＣＴ係数に対応付けるかによって、情報としてもつようにしている。したがって、エンコーダにおいては、ある時刻に発生したMIDIイベントの時刻情報は動画データと同期したビットストリーム上の位置によって表され、その位置から一意に対応付けられるフレームおよびブロックおよびＤＣＴ係数の位置にイベントが符号化されて埋め込まれる。逆に、デコーダにおいては、MIDIイベント抽出した際に、そのイベントが埋め込まれていたフレームおよびブロックおよびＤＣＴ係数の位置から、MIDIイベントが対応する時刻を動画と同期させて得ることができる。なお、MIDIデータを埋め込まない成分については、通常の量子化を行う。勿論、これに限らず、すべてのＤＣＴ係数に対して量子化を行った後に、所定のＤＣＴ係数に関してのみMIDIビットストリームデータのビットに応じて「＋１」又は「−１」して、ＤＣＴ係数を奇数又は偶数に丸め込むようにしてもよい。ここで、量子化部Ｍ４において１フレーム分の動画データのＤＣＴ係数全てに対してMIDIデータを割り当てるとすると、MIDIデータを埋め込むレートは32400（3ビット×5400ブロック×（30フレーム秒／15フレーム（GOP））bpsとなる。

ハフマン符号化部Ｖ６は、ハフマン符号化を施すことに伴い「１」と「０」からなるコードを割り当て、量子化されたＭＤＣＴ係数の冗長度を削減する。ビットストリーム生成部Ｖ７は、１フレーム単位に動画データを動画ビットストリームとして出力する。なお、MIDIデータの情報量が少ない場合には、送信側と受信側との共通規則によって選択されたＤＣＴ係数にだけMIDIデータを埋め込むようにしてもよい。

上記したフレーム間予測を行う際に、フレーム画面内で動く物体を検出し、その動きを予測してその結果と現フレームとの差を抽出するようにすれば、予測の精度が向上するので、さらなるビット数の削減につながることが知られている（所謂動き補償）。動き推定ベクトル検出部Ｍ７〜逆量子化部Ｍ１０は、そのための処理を行うものである。動き推定ベクトル検出部Ｍ７は、上記動き補償を行うために必要な動きベクトルを、直前のフレームと現在のフレームとの比較に応じて検出する。フレームメモリ／予測部Ｍ８は、上記した動き補償を実行する。逆量子化部Ｍ１０及び逆ＤＣＴ変換部Ｍ９は、量子化された直前のフレームをＤＣＴ変換部Ｍ３及び量子化部Ｍ４を介する前の状態に戻し、これをフレームメモリ／予測部Ｍ８に送る。

図９は、上記した動画エンコード部ＭＥの機能を実現する具体的な処理の一実施例を示すフローチャートである。図９に示す処理はソフトウェアプログラムであって、コンテンツ制作装置ＣＳの電源オンに応じて常時起動される。

ステップＳ２１は、放送コンテンツとするMPEG-2 Video形式のディジタル動画データから、予め決められているＧＯＰ単位に相当する複数の静止画像フレーム（例えば15フレーム）を取得する。ステップＳ２２は、取得した複数の静止画像フレームを並び替える。この際には、ＧＯＰの先頭に１つだけＩピクチャを置くように並べ替える。ステップＳ２３は、Ｉピクチャに相当するＧＯＰ内の最初のフレームを取り出す。ステップＳ２４は、前記取り出したＩピクチャに相当するフレームを複数のブロックに分け、各ブロック単位でＤＣＴ変換を実行する。ステップＳ２５は、電子音楽装置ＤＭを連動動作するために利用するMIDIデータが任意に入力されている場合、該MIDIデータを動画データに同期させたビット列（MIDIビットストリームデータ）に変換する。

ステップＳ２６は、上記ステップＳ２４の実行に伴って得られたＤＣＴ係数を量子化する。その際には同時に、変換後のMIDIデータのビット列（MIDIビットストリームデータ）を埋め込む処理を実行する。ステップＳ２７は、量子化されたＤＣＴ係数をハフマン符号化する。ステップＳ２８は、ＧＯＰ内に含まれるＩピクチャに相当するフレーム以外のフレーム（Ｐピクチャ又はＢピクチャに相当する）を、MPEG-2 Video形式に則る動画データのエンコードに従って符号化する。ステップＳ２９は、符号化されたフレームをまとめる。ステップＳ３０は、動画データと共に放送コンテンツとする別途用意したMPEG-2 Audio AAC形式の楽音ビットストリームデータを取得し、該取得したMPEG-2 Audio AAC形式の楽音ビットストリームデータとステップＳ２９の処理後のまとめられた動画データとを多重化して、MPEG-2 TS形式の多重化されたコンテンツデータを生成する。ステップＳ３１は、前記生成したMPEG-2 TS形式の多重化されたコンテンツデータを出力する。このようにして、電子音楽装置ＤＭを連動動作するために利用するMIDIデータを電子透かし情報として、符号化した動画ビットストリームデータに埋め込むようにしている。

次に、電子音楽装置ＤＭ側の処理であって、符号化された楽音又は動画ビットストリームデータから、電子音楽装置ＤＭを連動動作するために利用するMIDIビットストリームデータを取り出すデコード処理について説明する。まず、前記デコード処理を実行するに伴い、放送中の番組にあわせて各種の楽器駆動部を連動動作する電子音楽装置ＤＭのハード構成について、図１０を用いて説明する。図１０は、この発明に係る電子音楽装置ＤＭの全体構成の一実施例を示したハード構成ブロック図である。

本実施例に示す電子音楽装置は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される、例えば電子楽器やパーソナルコンピュータ等の機器である。ＣＰＵ１は、この電子音楽装置全体の動作を制御するものである。このＣＰＵ１に対して、データ及びアドレスバス１Ｄを介してＲＯＭ２、ＲＡＭ３、検出回路４，８、駆動回路５、表示回路７、音源回路９、効果回路１０、動画／楽音データ入力インタフェース（I/F）１２、チューナ回路１３、デコーダ回路１４、外部記憶装置１５、MIDIインタフェース（I/F）１６および通信インタフェース（I/F）１７がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。例えば、タイマ１Ａはクロックパルスを発生し、発生したクロックパルスをＣＰＵ１に対して処理タイミング命令として与えたり、あるいはＣＰＵ１に対してインタラプト命令として与える。ＣＰＵ１は、これらの命令に従って各種処理を実行する。

ＲＯＭ２は、ＣＰＵ１により実行される各種プログラムや各種データを格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。演奏操作子６は楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子６（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏のために使用できるのは勿論のこと、テレビやラジオなどの受信機による番組の放送受信時において、当該電子音楽装置を番組と連動させて駆動させるか否かを指示するための設定手段などとして使用することもできる。検出回路４は、演奏操作子４Ａの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。駆動回路５は、ユーザが操作せずともMIDIデータ（楽曲演奏データ）に従って押鍵動作を自動的に行うように、各鍵を駆動するためのものである。なお、ここでは図示していないが、鍵盤を構成する複数の鍵毎にＬＥＤのような発光素子（鍵盤ＬＥＤと呼ぶ）からなる表示器を設けていてよい。

表示回路７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイ７Ａ（表示器）に、再生中の曲の歌詞や楽譜を表示させたり、あるいはＣＰＵ１の制御状態などを表示したりする。設定操作子（スイッチ等）８Ａは、例えば番組の放送時において当該電子音楽装置を番組内で流れる映像や楽音などと連動させて駆動させるか否かを指示する連動設定スイッチなどがある。勿論、これら以外にも、音高、音色、効果等を選択・設定・制御するために用いる数値データ入力用のテンキーや文字データ入力用のキーボード、あるいはディスプレイ７Ａに表示される所定のポインティングデバイスを操作するために用いるマウスなどの各種操作子を含んでいてよい。検出回路８は、上記各スイッチの操作状態を検出し、その操作状態に応じたスイッチ情報をデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。

音源回路９は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられた、ユーザによる演奏操作子６の操作に応じて発生される各種演奏情報、あるいはMIDIデータ（楽曲演奏データ）の各種演奏情報を入力し、これらの演奏情報に基づいて楽音信号を発生する。音源回路９から発生された楽音信号は、効果回路１０を介して効果付与されてアンプやスピーカなどを含むサウンドシステム１１から発音される。この音源回路９と効果回路１０とサウンドシステム１１の構成には、従来のいかなる構成を用いてもよい。例えば、音源回路９はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＣＰＵ１によるソフトウェア処理で構成してもよい。

動画／楽音データ入力インタフェース（I/F）１２は、外部チューナ／復調装置や外部ディジタルレコーダ装置からの動画データ及び／又は音声データを入力する。チューナ回路１３は図１に示すチューナ／復調部Ｔ及びデマルチプレックス部ＤＰに相当し、前記受信した放送信号を動画ビットストリームデータと楽音ビットストリームデータとが多重化されたデータであるコンテンツデータに復調し、該復調したコンテンツデータから、動画ビットストリームデータと楽音ビットストリームデータとを取り出す。デコーダ回路１４は図１に示した動画デコード部ＭＤ又は楽音デコード部ＶＤ、MIDIイベント生成部ＩＢに相当し、動画／楽音ビットストリームデータから、その中に電子透かし情報として埋め込まれているMIDIビットストリームデータを抽出し、抽出したMIDIビットストリームデータをMIDIデータに逆変換する。

外部記憶装置１５は、MIDIデータなどの各種データ、ＣＰＵ１が実行する各種制御プログラム等の制御に関するデータなどを記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この外部記憶装置１５（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置１５はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の着脱自在な様々な形態の外部記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

MIDIインタフェース（I/F）１６は、外部接続された他のＭＩＤＩ機器１６Ａ等からMIDIデータを当該電子音楽装置へ入力したり、あるいは放送局から配信された放送信号から抽出したMIDIデータを、当該電子音楽装置から他のMIDI機器１６Ａ等へ出力するためのインタフェースである。通信インタフェース（Ｉ／Ｆ）１７は、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワークＸに接続されており、該通信ネットワークＸを介してサーバコンピュータ１７Ａと接続され、当該サーバコンピュータ１７Ａから制御プログラムあるいは各種データなどを電子音楽装置側に取り込むためのインタフェースである。すなわち、ＲＯＭ２や外部記憶装置１５（例えば、ハードディスク）等に制御プログラムや各種データが記憶されていない場合に、サーバコンピュータ１７Ａから制御プログラムや各種データをダウンロードするために用いられる。こうした通信インタフェース１７は、有線あるいは無線のものいずれかでなく双方を具えていてよい。

なお、演奏操作子６Ａは鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子６Ａやディスプレイ７Ａあるいは音源回路９、さらにはチューナ回路１３やデコーダ回路１４などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、通信インタフェースや各種ネットワーク等の通信手段を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。さらに、本発明に係る電子音楽装置は電子楽器やパーソナルコンピュータの形態に限らず、カラオケ装置やゲーム装置、携帯電話等の携帯型通信端末、自動演奏ピアノなど、どのような形態の装置・機器に適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

次に、楽音又は動画ビットストリームデータ内に電子透かし情報として埋め込まれており、放送中の番組にあわせて電子音楽装置ＤＭを連動動作するために利用するMIDIデータを、楽音又は動画ビットストリームデータから取り出すデコード処理について説明する。図１１は、図１に示した楽音デコード部ＶＤ又は動画デコード部ＭＤの機能を略示する機能ブロック図である。

ビットストリーム分解部ＤＣ１は、入力されたデータが符号化された楽音ビットストリームデータである場合には、当該楽音ビットストリームデータからＭＤＣＴ係数に相当するビット列を取り出す。他方、入力されたデータが符号化された動画ビットストリームデータである場合には、当該動画ビットストリームデータのＰピクチャやＢピクチャあるいはＩピクチャの色差成分（Ｃｒ成分、Ｃｂ成分）については読み飛ばしを行い、Ｉピクチャの輝度成分（Ｙ成分）についてはＤＣＴ係数に相当するビット列を取り出す。この取り出したＭＤＣＴ係数に相当するビット列又はＩピクチャの輝度成分（Ｙ成分）のＤＣＴ成分に相当するビット列は、ハフマン符号化されているデータである。そこで、ハフマン復号部ＤＣ２は、取り出したビット列を復号し、元の量子化されているＭＤＣＴ係数又は量子化されているＤＣＴ係数に変換する。MIDIビットストリーム抽出部ＤＣ３は、前記変換された元の量子化されているＭＤＣＴ係数又は量子化されているＤＣＴ係数を順に調べ、係数が奇数である場合には「１」を、係数が偶数である場合には「０」を出力する。このようにして、楽音又は動画ビットストリームデータ内に電子透かし情報として埋め込まれているMIDIデータを復号する。こうしたMIDIデータの復号は、外部のディジタルテレビ装置ＴＶなどが楽音や動画を復号するのと同じ固定時間で行い、これにより楽音データ及び動画データとMIDIデータとが同期する。なお、変換後のＭＤＣＴ係数又はＤＣＴ係数すべてについて調べることなく、エンコーダとデコーダとの予め決められた共通のルールによって、とびとびの係数のみについて調べるようにしてもよい。

図１２は、楽音デコードの機能を実現する具体的な処理の一実施例を示すフローチャートである。図１２に示す処理は、電子音楽装置ＤＭにおいて適宜に起動されるソフトウェアプログラムであって、機器本体の電源オンに応じて常時起動される。

ステップＳ４１は、符号化された楽音ビットストリームデータを１フレーム分読み出す。ステップＳ４２は、読み出した１フレーム分の楽音ビットストリームデータから、所定の順にＭＤＣＴ係数を１つ取り出す。ステップＳ４３は、取り出したＭＤＣＴ係数が奇数か否かを判定する。取り出したＭＤＣＴ係数が奇数であると判定した場合には（ステップＳ４３のｙｅｓ）、予め用意しておいた所定の一時記憶メモリに記憶しているビット列に「１」を追記する（ステップＳ４４）。取り出したＭＤＣＴ係数が奇数でないと判定した場合には（ステップＳ４３のｎｏ）、予め用意しておいた所定の一時記憶メモリに記憶しているビット列に「０」を追記する（ステップＳ４５）。ステップＳ４６は、フレーム内の所定数のＭＤＣＴ係数に相当する回数（例えば1024回）、前記処理を繰り返し実行したか否かを判定する。フレーム内のＭＤＣＴ係数に相当する回数分、前記処理を繰り返し実行していないと判定した場合には（ステップＳ４６のｎｏ）、ステップＳ４２の処理に戻って、上記処理を繰り返し実行する。フレーム内のＭＤＣＴ係数に相当する回数分、前記処理を繰り返し実行したと判定した場合には（ステップＳ４６のｙｅｓ）、予め用意しておいた所定の一時記憶メモリに記憶しているビット列をMIDIデータ（例えばMIDIメッセージイベント情報）に変換する（ステップＳ４７）。ステップＳ４８は、出力すべき時刻に達したMIDIデータがあるか否かを判定する。出力すべき時刻に達したMIDIデータがあると判定した場合には（ステップＳ４８のｙｅｓ）、当該MIDIデータに従い本電子音楽装置を駆動するよう制御する（ステップＳ４９）。

図１３は、上記した動画デコードの機能を実現する具体的な処理の一実施例を示すフローチャートである。図１３に示す処理は、電子音楽装置ＤＭにおいて適宜に起動されるソフトウェアプログラムであって、機器本体の電源オンに応じて常時起動される。

ステップＳ５１は、符号化された動画ビットストリームデータを１フレーム分読み出す。ステップＳ５２は、読み出した１フレーム分の動画ビットストリームデータがＩピクチャに相当するフレームに関するデータであるか否かを判定する。読み出した１フレーム分の動画ビットストリームデータがＩピクチャに相当するフレームに関するデータでないと判定した場合には（ステップＳ５２のｎｏ）、ステップＳ６１の処理へジャンプする。読み出した１フレーム分の動画ビットストリームデータがＩピクチャに相当するフレームに関するデータであると判定した場合には（ステップＳ５２のｙｅｓ）、Ｉピクチャに相当するフレームに関するデータから１ブロック分のデータを順に取り出す（ステップＳ５３）。ステップＳ５４は、取り出した１ブロック分のデータから、所定の順にＤＣＴ係数を１つ取り出す。ステップＳ５５は、取り出したＤＣＴ係数は奇数か否かを判定する。取り出したＤＣＴ係数が奇数であると判定した場合には（ステップＳ５５のｙｅｓ）、予め用意しておいた所定の一時記憶メモリに記憶しているビット列に「１」を追記する（ステップＳ５６）。取り出したＤＣＴ係数が奇数でないと判定した場合には（ステップＳ５５のｎｏ）、予め用意しておいた所定の一時記憶メモリに記憶しているビット列に「０」を追記する（ステップＳ５７）。

ステップＳ５８は、ブロック内の所定のＤＣＴ係数に関して（例えば３つ）、処理を繰り返し実行したか否かを判定する。ブロック内の所定のＤＣＴ係数に関して、前記処理を繰り返し実行していないと判定した場合には（ステップＳ５８のｎｏ）、ステップＳ５４の処理に戻って、上記ステップＳ５４〜ステップＳ５８までの処理を繰り返し実行する。一方、ブロック内の所定のＤＣＴ係数に関して、前記処理を繰り返し実行したと判定した場合には（ステップＳ５８のｙｅｓ）、該Ｉピクチャに相当する１フレームを構成する全ブロックに相当する回数（例えば5400）、処理を繰り返したか否かを判定する（ステップＳ５９）。１フレームを構成する全ブロックに相当する回数分、処理を繰り返していないと判定した場合には（ステップＳ５９のｎｏ）、ステップＳ５３の処理に戻って、上記ステップＳ５３〜ステップＳ５９までの処理を繰り返し実行する。１フレームを構成する全ブロックに相当する回数分、処理を繰り返したと判定した場合には（ステップＳ５９のｙｅｓ）、予め用意された所定の一時記憶メモリに記憶しているビット列をMIDIデータ（例えばMIDIメッセージイベント情報）に変換する（ステップＳ６０）。ステップＳ６１は、出力すべき時刻に達したMIDIデータがあるか否かを判定する。出力すべき時刻に達したMIDIデータがあると判定した場合には（ステップＳ６１のｙｅｓ）、当該MIDIデータに従い本電子音楽装置を駆動するよう制御する（ステップＳ６２）。

このようにして、テレビ放送局Ｂなどから伝送される放送コンテンツ（番組）内に、電子音楽装置ＤＭを連動動作させるために利用するMIDIデータ（楽曲演奏データ）を電子透かし情報として埋め込んでおき、放送コンテンツと共に放送信号として配信することができるようにしたことから、放送コンテンツ自体に放送コンテンツとは別の情報である楽曲演奏データを挿入して配信することが番組の放送仕様／形式に関わらず容易にでき、また汎用性が高く有利である。

なお、上述した実施例においては、MIDIデータの時刻情報をＭＤＣＴ係数又はＤＣＴ係数に対応付けることによって、時刻情報を符号化された楽音又は動画ビットストリーム内に情報としてもつことで、楽音データ又は動画データと時間的に関連付けるようにしているがこれに限らない。例えば、楽音又は動画のエンコードを行う際に、MIDIデータのイベント情報のそれぞれに対して再生すべき時刻を指定するための再生時刻情報を付与しておき、イベント情報と再生時刻情報をまとめてMIDIビットストリームデータ化し符号化する。そして、デコードの際には、上述した実施例のようにイベント情報がどのＭＤＣＴ係数又はＤＣＴ係数に埋め込まれているかに基づいてではなく、イベント情報に付与されていた再生時刻情報に基づいて再生すべき時刻を決定する。こうした再生時刻情報の形式は「年／月／日／時／分／秒／フレーム／サブフレーム」単位であってもよいし、指定された拍子とテンポに対する「小節／拍／tick」であってもよい。あるいは、絶対時間で指定してもよいし、各イベント間のデルタタイム（相対時間）で指定してもよい。ＳＭＦ形式データをそのまま用いてもよい。こうすると、例えばコマーシャルの画像データや楽音データに対して、後続する番組にあわせて電子音楽装置ＤＭを連動動作させるために使用するMIDIデータを予め先行して埋め込んでおくことができる。したがって、番組に先行してコマーシャルを配信することで、再生時刻情報を先行配信し、該先行配信された再生時刻情報に基づいて、コマーシャル以降に放送される番組にあわせて電子音楽装置ＤＭを連動動作させることができるようになる。

なお、上述した図１に示す電子音楽装置連動システムにおいては、電子音楽装置ＤＭに内蔵されたチューナ／復調部Ｔが放送局ＨＳから配信される放送信号を受信・デコードし、該受信・デコードした放送信号から電子透かし情報として埋め込まれているMIDIデータを抽出して、これを利用して電子音楽装置ＤＭを駆動する構成としたがこれに限らない。一例として、図１４を示す。図１４は、本発明に係る電子音楽装置連動システムにおける電子音楽装置ＤＭについて、別の実施例を示すシステムブロック図である。

図１４に示す電子音楽装置ＤＭは、チューナ／復調部Ｔを内蔵していない。この電子音楽装置ＤＭは、外部の「チューナ／復調／デマルチプレクサ／ＡＶデコーダを備えた装置」Ａから放送信号の受信に応じて出力される、MIDIデータを電子透かし情報として含む動画データあるいは楽音データを受信して、これに基づき動作する。動画データとしては、典型的には480ｐ形式（ディジタル放送規格）のディジタル動画データが例として挙げられる。楽音データとしては、典型的にはAES/EBU形式（ディジタルオーディオ規格）のディジタル楽音データが例として挙げられる。勿論、動画データや楽音データはこれらの規格に限らない。また、ディジタルデータに限らず、品質のよいアナログデータであってもよい。テレビ装置ＴＶ´は、「チューナ／復調／デマルチプレクサ／ＡＶデコーダを備えた装置」Ａから出力される動画データと楽音データを受信し、映像を表示したり、楽音を発したりする。外部レコーダ装置ＯＲ´は、「チューナ／復調／デマルチプレクサ／ＡＶデコーダを備えた装置」Ａから出力される動画データと楽音データを受信し、これを記録する。また、記録した動画データと楽音データとを再生する。動画エンコード部ＭＥは、480p形式の動画データをMPEG-2 Video形式のディジタル動画データに変換する。楽音エンコード部ＶＥは、AES/EBU形式の楽音データをMPEG-2 Audio AAC形式のディジタル楽音データに変換する。動画エンコード部ＭＥ及び楽音エンコード部ＶＥでは、前記変換後のデータから電子透かし情報として埋め込まれているMIDIデータを取り出す。そして、動画エンコード部ＭＥ及び楽音エンコード部ＶＥ以降においては、該取り出したMIDIデータに基づき本電子音楽装置ＤＭを動作するよう制御する。これについては、既に説明したとおりであることから説明を省略する。

なお、電子音楽装置ＤＭを連動動作させる放送コンテンツはテレビ放送によるものに限らず、ラジオ放送によるものでもよい。あるいは、ワンセグのような携帯端末向け放送であってもよい。インターネット放送であってもよい。
なお、楽曲演奏データのフォーマットは、イベント情報の発生時刻を曲や小節内における絶対時間で表した『イベント＋絶対時間』形式のもの、イベント情報の発生時刻を１つ前のイベントからの時間で表した『イベント＋相対時間』形式のもの、音符の音高と符長あるいは休符と休符長で演奏データを表した『音高（休符）＋符長』形式のもの、演奏の最小分解能毎にメモリの領域を確保し、演奏イベント情報の発生する時刻に対応するメモリ領域にイベント情報を記憶した『ベタ方式』形式のものなど、どのような形式のものでもよい。また、メモリ上において、時系列の楽曲演奏データが連続する領域に記憶されていてもよいし、飛び飛びの領域に散在して記憶されている楽曲演奏データを、連続するデータとして別途管理するようにしてもよい。すなわち、時系列的に連続する楽曲演奏データとして管理することができればよく、メモリ上で連続して記憶されているか否かは問題ではない。

本発明に係る電子音楽装置連動システムの全体構成の一実施例を略示するシステムブロック図である。 楽音エンコード部の機能の一実施例を略示する機能ブロック図である。 楽音エンコード部における各機能を説明するための概念図である。 楽音エンコード部における各機能を実現する具体的な処理の一実施例を示すフローチャートである。 動画エンコード部による動画エンコードの処理概要を示す模式図である。 動画エンコード部の機能の一実施例を略示する機能ブロック図である。 Ｉピクチャの１画面分のブロックデータ群を示す概念図である。 所定の係数へのMIDIデータの埋め込みを説明するための概念図である。 動画エンコード部の機能を実現する具体的な処理の一実施例を示すフローチャートである。 この発明に係る電子音楽装置の全体構成を示したハード構成ブロック図である。 楽音デコード部又は動画デコード部の機能を略示する機能ブロック図である。 楽音デコードの機能を実現する具体的な処理の一実施例を示すフローチャートである。 動画デコードの機能を実現する具体的な処理の一実施例を示すフローチャートである。 本発明に係る電子音楽装置連動システムにおける電子音楽装置について、別の実施例を示すシステムブロック図である。

符号の説明

１…ＣＰＵ、１Ａ…タイマ、２…ＲＯＭ、３…ＲＡＭ、４，８…検出回路、５…駆動回路、６…演奏操作子（鍵盤等）、７…表示回路、７Ａ…ディスプレイ、８Ａ…設定操作子、９…音源回路、１０…効果回路、１１…サウンドシステム、１２…動画／楽音データ入力インタフェース、１３…チューナ回路、１４…デコーダ回路、１５（Ｋ）…外部記憶装置、１６…MIDIインタフェース、１６Ａ…MIDI機器、１７…通信インタフェース、１７Ａ…サーバコンピュータ、１Ｄ…通信バス、Ｘ…通信ネットワーク、ＨＳ…放送局、Ｒ…データ生成装置群、ＣＳ…コンテンツ制作装置、ＭＥ…動画エンコード部、ＢＳ…MIDIビットストリーム生成部、ＶＥ…楽音エンコード部、Ｐ…マルチプレックス部、Ｈ…放送設備、ＤＭ…電子音楽装置、Ｇ…楽器駆動11111制御部、ＩＢ…MIDIイベント生成部、ＭＤ…動画デコード部、ＶＤ…楽音デコード部、ＤＰ…デマルチプレックス部、Ｔ…チューナ、ＯＲ（ＯＲ´）…外部ディジタルレコーダ装置、ＴＶ…ディジタルテレビ装置、ＴＶ´…テレビ装置、ＯＴ…外部チューナ／復調装置、Ａ…チューナ／復調／デマルチプレクサ／ＡＶデコーダを備えた装置

Claims (5)

1. 少なくとも音源、演奏操作子、表示器のいずれか１つを具えた電子音楽装置において、
   少なくとも音源、演奏操作子、表示器のいずれか１つを駆動する駆動手段と、
   電子透かし情報として符号化された楽曲演奏データが埋め込まれている、符号化された画像及び／又は楽音データからなる放送コンテンツを取得するコンテンツ取得手段であって、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれてなるものと、
   前記取得した放送コンテンツから、電子透かし情報として埋め込まれている楽曲演奏データを抽出する抽出手段であって、該抽出手段は、符号化された画像及び／又は楽音データを復号化して、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられた前記楽曲演奏データを抽出するものと、
   前記抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するようにして前記駆動手段を駆動するよう制御する制御手段と
   を具えた電子音楽装置。
2. 放送局から配信する画像及び／又は楽音データからなる放送コンテンツを制作するコンテンツ制作装置において、
   画像及び／又は楽音データを取得し、該取得した画像及び／又は楽音データに基づく放送コンテンツを作成するコンテンツ作成手段と、
   少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動するためのものであって、離散的な時間に発生する複数のイベントから構成される楽曲演奏データを取得する取得手段と、
   前記取得した楽曲演奏データを電子透かし情報化し、前記作成した放送コンテンツに含まれる画像及び／又は楽音データに埋め込む電子透かし手段であって、該電子透かし手段は、前記取得した楽曲演奏データを符号化し、該符号化した楽曲演奏データのビットレートを、前記画像及び／又は楽音データを符号化する際に用いたタイミング制御情報に基づいて前記符号化した画像及び／又は楽音データのビットレートに一致させることにより、前記楽曲演奏データを構成する各イベントの発生時刻と前記画像及び／又は楽音データの時間的位置とを関連付けるものと、
   前記電子透かし情報として符号化した楽曲演奏データが埋め込まれた前記符号化した画像及び／又は楽音データからなる放送コンテンツを出力する出力手段と
   を具えたコンテンツ制作装置。
3. 画像及び／又は楽音データを取得し、該取得した画像及び／又は楽音データに基づく放送コンテンツを作成するコンテンツ作成手段と、少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動するためのものであって、離散的な時間に発生する複数のイベントから構成される楽曲演奏データを取得する取得手段と、前記取得した楽曲演奏データを電子透かし情報化し、前記作成した放送コンテンツに含まれる画像及び／又は楽音データに埋め込む電子透かし手段であって、該電子透かし手段は、前記取得した楽曲演奏データを符号化し、該符号化した楽曲演奏データのビットレートを、前記画像及び／又は楽音データを符号化する際に用いたタイミング制御情報に基づいて前記符号化した画像及び／又は楽音データのビットレートに一致させることにより、前記楽曲演奏データを構成する各イベントの発生時刻と前記画像及び／又は楽音データの時間的位置とを関連付けるものと、前記電子透かし情報として符号化した楽曲演奏データが埋め込まれた前記符号化した画像及び／又は楽音データからなる放送コンテンツを出力する出力手段とを含むコンテンツ制作装置と、
   前記コンテンツ制作装置により作成された放送コンテンツを配信する配信手段を少なくとも含む放送局と、
   少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動する駆動手段と、電子透かし情報として符号化された楽曲演奏データが埋め込まれている、符号化された画像及び／又は楽音データからなる放送コンテンツを取得するコンテンツ取得手段であって、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれてなるものと、前記取得した放送コンテンツから、電子透かし情報として埋め込まれている楽曲演奏データを抽出する抽出手段であって、該抽出手段は、符号化された画像及び／又は楽音データを復号化して、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられた前記楽曲演奏データを抽出するものと、前記抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するようにして前記駆動手段を駆動するよう制御する制御手段とを含む電子音楽装置と
   を具えた電子音楽装置連動システム。
   
4. コンピュータに、
   電子透かし情報として符号化された楽曲演奏データが埋め込まれている、符号化された画像及び／又は楽音データからなる放送コンテンツを取得する手順であって、前記符号化された楽曲演奏データは、ビットレートが前記画像及び／又は楽音データを符号化する際に用いられたタイミング制御情報に基づいて、前記符号化された画像及び／又は楽音データのビットレートに一致されてから、前記符号化された画像及び／又は楽音データに埋め込まれてなるものと、
   前記取得した放送コンテンツから、電子透かし情報として埋め込まれている楽曲演奏データを抽出する手順であって、該手順は、符号化された画像及び／又は楽音データを復号化して、離散的な時間に発生する複数のイベントの各発生時間が前記画像及び／又は楽音データの時間的位置に関連付けられた前記楽曲演奏データを抽出するものと、
   前記抽出した楽曲演奏データに従って、前記取得した放送コンテンツの放送時に流れる１乃至複数の画像及び／又は楽音それぞれに同期するようにして、少なくとも音源、演奏操作子、表示器のいずれか１つを駆動するよう制御する手順と
   を実行させるためのプログラム。
5. コンピュータに、
   画像及び／又は楽音データを取得し、該取得した画像及び／又は楽音データに基づく放送コンテンツを作成する手順と、
   少なくとも電子音楽装置の音源、演奏操作子、表示器のいずれか１つを駆動するためのものであって、離散的な時間に発生する複数のイベントから構成される楽曲演奏データを取得する手順と、
   前記取得した楽曲演奏データを電子透かし情報化し、前記作成した放送コンテンツに含まれる画像及び／又は楽音データに埋め込む手順であって、該手順は、前記取得した楽曲演奏データを符号化し、該符号化した楽曲演奏データのビットレートを、前記画像及び／又は楽音データを符号化する際に用いたタイミング制御情報に基づいて前記符号化した画像及び／又は楽音データのビットレートに一致させることにより、前記楽曲演奏データを構成する各イベントの発生時刻と前記画像及び／又は楽音データの時間的位置とを関連付けるものと、
   前記電子透かし情報として符号化した楽曲演奏データが埋め込まれた前記符号化した画像及び／又は楽音データからなる放送コンテンツを出力する手順と
   を実行させるためのプログラム。

Images