JPH0773320A - イメージ音楽生成装置 - Google Patents

Abstract

(57)【要約】 【目的】 任意の映像情報から自動的に音楽情報を生成
するイメージ音楽生成装置を提供する。 【構成】 外部入力装置４で指定した色コードを持つ画
素を各フレームごとに色情報抽出器３で抽出し、この抽
出された画素のフレーム内における座標を符号化器５に
よって符号化し、画素の座標コードと、その画素が１フ
レームに含まれる数と外部入力装置４で指定した色コー
ドとを音楽生成器６に入力して音楽情報に変換する。 【効果】 任意の映像情報から音楽情報を生成すること
により、音楽の専門知識や演奏技術を持たなくても新た
な音楽を創造することができ、パッケージメディアに付
随した音楽を映像に同期した独自の音楽に容易に置き換
えることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、任意の映像から自動的
に音楽を生成することができるイメージ音楽生成装置に
関する。

【０００２】

【従来の技術】映像に関するパッケージメディアには、
映像に対して音楽のみ、または音楽および音声があらか
じめ付随して提供されている。通常これらの音楽は、作
曲者が各々の映像に適した音楽、または映像とは独立し
た音楽を楽器演奏用に楽譜に表現し、これを実際に演奏
することにより完成する。しかしながら作曲者の多様な
感性から発する様々なイメージを表現するためには古来
より演奏されているアコースティック楽器だけでは不十
分であり、様々な電子楽器が用いられるようになった。
またコンピュータを用いて楽音や音声データを任意に入
出力して様々な音を合成することにより、作曲者の持つ
イメージを表現する音楽を完成することも試みられてき
た。いずれにしても、作り手は音楽に対して明確なイメ
ージを持ち、意図的にそのイメージを楽譜やコンピュー
タプログラムとして表現しなければならない。そのため
には音楽に関する専門知識および楽器やコンピュータを
扱う能力や知識が必要である。

【０００３】従来の古典的な手作業から脱却した新しい
音楽作曲方法が、情報理論を応用することにより、実現
されている。たとえば「Ｈ．Ｆ．オルソン著 音楽工学
誠文堂新光社刊３９８頁〜４０７頁」に示されている
ものがある。図４に、その従来例の電子音楽作曲機のブ
ロックダイヤグラムを示す。図４においてランダム数発
生器４１で発生させた音符をリズム発生器４３に出力
し、リズム発生器４３であらかじめ定められた確率に従
いリズム変化を作り出す。この、あらかじめ定められた
確率は古くから一般に愛好されてきた楽曲の統計的解析
に基づいて計算されている。リズム発生器４３で作り出
されたリズム変化はリズム発生器４３から主制御システ
ム４４に入力されて、ランダム数発生器４２で発生させ
て入力した音程を制御する。主制御システム４４の出力
は確率マトリクスシステム４５であらかじめ定められた
確率で制御され、確率マトリクスシステム４５が有する
翻訳器で音程を持った音符に表現される。翻訳器の出力
は再び主制御システム４４で読み取られた後、音響合成
機４６に入力され音の始動を制御し、スピーカ４７から
出力される。

【０００４】さらに一部の専門家以外の一般の音楽愛好
家のために、簡単な操作で演奏や作曲のできる電子楽器
も各種用いられるようになっている。

【０００５】

【発明が解決しようとする課題】しかしながらビデオの
普及やコンピュータグラフィックの発達に伴い、映像に
関する様々な新しい芸術が生まれているにも関わらず、
音の作り方は従来のままであり、上記従来の電子音楽作
曲機は、古くから愛好されている音楽を数学的にいかに
再現するかに主眼をおいたものであり、電子音楽作曲機
で完成された音楽は全く新しいといえるものではなかっ
た。また、様々なパッケージメディアの中の映像に付随
する音楽や音声は、受け手の持つイメージと異なったも
のであったとしても、受け手の側で任意に変更すること
は不可能であるという問題点があった。さらに、商業空
間で映像や音楽ソフトを使用する場合、著作権問題を避
けるためにオリジナルソフトを製作すると、大きな製作
コストが発生するという問題点もあった。

【０００６】本発明は、上記従来の問題点を解決するた
めになされたもので、任意の映像から自動的に音楽を生
成するイメージ音楽生成装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明のイメージ音楽生
成装置は上記目的を達成するために、特定の情報を指定
するための外部入力手段と、外部入力手段で指定された
特定の情報を持った画素を映像フレームごとに抽出する
抽出手段と、抽出手段で抽出された画素の、映像フレー
ムにおける座標を符号化する符号化手段と、符号化され
た画素の座標コードを音のピッチに対応させ、各映像フ
レームに含まれる抽出された画素の数を音の大きさに対
応させ、外部入力手段により指定された情報を音色に対
応させることにより音楽情報を生成する音楽生成手段と
を有する構成となっている。

【０００８】

【作用】本発明のイメージ音楽生成装置は上記の構成に
おいて、外部入力手段に特定の情報を指定すると、映像
信号をフレームごとに輝度信号とＲＧＢ信号とに分離し
て符号化されたディジタル映像入力信号の各映像フレー
ムから、外部入力手段で指定された情報を持った画素を
抽出する。抽出された画素の座標と１フレームに含まれ
る画素数とを符号化手段で符号化し、座標コードと画素
数コードと外部入力手段に指定された情報とは、映像フ
レームごとに音楽生成手段によって音楽情報に変換さ
れ、出力されるよう作用することとなる。

【０００９】

【実施例】以下、本発明の一実施例のイメージ音楽生成
装置について図面を参照しながら説明する。図１は、本
発明の一実施例におけるイメージ音楽生成装置のブロッ
ク図である。図において、たとえば光ディスク、ハード
ディスク、磁気テープ等の記憶装置、またはラインから
入力した各種映像媒体からの映像信号１は、Ａ／Ｄ変換
器２でアナログ信号からディジタル信号に変換され、イ
メージ音楽生成装置９に加えられる。イメージ音楽生成
装置９は入力映像信号から外部入力装置４で指定された
色情報を抽出する色情報抽出器３、この色情報抽出器３
の出力を符号化する符号化器５およびこの符号化器５の
出力と外部入力装置４への入力とにより音楽を生成する
音楽生成器６とから構成されている。イメージ音楽生成
装置９のディジタル出力信号は、アナログ信号化するＤ
／Ａ変換器７を介して出力端子８に出力されるよう構成
されている。

【００１０】以上のように構成され、つぎにその動作を
図２の映像信号の符号化過程の説明図を併用して説明す
ると、各種映像媒体からの映像信号１をＡ／Ｄ変換器２
でフレームごとに図２（ａ）で示すように映像フレーム
２１は各ｍ×ｎの画素に分割し、各画素ごとに輝度信号
とＲＧＢ信号とに分離して符号化したものをイメージ音
楽生成装置９の色情報抽出器３に入力する。外部入力装
置４は符号化されたＲＧＢ情報に対応した色コードと、
この色コードに対応すべき音色コードとを有し、操作者
はキーボード（図示せず）やマウス（図示せず）等を操
作し、ある色を選択する色コードを決定し、つぎにその
色コードに対応する音色コードを指定する。たとえば
“黄色”、“バイオリン”と入力すると黄色に対応する
色コードとバイオリンに対応する音色コードとを対応し
て選択することになる。図２（ｂ）で示すように色情報
抽出器３において、フレームごとに、外部入力装置４で
指定された色コードを持つ画素２２（斜線で表示）を抽
出する。符号化器５において、指定された色コードを持
つ画素のフレームにおける座標と、フレーム内に含まれ
る指定された色コードを持つ画素の数とを符号化し、そ
れぞれ座標コードと画素数コードとする。この座標コー
ドと画素数コードと外部入力装置４により指定された色
コードに対応する音色コードとは、音楽生成器６が有す
るメモリに取り込まれ、上記画素数コードを音の強さ
に、上記画素の座標コードを音のピッチに対応させるこ
とにより、図２（ｃ）で示すように３つの映像情報すな
わち色コード２３、画素の座標コード２４、画素数コー
ド２５を音楽情報に変換する。連続的に音楽生成器６で
映像情報から生成される音楽情報をＤ／Ａ変換器７でア
ナログの音楽信号に変換して、出力端子８から出力す
る。

【００１１】以上のように本実施例のイメージ音楽生成
装置９は、外部入力装置４からの入力に基づいて音楽生
成器６において映像情報から音楽情報を生成することに
より、音楽の専門知識や演奏技術を持たずとも入力した
映像に同期した独自の音楽を生成することができる。

【００１２】図３は、図１で示したイメージ音楽生成装
置を用いて構成したイメージ音楽生成システムの構成図
である。ハードディスク３１に記録されたコンピュータ
グラフィック作品の映像情報は、Ａ／Ｄ変換器、Ｄ／Ａ
変換器を含むイメージ音楽生成装置３２とモニタ３３に
入力される。入力された映像情報に同期してイメージ音
楽生成装置３２で生成された音楽は、ハードディスク３
１に記録されるとともにスピーカ３４より出力される。
したがって、図３に示すようなイメージ音楽生成装置を
含むイメージ音楽生成システムを用いれば映像情報に付
随する音楽の有無にかかわらず、パッケージメディアの
あらゆる映像に対応して自動的に音楽を生成することが
できる。

【００１３】なお図１に示した実施例では外部入力装置
の指定により任意の映像のＲＧＢ信号を音楽情報に変換
したが、外部入力装置はＲＧＢ信号に代えて輝度信号を
指定してもよい。また、任意の映像内の特定の形状を外
部入力装置４から指定し、各フレームにおけるその形状
の軌跡を音楽情報に変換してもよい。

【００１４】また、音楽生成器６が有するメモリに取り
込まれた映像情報のフレームの順番を入れ換えて出力し
てもよい。また音色コードと色コードとは外部入力装置
４においてあらかじめ１対１に対応するものであった
が、その対応関係は変更してもよい。

【００１５】また図３の説明では映像情報としてコンピ
ュータグラフィック作品を用いたが、映像情報は自然画
像でも何でもよく、この実施例に限定されるものではな
い。また記録装置としてハードディスクを用いたが、他
のデータ記憶装置や固体メモリ等を用いてもよい。

【００１６】さらに、実施例において色情報抽出器３、
外部入力装置４、符号化器５、音楽生成器６は各々ハー
ドウエアとして表現したが、これは外部入力装置４の入
力部分（キーボードなど）を除いて、すべてソフトウエ
アで構成しても差し支えないものである。

【００１７】

【発明の効果】以上説明したように本発明のイメージ音
楽生成装置によれば、任意の映像信号を符号化し、符号
化された映像情報を音楽情報に変換することにより任意
の音楽を生成することができる。したがってパッケージ
メディアに付随した音楽を容易に置き換えることがで
き、従来にない、映像と同期した音楽による新しい芸術
を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例のイメージ音楽生成装置のブ
ロック図

【図２】同じくその映像信号の符号化過程の説明図 （ａ）は図１のＡ／Ｄ変換器２で符号化された映像フレ
ームの模式図 （ｂ）は図１の色情報抽出器３で抽出された画素の模式
図 （ｃ）は図１の音楽生成器６に入力される符号化された
コードの模式図

【図３】本発明の一実施例におけるイメージ音楽生成シ
ステムの構成図

【図４】従来例の電子音楽作曲機のブロック図

【符号の説明】 １ 映像信号 ２ Ａ／Ｄ変換器 ３ 色情報抽出器（色情報抽出手段） ４ 外部入力装置（外部入力手段） ５ 符号化器（符号化手段） ６ 音楽生成器（音楽生成手段） ７ Ｄ／Ａ変換器 ８ 出力端子 ９ イメージ音楽生成装置 ２１ 映像フレーム ２２ 外部入力装置により指定された色コードを持つ画
素 ２３ 色コード ２４ 画素の座標コード ２５ 画素数コード ３１ ハードディスク ３２ イメージ音楽生成装置 ３３ モニタ ３４ スピーカ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 特定の情報を指定するための外部入力手
   段と、前記外部入力手段で指定された特定の情報を持つ
   画素を映像フレームごとに抽出する抽出手段と、前記抽
   出手段で抽出された画素の、映像フレームにおける座標
   を符号化する符号化手段と、前記符号化手段により符号
   化された画素の座標コードを音のピッチに対応させ、同
   じく前記符号化手段により各フレームに含まれる抽出さ
   れた画素の数を音の大きさに対応させ、前記外部入力手
   段により指定された情報を音色に対応させることにより
   音楽情報を生成する音楽生成手段とを有するイメージ音
   楽生成装置。
2. 【請求項２】 抽出手段への入力信号は、映像信号をフ
   レームごとに複数の画素に分割し、各画素ごとに輝度信
   号とＲＧＢ信号とに分離して符号化したディジタル信号
   である請求項１記載のイメージ音楽生成装置。
3. 【請求項３】 外部入力手段は、特定の情報として特定
   の色または輝度を指定する手段を有する請求項１記載の
   イメージ音楽生成装置。
4. 【請求項４】 外部入力手段は、特定の情報として特定
   の形状を指定する手段を有する請求項１記載のイメージ
   音楽生成装置。