JPS63184875A - 音・画像変換装置 - Google Patents
音・画像変換装置Info
- Publication number
- JPS63184875A JPS63184875A JP62016095A JP1609587A JPS63184875A JP S63184875 A JPS63184875 A JP S63184875A JP 62016095 A JP62016095 A JP 62016095A JP 1609587 A JP1609587 A JP 1609587A JP S63184875 A JPS63184875 A JP S63184875A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- input
- output
- conversion device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000005236 sound signal Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 2
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は音と画像の両方を取り扱う装置に係り。
特に音楽と画像の動きとを変換する音・画像変換装置に
関する。
関する。
従来は、「ディジタル・ハーモニー」 (ジョン・ウィ
ツトニー著、産業図書株式会社、昭和59年)に記載の
ように、視覚芸術に音楽的秩序を持ち込むための試作的
な装置またはコンピュータ及びそのソフトウェアが存在
していた。これらの装置は音楽的秩序を視覚的に表現す
ることにある面で成功していた。
ツトニー著、産業図書株式会社、昭和59年)に記載の
ように、視覚芸術に音楽的秩序を持ち込むための試作的
な装置またはコンピュータ及びそのソフトウェアが存在
していた。これらの装置は音楽的秩序を視覚的に表現す
ることにある面で成功していた。
上記従来技術は、音楽的秩序を画像に表現することはあ
る面で可能であったが、音楽そのものを画像に変換する
、あるいは逆に、画像そのものを音楽に変換するもので
はなかった。
る面で可能であったが、音楽そのものを画像に変換する
、あるいは逆に、画像そのものを音楽に変換するもので
はなかった。
本発明の目的は、聴覚芸術と視覚芸術のインターフェー
スとしての、音と画像を変換する音・画像変換装置を提
供することにある。
スとしての、音と画像を変換する音・画像変換装置を提
供することにある。
上記目的は、音楽の曲の各パートの音の動きと。
ある基本形状を持つ画像の動きとを対応させて変換する
ことにより達成される。
ことにより達成される。
まず、音楽から画像への変換の作用について述べる。音
楽の情報が音・画像変換装置に入力されると、ある設定
された対応関係で、音楽の各パートにある基本形状を持
つ画像が割り当てられる。
楽の情報が音・画像変換装置に入力されると、ある設定
された対応関係で、音楽の各パートにある基本形状を持
つ画像が割り当てられる。
各パートの音の強さ、空間的位置、音程の高さ、和音、
音色などの特性の時間軸方向の動きは、ある設定された
対応関係で、各パートに割り当てられた画像の大きさ、
空間的位置、形の歪み、姿勢。
音色などの特性の時間軸方向の動きは、ある設定された
対応関係で、各パートに割り当てられた画像の大きさ、
空間的位置、形の歪み、姿勢。
色、透明度、質感などの特性の時間軸方向の動きに変換
される。
される。
画像から音への変換の場合は1画像の情報が音・画像変
換装置に入力されると、ある設定された対応関係で、あ
る時間軸上の位置における画像全体を構成している要素
としての各画像に音が割り当てられる。各画像の大きさ
、空間的位置、形の歪み、姿勢1色、透明度、質感など
の特性の時間軸方向の動きは、ある設定された対応関係
で、各音の強さ、空間的位置、音程の高さ、和音、音色
などの特性の時間軸方向の動きに変換される。
換装置に入力されると、ある設定された対応関係で、あ
る時間軸上の位置における画像全体を構成している要素
としての各画像に音が割り当てられる。各画像の大きさ
、空間的位置、形の歪み、姿勢1色、透明度、質感など
の特性の時間軸方向の動きは、ある設定された対応関係
で、各音の強さ、空間的位置、音程の高さ、和音、音色
などの特性の時間軸方向の動きに変換される。
以下、本発明の一実施例を第1図により説明する。第1
図は音楽を画像に変換する装置の実施例である。音楽の
入力は音の電気信号入力で行い。
図は音楽を画像に変換する装置の実施例である。音楽の
入力は音の電気信号入力で行い。
画像の出力は3次元コンピュータグラフィックスの画像
信号出力で行う、変換部分の各パートの音と各画像の対
応関係は使用者が任意に設定できるようになっている。
信号出力で行う、変換部分の各パートの音と各画像の対
応関係は使用者が任意に設定できるようになっている。
この対応関係の設定作業のために、キーボード等の入力
手段とモニターディスプレイとが接続されている。対応
関係の設定は、例えば、音の強さを画像の奥行方向位置
へ、音程の高さを画像の上下方向位置へ、音の左右方向
位置を画像の左右方向位置へ、各パートの音色をある基
本形状、大きさ、質感、透明度の画像へ対応させる。′
この対応関係の例の場合は、変換処理の流れは第3図の
ようになる。ある時刻に入力された音楽の信号を各パー
トに分離した後、各パートの音の強さ、音程、左右方向
位置を分析し、それぞれ対応させる画像の奥行方向位置
、上下方向位置、左右方向位置に対応させる。各パート
は予めある基本形状、大きさ、質感、透明度をもった画
像へ対応させておく、このような対応関係によって、音
楽の各要素を画像に変換して出力する。この変換処理を
ある時間ステップで次々に行うと、音楽は一連の画像に
動きに変換される。
手段とモニターディスプレイとが接続されている。対応
関係の設定は、例えば、音の強さを画像の奥行方向位置
へ、音程の高さを画像の上下方向位置へ、音の左右方向
位置を画像の左右方向位置へ、各パートの音色をある基
本形状、大きさ、質感、透明度の画像へ対応させる。′
この対応関係の例の場合は、変換処理の流れは第3図の
ようになる。ある時刻に入力された音楽の信号を各パー
トに分離した後、各パートの音の強さ、音程、左右方向
位置を分析し、それぞれ対応させる画像の奥行方向位置
、上下方向位置、左右方向位置に対応させる。各パート
は予めある基本形状、大きさ、質感、透明度をもった画
像へ対応させておく、このような対応関係によって、音
楽の各要素を画像に変換して出力する。この変換処理を
ある時間ステップで次々に行うと、音楽は一連の画像に
動きに変換される。
第2図は1本発明の他の実施例で、画像を音楽に変換す
る装置の実施例である6画像の入力は3次元画像の電気
信号入力で行い、音楽の出力はシンセサイザーで合成し
た音信号の出力で行う、変換部分の各画像と音との対応
関係は使用者が任意に設定できるようになっている。こ
の対応関係の設定作業のために、キーボード等の入力手
段とモニターディスプレイとが接続されている。対応関
係の設定は、例えば、画像の奥行方向位置を音の強さへ
1画像の上下方向位置を音程の高さへ、画像の左右方向
位置を音の左右方向位置へ、ある基本形吠、大きさ、質
感、透明度の画像をある音色へ対応させる。この対応関
係の例の場合は、変換処理の流れは第4図のようになる
。ある時刻に入力された画像信号を各要素画像に分離し
た後、各要素画像の奥行方向位置、上下方向位置、左右
方向位置を分析して、それぞれ音の強さ、音程の高さ、
・音の左右方向位置に対応させる。各要素画像は予めあ
る音色へ対応させておく。このような対応関係によって
、画像の各要素を音に変換して出力する。この変換処理
をある時間ステップで次々に行うと、一連の画像の動き
は音楽に変換される。
る装置の実施例である6画像の入力は3次元画像の電気
信号入力で行い、音楽の出力はシンセサイザーで合成し
た音信号の出力で行う、変換部分の各画像と音との対応
関係は使用者が任意に設定できるようになっている。こ
の対応関係の設定作業のために、キーボード等の入力手
段とモニターディスプレイとが接続されている。対応関
係の設定は、例えば、画像の奥行方向位置を音の強さへ
1画像の上下方向位置を音程の高さへ、画像の左右方向
位置を音の左右方向位置へ、ある基本形吠、大きさ、質
感、透明度の画像をある音色へ対応させる。この対応関
係の例の場合は、変換処理の流れは第4図のようになる
。ある時刻に入力された画像信号を各要素画像に分離し
た後、各要素画像の奥行方向位置、上下方向位置、左右
方向位置を分析して、それぞれ音の強さ、音程の高さ、
・音の左右方向位置に対応させる。各要素画像は予めあ
る音色へ対応させておく。このような対応関係によって
、画像の各要素を音に変換して出力する。この変換処理
をある時間ステップで次々に行うと、一連の画像の動き
は音楽に変換される。
本発明の他の実施例では、第1図の音・画像変換装置の
音信号入力部を楽譜読取り装置に置き換え、音信号入力
を楽譜入力に置き換えた。これによって、音楽情報の入
力において、豊富に存在する楽譜がそのまま使用できる
。
音信号入力部を楽譜読取り装置に置き換え、音信号入力
を楽譜入力に置き換えた。これによって、音楽情報の入
力において、豊富に存在する楽譜がそのまま使用できる
。
本発明の他の実施例では、第1図の音・画像変換装置の
音信号入力部に電子楽器用インターフェースであるMI
DIインターフェースを設け、音信号入力をMII)I
信号入力に置き換えた。これによって音・画像変換装置
にMIDIインターフェースを持つ楽器を接続してMI
DI信号を入力することができるので、音楽情報の入力
において演奏者が楽器を演奏する直接取り込むことがで
きる。
音信号入力部に電子楽器用インターフェースであるMI
DIインターフェースを設け、音信号入力をMII)I
信号入力に置き換えた。これによって音・画像変換装置
にMIDIインターフェースを持つ楽器を接続してMI
DI信号を入力することができるので、音楽情報の入力
において演奏者が楽器を演奏する直接取り込むことがで
きる。
本発明の他の実施例では、第1[i!!lの音・画像変
換装置の音信号入力を、音楽の各パートに分離した信号
の入力によって行った。これによって音を各パートに分
離する処理が不要になる。
換装置の音信号入力を、音楽の各パートに分離した信号
の入力によって行った。これによって音を各パートに分
離する処理が不要になる。
本発明の他の実施例では、第2図の音・画像変換装置の
画像信号入力部を画像操作装置操作信号入力部に置き換
えることにより、3次元画像信号の入力を画像操作装置
の操作信号の入力に置き換えて行った。この画像操作装
置は、楽器で音を操作するのと同様に、画像を操作する
装置である。
画像信号入力部を画像操作装置操作信号入力部に置き換
えることにより、3次元画像信号の入力を画像操作装置
の操作信号の入力に置き換えて行った。この画像操作装
置は、楽器で音を操作するのと同様に、画像を操作する
装置である。
これによって画像制作者が画像操作装置で画像を制作す
ると、同時にその操作情報を変換した音を出力すること
が可能となる。
ると、同時にその操作情報を変換した音を出力すること
が可能となる。
本発明の他の実施例では、第2図の音・画像変換装置の
画像信号の入力を、画像内の各要素に分離した画像信号
の入力によって行った。これによって画像を各要素画像
に分離する処理が不要になる。
画像信号の入力を、画像内の各要素に分離した画像信号
の入力によって行った。これによって画像を各要素画像
に分離する処理が不要になる。
本発明によれば、音楽と画像を設定した規則で変換する
ことができるので、聴覚芸術と視覚芸術の相互変換が可
能になる。その結果、以下のような効果がある。目、あ
るいは耳の不自由な人でも画像あるいは音楽を他方に変
換してイメージを感じて楽しむことができる。音をもと
にした画像作成や、画像をもとにした作曲ができる。
ことができるので、聴覚芸術と視覚芸術の相互変換が可
能になる。その結果、以下のような効果がある。目、あ
るいは耳の不自由な人でも画像あるいは音楽を他方に変
換してイメージを感じて楽しむことができる。音をもと
にした画像作成や、画像をもとにした作曲ができる。
第1図は本発明の一実施例の構成図、第2図は本発明の
他の実施例の構成図、第3図は本発明の一実施例に用い
た流れ図、第4図は本発明の他の荊lI21 率2図 亨3図
他の実施例の構成図、第3図は本発明の一実施例に用い
た流れ図、第4図は本発明の他の荊lI21 率2図 亨3図
Claims (1)
- 【特許請求の範囲】 1、音の情報の入力手段と画像の情報の出力手段、また
は、音の情報の出力手段と画像の情報の入力手段のうち
少なくとも一組と、前記入力手段によつて入力された情
報を変換してその結果を前記出力手段によつて出力する
情報の変換手段とを備えたものにおいて、音楽の曲の各
パートの音の動きと、ある基本形状を持つ画像の動きと
を対応させて変換することを特徴とする音・画像変換装
置。 2、特許請求の範囲第1項において、音楽の曲の中の各
パートの音の動きと、ある基本形状を持つ画像の動きを
変換するときの各音の特性と各画像の特性の対応関係を
使用者が設定できることを特徴とする音・画像変換装置
。 3、特許請求の範囲第1項において、各画像が3次元空
間での位置座標を持つていることを特徴とする音・画像
変換装置。 4、特許請求の範囲第1項において、音楽の曲の情報の
音・画像変換装置と音・画像変換装置の外との間の入出
力を、楽譜または楽譜に相当する記号の入出力により行
うことを特徴とする音・画像変換装置。 5、特許請求の範囲第1項において、音楽の曲の情報の
音・画像変換装置と音・画像変換装置の外との間の入出
力を、楽器または操作装置の演奏情報の信号の入出力に
より行うことを特徴とする音・画像変換装置。 6、特許請求の範囲第1項において、音楽の曲の情報の
音・画像変換装置と音・画像変換装置の外との間の入出
力を、音楽を各パートの音に分離した信号の入出力によ
り行うことを特徴とする音・画像変換装置。 7、特許請求の範囲第1項において、画像の情報の音・
画像変換装置と音・画像変換装置の外との間の入出力を
、画像操作装置の操作信号の入出力により行うことを特
徴とする音・画像変換装置。 8、特許請求の範囲第1項において、画像の情報の音・
画像変換装置と音・画像変換装置の外との間の入出力を
、1つの画像を構成する要素としての各画像に分離した
画像信号の入出力により行うことを特徴とする音・画像
変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP62016095A JP2559390B2 (ja) | 1987-01-28 | 1987-01-28 | 音・画像変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP62016095A JP2559390B2 (ja) | 1987-01-28 | 1987-01-28 | 音・画像変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS63184875A true JPS63184875A (ja) | 1988-07-30 |
JP2559390B2 JP2559390B2 (ja) | 1996-12-04 |
Family
ID=11906956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP62016095A Expired - Lifetime JP2559390B2 (ja) | 1987-01-28 | 1987-01-28 | 音・画像変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2559390B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996022580A1 (fr) * | 1995-01-17 | 1996-07-25 | Sega Enterprises, Ltd. | Processeur d'images et dispositif electronique |
WO2001013336A1 (en) * | 1999-08-18 | 2001-02-22 | Harmonicolor System Co., Ltd. | Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound |
WO2006090528A1 (ja) * | 2005-02-24 | 2006-08-31 | National University Corporation Kyushu Institute Of Technology | 楽音生成方法およびその装置 |
JP2008275845A (ja) * | 2007-04-27 | 2008-11-13 | Casio Comput Co Ltd | 波形発生装置および波形発生処理プログラム |
JP2009025136A (ja) * | 2007-07-19 | 2009-02-05 | Xanavi Informatics Corp | 車載装置および表示方法 |
JP2023513586A (ja) * | 2020-02-11 | 2023-03-31 | エーアイエムアイ インコーポレイテッド | 音楽コンテンツの生成 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5896377A (ja) * | 1981-12-02 | 1983-06-08 | Dainippon Printing Co Ltd | 楽譜読取方法 |
JPS5990999U (ja) * | 1982-12-09 | 1984-06-20 | ヤマハ株式会社 | 電子楽器 |
JPS59166290U (ja) * | 1983-04-22 | 1984-11-07 | ヤマハ株式会社 | 自動演奏装置 |
JPS61201100U (ja) * | 1985-06-04 | 1986-12-16 |
-
1987
- 1987-01-28 JP JP62016095A patent/JP2559390B2/ja not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5896377A (ja) * | 1981-12-02 | 1983-06-08 | Dainippon Printing Co Ltd | 楽譜読取方法 |
JPS5990999U (ja) * | 1982-12-09 | 1984-06-20 | ヤマハ株式会社 | 電子楽器 |
JPS59166290U (ja) * | 1983-04-22 | 1984-11-07 | ヤマハ株式会社 | 自動演奏装置 |
JPS61201100U (ja) * | 1985-06-04 | 1986-12-16 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996022580A1 (fr) * | 1995-01-17 | 1996-07-25 | Sega Enterprises, Ltd. | Processeur d'images et dispositif electronique |
WO2001013336A1 (en) * | 1999-08-18 | 2001-02-22 | Harmonicolor System Co., Ltd. | Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound |
GB2369978A (en) * | 1999-08-18 | 2002-06-12 | Harmonicolor System Co Ltd | Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound |
US6686529B2 (en) * | 1999-08-18 | 2004-02-03 | Harmonicolor System Co., Ltd. | Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound |
GB2369978B (en) * | 1999-08-18 | 2004-06-09 | Harmonicolor System Co Ltd | Method and apparatus for selecting harmonic color |
WO2006090528A1 (ja) * | 2005-02-24 | 2006-08-31 | National University Corporation Kyushu Institute Of Technology | 楽音生成方法およびその装置 |
JP2008275845A (ja) * | 2007-04-27 | 2008-11-13 | Casio Comput Co Ltd | 波形発生装置および波形発生処理プログラム |
JP4656443B2 (ja) * | 2007-04-27 | 2011-03-23 | カシオ計算機株式会社 | 波形発生装置および波形発生処理プログラム |
JP2009025136A (ja) * | 2007-07-19 | 2009-02-05 | Xanavi Informatics Corp | 車載装置および表示方法 |
JP2023513586A (ja) * | 2020-02-11 | 2023-03-31 | エーアイエムアイ インコーポレイテッド | 音楽コンテンツの生成 |
Also Published As
Publication number | Publication date |
---|---|
JP2559390B2 (ja) | 1996-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100246520B1 (ko) | 화상처리장치 | |
Iazzetta | Meaning in musical gesture | |
WO2002065444A9 (en) | Electronic color display instrument and method | |
Boulez et al. | Computers in music | |
Jensenius | An action–sound approach to teaching interactive music | |
Pressing | Some perspectives on performed sound and music in virtual environments | |
JP3978506B2 (ja) | 楽音生成方法 | |
JPS63184875A (ja) | 音・画像変換装置 | |
JPH09160575A (ja) | カラオケ表示装置 | |
Goto | Virtual musical instruments: Technological aspects and interactive performance issues | |
Rubin et al. | Talking heads | |
JPH10326353A (ja) | 3次元キャラクタアニメーション表示装置および3次元動きデータ伝送システム | |
Kirk et al. | Electronic musical instruments-A role in music therapy? | |
JP2000293172A (ja) | 管楽器演奏練習装置及び管楽器演奏練習処理プログラムを記録した記録媒体。 | |
JP2003296753A (ja) | 聴覚障害者用対話システム | |
Hernández Martínez et al. | Augmented reality tempo control tool for conducting students | |
Nishimoto et al. | A proposal for a framework for general multimedia art creation instruments | |
Villegas et al. | Mapping musical scales onto virtual 3d spaces | |
Suzuki | Tactile Computing Interaction and its Application for Arts | |
Oram | Three video scores and their compositional & notational strategies | |
Lyons et al. | Advances in new interfaces for musical expression | |
Xie et al. | Music visualization based on the MIDI specifications for multidimensional polyphonic expression | |
JPH0473698A (ja) | 音声信号に基づく形状制御方法 | |
JPH0453997A (ja) | 音声開発装置 | |
Wijnans | The body as a spatial sound generating instrument: defining the three dimensional data interpreting methodology (3DIM) |