JP3908649B2 - 環境同期制御システム、制御方法及びプログラム - Google Patents
環境同期制御システム、制御方法及びプログラム Download PDFInfo
- Publication number
- JP3908649B2 JP3908649B2 JP2002331229A JP2002331229A JP3908649B2 JP 3908649 B2 JP3908649 B2 JP 3908649B2 JP 2002331229 A JP2002331229 A JP 2002331229A JP 2002331229 A JP2002331229 A JP 2002331229A JP 3908649 B2 JP3908649 B2 JP 3908649B2
- Authority
- JP
- Japan
- Prior art keywords
- tone
- chord
- fundamental
- music
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音楽に対応させて室内の照明、空調等の聴環境を制御するシステム及び方法等に関する。
【０００２】
【従来の技術】
演奏会の会場、及びカラオケルーム等において、演奏される音楽に対応させて、室内の照明を自動的に変化させ、演出効果を高めることが行われている。
例えば、特許文献１によれば、カラオケ装置の音量レベルに応じて周囲の照明を変化させる装置が提案されている。また、特許文献２によれば、楽音の低周波成分の繁忙度（ピーク成分とレベル変動分との比）により、楽曲のジャンルを分類し、楽曲のジャンルに対応させて予め設定された照明パターンで照明装置を制御するカラオケ装置が提案されている。
【０００３】
【特許文献１】
特開平１０−２０８８８６号公報
【特許文献２】
特開平６−１９４８８号公報
【０００４】
しかし、音量は、楽曲の曲調を反映するものではない。そのため、楽曲の音量レベルを判定基準として照明を変化させる場合には、演奏される音楽の曲調と調和のとれた制御を行うことはできない。また、低周波成分は、例えば、ベースやドラム等のリズムパートの楽器の楽音から主として構成され、楽曲の曲調そのものを表現するものではない。従って、音源の低周波成分を判定基準として照明を変化させる場合にも、必ずしも演奏される音楽と調和のとれた制御を行うことができるとは限らない。
【０００５】
音楽の三要素は、リズム、旋律、ハーモニーであり、特に旋律の和音（コード）は、短調として構成されるか、若しくは長調であるかにより、楽曲の曲調に大きな影響を与える。例えば、短調の曲は、暗くもの悲しいイメージを、逆に長調の曲は、明るく快活な印象を聴取者に与える。
【０００６】
そこで、特許文献３には、演奏中の楽曲の和音を電気的に検出し、その検出結果に応じた色に照明を制御する装置が提案されている。
【０００７】
【特許文献３】
特開昭６１−１３５０９３号公報
【０００８】
【発明が解決しようとする課題】
しかし、上記の場合には、和音を構成する各基音を検出しているので、基音の整数倍の周波数を有する倍音については考慮されていない。低次の倍音成分は、基音と共に聴感上のピッチに影響し、高次の倍音成分は、同じ和音であっても、その音色感を異ならせる。即ち、従来の基音に基づく和音検出においては、微妙な曲調の変化を検出することができず、これに基づいて照明の制御を行うと、曲調とのずれを生じることがあるという問題があった。換言すれば、基音のみに基づく和音検出では、曲調と同期した照明制御を行うことができないという欠点があった。
【０００９】
本発明は、上記実状に鑑みてなされたもので、曲調と同期した環境制御を行うことができる環境同期制御システム及び方法等を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る環境同期制御システムは、
楽音の周波数に基づいて和音を検出する和音検出部と、
当該和音を構成する基音の整数倍の周波数を有する倍音の強度を検出する倍音検出部と、
前記和音検出部が検出した和音と、前記倍音検出部が検出した倍音と前記基音との強度比と、に基づいて楽音の調子を表す曲調を判別し、当該曲調を示す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部で生成した曲調情報に基づいて、所定の聴環境を実現する環境装置を制御して、曲調に同期させて聴環境を調整する環境制御部と、
を備えることを特徴とする。
【００１１】
上記目的を達成するため、本発明の第２の観点に係る環境同期制御システムは、
音源から供給される楽音に同期して、聴環境を制御するシステムであって、
所定の聴環境を実現する環境装置を調整する装置調整部と、
音源から供給される楽音を音響信号に変換する音響信号変換部と、
前記音響信号変換部で変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出して、前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部が生成した曲調情報に基づいて、前記装置調整部を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節部と、
を備えることを特徴とする。
【００１２】
環境装置は、照明装置と空調装置の少なくとも一方を含み、装置調整部は、照明装置の色及び／又は明るさと、空調装置の温度及び／又は風量の少なくとも１つを調整することができる。
【００１３】
上記目的を達成するため、本発明の第３の観点に係る環境同期制御方法は、
音源から供給される楽音に同期して、聴環境を制御する方法であって、
音源からの楽音をピックアップして音響信号に変換する信号変換ステップと、前記信号変換ステップにて変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出する和音検出ステップと、
前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成ステップと、
前記曲調情報生成ステップにて生成した曲調情報に基づいて、照明装置と空調装置の少なくとも一方を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節ステップと、
を備えることを特徴とする。
【００１４】
【発明の実施の形態】
本発明の実施の形態にかかる環境同期制御システム等について、以下図面を参照して説明する。
【００１５】
図１に本発明の実施の形態にかかる環境同期制御システム１のブロック図を示す。
環境同期制御システム１は、音響信号変換部１１と、和音分析部１２と、曲調情報生成部１３と、環境同期制御部１４と、照明調整部１５と、空調制御部１６と、照明装置１７と、空調装置１８とから構成される。
【００１６】
音響信号変換部１１は、マイクロホンを備え、音源からの楽音をピックアップして音響信号に変換する。音響信号変換部１１は、電気信号として出力される楽器の楽音を直接ライン入力するためのライン入力部を備えてもよい。
【００１７】
和音分析部１２は、ＦＦＴ処理部、及び和音判定部を備える。
ＦＦＴ処理部は、音響信号変換部１１からの音響信号に、ＦＦＴ（高速フーリエ変換）処理を施して、音響信号を周波数分析して、基音と倍音（基音の整数倍の周波数を有する成分）とを判別する。ＦＦＴ処理部は、判別した基音信号を和音判定部に送信する。また、ＦＦＴ処理部は、倍音成分と基音成分との強度比（振幅比）を求める。
【００１８】
図２は、Ａメジャーの和音をＦＦＴ処理した周波数スペクトルの一例を示す模式図である。図２には、説明の簡略化のために、Ａメジャーの和音を構成する基音（Ｃ，Ｅ，Ａ）と５次までの倍音（２Ｃ、３Ｃ、４Ｃ、５Ｃ、２Ｅ、３Ｅ、４Ｅ、５Ｅ、２Ａ、３Ａ、４Ａ、５Ａ）の周波数スペクトルが示されている。
【００１９】
まず、ＦＦＴ処理部は、判別した基音成分Ａ（ここでは、周波数データに基づいて３つの基音のうちで根音である基音Ａについて着目する）の振幅Ｌ１を求める。次いで、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ、５Ａの周波数スペクトルの振幅Ｌ２、Ｌ３、Ｌ４、Ｌ５を合計して総振幅Ｌｂを求める。一般化すると、ｋ次の倍音成分の振幅をＬｋとして、ｎ次の倍音成分までの振幅を合計した総振幅Ｌｂは、式１で示される。さらに、ＦＦＴ処理部は、式２に示すように、ｎ次までの倍音成分の総振幅Ｌｂと基音成分の振幅Ｌ１との比Ｌｒを求める。
【００２０】
【数１】
【数２】
Ｌｒ＝Ｌｂ／Ｌ１
【００２１】
和音判定部は、所定の根音（ルート）に対する、メジャー（根音・長３度・短３度の三和音）、マイナー（根音・短３度・長３度の三和音）、ディミニッシュ（diminish、根音・短３度・短３度の三和音）、オーグメント（augment、根音・長３度・長３度の三和音）、セブンス（三和音に７度の音を加えた四和音）等の各種和音構成を予め和音構成テーブルとして記憶している。図３に和音構成テーブルの例を示す。図３に示すように、和音構成テーブルには、和音構成と、和音を構成する基音の周波数とが対応付けられている。和音判定部は、基音信号を受信すると、受信した基音信号の周波数を、予め記憶している和音構成の周波数と比較することにより、受信した基音信号に対する和音構成を判別する。
【００２２】
和音分析部１２は、ＦＦＴ処理部で求めた倍音成分と基音成分との強度比Ｌｒと、和音判定部で判別した和音構成とを、曲調情報生成部１３に提供する。
【００２３】
曲調情報生成部１３は、和音構成と、倍音成分と基音成分との強度比Ｌｒと、に対応させた曲調情報を曲調情報テーブルとして記憶する。ここで、曲調情報とは、メジャーの和音構成であれば、明朗な感じを、マイナーの和音構成であれば、暗く沈んだ感じを表現するように照明装置及び空調装置の稼動状態（設定条件）を示す情報である。
【００２４】
図４に、曲調情報テーブルの例を示す。曲調情報テーブルには、Ｃ音からＢ音までの１２の根音に対して、メジャー、マイナーの和音構成が曲調カラムに記憶されている。例えば、根音Ｃについて、メジャーであれば、Ｃ、Ｅ、Ｇの和音構成が、マイナーであれば、Ｃ、Ｅ♭、Ｇの和音構成が、曲調カラムに記憶されている。さらに、各和音構成に対応させて、それぞれの和音構成を示すコード名がコードカラムに記憶されている。
【００２５】
また、それぞれの根音の各和音構成に対して倍音カラムが設けられている。この倍音カラムには、前述した倍音成分の基音成分に対する強度比Ｌｒに対応して、１〜５の数値が設定される。数値１は、倍音成分が全くないか、非常に少ない場合、数値２は、倍音成分が少ない場合、数値３は、倍音成分が標準的な場合、数値４は、倍音成分が多い場合、数値５は、倍音成分が非常に多い場合に、それぞれ対応する。例えば、倍音カラムの数値は、曲調情報生成部が、取得したＬｒの値に対して、０≦Ｌｒ＜２であれば数値１を、２≦Ｌｒ＜５であれば数値２を、５≦Ｌｒ＜１０であれば数値３を、１０≦Ｌｒ＜２０であれば数値４を、２０≦Ｌｒであれば数値５を、それぞれ選択するように設定される。この数値を相対倍音強度と呼ぶことにする。
【００２６】
曲調情報生成部１３は、和音分析部１２から、和音構成と、倍音成分と基音成分との強度比Ｌｒとを取得して、図４に示す曲調情報テーブルから、受信した和音構成を示すコード名、及び、相対倍音強度を読み出し、これらから構成される曲調情報を生成する。
【００２７】
曲調情報生成部１３は、生成した曲調情報を、環境同期制御部１４に提供する。
【００２８】
環境同期制御部１４は、図５に示すような、コード名と、相対倍音強度とを、照明装置１７及び空調装置１８の設定条件と対応させた環境設定テーブルを記憶している。
【００２９】
ここで、図５を参照して、環境設定テーブルについて簡単に説明する。
【００３０】
まず、それぞれのコード名に対して相対倍音強度カラムが設けられている。この相対倍音強度カラムには、前述したように、倍音成分の基音成分に対する強度比Ｌｒに対応して設定される、１〜５の相対倍音強度の数値が記憶されている。後述するように、この相対倍音強度に、照明装置１７の明度レベルと、空調装置１８の風量レベルとが、それぞれ対応付けされている。
【００３１】
次に、設定条件の色カラムには、各コード名に対応する曲調を表現するための照明装置１７の色が設定されている。例えば、Ｃメジャー（ＣＭ）の場合には、赤、Ｃマイナー（Ｃｍ）の場合には、青が設定される。これらの色を基準にして、音階が上がるにつれて、メジャーの場合には、所定割合で緑及び青を混色した色が、マイナーの場合には、所定割合で緑及び赤を混色した色が、それぞれ設定されている。
【００３２】
設定条件の明度カラムには、相対倍音強度カラムの数値に対応させて、照明装置の明度レベルが１〜５の５段階で設定される。数値１が最も暗く、数値が増加するにつれて明るさが増し、数値５が最も明るい。
【００３３】
設定条件の温度カラムには、各コード名に対応する曲調を表現するための空調装置の温度が設定される。例えば、Ｃメジャー（ＣＭ）の場合には、２４℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂメジャー（ＢＭ）の場合には、２９．５℃に設定される。一方、Ｃマイナー（Ｃｍ）の場合には、１８℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂマイナー（Ｂｍ）の場合には、２３．５℃に設定される。
【００３４】
最後に、設定条件の風量カラムには、相対倍音強度カラムの数値に対応させて、空調装置の風量レベルが１〜５の５段階で設定される。数値１が最も小さく、数値が増加するにつれて風量も増し、数値５が最も風量が大きい。
【００３５】
例えば、環境同期制御部１４は、Ｃメジャー（ＣＭ）の和音構成（コード名）を取得すると、照明装置１７に対しては、暖かく明るい色である赤色を指定する制御信号を、空調装置１８に対しては、視聴者が暖かいと感じる温度である２４℃に設定する制御信号を、それぞれ生成する。
【００３６】
このとき、強度比Ｌｒは、和音構成で示される曲調を表現するための色及び温度を、さらに精度良く設定し、あるいはこれらの環境要素を強調するように、以下に述べる効果を発揮する。図４の曲調情報テーブル及び図５の環境設定テーブルに基づいて、例えば、倍音成分が全くない場合には、環境同期制御部１４は、照明装置１７に対して、同じ色であっても明るさ（明度）の小さい（明度レベル１）色を発光させ、空調装置１８に対しては、最少の風量（風量レベル１）を発生させるように制御する。図５に示すように、相対倍音強度が増加する（強度比Ｌｒが増加する）のに対応して、明度レベルを大きく、また、風量レベルを大きくする制御信号がそれぞれ生成される。
【００３７】
前述したように、環境同期制御部１４は、照明装置１７及び空調装置１８を曲調情報に対応させて、図５の環境設定テーブルで指定された設定条件にするための制御信号を生成する。環境同期制御部１４は、生成した制御信号を、照明調整部１５と、空調制御部１６とにそれぞれ送信する。環境同期制御部１４は、照明調整部１５、空調制御部１６を介して、照明装置１７の色及び明度、空調装置１８の温度及び風量をそれぞれ制御する。
【００３８】
照明調整部１５は、照明装置１７の赤、青、緑（光の３原色を構成する）のランプ群の発光度を調整するアンプ部とランプ出力（ランプの明度）を調整する明度調整部とを備える。
【００３９】
アンプ部は、照明装置１７のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。各ランプは、可変ゲイン信号に対応する所望の発光度でそれぞれ発光するので、これらの光が重なる部分は任意の色に設定され得る。そのため、照明調整部１５は、発光度を調整した各ランプの光を集光させて重畳することにより、自在な色を出現させることができる。
【００４０】
明度調整部は、電源装置を備え、この電源装置から所望の電力を照明装置１７の各ランプに供給して、ランプ群を所定の出力で発光させ、その明度を調整する。
【００４１】
空調制御部１６は、空調装置１８の冷媒の循環量及びファンの回転数を制御する。冷媒の循環量は温度に対応し、ファンの回転数は風量に対応する。
【００４２】
照明装置１７は、赤、青、緑のランプ群（発光部）、光反射部、集光・拡散レンズ等を備える。照明装置１７は、照明調整部１５により制御され、任意の色及び明度の光を生成する。
【００４３】
空調装置１８は、内部ファンを備える冷媒循環式の空調機器であり、冷媒の断熱圧縮及び断熱膨張により、空調効果を発揮する。空調装置１８は、空調制御部１６により制御され、所定の温度の風を任意の風量で発生する。
【００４４】
（動作）
以上説明した環境同期制御システム１の各構成部分の動作について、以下に説明する。
コンサートホールでピアノが演奏されている場合を例として、図６に示すフローチャートを用いて各構成部分の動作を説明する。この例においては、最初に、ピアノからＡメジャーの和音と、倍音成分の基音に対する強度比Ｌｒ＝１５に対応する強度の倍音成分とを含む楽音が供給されたとする。
【００４５】
まず、音響信号変換部１１は、ピアノからの楽音をマイクロホンでピックアップし、音響信号に変換する（ステップＳ１０１）。音響信号変換部１１は、変換した音響信号を和音分析部１２に送信する（ステップＳ１０２）。
【００４６】
和音分析部１２は、受信した音響信号を一旦バッファに取り込み、所定のタイミングで時系列の音響信号に窓関数をかけて、フレームとして取り出す。この例において、このフレームには、Ａメジャーを構成する和音の音響信号が含まれる。和音分析部１２のＦＦＴ処理部は、取り出したフレームに含まれる音響信号をＦＦＴ処理する（ステップＳ１０３）。ＦＦＴ処理部は、図２に示す分析データから、Ｃ，Ｅ，Ａの基音成分と、これらの周波数の整数倍の周波数を有する、２Ｃ、３Ｃ、４Ｃ・・・、２Ｅ、３Ｅ、４Ｅ・・・、２Ａ、３Ａ、４Ａ・・・、の倍音成分とを周波数に基づいて判別する（ステップＳ１０４）。ＦＦＴ処理部は、判別した基音成分の周波数データを和音判定部に送信する。
【００４７】
和音分析部１２の和音判定部は、図３に示す和音構成テーブルを参照して、ＦＦＴ処理部から送信された基音成分の周波数データに基づいて、記憶している基音の周波数の組合せに対応する和音構成を判別する（ステップＳ１０５）。この例において、和音判定部は、当該基音はＡメジャーの和音構成であると判別する。和音分析部１２は、判別した和音構成を示す和音構成情報を曲調情報生成部１３に提供する（ステップＳ１０６）。
【００４８】
一方、ＦＦＴ処理部は、判別した基音成分の振幅Ｌ１を求める。また、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ・・・の周波数スペクトルの振幅Ｌ２、Ｌ３、Ｌ４、・・・を合計した総振幅Ｌｂを求める。次いで、ＦＦＴ処理部は、倍音成分の総振幅Ｌｂと基音成分の振幅Ｌ１との比Ｌｒを求める（ステップＳ１０７）。この例において、求めたＬｒの値は１５である。
【００４９】
和音分析部１２は、ＦＦＴ処理部が求めたＬｒを曲調情報生成部１３に提供する（ステップＳ１０８）。
【００５０】
曲調情報生成部１３は、和音分析部１２から和音構成情報を取得すると、図４に示す曲調情報テーブルを参照して、取得した和音構成情報に対応するコード名を読み出す。さらに、曲調情報生成部１３は、和音分析部１２から倍音成分と基音成分との強度比Ｌｒを取得すると、図４の曲調情報テーブルを参照して、取得した倍音成分の強度比Ｌｒに対応する倍音カラムの数値（相対倍音強度）を読み出す。
【００５１】
曲調情報生成部１３は、読み出したコード名と相対倍音強度とから曲調を表す基本情報である曲調情報を生成する（ステップＳ１０９）。曲調情報生成部１３は、この曲調情報を環境同期制御部１４に提供する（ステップＳ１１０）。この例において、コード名としてＡＭ、相対倍音強度として数値４がそれぞれ選択され、曲調情報を構成する。
【００５２】
環境同期制御部１４は、曲調情報生成部１３から曲調情報を取得すると、図５に示す環境設定テーブルを参照して、各設定条件カラムから、曲調情報に対応する、照明装置１７の色及び明度レベル、空調装置１８の温度及び風量レベルをそれぞれ読み出す（ステップＳ１１１）。この例においては、コード名がＡＭであり、相対倍音強度が４であるので、これらの曲調情報に対応する環境設定条件は、橙色で、明度レベル４、２８．５℃の温度で、風量レベル４となる。
【００５３】
環境同期制御部１４は、読み出した設定条件に対応させて、照明装置１７及び空調装置１８を駆動するための制御信号を生成し（ステップＳ１１２）、当該制御信号を、照明調整部１５、空調制御部１６にそれぞれ送信する（ステップＳ１１３）。
【００５４】
照明調整部１５は、環境同期制御部１４からの制御信号に基づいて、アンプ部を制御して、設定された色になるように、照明装置１７の赤、青、緑のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。これにより、照明装置１７は、各ランプの色を集光させて重畳することにより、設定された色を出現させる。
【００５５】
また、照明調整部１５は、明度調整部を制御して、明度調整部の電源装置から、照明装置１７のランプ群の明度レベルを設定値に調整するための電力をランプ群に供給する。このようにして、照明調整部１５は、設定された色であって、設定された明度レベルの光を出現させる（ステップＳ１１４）。この例においては、橙色で、明度レベルが４の光が発生される。
【００５６】
空調制御部１６は、環境同期制御部１４からの制御信号に基づいて、空調装置１８の冷媒循環量を調節して、室内温度を設定温度になるように調節する。また、空調制御部１６は、空調装置１８の内部ファンの駆動を制御して、設定された風量レベルとなるように吹き出し風量を調整する。このようにして、空調制御部１６は、温度及び風量レベルが設定された条件となるように、空調装置１８を稼動させる（ステップＳ１１５）。この例においては、温度が２８．５℃で、風量レベルが４に制御される。
【００５７】
以上説明したように、本発明の実施の形態によれば、演奏される楽器の楽音を音響信号として取得し、ＦＦＴ処理により、この音響信号を周波数分析して、所定の和音を構成する基音と、基音の整数倍の周波数を有する倍音成分とを判別する。判別した基音の構成する和音と、倍音成分の基音成分に対する強度比Ｌｒとから、演奏される楽音の曲調を表現する曲調情報を生成する。環境同期制御部が、この曲調情報に基づいて、照明装置の色及び明度レベル、空調装置の温度及び風量レベルを決定し、決定した設定条件となるように、照明装置及び空調装置を制御する。
【００５８】
即ち、本実施の形態の環境同期制御システムは、和音構成及び倍音成分の強度比Ｌｒに基づいて楽音の曲調を表す曲調情報を生成し、この曲調情報に対応するように照明装置及び空調装置の設定条件を選択し、提供される音楽に同期させた環境制御を実現する。従って、和音構成のみならず、倍音成分が曲調に与える効果を考慮することにより、従来よりも、聴衆の聴感に適合する音楽鑑賞のための環境制御を精度良く実行することが可能となる。
【００５９】
本発明は上記の実施の形態に限定されず、その応用及び変形等は任意である。例えば、上記実施の形態では、ＦＦＴ処理により、基音成分と倍音成分とを同時に判別すると説明したが、基音成分と倍音成分との判別はＦＦＴ処理に限定されず任意である。例えば、所定の基音に対応するバンドパスフィルタで基音のみを抽出し、残りの音響信号を周波数分析することにより、倍音成分を検出するようにしてもよい。
【００６０】
上記実施の形態では、時系列的な音響信号に、１つの和音が含まれるように窓関数をかけてフレームとして切り出し、このフレームに対してＦＦＴ処理、及び後続の処理を行うと説明した。音響信号をフレームとして切り出すタイミング、及びフレーム長さ等は任意である。例えば、１つの和音若しくは旋律音程ごとではなく、１小節ごと、４小節ごとであっても良く、この場合には、平均化した曲調情報を使用して、照明装置及び空調装置を制御するようにすることもできる。また、適当な時定数を有する遅延回路を使用して、例えば、１小節内の旋律音程から和音構成を判定するようにしてもよい。この場合には、分散和音も曲調情報に反映できるという利点がある。
【００６１】
上記実施の形態では、倍音成分の振幅を所定の倍音成分（２次〜ｎ次）まで合計すると説明したが、例えば、聴感上の音のピッチに影響する低次の倍音成分までの振幅のみを合計してＬｂを求めても良い。あるいは、音色に影響を及ぼす所定次数以上の高次の倍音成分（高調波成分）に着目して、それらの成分の振幅を合計してＬｂを求めても良い。
【００６２】
上記実施の形態では、基音成分と倍音成分との強度比は、ＦＦＴ処理された周波数スペクトルの各周波数成分の振幅に基づいて求めると説明したが、基音成分と倍音成分との強度比は、振幅の比には限定されない。音の強さを表すパラメータを用いた比率であれば任意である。例えば、音量センサを利用した音量値を使用することもできる。
【００６３】
上記実施の形態では、曲調情報は、メジャー及びマイナーの和音構成と相対倍音強度とから構成され、環境設定条件は、曲調情報に対応する色、明度、温度、風量から構成されると説明した。しかし、曲調情報テーブルの和音コードは一例であり、メジャー及びマイナーの和音構成に限定されるものではなく、セブンス、ディミニッシュ等これら以外の各種和音構成を含むことができる。また、環境設定条件も、色、明度、温度、風量に限定されず、曲調を表現できる（曲調と対応付け可能な）環境要素であれば良い。
【００６４】
上記実施の形態では、照明装置は、赤、青、緑の３原色のランプ群を備えると説明したが、発光部はランプに限定されず、ＬＥＤ（発光ダイオード、light emitting diode）、ＬＣＤ（液晶、liquid crystalline device）、有機ＥＬ（エレクトロルミネッセンス、electroluminescence）等が使用可能である。
【００６５】
上記実施の形態では、空調装置は、冷媒循環式であると説明したが、任意の空調装置が使用可能であり、例えば、ヒートポンプ式、燃料電池式等の空調装置であってもよい。
【００６６】
上記実施の形態では、倍音成分の基音成分に対する強度比は、５段階の相対倍音強度として曲調情報を構成し、この相対倍音強度に対応させて、環境同期制御部が、照明装置の明度及び空調装置の風量を制御すると説明した。しかし、倍音成分の基音成分に対する強度比に基づいて、照明装置及び空調装置を制御する方法は上記実施の形態に限定されず任意であり、また制御対象も明度及び風量のみに限定されない。
【００６７】
上記実施の形態で説明した環境同期制御システムの装置構成は、一例であり、これに限定されることなく、その装置構成は任意である。例えば、装置構成の一部又は全部を、パーソナルコンピュータ等から構成することもできる。この場合、
上記実施の形態で説明した装置各部は、コンピュータのハードウェア若しくはソフトウェアにより、その機能を実現可能である。例えば、コンピュータに、上記実施の形態で説明した動作の一部又は全部を実行させるためのプログラムを、コンピュータのハードディスク装置に、ＣＤ−ＲＯＭ等の記録媒体に、若しくはダウンロードによりコンピュータのメモリ等に、記憶させて使用しても良い。
【００６８】
上記実施の形態では、音源から供給される楽音を音響信号変換部で音響信号に変換し、この音響信号をそのまま和音分析部に供給すると説明したが、音響信号変換部で音響信号に変換した後に、音響信号に所定の加工処理を行う信号加工部を加えても良い。例えば、曲調の変化に乏しい楽音が提供される場合には、変換された音響信号に所定の増幅処理を、あるいは、録音等により高周波領域がカットされた楽音が供給される場合には、変換された音響信号に周波数補正処理を施すようにしても良い。なお、これらの加工処理は、音響信号に変換される前の楽音に対して直接行なうこともできる。
【００６９】
【発明の効果】
本発明によれば、曲調と同期した照明等の環境制御を行うことができる環境同期制御システム及び方法等を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる環境同期制御システムの構成を示すブロック図である。
【図２】ＦＦＴ（高速フーリエ変換）処理された音響信号の周波数スペクトルの一例を表す模式図である。
【図３】本発明の実施の形態にかかる和音構成テーブルの一例である。
【図４】本発明の実施の形態にかかる曲調情報テーブルの一例である。
【図５】本発明の実施の形態にかかる環境設定テーブルの一例である。
【図６】本発明の実施の形態にかかる環境同期制御システムの動作を示すフローチャートである。
【符号の説明】
１ 環境同期制御システム
１１ 音響信号変換部
１２ 和音分析部
１３ 曲調情報生成部
１４ 環境同期制御部
１５ 照明調整部
１６ 空調制御部
１７ 照明装置
１８ 空調装置
【発明の属する技術分野】
本発明は、音楽に対応させて室内の照明、空調等の聴環境を制御するシステム及び方法等に関する。
【０００２】
【従来の技術】
演奏会の会場、及びカラオケルーム等において、演奏される音楽に対応させて、室内の照明を自動的に変化させ、演出効果を高めることが行われている。
例えば、特許文献１によれば、カラオケ装置の音量レベルに応じて周囲の照明を変化させる装置が提案されている。また、特許文献２によれば、楽音の低周波成分の繁忙度（ピーク成分とレベル変動分との比）により、楽曲のジャンルを分類し、楽曲のジャンルに対応させて予め設定された照明パターンで照明装置を制御するカラオケ装置が提案されている。
【０００３】
【特許文献１】
特開平１０−２０８８８６号公報
【特許文献２】
特開平６−１９４８８号公報
【０００４】
しかし、音量は、楽曲の曲調を反映するものではない。そのため、楽曲の音量レベルを判定基準として照明を変化させる場合には、演奏される音楽の曲調と調和のとれた制御を行うことはできない。また、低周波成分は、例えば、ベースやドラム等のリズムパートの楽器の楽音から主として構成され、楽曲の曲調そのものを表現するものではない。従って、音源の低周波成分を判定基準として照明を変化させる場合にも、必ずしも演奏される音楽と調和のとれた制御を行うことができるとは限らない。
【０００５】
音楽の三要素は、リズム、旋律、ハーモニーであり、特に旋律の和音（コード）は、短調として構成されるか、若しくは長調であるかにより、楽曲の曲調に大きな影響を与える。例えば、短調の曲は、暗くもの悲しいイメージを、逆に長調の曲は、明るく快活な印象を聴取者に与える。
【０００６】
そこで、特許文献３には、演奏中の楽曲の和音を電気的に検出し、その検出結果に応じた色に照明を制御する装置が提案されている。
【０００７】
【特許文献３】
特開昭６１−１３５０９３号公報
【０００８】
【発明が解決しようとする課題】
しかし、上記の場合には、和音を構成する各基音を検出しているので、基音の整数倍の周波数を有する倍音については考慮されていない。低次の倍音成分は、基音と共に聴感上のピッチに影響し、高次の倍音成分は、同じ和音であっても、その音色感を異ならせる。即ち、従来の基音に基づく和音検出においては、微妙な曲調の変化を検出することができず、これに基づいて照明の制御を行うと、曲調とのずれを生じることがあるという問題があった。換言すれば、基音のみに基づく和音検出では、曲調と同期した照明制御を行うことができないという欠点があった。
【０００９】
本発明は、上記実状に鑑みてなされたもので、曲調と同期した環境制御を行うことができる環境同期制御システム及び方法等を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る環境同期制御システムは、
楽音の周波数に基づいて和音を検出する和音検出部と、
当該和音を構成する基音の整数倍の周波数を有する倍音の強度を検出する倍音検出部と、
前記和音検出部が検出した和音と、前記倍音検出部が検出した倍音と前記基音との強度比と、に基づいて楽音の調子を表す曲調を判別し、当該曲調を示す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部で生成した曲調情報に基づいて、所定の聴環境を実現する環境装置を制御して、曲調に同期させて聴環境を調整する環境制御部と、
を備えることを特徴とする。
【００１１】
上記目的を達成するため、本発明の第２の観点に係る環境同期制御システムは、
音源から供給される楽音に同期して、聴環境を制御するシステムであって、
所定の聴環境を実現する環境装置を調整する装置調整部と、
音源から供給される楽音を音響信号に変換する音響信号変換部と、
前記音響信号変換部で変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出して、前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部が生成した曲調情報に基づいて、前記装置調整部を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節部と、
を備えることを特徴とする。
【００１２】
環境装置は、照明装置と空調装置の少なくとも一方を含み、装置調整部は、照明装置の色及び／又は明るさと、空調装置の温度及び／又は風量の少なくとも１つを調整することができる。
【００１３】
上記目的を達成するため、本発明の第３の観点に係る環境同期制御方法は、
音源から供給される楽音に同期して、聴環境を制御する方法であって、
音源からの楽音をピックアップして音響信号に変換する信号変換ステップと、前記信号変換ステップにて変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出する和音検出ステップと、
前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成ステップと、
前記曲調情報生成ステップにて生成した曲調情報に基づいて、照明装置と空調装置の少なくとも一方を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節ステップと、
を備えることを特徴とする。
【００１４】
【発明の実施の形態】
本発明の実施の形態にかかる環境同期制御システム等について、以下図面を参照して説明する。
【００１５】
図１に本発明の実施の形態にかかる環境同期制御システム１のブロック図を示す。
環境同期制御システム１は、音響信号変換部１１と、和音分析部１２と、曲調情報生成部１３と、環境同期制御部１４と、照明調整部１５と、空調制御部１６と、照明装置１７と、空調装置１８とから構成される。
【００１６】
音響信号変換部１１は、マイクロホンを備え、音源からの楽音をピックアップして音響信号に変換する。音響信号変換部１１は、電気信号として出力される楽器の楽音を直接ライン入力するためのライン入力部を備えてもよい。
【００１７】
和音分析部１２は、ＦＦＴ処理部、及び和音判定部を備える。
ＦＦＴ処理部は、音響信号変換部１１からの音響信号に、ＦＦＴ（高速フーリエ変換）処理を施して、音響信号を周波数分析して、基音と倍音（基音の整数倍の周波数を有する成分）とを判別する。ＦＦＴ処理部は、判別した基音信号を和音判定部に送信する。また、ＦＦＴ処理部は、倍音成分と基音成分との強度比（振幅比）を求める。
【００１８】
図２は、Ａメジャーの和音をＦＦＴ処理した周波数スペクトルの一例を示す模式図である。図２には、説明の簡略化のために、Ａメジャーの和音を構成する基音（Ｃ，Ｅ，Ａ）と５次までの倍音（２Ｃ、３Ｃ、４Ｃ、５Ｃ、２Ｅ、３Ｅ、４Ｅ、５Ｅ、２Ａ、３Ａ、４Ａ、５Ａ）の周波数スペクトルが示されている。
【００１９】
まず、ＦＦＴ処理部は、判別した基音成分Ａ（ここでは、周波数データに基づいて３つの基音のうちで根音である基音Ａについて着目する）の振幅Ｌ１を求める。次いで、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ、５Ａの周波数スペクトルの振幅Ｌ２、Ｌ３、Ｌ４、Ｌ５を合計して総振幅Ｌｂを求める。一般化すると、ｋ次の倍音成分の振幅をＬｋとして、ｎ次の倍音成分までの振幅を合計した総振幅Ｌｂは、式１で示される。さらに、ＦＦＴ処理部は、式２に示すように、ｎ次までの倍音成分の総振幅Ｌｂと基音成分の振幅Ｌ１との比Ｌｒを求める。
【００２０】
【数１】
Ｌｒ＝Ｌｂ／Ｌ１
【００２１】
和音判定部は、所定の根音（ルート）に対する、メジャー（根音・長３度・短３度の三和音）、マイナー（根音・短３度・長３度の三和音）、ディミニッシュ（diminish、根音・短３度・短３度の三和音）、オーグメント（augment、根音・長３度・長３度の三和音）、セブンス（三和音に７度の音を加えた四和音）等の各種和音構成を予め和音構成テーブルとして記憶している。図３に和音構成テーブルの例を示す。図３に示すように、和音構成テーブルには、和音構成と、和音を構成する基音の周波数とが対応付けられている。和音判定部は、基音信号を受信すると、受信した基音信号の周波数を、予め記憶している和音構成の周波数と比較することにより、受信した基音信号に対する和音構成を判別する。
【００２２】
和音分析部１２は、ＦＦＴ処理部で求めた倍音成分と基音成分との強度比Ｌｒと、和音判定部で判別した和音構成とを、曲調情報生成部１３に提供する。
【００２３】
曲調情報生成部１３は、和音構成と、倍音成分と基音成分との強度比Ｌｒと、に対応させた曲調情報を曲調情報テーブルとして記憶する。ここで、曲調情報とは、メジャーの和音構成であれば、明朗な感じを、マイナーの和音構成であれば、暗く沈んだ感じを表現するように照明装置及び空調装置の稼動状態（設定条件）を示す情報である。
【００２４】
図４に、曲調情報テーブルの例を示す。曲調情報テーブルには、Ｃ音からＢ音までの１２の根音に対して、メジャー、マイナーの和音構成が曲調カラムに記憶されている。例えば、根音Ｃについて、メジャーであれば、Ｃ、Ｅ、Ｇの和音構成が、マイナーであれば、Ｃ、Ｅ♭、Ｇの和音構成が、曲調カラムに記憶されている。さらに、各和音構成に対応させて、それぞれの和音構成を示すコード名がコードカラムに記憶されている。
【００２５】
また、それぞれの根音の各和音構成に対して倍音カラムが設けられている。この倍音カラムには、前述した倍音成分の基音成分に対する強度比Ｌｒに対応して、１〜５の数値が設定される。数値１は、倍音成分が全くないか、非常に少ない場合、数値２は、倍音成分が少ない場合、数値３は、倍音成分が標準的な場合、数値４は、倍音成分が多い場合、数値５は、倍音成分が非常に多い場合に、それぞれ対応する。例えば、倍音カラムの数値は、曲調情報生成部が、取得したＬｒの値に対して、０≦Ｌｒ＜２であれば数値１を、２≦Ｌｒ＜５であれば数値２を、５≦Ｌｒ＜１０であれば数値３を、１０≦Ｌｒ＜２０であれば数値４を、２０≦Ｌｒであれば数値５を、それぞれ選択するように設定される。この数値を相対倍音強度と呼ぶことにする。
【００２６】
曲調情報生成部１３は、和音分析部１２から、和音構成と、倍音成分と基音成分との強度比Ｌｒとを取得して、図４に示す曲調情報テーブルから、受信した和音構成を示すコード名、及び、相対倍音強度を読み出し、これらから構成される曲調情報を生成する。
【００２７】
曲調情報生成部１３は、生成した曲調情報を、環境同期制御部１４に提供する。
【００２８】
環境同期制御部１４は、図５に示すような、コード名と、相対倍音強度とを、照明装置１７及び空調装置１８の設定条件と対応させた環境設定テーブルを記憶している。
【００２９】
ここで、図５を参照して、環境設定テーブルについて簡単に説明する。
【００３０】
まず、それぞれのコード名に対して相対倍音強度カラムが設けられている。この相対倍音強度カラムには、前述したように、倍音成分の基音成分に対する強度比Ｌｒに対応して設定される、１〜５の相対倍音強度の数値が記憶されている。後述するように、この相対倍音強度に、照明装置１７の明度レベルと、空調装置１８の風量レベルとが、それぞれ対応付けされている。
【００３１】
次に、設定条件の色カラムには、各コード名に対応する曲調を表現するための照明装置１７の色が設定されている。例えば、Ｃメジャー（ＣＭ）の場合には、赤、Ｃマイナー（Ｃｍ）の場合には、青が設定される。これらの色を基準にして、音階が上がるにつれて、メジャーの場合には、所定割合で緑及び青を混色した色が、マイナーの場合には、所定割合で緑及び赤を混色した色が、それぞれ設定されている。
【００３２】
設定条件の明度カラムには、相対倍音強度カラムの数値に対応させて、照明装置の明度レベルが１〜５の５段階で設定される。数値１が最も暗く、数値が増加するにつれて明るさが増し、数値５が最も明るい。
【００３３】
設定条件の温度カラムには、各コード名に対応する曲調を表現するための空調装置の温度が設定される。例えば、Ｃメジャー（ＣＭ）の場合には、２４℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂメジャー（ＢＭ）の場合には、２９．５℃に設定される。一方、Ｃマイナー（Ｃｍ）の場合には、１８℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂマイナー（Ｂｍ）の場合には、２３．５℃に設定される。
【００３４】
最後に、設定条件の風量カラムには、相対倍音強度カラムの数値に対応させて、空調装置の風量レベルが１〜５の５段階で設定される。数値１が最も小さく、数値が増加するにつれて風量も増し、数値５が最も風量が大きい。
【００３５】
例えば、環境同期制御部１４は、Ｃメジャー（ＣＭ）の和音構成（コード名）を取得すると、照明装置１７に対しては、暖かく明るい色である赤色を指定する制御信号を、空調装置１８に対しては、視聴者が暖かいと感じる温度である２４℃に設定する制御信号を、それぞれ生成する。
【００３６】
このとき、強度比Ｌｒは、和音構成で示される曲調を表現するための色及び温度を、さらに精度良く設定し、あるいはこれらの環境要素を強調するように、以下に述べる効果を発揮する。図４の曲調情報テーブル及び図５の環境設定テーブルに基づいて、例えば、倍音成分が全くない場合には、環境同期制御部１４は、照明装置１７に対して、同じ色であっても明るさ（明度）の小さい（明度レベル１）色を発光させ、空調装置１８に対しては、最少の風量（風量レベル１）を発生させるように制御する。図５に示すように、相対倍音強度が増加する（強度比Ｌｒが増加する）のに対応して、明度レベルを大きく、また、風量レベルを大きくする制御信号がそれぞれ生成される。
【００３７】
前述したように、環境同期制御部１４は、照明装置１７及び空調装置１８を曲調情報に対応させて、図５の環境設定テーブルで指定された設定条件にするための制御信号を生成する。環境同期制御部１４は、生成した制御信号を、照明調整部１５と、空調制御部１６とにそれぞれ送信する。環境同期制御部１４は、照明調整部１５、空調制御部１６を介して、照明装置１７の色及び明度、空調装置１８の温度及び風量をそれぞれ制御する。
【００３８】
照明調整部１５は、照明装置１７の赤、青、緑（光の３原色を構成する）のランプ群の発光度を調整するアンプ部とランプ出力（ランプの明度）を調整する明度調整部とを備える。
【００３９】
アンプ部は、照明装置１７のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。各ランプは、可変ゲイン信号に対応する所望の発光度でそれぞれ発光するので、これらの光が重なる部分は任意の色に設定され得る。そのため、照明調整部１５は、発光度を調整した各ランプの光を集光させて重畳することにより、自在な色を出現させることができる。
【００４０】
明度調整部は、電源装置を備え、この電源装置から所望の電力を照明装置１７の各ランプに供給して、ランプ群を所定の出力で発光させ、その明度を調整する。
【００４１】
空調制御部１６は、空調装置１８の冷媒の循環量及びファンの回転数を制御する。冷媒の循環量は温度に対応し、ファンの回転数は風量に対応する。
【００４２】
照明装置１７は、赤、青、緑のランプ群（発光部）、光反射部、集光・拡散レンズ等を備える。照明装置１７は、照明調整部１５により制御され、任意の色及び明度の光を生成する。
【００４３】
空調装置１８は、内部ファンを備える冷媒循環式の空調機器であり、冷媒の断熱圧縮及び断熱膨張により、空調効果を発揮する。空調装置１８は、空調制御部１６により制御され、所定の温度の風を任意の風量で発生する。
【００４４】
（動作）
以上説明した環境同期制御システム１の各構成部分の動作について、以下に説明する。
コンサートホールでピアノが演奏されている場合を例として、図６に示すフローチャートを用いて各構成部分の動作を説明する。この例においては、最初に、ピアノからＡメジャーの和音と、倍音成分の基音に対する強度比Ｌｒ＝１５に対応する強度の倍音成分とを含む楽音が供給されたとする。
【００４５】
まず、音響信号変換部１１は、ピアノからの楽音をマイクロホンでピックアップし、音響信号に変換する（ステップＳ１０１）。音響信号変換部１１は、変換した音響信号を和音分析部１２に送信する（ステップＳ１０２）。
【００４６】
和音分析部１２は、受信した音響信号を一旦バッファに取り込み、所定のタイミングで時系列の音響信号に窓関数をかけて、フレームとして取り出す。この例において、このフレームには、Ａメジャーを構成する和音の音響信号が含まれる。和音分析部１２のＦＦＴ処理部は、取り出したフレームに含まれる音響信号をＦＦＴ処理する（ステップＳ１０３）。ＦＦＴ処理部は、図２に示す分析データから、Ｃ，Ｅ，Ａの基音成分と、これらの周波数の整数倍の周波数を有する、２Ｃ、３Ｃ、４Ｃ・・・、２Ｅ、３Ｅ、４Ｅ・・・、２Ａ、３Ａ、４Ａ・・・、の倍音成分とを周波数に基づいて判別する（ステップＳ１０４）。ＦＦＴ処理部は、判別した基音成分の周波数データを和音判定部に送信する。
【００４７】
和音分析部１２の和音判定部は、図３に示す和音構成テーブルを参照して、ＦＦＴ処理部から送信された基音成分の周波数データに基づいて、記憶している基音の周波数の組合せに対応する和音構成を判別する（ステップＳ１０５）。この例において、和音判定部は、当該基音はＡメジャーの和音構成であると判別する。和音分析部１２は、判別した和音構成を示す和音構成情報を曲調情報生成部１３に提供する（ステップＳ１０６）。
【００４８】
一方、ＦＦＴ処理部は、判別した基音成分の振幅Ｌ１を求める。また、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ・・・の周波数スペクトルの振幅Ｌ２、Ｌ３、Ｌ４、・・・を合計した総振幅Ｌｂを求める。次いで、ＦＦＴ処理部は、倍音成分の総振幅Ｌｂと基音成分の振幅Ｌ１との比Ｌｒを求める（ステップＳ１０７）。この例において、求めたＬｒの値は１５である。
【００４９】
和音分析部１２は、ＦＦＴ処理部が求めたＬｒを曲調情報生成部１３に提供する（ステップＳ１０８）。
【００５０】
曲調情報生成部１３は、和音分析部１２から和音構成情報を取得すると、図４に示す曲調情報テーブルを参照して、取得した和音構成情報に対応するコード名を読み出す。さらに、曲調情報生成部１３は、和音分析部１２から倍音成分と基音成分との強度比Ｌｒを取得すると、図４の曲調情報テーブルを参照して、取得した倍音成分の強度比Ｌｒに対応する倍音カラムの数値（相対倍音強度）を読み出す。
【００５１】
曲調情報生成部１３は、読み出したコード名と相対倍音強度とから曲調を表す基本情報である曲調情報を生成する（ステップＳ１０９）。曲調情報生成部１３は、この曲調情報を環境同期制御部１４に提供する（ステップＳ１１０）。この例において、コード名としてＡＭ、相対倍音強度として数値４がそれぞれ選択され、曲調情報を構成する。
【００５２】
環境同期制御部１４は、曲調情報生成部１３から曲調情報を取得すると、図５に示す環境設定テーブルを参照して、各設定条件カラムから、曲調情報に対応する、照明装置１７の色及び明度レベル、空調装置１８の温度及び風量レベルをそれぞれ読み出す（ステップＳ１１１）。この例においては、コード名がＡＭであり、相対倍音強度が４であるので、これらの曲調情報に対応する環境設定条件は、橙色で、明度レベル４、２８．５℃の温度で、風量レベル４となる。
【００５３】
環境同期制御部１４は、読み出した設定条件に対応させて、照明装置１７及び空調装置１８を駆動するための制御信号を生成し（ステップＳ１１２）、当該制御信号を、照明調整部１５、空調制御部１６にそれぞれ送信する（ステップＳ１１３）。
【００５４】
照明調整部１５は、環境同期制御部１４からの制御信号に基づいて、アンプ部を制御して、設定された色になるように、照明装置１７の赤、青、緑のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。これにより、照明装置１７は、各ランプの色を集光させて重畳することにより、設定された色を出現させる。
【００５５】
また、照明調整部１５は、明度調整部を制御して、明度調整部の電源装置から、照明装置１７のランプ群の明度レベルを設定値に調整するための電力をランプ群に供給する。このようにして、照明調整部１５は、設定された色であって、設定された明度レベルの光を出現させる（ステップＳ１１４）。この例においては、橙色で、明度レベルが４の光が発生される。
【００５６】
空調制御部１６は、環境同期制御部１４からの制御信号に基づいて、空調装置１８の冷媒循環量を調節して、室内温度を設定温度になるように調節する。また、空調制御部１６は、空調装置１８の内部ファンの駆動を制御して、設定された風量レベルとなるように吹き出し風量を調整する。このようにして、空調制御部１６は、温度及び風量レベルが設定された条件となるように、空調装置１８を稼動させる（ステップＳ１１５）。この例においては、温度が２８．５℃で、風量レベルが４に制御される。
【００５７】
以上説明したように、本発明の実施の形態によれば、演奏される楽器の楽音を音響信号として取得し、ＦＦＴ処理により、この音響信号を周波数分析して、所定の和音を構成する基音と、基音の整数倍の周波数を有する倍音成分とを判別する。判別した基音の構成する和音と、倍音成分の基音成分に対する強度比Ｌｒとから、演奏される楽音の曲調を表現する曲調情報を生成する。環境同期制御部が、この曲調情報に基づいて、照明装置の色及び明度レベル、空調装置の温度及び風量レベルを決定し、決定した設定条件となるように、照明装置及び空調装置を制御する。
【００５８】
即ち、本実施の形態の環境同期制御システムは、和音構成及び倍音成分の強度比Ｌｒに基づいて楽音の曲調を表す曲調情報を生成し、この曲調情報に対応するように照明装置及び空調装置の設定条件を選択し、提供される音楽に同期させた環境制御を実現する。従って、和音構成のみならず、倍音成分が曲調に与える効果を考慮することにより、従来よりも、聴衆の聴感に適合する音楽鑑賞のための環境制御を精度良く実行することが可能となる。
【００５９】
本発明は上記の実施の形態に限定されず、その応用及び変形等は任意である。例えば、上記実施の形態では、ＦＦＴ処理により、基音成分と倍音成分とを同時に判別すると説明したが、基音成分と倍音成分との判別はＦＦＴ処理に限定されず任意である。例えば、所定の基音に対応するバンドパスフィルタで基音のみを抽出し、残りの音響信号を周波数分析することにより、倍音成分を検出するようにしてもよい。
【００６０】
上記実施の形態では、時系列的な音響信号に、１つの和音が含まれるように窓関数をかけてフレームとして切り出し、このフレームに対してＦＦＴ処理、及び後続の処理を行うと説明した。音響信号をフレームとして切り出すタイミング、及びフレーム長さ等は任意である。例えば、１つの和音若しくは旋律音程ごとではなく、１小節ごと、４小節ごとであっても良く、この場合には、平均化した曲調情報を使用して、照明装置及び空調装置を制御するようにすることもできる。また、適当な時定数を有する遅延回路を使用して、例えば、１小節内の旋律音程から和音構成を判定するようにしてもよい。この場合には、分散和音も曲調情報に反映できるという利点がある。
【００６１】
上記実施の形態では、倍音成分の振幅を所定の倍音成分（２次〜ｎ次）まで合計すると説明したが、例えば、聴感上の音のピッチに影響する低次の倍音成分までの振幅のみを合計してＬｂを求めても良い。あるいは、音色に影響を及ぼす所定次数以上の高次の倍音成分（高調波成分）に着目して、それらの成分の振幅を合計してＬｂを求めても良い。
【００６２】
上記実施の形態では、基音成分と倍音成分との強度比は、ＦＦＴ処理された周波数スペクトルの各周波数成分の振幅に基づいて求めると説明したが、基音成分と倍音成分との強度比は、振幅の比には限定されない。音の強さを表すパラメータを用いた比率であれば任意である。例えば、音量センサを利用した音量値を使用することもできる。
【００６３】
上記実施の形態では、曲調情報は、メジャー及びマイナーの和音構成と相対倍音強度とから構成され、環境設定条件は、曲調情報に対応する色、明度、温度、風量から構成されると説明した。しかし、曲調情報テーブルの和音コードは一例であり、メジャー及びマイナーの和音構成に限定されるものではなく、セブンス、ディミニッシュ等これら以外の各種和音構成を含むことができる。また、環境設定条件も、色、明度、温度、風量に限定されず、曲調を表現できる（曲調と対応付け可能な）環境要素であれば良い。
【００６４】
上記実施の形態では、照明装置は、赤、青、緑の３原色のランプ群を備えると説明したが、発光部はランプに限定されず、ＬＥＤ（発光ダイオード、light emitting diode）、ＬＣＤ（液晶、liquid crystalline device）、有機ＥＬ（エレクトロルミネッセンス、electroluminescence）等が使用可能である。
【００６５】
上記実施の形態では、空調装置は、冷媒循環式であると説明したが、任意の空調装置が使用可能であり、例えば、ヒートポンプ式、燃料電池式等の空調装置であってもよい。
【００６６】
上記実施の形態では、倍音成分の基音成分に対する強度比は、５段階の相対倍音強度として曲調情報を構成し、この相対倍音強度に対応させて、環境同期制御部が、照明装置の明度及び空調装置の風量を制御すると説明した。しかし、倍音成分の基音成分に対する強度比に基づいて、照明装置及び空調装置を制御する方法は上記実施の形態に限定されず任意であり、また制御対象も明度及び風量のみに限定されない。
【００６７】
上記実施の形態で説明した環境同期制御システムの装置構成は、一例であり、これに限定されることなく、その装置構成は任意である。例えば、装置構成の一部又は全部を、パーソナルコンピュータ等から構成することもできる。この場合、
上記実施の形態で説明した装置各部は、コンピュータのハードウェア若しくはソフトウェアにより、その機能を実現可能である。例えば、コンピュータに、上記実施の形態で説明した動作の一部又は全部を実行させるためのプログラムを、コンピュータのハードディスク装置に、ＣＤ−ＲＯＭ等の記録媒体に、若しくはダウンロードによりコンピュータのメモリ等に、記憶させて使用しても良い。
【００６８】
上記実施の形態では、音源から供給される楽音を音響信号変換部で音響信号に変換し、この音響信号をそのまま和音分析部に供給すると説明したが、音響信号変換部で音響信号に変換した後に、音響信号に所定の加工処理を行う信号加工部を加えても良い。例えば、曲調の変化に乏しい楽音が提供される場合には、変換された音響信号に所定の増幅処理を、あるいは、録音等により高周波領域がカットされた楽音が供給される場合には、変換された音響信号に周波数補正処理を施すようにしても良い。なお、これらの加工処理は、音響信号に変換される前の楽音に対して直接行なうこともできる。
【００６９】
【発明の効果】
本発明によれば、曲調と同期した照明等の環境制御を行うことができる環境同期制御システム及び方法等を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる環境同期制御システムの構成を示すブロック図である。
【図２】ＦＦＴ（高速フーリエ変換）処理された音響信号の周波数スペクトルの一例を表す模式図である。
【図３】本発明の実施の形態にかかる和音構成テーブルの一例である。
【図４】本発明の実施の形態にかかる曲調情報テーブルの一例である。
【図５】本発明の実施の形態にかかる環境設定テーブルの一例である。
【図６】本発明の実施の形態にかかる環境同期制御システムの動作を示すフローチャートである。
【符号の説明】
１ 環境同期制御システム
１１ 音響信号変換部
１２ 和音分析部
１３ 曲調情報生成部
１４ 環境同期制御部
１５ 照明調整部
１６ 空調制御部
１７ 照明装置
１８ 空調装置
Claims (5)
- 楽音の周波数に基づいて和音を検出する和音検出部と、
当該和音を構成する基音の整数倍の周波数を有する倍音の強度を検出する倍音検出部と、
前記和音検出部が検出した和音と、前記倍音検出部が検出した倍音と前記基音との強度比と、に基づいて楽音の調子を表す曲調を判別し、当該曲調を示す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部で生成した曲調情報に基づいて、所定の聴環境を実現する環境装置を制御して、曲調に同期させて聴環境を調整する環境制御部と、
を備える、
ことを特徴とする環境同期制御システム。 - 音源から供給される楽音に同期して、聴環境を制御するシステムであって、
所定の聴環境を実現する環境装置を調整する装置調整部と、
音源から供給される楽音を音響信号に変換する音響信号変換部と、
前記音響信号変換部で変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出して、前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調分析情報生成部と、
前記曲調情報生成部が生成した曲調情報に基づいて、前記装置調整部を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節部と、
を備える、
ことを特徴とする環境同期制御システム。 - 前記環境装置は、照明装置と空調装置の少なくとも一方を含み、
前記装置調整部は、照明装置の色及び／又は明るさと、空調装置の温度及び／又は風量の少なくとも１つを調整する、
ことを特徴とする請求項２に記載の環境同期制御システム。 - 音源から供給される楽音に同期して、聴環境を制御する方法であって、
音源からの楽音をピックアップして音響信号に変換する信号変換ステップと、
前記信号変換ステップにて変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出する和音検出ステップと、
前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成ステップと、
前記曲調情報生成ステップにて生成した曲調情報に基づいて、照明装置と空調装置の少なくとも一方を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節ステップと、
を備える、
ことを特徴とする環境同期制御方法。 - コンピュータに、請求項４に記載の環境同期制御方法を構成するステップの一部又は全部を実行させる、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331229A JP3908649B2 (ja) | 2002-11-14 | 2002-11-14 | 環境同期制御システム、制御方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331229A JP3908649B2 (ja) | 2002-11-14 | 2002-11-14 | 環境同期制御システム、制御方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004163767A JP2004163767A (ja) | 2004-06-10 |
| JP3908649B2 true JP3908649B2 (ja) | 2007-04-25 |
Family
ID=32808673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002331229A Expired - Lifetime JP3908649B2 (ja) | 2002-11-14 | 2002-11-14 | 環境同期制御システム、制御方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3908649B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1646035B1 (en) * | 2004-10-05 | 2013-06-19 | Sony Europe Limited | Mapped meta-data sound-playback device and audio-sampling/sample processing system useable therewith |
| JP4665123B2 (ja) * | 2004-10-07 | 2011-04-06 | 独立行政法人産業技術総合研究所 | 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置 |
| JP4643640B2 (ja) | 2005-04-13 | 2011-03-02 | 株式会社日立製作所 | 雰囲気制御装置 |
| JP4665836B2 (ja) | 2006-05-31 | 2011-04-06 | 日本ビクター株式会社 | 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム |
| JP4399440B2 (ja) | 2006-06-30 | 2010-01-13 | 株式会社コナミデジタルエンタテインメント | 音楽ジャンル判別装置及びこれを備えたゲーム機 |
| JP4489058B2 (ja) * | 2006-07-13 | 2010-06-23 | アルパイン株式会社 | 和音判定方法および装置 |
| JP4823804B2 (ja) * | 2006-08-09 | 2011-11-24 | 株式会社河合楽器製作所 | コード名検出装置及びコード名検出用プログラム |
| JP4315180B2 (ja) * | 2006-10-20 | 2009-08-19 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| JP4214491B2 (ja) * | 2006-10-20 | 2009-01-28 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| DE102008028328B4 (de) * | 2008-06-13 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Notensignals auf eine manuelle Eingabe hin |
| JP2010054530A (ja) * | 2008-08-26 | 2010-03-11 | Sony Corp | 情報処理装置、発光制御方法およびコンピュータプログラム |
| JP5296502B2 (ja) * | 2008-11-18 | 2013-09-25 | ローランド株式会社 | 自動伴奏装置 |
| JP6754243B2 (ja) * | 2016-08-05 | 2020-09-09 | 株式会社コルグ | 楽音評価装置 |
| JP7230464B2 (ja) | 2018-11-29 | 2023-03-01 | ヤマハ株式会社 | 音響解析方法、音響解析装置、プログラムおよび機械学習方法 |
| EP4064268A4 (en) * | 2019-11-20 | 2024-01-10 | Yamaha Corporation | INFORMATION PROCESSING SYSTEM, KEYBOARD INSTRUMENT, INFORMATION PROCESSING METHOD, AND PROGRAM |
| CN111601432A (zh) * | 2020-04-09 | 2020-08-28 | 湖北友联智能科技有限公司 | 一种基于数据库的舞台灯光音乐智能组合方法 |
| JP7327437B2 (ja) * | 2021-03-31 | 2023-08-16 | ブラザー工業株式会社 | カラオケ装置 |
-
2002
- 2002-11-14 JP JP2002331229A patent/JP3908649B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004163767A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3908649B2 (ja) | 環境同期制御システム、制御方法及びプログラム | |
| CN111836437B (zh) | 一种灯光显示的控制方法及装置 | |
| KR101034906B1 (ko) | 음악을 시각적으로 연출하는 엘이디 조명장치 및 이의 제어방법 | |
| TWI479476B (zh) | 鈸振動的電子處理的系統與方法 | |
| US9117433B2 (en) | Tuning device | |
| US20200312289A1 (en) | Accompaniment control device, electronic musical instrument, control method and storage medium | |
| JP4274272B2 (ja) | アルペジオ演奏装置 | |
| US7915510B2 (en) | Tuner for musical instruments and amplifier with tuner | |
| JP2011180311A (ja) | カラオケ照明システム | |
| CN112927713B (zh) | 音频特征点的检测方法、装置和计算机存储介质 | |
| JP3077192B2 (ja) | 演奏環境に対応する電子楽器 | |
| CN112232118A (zh) | 一种自适应音律变换的混光调节方法及系统 | |
| JP2002132256A (ja) | 調律器 | |
| JP3576109B2 (ja) | Ｍｉｄｉデータ変換方法、ｍｉｄｉデータ変換装置、ｍｉｄｉデータ変換プログラム | |
| JP3290945B2 (ja) | 歌唱採点装置 | |
| JP4448486B2 (ja) | 音階練習機 | |
| CN114126158A (zh) | 灯效控制方法、装置、电子设备及可读存储介质 | |
| JP2005189658A (ja) | 発光演出システム及び発光演出装置 | |
| JPH05121175A (ja) | 照明装置 | |
| KR20200082997A (ko) | 무빙 조명 시스템 및 이를 이용한 무빙 제어 방법 | |
| JP5469472B2 (ja) | カラオケ照明システム | |
| US20230413403A1 (en) | Electronic musical instrument, light emission control method, and storage medium | |
| US20240071347A1 (en) | Volume control device, electronic musical instrument, volume control method, and non-transitory recording medium | |
| KR20070092479A (ko) | 음향 감지기능을 갖는 조명장치 | |
| JP3394626B2 (ja) | 電子楽器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3908649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |