JP5042307B2 - エフェクト装置、ａｖ処理装置およびプログラム - Google Patents

Description

本発明は、映像または音に対してエフェクト効果を付加するエフェクト装置、ＡＶ処理装置およびプログラムに関するものである。

従来、入力された２次元座標値に基づいて、映像と音楽に対し同時にエフェクトを付加するエフェクト装置が知られている（例えば、特許文献１）。当該特許文献１に記載のエフェクト装置は、例えばスティックを用いて操作パネル上の任意の位置を指定するなどの簡易な操作で、ビデオエフェクト（映像効果）とオーディオエフェクト（音楽効果）とを実現可能となっている。また、ビデオエフェクトおよびオーディオエフェクトの種類は、対応するボタンを押下することにより指定できるようになっている。

特開２００２−３２８７６８号公報

ところで、映像に対してエフェクトを付加する装置としては、クラブ等において、会場のモニターに映像を映し出すために用いられるＶＪ機器（ビジュアルジョッキーまたはビデオジョッキー（ＶＪ）が映像パフォーマスンスに用いる機器）が知られている。また、音楽に対してエフェクトを付加する装置としては、同じくクラブ等において用いられるＤＪ機器（ディスクジョッキー（ＤＪ）が音響パフォーマンスに用いる機器）が知られている。

現状、一般的にＶＪとＤＪは住み分けがなされており、普通は得意分野によって音楽、映像のどちらか一方を対象としてパフォーマンスを行う者が多い。それぞれに得意分野があることから、専門分野以外の対象をミックスすることは困難である。このため、上記のように映像と音楽に対し同時にエフェクトを付加するような装置については、どちらの分野を対象とした構成とするかで使い勝手に大きな差が生じる。つまり、映像を専門分野とするＶＪにとっては、エフェクトの種類を選ぶ場合、選択肢となるボタンにオーディオエフェクト名が記載されていても、どのような効果が得られるのかが掴みづらい。逆に、音楽を専門分野とするＤＪにとっては、選択肢となるボタンにビデオエフェクト名が記載されていても、どのような効果が得られるのかが掴みづらい。したがって、映像と音楽に対し同時にエフェクトを付加するような装置であっても、音楽を専門分野とするＤＪがビデオエフェクトを実現させること、および映像を専門分野とするＶＪがオーディオエフェクトを実現させることはいずれも困難であった。また、１つのボタンに、ビデオエフェクト名とオーディオエフェクト名を併記することも考えられるが、表記スペースの問題があると共に、一方のエフェクトに対応した他方のエフェクトが必ずしも存在するとは限らないといった問題もあった。

本発明は、上記の問題点に鑑み、音楽を専門分野とするユーザがビデオエフェクトを容易に実現させることができる、または映像を専門分野とするユーザがオーディオエフェクトを容易に実現させることができるエフェクト装置、ＡＶ処理装置およびプログラムを提供することを目的とする。

本発明のエフェクト装置は、複数種類のオーディオエフェクトに対応して、各オーディオエフェクトと同一感が得られる複数種類のビデオエフェクトを実現するためのものであって、それぞれ対応するオーディオエフェクトの時間変化係数が反映されている複数のビデオ制御プログラムを記憶する記憶手段と、複数種類のオーディオエフェクトの中から、１以上のオーディオエフェクトを選択するエフェクト選択手段と、選択されたオーディオエフェクトに対応するビデオ制御プログラムを実行することにより、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。
上記のエフェクト装置において、記憶手段は、複数種類のオーディオエフェクトを実現するための複数のオーディオ制御プログラムを記憶し、ビデオ制御手段により実行されるビデオ制御プログラムと連動して、選択されたオーディオエフェクトのオーディオ制御プログラムを実行することにより、当該オーディオエフェクトを実現するオーディオ制御手段をさらに備えたことを特徴とする。
上記のエフェクト装置において、表示機能付きタッチパネル上に、オーディオエフェクトのパラメータを指定するための操作画面を表示する表示手段と、表示機能付きタッチパネルに対する操作を検出する操作検出手段と、をさらに備え、ビデオ制御手段およびオーディオ制御手段は、操作検出手段による検出位置に対応するパラメータを反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現し、表示手段には、ビデオ制御手段の制御結果が反映されることを特徴とする。
上記のエフェクト装置において、オーディオエフェクトは原音に対して付加されると共に、ビデオエフェクトは原画に対して付加され、原音とオーディオエフェクトとのミックスレートを調節するミックスレート調節手段をさらに備え、ビデオ制御手段およびオーディオ制御手段は、ミックスレートを反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現することを特徴とする。
上記のエフェクト装置において、オーディオエフェクトを付加する原音のＢＰＭ値を検出するＢＰＭ検出手段をさらに備え、ビデオ制御手段およびオーディオ制御手段は、ＢＰＭ検出手段により検出されたＢＰＭ値に基づくＢＰＭ係数を反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現することを特徴とする。
本発明の他のエフェクト装置は、「フィルタ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、「フィルタ」のオーディオエフェクトの選択に伴い、対応するビデオ制御プログラムを実行することにより、原画の少なくとも一部に、ぼかし効果を付加するビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。
本発明の他のエフェクト装置は、「フランジャー」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、「フランジャー」のオーディオエフェクトの選択に伴い、対応するビデオ制御プログラムを実行することにより、原画の少なくとも一部に、任意の画像が奥から手前に通り過ぎていくような効果を付加するビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。
本発明の他のエフェクト装置は、「フェイザー」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、「フェイザー」のオーディオエフェクトの選択に伴い、対応するビデオ制御プログラムを実行することにより、原画と、フィードバック画面を回転した画とを、オーディオエフェクトのＢＰＭ値に連動した比率に応じて合成するビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。
本発明の他のエフェクト装置は、「リバーブ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、「リバーブ」のオーディオエフェクトの選択に伴い、対応するビデオ制御プログラムを実行することにより、当該「リバーブ」のオーディオエフェクトと同一感が得られるビデオエフェクトを実現するビデオ制御手段と、を備え、「リバーブ」のオーディオエフェクトと同一感が得られるビデオエフェクトは、複数のバッファから読み出した映像を順番に拡大することで残響感を出し、当該拡大した画と原画とを混合した後、当該混合した画と複数のバッファから読み出した映像とを混合することで残像感を出すビデオエフェクトであることを特徴とする。
本発明の他のエフェクト装置は、「クラッシュ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、「クラッシュ」のオーディオエフェクトの選択に伴い、対応するビデオ制御プログラムを実行することにより、映像の特定部分を中心として、当該特定部分に相当する画素を対極する方向に引き伸ばすビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。
本発明の他のエフェクト装置は、複数種類のビデオエフェクトに対応して、各ビデオエフェクトと同一感が得られる複数種類のオーディオエフェクトを実現するためのものであって、それぞれ対応するビデオエフェクトの時間変化係数が反映されている複数のオーディオ制御プログラムを記憶する記憶手段と、複数種類のビデオエフェクトの中から、１以上のビデオエフェクトを選択するエフェクト選択手段と、選択されたビデオエフェクトに対応するオーディオ制御プログラムを実行することにより、当該ビデオエフェクトと同一感が得られるオーディオエフェクトを実現するオーディオ制御手段と、を備えたことを特徴とする。
本発明のＡＶ処理装置は、上記のエフェクト装置における各手段と、ビデオ信号を入力する入力手段と、入力されたビデオ信号に基づく原画に対して、ビデオ制御手段により実現されたビデオエフェクトを付加した映像を出力する出力手段と、を備えたことを特徴とする。
本発明の他のＡＶ処理装置は、上記のエフェクト装置における各手段と、オーディオ信号を入力する入力手段と、入力されたオーディオ信号に基づく原音に対して、オーディオ制御手段により実現されたオーディオエフェクトを付加した音楽を出力する出力手段と、を備えたことを特徴とする。
本発明のプログラムは、コンピュータを、上記のエフェクト装置における各手段として機能させることを特徴とする。
なお、以下の構成としても良い。
本発明のエフェクト装置は、複数種類のオーディオエフェクトに対応して、各オーディオエフェクトと同一感が得られる複数種類のビデオエフェクトを実現するための複数のビデオ制御プログラムを記憶する記憶手段と、複数種類のオーディオエフェクトの中から、１以上のオーディオエフェクトを選択するエフェクト選択手段と、選択されたオーディオエフェクトに対応するビデオ制御プログラムを実行することにより、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とする。

この構成によれば、所望するビデオエフェクトのイメージに近いオーディオエフェクトを選択することで、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現することができる。すなわち、映像の分野に精通していないＤＪのようなユーザであっても、所望するビデオエフェクトを容易に実現させることができる。

上記に記載のエフェクト装置において、ビデオ制御プログラムには、対応するオーディオエフェクトの時間変化係数が反映されていることが好ましい。

この構成によれば、時間経過に伴って変化していくようなオーディオエフェクトの時間変化を、ビデオエフェクトに反映させることができる。したがって、ビデオ制御プログラムとして、時間変化係数が異なる複数のものを記憶しておくことで、多様なビデオエフェクトを実現させることができる。

上記に記載のエフェクト装置において、記憶手段は、複数種類のオーディオエフェクトを実現するための複数のオーディオ制御プログラムを記憶し、ビデオ制御手段により実行されるビデオ制御プログラムと連動して、選択されたオーディオエフェクトのオーディオ制御プログラムを実行することにより、当該オーディオエフェクトを実現するオーディオ制御手段をさらに備えたことが好ましい。

この構成によれば、オーディオエフェクトを選択することで、当該オーディオエフェクトと、当該オーディオエフェクトと同一感が得られるビデオエフェクトとを、同時に実現することができる。つまり、オーディオエフェクトを選択するだけの簡易な操作で、映像と音楽に対し、同一イメージの効果を付加することができる。

上記に記載のエフェクト装置において、表示機能付きタッチパネル上に、オーディオエフェクトのパラメータを指定するための操作画面を表示する表示手段と、表示機能付きタッチパネルに対する操作を検出する操作検出手段と、をさらに備え、ビデオ制御手段およびオーディオ制御手段は、操作検出手段による検出位置に対応するパラメータを反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現し、表示手段には、ビデオ制御手段の制御結果が反映されることが好ましい。

この構成によれば、オーディオエフェクトのパラメータを指定するための操作画面が、表示機能付きタッチパネル上に表示されるため、実際に触れたような直感的な操作が期待できる。また、操作検出手段による検出位置に基づいて、ビデオエフェクトおよびオーディオエフェクトの両方に反映させるパラメータを決定する構成であるため、ユーザは操作位置によってパラメータを指定できる。つまり、操作位置を移動させるだけの簡易な操作でパラメータを変化させることができるため、瞬時の判断で多彩な映像表現や音楽表現を実現できる。さらに、表示手段には、ビデオ制御手段の制御結果が表示されるため、ユーザは自分の操作が制御結果に反映されていることを確実に確認することができる。

上記に記載のエフェクト装置において、オーディオエフェクトは原音に対して付加されると共に、ビデオエフェクトは原画に対して付加され、原音とオーディオエフェクトとのミックスレートを調節するミックスレート調節手段をさらに備え、ビデオ制御手段およびオーディオ制御手段は、ミックスレートを反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現することが好ましい。

この構成によれば、ユーザの好みに応じて、原音とオーディオエフェクトとのミックスレートを調節することができる。また、当該調節結果を、原画とビデオエフェクトのミックスレートに反映させることができるため、ビデオエフェクトとオーディオエフェクトに対し、同一感を持たせつつ、変化のある映像表現および音楽表現を実現することができる。

上記に記載のエフェクト装置において、オーディオエフェクトを付加する原音のＢＰＭ値を検出するＢＰＭ検出手段をさらに備え、ビデオ制御手段およびオーディオ制御手段は、ＢＰＭ検出手段により検出されたＢＰＭ値に基づくＢＰＭ係数を反映させて、それぞれビデオエフェクトおよびオーディオエフェクトを実現することが好ましい。

この構成によれば、原音のＢＰＭ値を検出し、当該ＢＰＭ値に基づくＢＰＭ係数をビデオエフェクトおよびオーディオエフェクトに反映させるため、連動感のある映像効果および音楽効果を実現することができる。

上記に記載のエフェクト装置において、オーディオエフェクトの種類は、「フィルタ」を含み、「フィルタ」に対応するビデオ制御プログラムは、原画の少なくとも一部に、ぼかし効果を付加するものであることが好ましい。

この構成によれば、音を不鮮明に変化させるオーディオエフェクトである「フィルタ」の選択によって、当該「フィルタ」と同一感が得られるビデオエフェクトを実現させることができる。

上記に記載のエフェクト装置において、オーディオエフェクトの種類は、「フランジャー」を含み、「フランジャー」に対応するビデオ制御プログラムは、原画の少なくとも一部に、任意の画像が奥から手前に通り過ぎていくような効果を付加するものであることが好ましい。

この構成によれば、ジェット機のような音を実現するオーディオエフェクトである「フランジャー」の選択によって、当該「フランジャー」と同一感が得られるビデオエフェクトを実現させることができる。

上記に記載のエフェクト装置において、オーディオエフェクトの種類は、「フェイザー」を含み、「フェイザー」に対応するビデオ制御プログラムは、原画と、フィードバック画面を回転した画とを、オーディオエフェクトのＢＰＭ値に連動した比率に応じて合成するものであることが好ましい。

この構成によれば、位相のずれた音を実現するオーディオエフェクトである「フェイザー」の選択によって、当該「フェイザー」と同一感が得られるビデオエフェクトを実現させることができる。

上記に記載のエフェクト装置において、オーディオエフェクトの種類は、「リバーブ」を含み、「リバーブ」に対応するビデオ制御プログラムは、映像を複数のバッファに格納しておき、当該複数のバッファから読み出した映像を順番に拡大することで残響感を出し、当該拡大した画と原画とを混合した後、当該混合した画と複数のバッファから読み出した映像とを混合することで残像感を出すものであることが好ましい。

この構成によれば、残響音を実現するオーディオエフェクトである「リバーブ」の選択によって、当該「リバーブ」と同一感が得られるビデオエフェクトを実現させることができる。

上記に記載のエフェクト装置において、オーディオエフェクトは、「クラッシュ」を含み、「クラッシュ」に対応するビデオ制御プログラムは、映像の特定部分を中心として、当該特定部分に相当する画素を対極する方向に引き伸ばすものであることが好ましい。

この構成によれば、ノイズ感のある音を実現するオーディオエフェクトである「クラッシュ」の選択によって、当該「クラッシュ」と同一感が得られるビデオエフェクトを実現させることができる。

本発明の他のエフェクト装置は、複数種類のビデオエフェクトに対応して、各ビデオエフェクトと同一感が得られる複数種類のオーディオエフェクトを実現するための複数のオーディオ制御プログラムを記憶する記憶手段と、複数種類のビデオエフェクトの中から、１以上のビデオエフェクトを選択するエフェクト選択手段と、選択されたビデオエフェクトに対応するオーディオ制御プログラムを実行することにより、当該ビデオエフェクトと同一感が得られるオーディオエフェクトを実現するオーディオ制御手段と、を備えたことを特徴とする。

この構成によれば、所望するオーディオエフェクトのイメージに近いビデオエフェクトを選択することで、当該ビデオエフェクトと同一感が得られるオーディオエフェクトを実現することができる。すなわち、映像の分野に精通していないＤＪのようなユーザであっても、所望するオーディオエフェクトを容易に実現させることができる。
なお、上記のエフェクト装置の各手段における「オーディオ」を「ビデオ」に、また「ビデオ」を「オーディオ」に読み替えた構成としても良い。

本発明のＡＶ処理装置は、上記に記載のエフェクト装置における各手段と、ビデオ信号を入力する入力手段と、入力されたビデオ信号に基づく原画に対して、ビデオ制御手段により実現されたビデオエフェクトを付加した映像を出力する出力手段と、を備えたことを特徴とする。

この構成によれば、音楽を専門分野とするユーザが、入力されたビデオ信号に対して所望するビデオエフェクトを容易に実現させることができると共に、当該ビデオエフェクトを付加した映像を出力可能なＡＶ処理装置を提供することができる。

本発明の他のＡＶ処理装置は、上記に記載のエフェクト装置における各手段と、オーディオ信号を入力する入力手段と、入力されたオーディオ信号に基づく原音に対して、オーディオ制御手段により実現されたオーディオエフェクトを付加した音楽を出力する出力手段と、を備えたことを特徴とする。

この構成によれば、映像を専門分野とするユーザが、入力されたオーディオ信号に対して所望するオーディオエフェクトを容易に実現させることができると共に、当該オーディオエフェクトを付加した音楽を出力可能なＡＶ処理装置を提供することができる。

本発明のプログラムは、コンピュータを、上記に記載のエフェクト装置における各手段として機能させるためのものであることを特徴とする。

このプログラムを実行することにより、音楽を専門分野とするユーザがビデオエフェクトを容易に実現させることができる、または映像を専門分野とするユーザがオーディオエフェクトを容易に実現させることができるエフェクト装置を提供することができる。

本発明の一実施形態に係るＡＶ処理システムのシステム構成図、およびＡＶ処理装置の簡易構成図である。 ＡＶ処理装置に備えられたユーザインターフェースを示す図である。 ＡＶ処理装置のブロック図である。 プログラムリストの一例を示す図である。 ビデオエフェクトのパラメータを変化させる方法の一例を示す図である。 操作画面の他の表示例を示す図である。

以下、本発明の一実施形態に係るエフェクト装置、ＡＶ処理装置およびプログラムについて、添付図面を参照しながら詳細に説明する。図１（ａ）は、本発明のＡＶ処理装置３０を適用したＡＶ処理システムＳＹのシステム構成図である。ＡＶ処理システムＳＹは、ＡＶ処理装置３０に入力するための１個以上のオーディオ信号を生成する１台以上のＣＤプレーヤー１０（同図では、１台のみ図示）と、ＡＶ処理装置３０に入力するための１個以上のビデオ信号を生成する１台以上のＤＶＤプレーヤー２０（同図では、１台のみ図示）と、これら１台以上のＣＤプレーヤー１０および／または１台以上のＤＶＤプレーヤー２０から、１個以上のオーディオ信号および／または１個以上のビデオ信号（以下、オーディオ信号および／またはビデオ信号を指して「ＡＶ信号」と称する）を入力し、これらを編集して出力用のＡＶ信号を生成するＡＶ処理装置３０と、ＡＶ処理装置３０から出力されたオーディオ信号を音声出力するスピーカー４０と、ＡＶ処理装置３０から出力されたビデオ信号を表示するモニター５０と、から成る。

本実施形態のＡＶ処理装置３０は、複数のＡＶ信号を入力可能となっており、これら複数のＡＶ信号に対してエフェクトを付加するエフェクト処理など各種編集処理を行う。また、ＡＶ処理装置３０の一例としては、例えばクラブ等において用いられるものであり、音声と映像の両方にエフェクトをかけるなど、楽器感覚でオーディオ信号および／またはビデオ信号を扱い得るＤＶＪ機器（ディスクジョッキー（ＤＪ）が音響パフォーマンスに用いるＤＪ機器と、ビジュアルジョッキーまたはビデオジョッキー（ＶＪ）が映像パフォーマスンスに用いるＶＪ機器とを複合化した機器）等が挙げられる。

ここで、ＶＪおよびＤＪについて説明する。ＶＪは、音楽に合わせて即興で映像をミックス（合成したりつないだり）する。ＤＪが即興で音楽をミックスするのに対し、ＶＪは映像を用いてパフォーマンスを行う。主にイベントやクラブパーティでスクリーン等に映像を切換出力するパフォーマンスを行い、会場でかかっている音楽や企画の進行に合わせて、適切な映像をその場で選択し、タイミングよく流すことを担う。

これに対して、ＤＪは場の雰囲気から楽曲を選曲し、切れ目のない再生を行う。楽曲のピッチ（スピード）を変速できるターンテーブル等を使用したライブ演奏を行う。選曲の他に、ＤＪミックス、スクラッチなどのパフォーマンスを行う行為が一般化しており、ミックスでは現在再生している曲と次に再生する曲をスムーズにつなぎ、音の切れ目をなくすことでフロアのテンションを維持する。

現状、一般的にＶＪとＤＪは住み分けがなされており、普通は得意分野によって音楽、映像のどちらか一方を対象としてパフォーマンスを行う者が多い。それぞれに得意分野があることから、専門分野以外の対象をミックスすることは困難である。また、一方を対象とするだけでも、即興でつなぎつつさらにエフェクトをかけたりするので、多様な操作を行う必要があり非常に慌しい。そのため、双方を扱う余裕がない。

しかし、どちらも会場の雰囲気やパフォーマー自身のフィーリングに合わせて、楽曲、映像をテンポよく切換出力する行為を行うものである。提供される音と映像が一致する必要があることから、双方を１人の人物が行うことも望まれる。本来映像が得意なＶＪでも、映像の変化に追従して音楽が変化すれば、映像と共に音楽を扱うことが容易となるし、逆に本来音楽専任のＤＪでも、音を変化させることに追従して映像が変化すれば、より自然に音と映像を合わせて扱うことができる。

本実施形態のＡＶ処理装置３０は、本来1人の人物が同時に扱うことができない映像と音楽を、１人で同時に扱うことを可能とするものである。また、音楽と映像両方を扱おうとする者に対して、簡便で快適な操作を提供するものである。

なお、ＡＶ処理装置３０に入力するためのＡＶ信号を生成するための装置としては、ＣＤプレーヤー１０やＤＶＤプレーヤー２０に限らず、他の装置（各種音響機器、映像機器およびパーソナルコンピュータなど）であっても良い。また、ＡＶ処理装置３０に、ＣＤプレーヤー１０やＤＶＤプレーヤー２０の機能を内蔵させても良い。さらに、ビデオ信号は、動画であっても良いし静止画であっても良い。また、複数のオーディオ信号をＡＶ処理装置３０に入力する場合は、オーディオ信号を混合した場合の違和感を無くすため、ＣＤプレーヤー１０側またはＡＶ処理装置３０側のいずれかに、当該複数のオーディオ信号のＢＰＭを一致させる機能が搭載されていることが好ましい。

図１（ｂ）は、ＡＶ処理装置３０の簡易構成図である。ＡＶ処理装置３０は、その主要構成要素として、表示機能付きタッチパネルＴＰ、ＣＰＵ３１、表示制御部３２、エフェクト処理部３３および出力信号選択部３４を有している。

表示機能付きタッチパネルＴＰは、ＴＦＴ等の表示素子を有するディスプレイ３７と、当該ディスプレイ３７上に重ね合わされたタッチパネル３８と、から成る。このように表示機能付きタッチパネルＴＰ（以下単に「タッチパネルＴＰ」と称する）を採用することで、ユーザは、ディスプレイ３７の表示上でタッチパネル３８を操作することができるため、簡便且つ直感的な操作が可能となる。

ＣＰＵ３１は、タッチパネルＴＰの操作（タッチ）に基づく電圧変化（タッチ情報）に応じて、操作位置の位置検出や移動検出を行う。また、当該検出結果に基づいて、タッチパネルＴＰ（ディスプレイ３７）の表示制御を行うための表示制御信号や、ＡＶ信号の編集処理を行うためのコントロール信号を生成し、各信号を表示制御部３２およびエフェクト処理部３３に出力する。また、ＣＰＵ３１は、エフェクト処理部３３の処理結果を入力して、タッチパネルＴＰに反映させるべく、当該処理結果を表示制御部３２に出力する。さらに、ＣＰＵ３１は、この他にも、ユーザによる各種操作子の操作に基づく情報管理や、外部装置との信号の入出力など、ＡＶ処理装置３０の統括制御を行う。

表示制御部３２は、ＣＰＵ３１から入力された表示制御信号やエフェクト処理部３３の処理結果等に基づいて、タッチパネルＴＰの表示制御を行う。エフェクト処理部３３は、一般的にエフェクターと称されるものであり、ＣＰＵ３１から入力されたコントロール信号に基づいて、外部装置から入力されたＡＶ信号に対しエフェクト処理を行う。当該エフェクト処理では、入力されたＡＶ信号にオーディオ信号が含まれる場合、当該オーディオ信号からＢＰＭ値を検出し、当該ＢＰＭ値に連動させてオーディオエフェクトを実現する。また、入力されたＡＶ信号にビデオ信号が含まれる場合は、同じくＢＰＭ値に連動させてビデオエフェクトを実現する。一方、出力信号選択部３４は、エフェクト処理部３３の処理結果を受けて、出力用のＡＶ信号を生成すると共に、オーディオ信号とビデオ信号の出力を選択し、それぞれの出力インターフェースから音楽出力および映像出力を行う。

なお、出力信号選択部３４は、出力される複数の信号の同期を合わせるための同期処理を行うことが好ましい。これにより、出力信号の映像の乱れを無くすことができる。また、出力信号選択部３４の出力をエフェクト処理部３３に戻し、編集処理後のＡＶ信号にさらに編集処理を行うといった２重処理を行うことも可能である。

次に、図２の平面図を参照し、ＡＶ処理装置３０に備えられたユーザインターフェースについて説明する。同図に示すように、ＡＶ処理装置３０は、その筐体上面に、上記のタッチパネルＴＰと、つまみ６３と、３つの操作ボタンＢＴ１，ＢＴ２，ＢＴ３と、を備えている。なお、ＡＶ処理装置３０は、その他、ＡＶ処理装置３０から出力される映像を表示するディスプレイ、入力ＡＶ信号の切り替えや調節を行うためのフェーダやつまみなどの各種操作子（いずれも図示省略）を、ユーザインターフェースとして備えている。

タッチパネルＴＰは、エフェクト処理等の編集処理結果をユーザが確認するための編集結果表示領域Ａ１と、エフェクトの種類（エフェクト名６１）等を選択するためのＧＵＩ表示領域Ａ２と、エフェクトのパラメータ指定など各種操作を行うための操作領域Ａ３と、を含む操作画面Ｄを表示する。例えば、ユーザにより、ＧＵＩ表示領域Ａ２に表示された複数のエフェクト選択肢の中から任意の選択肢が選択されると、操作領域Ａ３には、その選択肢に応じたパラメータ指定表示（ユーザがパラメータを指定するための表示）を行う。同図の操作領域Ａ３は、矢印６２の先端に向かってパラメータ値（エフェクトの付加率）が上がっていく構成のパラメータ指定表示を示している。その表示にしたがって、ユーザによりパラメータが指定されると、そのパラメータを、選択されたエフェクトに反映させ、さらに当該エフェクトを原画（入力されたビデオ信号に基づく画）に付加することによって得られる映像（出力画像）を編集結果表示領域Ａ１に表示する。

このとき、例えばオーディオエフェクトが選択されると、当該オーディオエフェクトを実現すると共に、これに連動して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現し、そのビデオエフェクトが付加された（効果が反映された）映像を編集結果表示領域Ａ１に表示する。また、ビデオエフェクトが選択されると、当該ビデオエフェクトを付加した映像を編集結果表示領域Ａ１に表示すると共に、これに連動して、当該ビデオエフェクトと同一感が得られるオーディオエフェクトを実現し、そのオーディオエフェクトが付加された音楽を出力する。このように、本実施形態では、オーディオエフェクトおよびビデオエフェクトのいずれが選択されても、いずれか一方のエフェクトに連動して、当該一方のエフェクトと同一感が得られる他方のエフェクトが実現されるようになっている。これにより、簡易な操作で、映像と音楽とが違和感なくマッチしたパフォーマンスを行うことができる。なお、オーディオエフェクトと同一感が得られるビデオエフェクトの詳細については、後述する。

なお、ＧＵＩ表示領域Ａ２には、選択された選択肢を反転表示するなど、ユーザの操作結果が反映される。また、ＧＵＩ表示領域Ａ２は、第１階層で、「オーディオエフェクト」または「ビデオエフェクト」の２つの選択肢を表示し、さらにその下階層で、各エフェクトの種類を示す選択肢を表示するようになっている。つまり、ＤＪなど音楽を専門分野とするユーザは、第１階層で「オーディオエフェクト」を選択し、ＶＪなど映像を専門分野とするユーザは、第１階層で「ビデオエフェクト」を選択することとなる。さらに、編集結果表示領域Ａ１には、エフェクト処理後の映像だけでなく、音声信号に対するエフェクト処理結果（処理結果を視覚化したもの）も表示可能となっている。

また、操作画面Ｄでは、エフェクト処理以外にも各種編集処理を実行させるための編集操作が可能である。この場合、不図示の操作子により（またはＧＵＩ表示領域Ａ２の最上階層として）、編集処理の内容を選択することが可能であり、操作領域Ａ３には、その選択された処理内容に応じた編集操作表示（ユーザが編集操作を行うための表示）を行う。なお、選択可能な編集処理の内容としては、エフェクト処理以外に、複数のＡＶ信号の混合処理、出力信号切り替え処理、レベル調節処理など、一般的なオーディオ／ビデオミキサーで実現可能な各種処理が挙げられる。

一方、つまみ６３は、ＧＵＩ表示領域Ａ２でオーディオエフェクトが選択された場合、原音とオーディオエフェクトとのミックスレートを調節するものである。例えば、ミックスレートが「０」に設定された場合、原音が１００％の割合で出力され、ミックスレートが「Ｍａｘ」に設定された場合、エフェクト音が１００％の割合で出力される。また、このミックスレートは、ビデオエフェクトにも反映される。つまり、つまみ６３を用いて、原音とオーディオエフェクトとのミックスレート、並びに原画とビデオエフェクトとのミックスレートを調節可能となっている。なお、ＧＵＩ表示領域Ａ２でビデオエフェクトが選択された場合、つまみ６３は、原画とビデオエフェクトとのミックスレートの調節に用いられるが、そのミックスレートはオーディオエフェクトにも反映される。つまり、ＧＵＩ表示領域Ａ２において「オーディオエフェクト」および「ビデオエフェクト」のいずれの選択肢が選択されても、調節されたミックスレートは、両者に反映される。

また、操作ボタンＢＴ１は、オーディオ信号を、操作画面Ｄを用いた編集処理の対象とするか否かを設定するためのボタンである。同様に、操作ボタンＢＴ２は、ビデオ信号を、操作画面Ｄを用いた編集処理の対象とするか否かを設定するためのボタンである。これらの操作ボタンＢＴ１，ＢＴ２は、押下毎に、対象／非対象を切り替えられるようになっている。したがって、オーディオエフェクトが選択された場合であって、操作ボタンＢＴ１が「非対象」に設定されている場合は、選択されたオーディオエフェクトに対応付けられたビデオエフェクトのみが実現される。また、ビデオエフェクトが選択された場合であって、操作ボタンＢＴ２が「非対象」に設定されている場合は、選択されたビデオエフェクトに対応付けられたオーディオエフェクトのみが実現される。

また、操作ボタンＢＴ３は、出力映像に、編集処理結果を反映させるか否かを設定するためのボタンであり、押下毎に、ＯＮ（反映する）／ＯＦＦ（反映しない）を切り替えられるようになっている。例えば、操作ボタンＢＴ３で「ＯＮ」に設定されると、編集結果表示領域Ａ１に表示される映像と、出力映像とは、少なくとも編集結果部分において一致したものとなる。また、「ＯＦＦ」に設定されると、編集結果表示領域Ａ１に表示される映像は、出力映像に全く反映されないこととなる。

例えば、操作ボタンＢＴ３で「ＯＮ」に設定された場合を想定すると、図１（ｂ）に示したように、２ＣＨの信号を入力して、操作領域Ａ３を用いたＣＨ１のエフェクト処理結果に、さらにＣＨ２の信号を混合して出力する（例えば、エフェクトが付加されたＣＨ１に基づく画面と、ＣＨ２に基づく画面との２画面を同一モニター上に出力するなど）場合、少なくともＣＨ１のエフェクト処理結果の表示については、編集結果表示領域Ａ１の表示と出力映像の表示とが一致する。当然、このようにＣＨ１のエフェクト処理結果と、ＣＨ２の信号を混合させる場合であっても、操作領域Ａ３において、これら２つの信号の編集処理を行った場合は、編集結果表示領域Ａ１の表示と出力映像とが一致することになる。

なお、エフェクトに対するミックスレートの調節、編集処理の対象／非対象の選択や編集処理結果の反映／非反映の選択に用いる操作子は、上記のつまみや操作ボタンに限らず、十字キーおよびジョイスティックなど他の操作子を用いても良い。また、これらのつまみ６３や操作ボタンＢＴ１，ＢＴ２，ＢＴ３をタッチパネルＴＰ上に表示しても良い。さらに、原音とオーディオエフェクトのミックスレートの調節や原画とビデオエフェクトのミックスレートの調節（つまみ６３の機能）を、操作領域Ａ３で実現できるようにしても良い。つまり、エフェクトのパラメータの一つとして、ミックスレートを指定可能としても良い。

次に、図３のブロック図を参照し、ＡＶ処理装置３０の制御構成について説明する。なお、ＡＶ処理装置３０は、上記のとおり、オーディオエフェクトを選択することで、それと同一感が得られるビデオエフェクトを実現したり、逆に、ビデオエフェクトを選択することで、それと同一感が得られるオーディオエフェクトを実現したりすることが可能であるが、重複説明を避けるため、以下ではオーディオエフェクトを選択することで、それと同一感が得られるビデオエフェクトを実現する場合について主に言及する。

同図に示すように、ＡＶ処理装置３０は、入力手段３１０、記憶手段３２０、表示手段３３０、ＢＰＭ検出手段３４０、エフェクト選択手段３５０、操作検出手段３６０、ミックスレート調節手段３７０、制御手段３８０および出力手段３９０を備えている。

入力手段３１０は、ＡＶ信号を入力するものであり、不図示の信号入力インターフェース（ＵＳＢやＭＩＤＩなど）によりその主要部が構成される。

記憶手段３２０は、複数種類のオーディオエフェクトに対し、各オーディオエフェクトと同一感が得られる複数種類のビデオエフェクトを実現するための複数のビデオ制御プログラムを記憶している。また、各オーディオエフェクトのオーディオ制御プログラムも記憶している。すなわち、オーディオエフェクト別に、その制御プログラム（オーディオ制御プログラム）と、ビデオ制御プログラムとを対応付けて記憶している（図４のプログラムリストＬ参照）。

表示手段３３０は、タッチパネルＴＰ上に、オーディオエフェクトのパラメータを指定するための操作画面Ｄ（操作領域Ａ３）を表示するものであり、上記の表示制御部３２およびタッチパネルＴＰ（図１（ｂ）参照）によりその主要部が構成される。

ＢＰＭ検出手段３４０は、オーディオエフェクトを付加する原音のＢＰＭ値を検出するものであり、上記のエフェクト処理部３３（図１（ｂ）参照）の一部によって構成される。後述の制御手段３８０では、ＢＰＭ検出手段３４０が検出したＢＰＭ値に基づくＢＰＭ係数を反映させて、それぞれビデオエフェクトおよびオーディオエフェクトが実現される。

エフェクト選択手段３５０は、複数種類のオーディオエフェクトの中から、１以上のオーディオエフェクトを選択するものであり、タッチパネルＴＰ（ＧＵＩ表示領域Ａ２）によりその主要部が構成される。ＧＵＩ表示領域Ａ２には、記憶手段３２０に記憶されているプログラムリストＬの「オーディオエフェクト名」が選択肢として表示される。ユーザは、当該ＧＵＩ表示領域Ａ２に表示された複数の選択肢の中から、所望する１以上のオーディオエフェクトを選択する。

操作検出手段３６０は、操作画面Ｄに対する操作を検出するものであり、タッチパネルＴＰによりその主要部が構成される。特に、操作領域Ａ３の操作結果に基づいて、オーディオエフェクトのパラメータを検出する。

ミックスレート調節手段３７０は、原音とオーディオエフェクトとのミックスレートを調節するものであり、上記のつまみ６３（図２参照）によりその主要部が構成される。

制御手段３８０は、ビデオ制御手段３８１およびオーディオ制御手段３８２を有し、上記のＣＰＵ３１およびエフェクト処理部３３（図１（ｂ）参照）によりその主要部が構成される。ビデオ制御手段３８１は、選択されたオーディオエフェクトに対応するビデオ制御プログラムを記憶手段３２０から読み出して実行することにより、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現する。また、オーディオ制御手段３８２は、選択されたオーディオエフェクトのオーディオ制御プログラムを記憶手段３２０から読み出して実行することにより、当該オーディオエフェクトを実現する。

この場合、ビデオ制御手段３８１により実行されるビデオ制御プログラムには、対応するオーディオエフェクトの時間変化係数が反映されている。この「時間変化係数」とは、時間経過によってオーディオエフェクトの状態が刻々と変化していく割合を数値化したものである。例えば、「エコー」など残響音を付加するものであって１０秒間かけて残響音が無くなるオーディオエフェクトの場合、その音量が小さくなっていく割合を数値化したものが時間変化係数となる。したがって、オーディオエフェクトとして「エコー」が選択された場合、１０秒かけて残像が消えていくようなビデオエフェクトが実現されることとなる。

また、オーディオ制御手段３８２は、ＢＰＭ検出手段３４０が検出したＢＰＭ値に基づくＢＰＭ係数、操作検出手段３６０の検出位置に対応するオーディオパラメータ、並びにミックスレート調節手段３７０により調節されたミックスレートを反映させて、エフェクト選択手段３５０により選択されたオーディオエフェクトを実現する。さらに、ビデオ制御手段３８１は、これらＢＰＭ係数、操作検出手段３６０による検出位置に対応するビデオパラメータ、並びにミックスレートを反映させて、エフェクト選択手段３５０により選択されたオーディオエフェクトと同一感が得られるビデオエフェクトを実現する。

出力手段３９０は、エフェクト処理後の映像および音楽を出力するものであり、不図示の信号出力インターフェース（ＵＳＢやＭＩＤＩなど）により、その主要部が構成される。つまり、出力手段３９０は、入力されたビデオ信号に基づく原画に対して、ビデオ制御手段３８１により実現されるビデオエフェクトを付加した映像を出力し、入力されたオーディオ信号に基づく原音に対して、オーディオ制御手段３８２により実現されるオーディオエフェクトを付加した音楽を出力する。

次に、図４を参照し、記憶手段３２０に記憶されているプログラムリストＬについて説明する。同図に示すとおり、プログラムリストＬは、オーディオエフェクト名と、オーディオ制御プログラムと、ビデオ制御プログラムとが、互いに関連付けられて記憶されている。例えば、プログラムリストＬの最上段に示すオーディオエフェクト名「フィルタ」の場合、当該「フィルタ」を実現するためのオーディオ制御プログラムであるプログラムＡ１と、当該「フィルタ」と同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムであるプログラムＶ１と、が関連付けられている。

ここで、プログラムリストＬにリストアップされた各プログラムの詳細について説明する。「フィルタ」のオーディオ制御プログラムであるプログラムＡ１は、原音のＢＰＭ値に連動してカットオフ周波数が変化するローパスフィルタで、原音と不鮮明な音との間で音を変化させるものである。また、「フィルタ」のビデオ制御プログラムであるプログラムＶ１は、原画の少なくとも一部に、ぼかし効果を付加するものである。つまり、プログラムＶ１は、不鮮明な音を、映像をぼかすことによって表現するものであり、原画とぼかし画との間で映像を変化させるものである。

「フランジャー」のオーディオ制御プログラムであるプログラムＡ２は、時間のずれた音を加えることでフランジ効果（ジェット機のような音）を作り出すものである。原音のＢＰＭ値に合わせてフランジ効果がかかる周波数帯を変化させることで、変化のある音楽表現を実現している。また、「フランジャー」のビデオ制御プログラムであるプログラムＶ２は、原画の少なくとも一部に、任意の画像が奥から手前に通り過ぎていくような効果を付加するものである。この効果は、原画の少なくとも一部に相当するオブジェクトや原画全体のエッジ部分を抽出して拡大しながらフィードバックさせることで実現される。なお、プログラムＶ２によって実現されるビデオエフェクトも、原音のＢＰＭ値に合わせて拡大率等のパラメータが変化することが好ましい。

「フェイザー」のオーディオ制御プログラムであるプログラムＡ３は、位相のずれた音を加えることでフェイズ効果を作り出すものである。原音のＢＰＭ値に合わせてフェイズ効果がかかる周波数帯を変化させることで、変化のある音楽表現を実現している。また、「フェイザー」のビデオ制御プログラムであるプログラムＶ３は、原画と、フィードバック画面を回転した画とを、原音またはオーディオエフェクトのＢＰＭ値に連動した比率に応じて合成するものである。この場合、原画と、フィードバック画面を回転した画とのうち、ＢＰＭ値に連動した比率に応じて輝度の高い方を選択して合成することが好ましい。なお、合成した画は、フィードバックバッファにフィードバックされると共に、つまみ６３（図２参照）で調節されたミックスレートに応じて、原画とミックスされて出画される。

「リバーブ」のオーディオ制御プログラムであるプログラムＡ４は、残響音を作り出すものである。また、「リバーブ」のビデオ制御プログラムであるプログラムＶ４は、映像を複数のバッファに格納しておき、当該複数のバッファから読み出した映像を順番に拡大することで残響感を出し、当該拡大した画と原画とを混合した後、当該混合した画と前記複数のバッファから読み出した映像とを混合することで残像感を出すものである。

「クラッシュ」のオーディオ制御プログラムであるプログラムＡ５は、ノイズ感または音のギザギザ感を作り出すものである。デジタル的に原音を壊して、ローファイな音を実現している。また、「クラッシュ」のビデオ制御プログラムであるプログラムＶ５は、映像の特定部分を中心として、当該特定部分に相当する画素を対極する方向に引き伸ばすものである。「特定部分」としては、例えば原画に基づく画面を縦半分または横半分にする線分が好ましい。このように、画面を仕切る線分に沿って対極する２方向に引き伸ばすことで、画面がシャープに壊れている感じを効果的に表現することができる。

以上説明したとおり、本実施形態によれば、映像の分野に精通していないＤＪのようなユーザであっても、所望するビデオエフェクトのイメージに近いオーディオエフェクトを選択することで、当該オーディオエフェクトと同一感が得られるビデオエフェクトを容易に実現させることができる。また、編集対象をビデオ信号とオーディオ信号の両方に設定することにより（図２の操作ボタンＢＴ１，ＢＴ２参照）、ビデオエフェクトと連動させて、選択したオーディオエフェクトも実現させることができる。つまり、オーディオエフェクトを選択するだけの簡易な操作で、映像と音楽に対し、同一イメージの効果を付加することができる。

また、オーディオエフェクトのパラメータを指定するための操作画面Ｄが、タッチパネルＴＰ上に表示されるため、直感的な操作が期待できる。また、操作画面Ｄ（操作領域Ａ３）の操作位置（操作検出手段３６０による検出位置）に基づいて、ビデオエフェクトおよびオーディオエフェクトの両方に反映させるパラメータを決定する構成であるため、ユーザは操作位置によってパラメータを指定できる。つまり、操作位置を移動させるだけの簡易な操作でパラメータを変化させることができるため、瞬時の判断で多彩な映像表現や音楽表現を実現できる。また、編集結果表示領域Ａ１には、ビデオ制御手段３８１の制御結果が表示されるため、ユーザは自分の操作が制御結果に反映されていることを確実に確認することができる。

なお、上記の実施形態では、オーディオエフェクトを選択して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現させる場合について主に言及したが、逆にビデオエフェクトを選択して、当該ビデオエフェクトと同一感が得られるオーディオエフェクトを実現させる場合の操作について簡単に説明する。

図５は、操作領域Ａ３の操作により、ビデオエフェクトのパラメータを変化させる方法の一例を示したものである。同図は、操作領域Ａ３に原画（図示省略）を表示し、当該原画に、ビデオエフェクトとして波紋の効果を付加する場合であって、タッチ位置をＣ点から図示点線矢印の方向に移動させることによりパラメータを変化させる場合を示している。なお、当該タッチ位置の移動にともなって、波紋が図示８１の状態（一重の波紋）→図示８２の状態（二重の波紋）→図示８３の状態（三重の波紋）と広がっていったものとする。

タッチ位置をＣ点から点線矢印の方向に移動させた場合、操作検出手段３６０は、所定の単位時間毎に、タッチ位置を検出し、ビデオ制御手段３８１は、その検出位置から得られるパラメータに基づいて、ビデオエフェクトを実現する。具体的には、タッチ位置の移動に伴って波紋を広げていくと共に、所定量の移動毎に波紋を増やしていくといった制御を行う。この場合、ビデオ制御手段３８１の制御結果は、編集結果表示領域Ａ１だけでなく、同図に示すとおり、操作領域Ａ３にも反映される。さらに、オーディオ制御手段３８２は、当該ビデオエフェクトに連動し、同じく操作検出手段３６０の検出位置から得られるパラメータに基づいて、オーディオエフェクトを実現する。具体的には、タッチＯＮの検出でオーディオエフェクトを起動し、波紋の広がりに連動して、例えばエコー効果をかけるなどの処理を行う。また、タッチＯＦＦの検出でオーディオエフェクトを終了する。この場合、波紋を広げる速度に応じて、オーディオ信号に対するエコー効果の付加率を上げていくといった処理も可能である。

この構成によれば、エフェクトを付加する原画上において、ビデオエフェクトのパラメータを操作できるため、どのような映像効果が得られるかが分かり易く、しかも操作結果が操作画面Ｄ（操作領域Ａ３）に反映されるため、ユーザのイメージに合った映像効果を作り出すことができる。また、タッチ位置を移動させる（波紋を広げるなど）といった簡易な操作であるため、瞬時の判断で効果的な音楽表現および映像表現を実現したい場合に便利である。これにより、例えばＡＶ処理装置３０をＤＶＪ機器に適用した場合に、ＤＪやＶＪなどの専門分野に関わらず、容易に音楽と映像とを操作することができる。さらに、同一人物が音楽と映像を操作することができることにより、両者のタイムラグを無くすことができるため、より高いパフォーマンスを実現可能である。

なお、上記の例において、中心点（Ｃ点）を示す丸印、および点線矢印は、操作領域Ａ３にのみ反映され、編集結果表示領域Ａ１や出力映像には反映されないことが好ましい。この構成によれば、波紋の広がりを明確にユーザに示しつつも、出力映像の見栄えを損ねることがない。

また、波紋のビデオエフェクトについては、タッチ継続時間によって波紋を広げていく構成としても良い。この変形例の場合、Ｃ点がタッチされると、タッチされている間、Ｃ点を中心として波紋を出し続ける（放射状に画面外に向かって広げ続ける）。また、Ｃ点から指が離されると、Ｃ点に波紋を収束させ、最終的には波紋を消去する。なお、この場合、タッチ位置が移動されても波紋を変化させないようにしても良い。

また、この波紋のビデオエフェクトの変形例は、拡大エフェクトにも適用可能である。例えば、所定のオブジェクトをその中心点から拡大したい場合、中心点がタッチされている間、オブジェクトを拡大し続ける。また、中心点から指が離されると、元のサイズに戻る。また、オブジェクトの拡大した後、タッチ位置が移動された場合は、拡大を保ったまま、タッチ位置に追従してオブジェクトを移動する。

また、ビデオエフェクトの種類としては、上記の「波紋」以外にも、拡大／縮小、パズル、カラーリング、ぼかし、ストロボ、レンズ、ワイプ、反転、ネガ等を適用可能である。

この他、ビデオエフェクトを選択して、これと同一感が得られるオーディオエフェクトを実現させる場合も、オーディオエフェクトを選択する場合の各機能（図３参照）を適用可能である。つまり、ビデオエフェクトを選択する場合も、オーディオ制御プログラムには、対応するビデオエフェクトの時間変化係数が反映されていることが好ましい。また、表示手段３３０は、タッチパネルＴＰ上に、ビデオエフェクトのパラメータを指定するための操作画面Ｄを表示することが好ましい。また、ミックスレート調節手段３７０は、原画とビデオエフェクトとのミックスレートを調節し、制御手段３８０は、当該ミックスレートを反映させて、それぞれオーディオエフェクトおよびビデオエフェクトを実現することが好ましい。

また、上記の実施形態では、音と映像の両方に連動したエフェクト効果を付加する場合、指定された同一のパラメータを反映させるものとしたが、オーディオエフェクトとビデオエフェクトのパラメータに対し、それぞれどの程度の割合で反映させるかを、別途操作子で調整できるように構成しても良い。この場合、例えばビデオエフェクトに対しては、指定されたパラメータを１００％で付加し、オーディオエフェクトについては、指定されたパラメータを５０％で付加するといった調整が可能である。

また、上記の実施形態では、ビデオエフェクト主体でオーディオエフェクトを実現させたり、オーディオエフェクト主体でビデオエフェクトを実現させたりする場合について説明したが、これら両者を明確に区別するため、いずれを主体とするかによって操作画面Ｄの仕様を変更しても良い。ここで、前者を「タッチエフェクトモード」、後者を「ビートエフェクトモード」と称して、両モードの操作方法の違いを簡単に説明する。図６（ａ）は、「タッチエフェクトモード」における操作画面Ｄの一例を示したものであり、同図（ｂ）は、「ビートエフェクトモード」における操作画面Ｄの一例を示したものである。

同図（ａ）に示すように、「タッチエフェクトモード」の操作領域Ａ３には、エフェクトの確認のための画面（編集結果表示領域Ａ１に表示する映像と略同一の映像）を表示させ、操作領域Ａ３がタッチされると、座標位置やタッチ継続時間などの情報を取得し、ビデオ信号およびオーディオ信号に対して効果を付加する。このとき、操作領域Ａ３をタッチする、タッチしたくなる、タッチしやすい、というイメージをユーザに与える為、「ビートエフェクトモード」に比べて、操作領域Ａ３のサイズを大きく表示することが好ましい。また、ビデオエフェクト主体であるため、座標位置やタッチ継続時間などの情報はビデオ信号に関するエフェクトパラメータとして扱い、オーディオ信号には関与させないようにしても良い。さらに、この場合、オーディオ信号に関するエフェクトパラメータとしては、タッチされたかされてないかのＯＮ／ＯＦＦ判定結果だけを用いても良い。

一方、「ビートエフェクトモード」では、同図（ｂ）に示すように、操作領域Ａ３にエフェクトの確認のための画面を表示することについては、「タッチエフェクトモード」と同様であるが、操作画面Ｄ内に、エフェクトの周期が設定できるボタン群（リズム系ボタン群）Ａ４を設ける点で異なる。また、これに伴い、且つ「タッチエフェクトモード」との違いをユーザに対して明確に示すため、操作領域Ａ３のサイズを小さく表示する。「ビートエフェクトモード」では、オーディオ主体で操作するため、操作領域Ａ３のタッチでオーディオエフェクトの操作を行わず、これに代えて、ボタン群Ａ４の操作により、オーディオエフェクトの周期コントロールを行う。ボタン群Ａ４では、例えばＢＰＭ１２０（１秒間に２拍の音楽）の場合、「１／１」のボタンがタッチされると１秒間に２回の周期でビデオ信号およびオーディオ信号の少なくとも一方に対し、エフェクト効果を付与する。同様に、「１／４」のボタンがタッチされると１秒間に８回の周期、「２／１」のボタンがタッチされると１秒間に１回の周期となる。操作領域Ａ３については、ビデオ信号の操作に用いる。操作領域Ａ３がタッチされると、座標位置やタッチ継続時間などの情報ではなく、ビデオエフェクトのＯＮ／ＯＦＦの情報に変える。つまり、一度タッチされるとビデオエフェクトをＯＮ状態にし、もう一度タッチされるとＯＦＦ状態にするという、所謂トグルボタンのように機能させる。この場合、ＯＮ状態になると、ビデオ信号のみに対して簡単なビデオエフェクト（ネガポジ反転、色変化、エッジ抽出、２値化等）をかける。このように、「ビートエフェクトモード」では、ボタン群Ａ４を設け、ダイレクトにボタンを触ることでダイナミックな周期変化を与えられるため、パフォーマンス性に優れるといった利点がある。

また、ＡＶ処理装置３０としては、クラブ等において用いられるＤＶＪ機器を例示したが、当該ＤＶＪ機器以外にも、ＡＶ信号に対してエフェクト効果を付加可能な装置やプログラム（音声／映像エフェクター、音声／映像ミキサー、音声／映像コントローラ、音声／映像処理アプリケーションなど）であれば、本発明を適用可能である。すなわち、オーディオ信号とビデオ信号の両方を処理する装置でなくとも、オーディオ信号のみ、ビデオ信号のみを処理する装置にも、本発明を適用可能である。

また、上記の例に示したＡＶ処理装置３０における各部、並びに各機能をプログラムとして提供することも可能である。また、そのプログラムを記録媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ―ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスク、フレキシブルディスクおよびハードディスク等を利用することができる。

また、上述した実施例によらず、ＡＶ処理システムＳＹのシステム構成、ＡＶ処理装置３０の装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。

１０…ＣＤプレーヤー，２０…ＤＶＤプレーヤー，３０…ＡＶ処理装置，３１…ＣＰＵ，３２…表示制御部，３３…エフェクト処理部，３４…出力信号選択部，４０…スピーカー，５０…モニター，６１…オーディオエフェクト名，６３…つまみ，８１〜８３…波紋，Ａ１…編集結果表示領域，Ａ２…ＧＵＩ表示領域，Ａ３…操作領域，ＢＴ１〜ＢＴ３…操作ボタン，Ｄ…操作画面，ＳＹ…ＡＶ処理システム，ＴＰ…タッチパネル

Claims (14)

1. 複数種類のオーディオエフェクトに対応して、各オーディオエフェクトと同一感が得られる複数種類のビデオエフェクトを実現するためのものであって、それぞれ対応する前記オーディオエフェクトの時間変化係数が反映されている複数のビデオ制御プログラムを記憶する記憶手段と、
   前記複数種類のオーディオエフェクトの中から、１以上のオーディオエフェクトを選択するエフェクト選択手段と、
   選択された前記オーディオエフェクトに対応する前記ビデオ制御プログラムを実行することにより、当該オーディオエフェクトと同一感が得られる前記ビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とするエフェクト装置。
2. 前記記憶手段は、前記複数種類のオーディオエフェクトを実現するための複数のオーディオ制御プログラムを記憶し、
   前記ビデオ制御手段により実行される前記ビデオ制御プログラムと連動して、選択された前記オーディオエフェクトの前記オーディオ制御プログラムを実行することにより、当該オーディオエフェクトを実現するオーディオ制御手段をさらに備えたことを特徴とする請求項１に記載のエフェクト装置。
3. 表示機能付きタッチパネル上に、前記オーディオエフェクトのパラメータを指定するための操作画面を表示する表示手段と、
   前記表示機能付きタッチパネルに対する操作を検出する操作検出手段と、をさらに備え、
   前記ビデオ制御手段および前記オーディオ制御手段は、前記操作検出手段による検出位置に対応する前記パラメータを反映させて、それぞれ前記ビデオエフェクトおよび前記オーディオエフェクトを実現し、
   前記表示手段には、前記ビデオ制御手段の制御結果が反映されることを特徴とする請求項２に記載のエフェクト装置。
4. 前記オーディオエフェクトは原音に対して付加されると共に、前記ビデオエフェクトは原画に対して付加され、
   前記原音と前記オーディオエフェクトとのミックスレートを調節するミックスレート調節手段をさらに備え、
   前記ビデオ制御手段および前記オーディオ制御手段は、前記ミックスレートを反映させて、それぞれ前記ビデオエフェクトおよび前記オーディオエフェクトを実現することを特徴とする請求項２に記載のエフェクト装置。
5. 前記オーディオエフェクトを付加する原音のＢＰＭ値を検出するＢＰＭ検出手段をさらに備え、
   前記ビデオ制御手段および前記オーディオ制御手段は、前記ＢＰＭ検出手段により検出された前記ＢＰＭ値に基づくＢＰＭ係数を反映させて、それぞれ前記ビデオエフェクトおよび前記オーディオエフェクトを実現することを特徴とする請求項２に記載のエフェクト装置。
6. 「フィルタ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、
   前記「フィルタ」のオーディオエフェクトの選択に伴い、対応する前記ビデオ制御プログラムを実行することにより、原画の少なくとも一部に、ぼかし効果を付加する前記ビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とするエフェクト装置。
7. 「フランジャー」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、
   前記「フランジャー」のオーディオエフェクトの選択に伴い、対応する前記ビデオ制御プログラムを実行することにより、原画の少なくとも一部に、任意の画像が奥から手前に通り過ぎていくような効果を付加する前記ビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とするエフェクト装置。
8. 「フェイザー」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、
   前記「フェイザー」のオーディオエフェクトの選択に伴い、対応する前記ビデオ制御プログラムを実行することにより、原画と、フィードバック画面を回転した画とを、前記オーディオエフェクトのＢＰＭ値に連動した比率に応じて合成する前記ビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とするエフェクト装置。
9. 「リバーブ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、
   前記「リバーブ」のオーディオエフェクトの選択に伴い、対応する前記ビデオ制御プログラムを実行することにより、当該「リバーブ」のオーディオエフェクトと同一感が得られる前記ビデオエフェクトを実現するビデオ制御手段と、を備え、
   前記「リバーブ」のオーディオエフェクトと同一感が得られる前記ビデオエフェクトは、複数のバッファから読み出した映像を順番に拡大することで残響感を出し、当該拡大した画と原画とを混合した後、当該混合した画と前記複数のバッファから読み出した映像とを混合することで残像感を出すビデオエフェクトであることを特徴とするエフェクト装置。
10. 「クラッシュ」のオーディオエフェクトに対応して、当該オーディオエフェクトと同一感が得られるビデオエフェクトを実現するためのビデオ制御プログラムを記憶する記憶手段と、
    前記「クラッシュ」のオーディオエフェクトの選択に伴い、対応する前記ビデオ制御プログラムを実行することにより、映像の特定部分を中心として、当該特定部分に相当する画素を対極する方向に引き伸ばす前記ビデオエフェクトを実現するビデオ制御手段と、を備えたことを特徴とするエフェクト装置。
11. 複数種類のビデオエフェクトに対応して、各ビデオエフェクトと同一感が得られる複数種類のオーディオエフェクトを実現するためのものであって、それぞれ対応する前記ビデオエフェクトの時間変化係数が反映されている複数のオーディオ制御プログラムを記憶する記憶手段と、
    前記複数種類のビデオエフェクトの中から、１以上のビデオエフェクトを選択するエフェクト選択手段と、
    選択された前記ビデオエフェクトに対応する前記オーディオ制御プログラムを実行することにより、当該ビデオエフェクトと同一感が得られる前記オーディオエフェクトを実現するオーディオ制御手段と、を備えたことを特徴とするエフェクト装置。
12. 請求項１に記載のエフェクト装置における各手段と、
    前記ビデオ信号を入力する入力手段と、
    入力された前記ビデオ信号に基づく原画に対して、前記ビデオ制御手段により実現された前記ビデオエフェクトを付加した映像を出力する出力手段と、を備えたことを特徴とするＡＶ処理装置。
13. 請求項１１に記載のエフェクト装置における各手段と、
    前記オーディオ信号を入力する入力手段と、
    入力された前記オーディオ信号に基づく原音に対して、前記オーディオ制御手段により実現された前記オーディオエフェクトを付加した音楽を出力する出力手段と、を備えたことを特徴とするＡＶ処理装置。
14. コンピュータを、請求項１，６，７，８，９，１０，１１のいずれか１項に記載のエフェクト装置における各手段として機能させるためのプログラム。

Images