JP4305971B2

JP4305971B2 - 情報処理装置および方法、並びに記録媒体

Info

Publication number: JP4305971B2
Application number: JP18435298A
Authority: JP
Inventors: 潤一永原; 憲男藤森; 隆彦末吉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2009-07-29
Anticipated expiration: 2018-06-30
Also published as: EP0969448A1; DE69933171T2; EP0969448B1; JP2000020058A; US20030053652A1; US6687382B2; DE69933171D1

Description

【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、並びに記録媒体に関し、特に、入力された画像データに応じて、表示されているオブジェクトの動作を変化させ、発せられる音も変化させる情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来からの音響再生装置には、レコードプレーヤ、光ディスクを用いた再生装置、カセットテープレコードなどがある。これらの音響再生装置は、いずれも予め記録媒体に記録されている音響データを再生するものである。
【０００３】
ユーザは、このような記録媒体に記録された音響データを再生するだけでは物足りず、ハードウェアとソフトウェアを用いて音楽を奏でたり、その奏でた音楽を記録媒体に記録したりといった、コンピュータミュージックなどと称されていることが盛んになってきている。このようなコンピュータミュージックには、楽器を自動演奏させるといった楽しみもある。このように楽器を自動演奏させた場合、予め記録されている音響再生用のMIDI（Musical Instruments Dgital Interface）シーケンスデータを音源装置に供給して、音を発音させている。
【０００４】
【発明が解決しようとする課題】
上述したコンピュータミュージックには、パーソナルコンピュータが用いられるため、マウス、キーボード、タッチパネルなどの装置を操作することにより、音楽を奏でたり、自動演奏させたりすることを実現させている。このため、コンピュータミュージックを楽しむためには、入力デバイスとして直接手で操作できるものが必要となり、ライブパフォーマンスのように、動きまわりながらたのしむといった場合には不向きである。
【０００５】
また、一般的に、音楽を奏でたり、自動演奏させたりするには、その操作を行うためのさまざまな知識や技術が必要となる。このため、コンピュータミュージックを楽しむためには、まず知識や技術を学ばなくてはならず、修得した人以外は、コンピュータミュージックを楽しむことができず、受動的に再生された音楽を聴くだけになってしまう。しかしながら、ユーザの中には、簡単に音楽をアレンジして楽しみたいといった希望があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、ＣＣＤビデオカメラなどで撮像した画像の変化により、音を生成し、また、画面上に表示されているオブジェクトの動きや形を変化させるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の情報処理装置は、画像を表示させる表示制御手段と、前記表示制御手段に表示された画像から、所定の特徴のデータを抽出する抽出手段と、前記抽出手段により抽出された所定の特徴データのパラメータを設定する特徴データ設定手段と、再生する音響データを設定する音響データ設定手段と、前記特徴データ設定手段により設定された前記パラメータに応じて、前記音響データ設定手段により設定された音響データを再生する再生手段とを備える。
【０００８】
本発明の情報処理方法は、表示手段に表示される画像から、所定の特徴のデータを抽出し、抽出された所定の特徴データのパラメータを設定し、再生する音響データを設定し、設定された前記パラメータに応じて、設定された前記音響データを再生するステップを含む。
【０００９】
本発明の記録媒体は、表示手段に表示される画像から、所定の特徴のデータを抽出し、抽出された所定の特徴データのパラメータを設定し、再生する音響データを設定し、設定された前記パラメータに応じて設定された前記音響データを再生するステップを含むコンピュータが読み取り可能なプログラムを記録している。
【００１０】
本発明の情報処理装置および方法、並びに記録媒体においては、表示される画像から、所定の特徴のデータが抽出され、抽出されたデータに応じて設定されるパラメータに基づき、設定された音響データが再生される。
【００１１】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１２】
本発明の情報処理装置は、画像を表示させる表示制御手段と、前記表示制御手段に表示された画像から、所定の特徴のデータを抽出する抽出手段（例えば、図１８のステップＳ２２）と、前記抽出手段により抽出された所定の特徴データのパラメータを設定する特徴データ設定手段（例えば、図１８のステップＳ２４）と、再生する音響データを設定する音響データ設定手段（例えば、図９のステップＳ２）と、前記特徴データ設定手段により設定された前記パラメータに応じて、前記音響データ設定手段により設定された音響データを再生する再生手段（例えば、図１８のステップＳ２５）とを備える。
【００１５】
図１乃至図６は、本発明を適用した携帯型パーソナルコンピュータの構成例を表している。このパーソナルコンピュータ１は、ミニノート型のパーソナルコンピュータとされ、基本的に、本体２と、本体２に対して開閉自在とされている表示部３により構成されている。図１は、表示部３を本体２に対して開いた状態を示す外観斜視図、図２は、図１の平面図、図３は、表示部３を本体２に対して閉塞した状態を示す左側側面図、図４は、表示部３を本体２に対して１８０度開いた状態を示す右側側面図、図５は、図３の正面図、図６は、図４の底面図である。
【００１６】
本体２には、各種の文字や記号などを入力するとき操作されるキーボード４、マウスカーソルを移動させるときなどに操作されるトラックポイント（商標）５が、その上面に設けられている。また、本体２の上面には、音を出力するスピーカ８と、表示部３に設けられているCCDビデオカメラ２３で撮像するとき操作されるシャッタボタン１０がさらに設けられている。
【００１７】
表示部３の上端部には、ツメ１３が設けられており、図３に示すように、表示部３を本体２に対して閉塞した状態において、ツメ１３に対向する位置における本体２には、ツメ１３が嵌合する孔部６が設けられている。本体２の前面には、スライドレバー７が前面に平行に移動可能に設けられており、スライドレバー７は孔部６に嵌合したツメ１３と係合してロックし、またロック解除することができるようになっている。ロックを解除することにより、表示部３を本体２に対して回動することができる。ツメ１３の隣りには、マイクロホン２４が取り付けられている。このマイクロホン２４は、図６にも示すように、背面からの音も収音できるようになされている。
【００１８】
本体２の正面にはまた、プログラマブルパワーキー（PPK）９が設けられている。本体２の右側面には、図４に示すように、排気孔１１が設けられており、本体２の前面下部には、図５に示すように、吸気孔１４が設けられている。さらに、排気孔１１の右側には、PCMCIA（Personal Comuputer Memory Card International Association）カード（ＰＣカード）を挿入するためのスロット１２が設けられている。
【００１９】
表示部３の正面には、画像を表示するLCD（Liquid Crystal Display）２１が設けられており、その上端部には、撮像部２２が、表示部３に対して回動自在に設けられている。すなわち、この撮像部２２は、LCD２１と同一の方向と、その逆の方向（背面の方向）との間の１８０度の範囲の任意の位置に回動することができるようになされている。撮像部２２には、CCDビデオカメラ２３が取り付けられている。
【００２０】
表示部３の下側の本体側には、電源ランプPL、電池ランプBL、メッセージランプML、その他のLEDよりなるランプが設けられている。なお、図３に示す符号４０は、本体２の左側面に設けられた電源スイッチであり、図５に示す符号２５は、CCDビデオカメラ２３のフォーカスを調整する調整リングである。さらに、図６に示す符号２６は、本体２内に増設メモリを取り付けるための開口部を被覆する蓋であり、符号４１は、蓋２６のロックツメを外すためのピンを挿入する小孔である。
【００２１】
図７は、パーソナルコンピュータ１の内部の構成を表している。内部バス５１には、図７に示すように、CPU（Central Processing Unit）５２、必要に応じて挿入されるＰＣカード５３、RAM（Random Access Memory）５４、およびグラフィックチップ８１が接続されている。この内部バス５１は、外部バス５５に接続されており、外部バス５５には、ハードディスクドライブ（HDD）５６、Ｉ／Ｏ（入出力）コントローラ５７、キーボードコントローラ５８、トラックポイントコントローラ５９、サウンドチップ６０、LCDコントローラ８３、モデム５０などが接続されている。
【００２２】
CPU５２は、各機能を統括するコントローラであり、ＰＣカード５３は、オプションの機能を付加するとき適宜装着される。
【００２３】
RAM５４の中には、起動が完了した時点において、電子メールプログラム（アプリケーションプログラム）５４Ａ、オートパイロットプログラム（アプリケーションプログラム）５４Ｂ、そしてＯＳ（基本プログラム）５４Ｃが、HDD５６から転送され、記憶される。
【００２４】
電子メールプログラム５４Ａは、電話回線のような通信回線などからネットワーク経由で通信文を授受するプログラムである。電子メールプログラム５４Ａは、特定機能としての着信メール取得機能を有している。この着信メール取得機能は、メールサーバ９３に対して、そのメールボックス９３Ａ内に自分（利用者）宛のメールが着信しているかどうかを確認して、自分宛のメールがあれば取得する処理を実行する。
【００２５】
オートパイロットプログラム５４Ｂは、予め設定された複数の処理（またはプログラム）などを、予め設定された順序で順次起動して、処理するプログラムである。
【００２６】
ＯＳ（基本プログラムソフトウェア）５４Ｃは、Windows９５（商標）に代表される、コンピュータの基本的な動作を制御するものである。
【００２７】
一方、外部バス５５側のハードディスクドライブ（HDD）５６には、電子メールプログラム５６Ａ、オートパイロットプログラム５６Ｂ、ＯＳ（基本プログラムソフトウェア）５６Ｃが記憶されている。ハードディスクドライブ５６内のＯＳ５６Ｃ、オートパイロットプログラム５６Ｂ、および電子メールプログラム５６Ａは、起動（ブートアップ）処理の過程で、RAM５４内に順次転送され、格納される。
【００２８】
Ｉ／Ｏコントローラ５７は、マイクロコントローラ６１を有し、このマイクロコントローラ６１には、Ｉ／Ｏインタフェース６２が設けられている。このマイクロコントローラ６１は、Ｉ／Ｏインタフェース６２、CPU６３、RAM６４、ROM６９が相互に接続されて構成されている。このRAM６４は、キー入力ステイタスレジスタ６５、LED（発光ダイオード）制御レジスタ６６、設定時刻レジスタ６７、レジスタ６８を有している。設定時刻レジスタ６７は、ユーザが予め設定した時刻（起動条件）になると起動シーケンス制御部７６の動作を開始させる際に利用される。レジスタ６８は、予め設定された操作キーの組み合わせ（起動条件）と、起動すべきアプリケーションプログラムの対応を記憶するもので、その記憶された操作キーの組み合わせがユーザにより入力されると、その記憶されたアプリケーションプログラム（例えば電子メール）が起動されることになる。
【００２９】
キー入力ステイタスレジスタ６５は、ワンタッチ操作用のプログラマブルパワーキー（PPK）９が押されると、操作キーフラグが格納されるようになっている。LED制御レジスタ６６は、レジスタ６８に記憶されたアプリケーションプログラム（電子メール）の立ち上げ状態を表示するメッセージランプMLの点灯を制御するものである。設定時刻レジスタ６７は、所定の時刻を任意に設定することができるものである。
【００３０】
なお、このマイクロコントローラ６１には、バックアップ用のバッテリ７４が接続されており、各レジスタ６５，６６，６７の値は、本体２の電源がオフとされている状態においても保持されるようになっている。
【００３１】
マイクロコントローラ６１内のROM６９の中には、ウェイクアッププログラム７０、キー入力監視プログラム７１、LED制御プログラム７２が予め格納されている。このROM６９は、例えばEEPROM（electrically erasable and programmable read only memory）で構成されている。このEEPROMはフラッシュメモリとも呼ばれている。さらにマイクロコントローラ６１には、常時現在時刻をカウントするRTC（Real-Time Clock）７５Ａが接続されている。
【００３２】
ROM６９の中のウェイクアッププログラム７０は、RTC７５から供給される現在時刻データに基づいて、設定時刻レジスタ６７に予め設定された時刻になったかどうかをチェックして、設定された時刻になると、所定の処理（またはプログラム）などの起動をするプログラムである。キー入力監視プログラム７１は、PPK９が利用者により押されたかどうかを常時監視するプログラムである。LED制御プログラム７２は、メッセージランプMLの点灯を制御するプログラムである。
【００３３】
ROM６９には、さらにBIOS（Basic Input/Output System）７３が書き込まれている。このBIOSとは、基本入出力システムのことをいい、ＯＳやアプリケーションソフトウェアと周辺機器（ディスプレイ、キーボード、ハードディスクドライブなど）の間でのデータの受け渡し（入出力）を制御するソフトウェアプログラムである。
【００３４】
外部バス５５に接続されているキーボードコントローラ５８は、キーボード４からの入力をコントロールする。トラックポイントコントローラ５９は、トラックポイント５の入力を制御する。
【００３５】
サウンドチップ６０は、マイクロホン２４からの入力を取り込み、あるいは内蔵スピーカ８に対して音声信号を供給する。
【００３６】
モデム５０は、公衆電話回線９０、インターネットサービスプロバイダ９１を介して、インターネットなどの通信ネットワーク９２やメールサーバ９３などに接続することができる。
【００３７】
内部バス５１に接続されているグラフィックチップ８１には、CCDビデオカメラ２３で取り込んだ画像データが、処理部８２で処理された後、入力されるようになされている。グラフィックチップ８１は、処理部８２を介してCCDビデオカメラ２３より入力されたビデオデータを、内蔵するVRAM８１Ａに記憶し、適宜、これを読み出して、LCDコントローラ８３に出力する。LCDコントローラ８３は、グラフィックチップ８１より供給された画像データをLCD２１に出力し、表示させる。バックライト８４は、LCD２１を後方から照明するようになされている。
【００３８】
電源スイッチ４０は、電源をオンまたはオフするとき操作される。半押しスイッチ８５は、シャッタボタン１０が半押し状態にされたときオンされ、全押しスイッチ８６は、シャッタボタン１０が全押し状態にされたときオンされる。反転スイッチ８７は、撮像部２２が１８０度回転されたとき（CCDビデオカメラ２３がLCD２１の反対側を撮像する方向に回転されたとき）、オンされるようになされている。
【００３９】
図８はLCD２１に表示される画面の一例を示している。この画面の構成例では、作曲ウインドウ１１０とサウンドファイルウインド１２０の２つのウインドウが開いている状態を示している。作曲ウインドウ１１０は、サウンドファイルウインドウ１２０から選択されたサウンドファイルと、ＣＣＤカメラ２３で撮像された画像とが用いられて、音楽を作り出されるときに表示されるウインドウである。
【００４０】
作曲ウインドウ１１０は、このウインドウの大きさを変えたり、表示を変える場合に操作される選択部１１１、ＣＣＤカメラ２３で撮像された画像を表示する画像部１１２、画像部１１２の表示やステージ１１５に表示されるサウンドオブジェクト（後述）の動作を設定する設定部１１３、および主に設定部１１３の画面を切り換える時に操作されるコマンドボタン１１４から構成されている。
【００４１】
選択部１１１の”ファイル”は、このウインドウで設定したことをＨＤＤ５６に記録させたり、または記録されているデータを読み出したりする場合に操作される。”表示”は、作曲ウインドウ１１０の表示画面構成を変えたりする場合に操作される。”ヘルプ”は、何かわからないことがあった場合に操作される。これらの”ファイル”、”表示”、および”ヘルプ”は、操作されるとプルダウンメニューが表示され、上述した処理ができるようになされている。そして右端にある３個のボックスは、この作曲ウインドウ１１０の大きさを変えたり、閉じたりする時に操作される。
【００４２】
画像部１１２は、設定部１１３により設定されたデータに従って、ＣＣＤカメラ２３で撮像された画像が表示されたり、格子状のメッシュが表示されたりする。図８の画像部１１２の表示例では、ＣＣＤカメラ２３で撮像された画像として、懐中電灯などの光を発する物体を持った人が表示されている。
【００４３】
設定部１１３は、画像部１１２の表示を設定する他に、後述するステージ１１５上に表示されたサウンドオブジェクトの動作などを設定するための画面を表示する。この設定部１１３の画像の表示例は、図１１と図１４を参照して後述する。
【００４４】
コマンドボタン１１４の”PLAY”は、設定が終了し、音を作り出したという場合に操作されるボタンであり。”EDIT”は設定部１１３に、音を鳴らすための条件（パラメータ）を設定したりするための画面を表示させたいときに操作されるボタンであり、”Object”は、ステージ１１５上に表示されるサウンドオブジェクトの動作に関するパラメータを設定したい場合に操作されるボタンである。
【００４５】
ステージ１１５は、ユーザがサウンドファイルウインド１２０から選択したサウンドファイルに対応するサウンドオブジェクトが表示され、この表示されたサウンドオブジェクトが設定部１１３により設定されたデータに従って、動作するところである。
【００４６】
サウンドファイルウインドウ１２０は、選択部１２１とファイル表示部１２２とから構成されている。この選択部１２１は、この場合、選択部１１１と同様の構成となされており、その動作も同様なので、その説明は省略する。ファイル表示部１２２には、３つのサウンドファイルのアイコン１２３−１乃至１２３−３（以下、個々にアイコン１２３−１乃至１２３−３を区別する必要がない場合、単にアイコン１２３と記述する）が表示され、それぞれのファイルは、”SOUND１”、”SOUND２”、”SOUND３”と名付けられている。
【００４７】
サウンドファイルは、例えば、WAVE形式のデータや、MIDIなどにより取り込まれたデータである。その他にも、コンパクトディスクなどに記録されていたデータをサウンドファイルとして用いることも可能である。
【００４８】
カーソル１３０は、ユーザがトラックポイント５を操作した場合、その操作に応じた移動をするようになされている。
【００４９】
なお、図８に示した画面は、一例であり、例えば、選択部１１１（選択部１２１）に他の選択肢を設けたり、アイコンなどで選択肢を表示したりしても良いことは言うまでもない。
【００５０】
次に、ユーザが行う設定について、図９のフローチャートを参照して説明する。ユーザは、ステップＳ１において、サウンドファイルウインドウ１２０のファイル表示部１２２に表示されているアイコン１２３（サウンドファイル）から、１つのサウンドファイルを選択する。この選択は、カーソル１３０を所望のサウンドファイルのアイコン１２３上に移動させ、ドラッグして、作曲ウインドウ１１０のステージ１１５上にドロップすることにより行われる。
【００５１】
図１０は、このようにしてアイコン１２３が選択された場合の表示例を示している。ステージ１１５上にドロップされたアイコン１２３は、アイコン１２３とは異なる表示のサウンドオブジェクト１４１として表示されている。いまの場合、サウンドオブジェクト１４１は、音符の形で表示されている。
【００５２】
このサウンドオブジェクト１４１は、アイコン１２３がステージ１１５上にドロップされた時点で、デフォルトとして与えられた絵でもよいし、ユーザが作成した絵や、デジタルカメラなどから取り込んだ画像でも良い。また、いまの場合、ステージ１１５の背景の絵はないが、ユーザの好みの絵を背景として設定することも可能である。これらの設定は、選択部１１１の”表示”を操作し、表示されたプルダウンメニューから選択、設定することにより行われる。
【００５３】
ステップＳ１において、サウンドファイルの選択が終了すると、ステップＳ２において、EDITの設定が行われる。このEDITの設定は、カーソル１３０を用いてコマンドボタン１１４のEDITボタンを操作されることにより始まる。EDITボタンが操作されると、設定部１１３には、図１１に示すような画面が表示される。
【００５４】
図１１（Ａ）は、明るさ（Brightness）によりサウンドオブジェクト１４１の動作と、その音を変化させる場合の設定画面である。画面の左上に表示されている９個の四角形から構成されているマス１５０と、付されている０乃至８の番号は、画像部１１２を９等分したことを示している。すなわち図１２に示すように、設定部１１３に図１１（Ａ）に示した画面が表示されている時には、画像部１１２にも、９等分に分けられていることがわかるような格子状の線が入る。以下、格子状の線により作られた個々の四角形を、適宜、メッシュと記述する。
【００５５】
明るさ設定部１５１は、マス１５０に対応する番号が付せられた９本のバーと１本の明るさ参照用のバーとから構成されている。明るさ設定部１５１の１番左に存在するグラデーションのかかったバーは、明るさを参照するのに設けられたバーであり、ユーザがこのバーを参照して、所望の明るさを選択する。
【００５６】
ユーザは、図１１（Ａ）の画面において、明るさの閾値の設定を行う。その設定は、音を鳴らさせたいメッシュに対応する番号のバーの所望の明るさのところのボックスが、明るさ参照用のバーを参照して決定され、クリックされることにより行われる。
【００５７】
図１１（Ａ）の表示例では、マス１５０の番号０の四角形に対応するバーの１番明るいところがクリックされて選択された状態を示している。選択されたボックスは、色が付けられて表示される。換言すれば、明るさの閾値が設定されていないバーには、色が付けられて表示されているボックスはない。また、１つのサウンドオブジェクト１４１に対して、複数のバーに明るさの閾値を設定することも可能である。
【００５８】
マス１５０の下方には、ページ番号を表示するページ表示部１５２がある。この明るさ設定画面は、ページ１とされている。ページ表示部１５２の左側には、前のページを表示させたい時に操作される前ページ表示ボタン１５３、右側には次のページを表示させたい時に操作される次ページ表示ボタン１５４が、それぞれ表示されている。
【００５９】
このようにして明るさの設定がされると、次ページボタン１５４が操作され、設定部１１３に表示される画面は、図１１（Ｂ）に示したような設定画面に切り替えられる。この設定画面では、ステージ１１５の仮想空間の設定が行われる。”PERSPECTIVE”は、ステージ１１５を擬似的な３次元空間として扱う設定である。すなわち、ステージ１１５に表示されたサウンドオブジェクト１４１は、擬似的な３次元空間を上下左右、そして、前後（手前と奥）に移動する。これに対し”FLANE”は、ステージ１１５を２次元空間として扱う設定である。すなわち、ステージ１１５上に表示されたサウンドオブジェクト１４１は、２次元空間を上下左右に移動する。
【００６０】
サウンドオブジェクト１４１は、同一平面上（２次元空間）を上下左右に移動する場合は、その大きさは変化しないが、３次元空間を移動しているとき、手前に来たときには大きく、奥に行ったときには小さく表示される。図１１（Ｂ）では、３次元空間としての”PERSPECTIVE”が選択された状態を示している。
【００６１】
次ページ表示ボタン１５４が操作されると、設定部１１３の画面は、図１１（Ｃ）に示した設定画面に切り替わる。この設定画面では、コマンドボタン１１４のPlayボタンが操作された場合に、サウンドオブジェクト１４１が始めに動き出す方向（初期値）が設定される。この表示例では、上方に移動するように設定されている。
【００６２】
さらに次ページ表示ボタン１５４が操作されると、図１１（Ｄ）に示したような設定画面に切り替わる。この設定画面では、バブル（Bubble）を設定するか否かが設定され、さらに設定した場合に、規則的に出す（Continuous）のか、それとも不規則に出す（Random）のかが設定される。図１１（Ｄ）の表示例では、バブルを出すように設定され、そのバブルは不規則に出されるように設定されている。
【００６３】
このバブルが設定された場合、図１３に示したように、ステージ１１５には、ポインタ１６０が表示される。このポインタ１６０は、画像部１１２に表示されている画像のうち、動きベクトルが最も早いと検出されたところ、例えば、画像部１１２に表示されている画像が、人が手を振っているような場合、手の動きに合わせて移動するように表示される。このポインタ１６０は、最も動きの早いところを指し示すと言った意味でポインタと言う言葉を用いている。
【００６４】
このポインタ１６０の形は、どのような形、色でも良いが、図１３では球状で示した。このポインタ１６０から、バブルと称する球状の玉が規則的（Continuous）、または不規則（Random）に発生される。また、このバブルは、ステージ１１５の画面枠（壁）からも発生される。サウンドオブジェクト１４１は、このバブルに当たると跳ね返る。バブルは、サウンドオブジェクト１４１に当たる、ステージ１１５の壁から外に出る、または一定の時間が過ぎると消えるようになっている。
【００６５】
図９のフローチャートの説明に戻り、ステップＳ２において、上述したような各種の設定が終了したら、ステップＳ３に進み、サウンドオブジェクト１４１の動作の設定を行う。この設定は、まずコマンドボタン１１４のObjectボタンが操作されることにより始められる。Objectボタンが操作されると、設定部１１３に表示される画面は、図１４（Ａ）に示したような画面に切り替わる。
【００６６】
図１４（Ａ）に示した設定画面では、サウンドオブジェクト１４１の動作を左右するパラメータの設定が行われる。”FRICTION”では、サウンドオブジェクト１４１とステージ１１５との間の摩擦が設定される。摩擦が大きいと、サウンドオブジェクト１４１が動き出してからすぐに止まる設定となり、逆に摩擦が小さいと、サウンドオブジェクト１４１が動き出したら、なかなか止まらないという設定になる。
【００６７】
”MASS（BOUNCE）”では、サウンドオブジェクト１４１に質量を持たすか否かが設定される。”ＯＮ”のラジオボタンをクリックすることにより、サウンドオブジェクト１４１に質量を持たせる設定ができる。質量がもたされたサウンドオブジェクト１４１は、他のサウンドオブジェクトやバブルが衝突してきた時、反発しない、または、その反発は小さいものとなる。
【００６８】
一方、サウンドオブジェクト１４１に質量がないという設定にすると（ラジオボタンの”ＯＦＦ”をクリックすると）、設定されたサウンドオブジェクト１４１に他のサウンドオブジェクトやバブルが衝突した時、反発（他の移動方向に変化）する。
【００６９】
このような設定が終了され、次ページ表示ボタン１５４が操作されると、設定部１１３の画面は、図１４（Ｂ）に示したような画面に切り替わる。この画面では、音が鳴る時間が設定される。すなわち、サウンドオブジェクト１４１は、画像部１１２の所定のメッシュが、一定の明るさに達したときに音が鳴るように設定されているので、その音が鳴る長さ（SOUND LENGTH）が設定される。
【００７０】
図１４（Ｂ）の表示例では、１乃至５秒（sec）の間で設定がされるようになっている。サウンドオブジェクト１４１は、対応するメッシュが設定された明るさに達したときに、この画面で設定された秒数だけ音を鳴らす。図１４（Ｂ）の表示例では、５秒のところのボタンがクリックされ、オンにされた状態を示している。
【００７１】
音の長さの設定が終了し、次ページボタン１５４が操作されると、設定部１１３の画面は、図１４（Ｃ）に示したような画面に切り替わる。この画面では、サウンドオブジェクト１４１の、ポインタ１６０に対する動作が設定される。”Follow”のラジオボタンをオンの状態にすると、サウンドオブジェクト１４１は、ポインタ１６０にくっついて移動する。これに対し、”Go Away”に設定すると、サウンドオブジェクト１４１は、ポインタ１６０に対して逃げるようにして移動する。
【００７２】
このような設定が、図９のステップＳ３において、終了されると、ステップＳ４に進む。ステップＳ４において、全ての所望のサウンドファイルに対して、上述したような設定が終了されたか否かが判断される。ステップＳ４において、全ての所望のサウンドファイルに対して設定が終了されていないと判断された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００７３】
上述した説明では、ステップＳ１における処理は、サウンドファイルウインドウ１２０のファイル表示部１２２に表示されているアイコン１２３をカーソル１３０を用いてステージ１１５上にドラッグアンドドロップによって、サウンドファイルの選択をし、そして、この選択されたサウンドファイルに対してステップＳ２とステップＳ３の処理を行うようにした。このようにサウンドファイルを選択する仕方の他に、始めに複数のサウンドファイルをステージ１１５上に選択し、サウンドオブジェクト１４１として表示させておき、その表示されているサウンドオブジェクト１４１の中から１つのサウンドオブジェクト１４１を選択し、その選択されたサウンドオブジェクト１４１に対して、ステップＳ２とステップＳ３の処理を施すようにしてもよい。
【００７４】
また、ステップＳ２とステップＳ３の処理は入れ替えても良い。さらに、EDITの設定として、例えば、明るさ以外の変化に対応してサウンドオブジェクト１４１が音を鳴らすように設定したりする画面を設けても良いし、同様に、Objectの設定にも、上述したこと以外を設定する画面を設けても良い。
【００７５】
このように設定された各種のパラメータなどのデータをＨＤＤ５６、または図示されていない記録媒体に記録できるようにしておく。記録しておくことにより、次回以降、上述した処理を繰り返さなくて良くなり、もって、ユーザの使い勝手が良くなる。また、記録されたデータは、テキストエディタとして開くことにより編集ができるようにしておき、パラメータを変更したり、サウンドファイルを入れ替えたりすることもできる。
【００７６】
ステップＳ４において、全ての所望のサウンドファイルに対して設定が終了されたと判断された場合、ステップＳ５に進む。ステップＳ５において、コマンドボタン１１４のPLAYボタンが操作される。図１５は、３つのサウンドファイルが選択され、それぞれのサウンドファイルに対して各種の設定がされた結果、３つのサウンドオブジェクト１４１−１乃至１４１−３が表示されている例を示している。
【００７７】
図１５の表示例のように、PLAYボタンが操作されると、設定部１１３には、ステージ１１５上に表示されているサウンドオブジェクト１４１−１乃至１４１−３に対応するサウンドファイル名が表示されている。また、サウンドオブジェクト１４１−１乃至１４１−３は、それぞれ設定されたデータに従って、ステージ１１５上を移動している。そして、各サウンドオブジェクト１４１−１乃至１４１−３は、画像部１１２に表示されている画像の所定のメッシュが、設定された明るさ以上になったら音を出す。また、コマンドボタン１１４のPLAYボタンは、STOPボタンになり、上述した動作を止めたいときに操作されるボタンとなる。
【００７８】
ここで、既に説明したこと以外のサウンドオブジェクト１４１の動作について、図１６を参照して説明する。図１６では、サウンドオブジェクト１４１を丸として示している。図１６（Ａ）は、サウンドオブジェクト１４１−１と１４１−２が衝突したときを示している。このような場合、サウンドオブジェクト１４１−１と１４１−２は、互いに跳ね返る（移動方向が変化する）。この跳ね返りの大きさは、上述したＭＡＳＳの設定画面（図１４（Ａ））で設定されたパラメータにより決定される。
【００７９】
図１６（Ｂ）は、ステージ１１５の画面枠（壁）に衝突したサウンドオブジェクト１４１が、跳ね返る様子を示している。このようにサウンドオブジェクト１４１は、ステージ１１５の壁に衝突すると跳ね返るように設定されているので、ステージ１１５の外に出てしまい、その結果表示されなくなるといった状況はない。但し、ステージ１１５が３次元空間として設定されている場合、奥に行くに従って、サウンドオブジェクト１４１は小さく表示されるようになっているので、小さくなった結果、ステージ１１５上に表示されていないように見えるときもある。
【００８０】
図１６（Ｃ）は、カーソル１３０によりサウンドオブジェクト１４１をドラッグできることを示している。このように、ユーザによる直接的なサウンドオブジェクト１４１の動作の制御も可能である。また、カーソル１３０を用いてサウンドオブジェクト１４１がドラッグされ、その結果、ステージ１１５の外に出された場合、そのサウンドオブジェクト１４１は、ステージ１１５上に再び表示されないように、換言すれば、消去されるようにし、全ての関連するデータも消去されるように設定しても良い。
【００８１】
このようにサウンドオブジェクト１４１の基本的な動作を設定するだけで、これらの動作の組み合わせにより、さまざまな動作を行わせることが可能となる。その結果、ユーザは音を聴覚的に楽しむのみばかりでなく、視覚的に楽しむことも可能となる。
【００８２】
次に、図１７のフローチャートを参照して、サウンドオブジェクト１４１の表示の制御について説明する。ステップＳ１１において、表示の制御対象となるサウンドオブジェクト１４１が設定される。ステップＳ１２において、設定されたサウンドオブジェクト１４１に対して、既にユーザにより設定されている、上述したような表示を制御するためのデータに従って、サウンドオブジェクト１４１の表示を制御するためのパラメータの設定が行われる。
【００８３】
まずコマンドボタン１１４のPLAYボタンが操作された直後である場合、Motion画面（図１１（Ｃ））で設定された方向にサウンドオブジェクト１４１を移動させるためのパラメータが設定される。
【００８４】
サウンドオブジェクト１４１が既にステージ１１５上を移動している場合、他のサウンドオブジェクト１４１やポインタ１６０が発生するバブルに衝突したか否かが判断され、衝突したと判断された場合、MASS設定画面（図１４（Ａ））で設定されたデータに従って、跳ね返りをする表示をするか否かが判断される。そして、跳ね返る表示をすると判断された場合、ステージ１１５上での移動先のＸＹＺ座標の設定が行われる。
【００８５】
この座標の設定により、Ｚ座標の値の変化がある場合、サウンドオブジェクト１４１の大きさを変化させるためのパラメータも設定される。ＸＹＺ座標の設定では、FRICTION設定画面（図１４（Ａ））で設定された摩擦の大小も考慮に入れて設定される。すなわち、摩擦が大きく設定されていた場合、ＸＹＺ座標の変化は小さく、摩擦が小さく設定されていた場合、ＸＹＺ座標の変化は大きくなるように設定される。
【００８６】
さらに、Script設定画面（図１４（Ｃ））において、ポインタ１６０に対する動作が設定されていた場合、その設定に従って、表示を制御するようにパラメータが設定される。
【００８７】
このようにして、サウンドオブジェクト１４１の表示を制御するパラメータが設定されたら、ステップＳ１３において、設定されたパラメータに従って、サウンドオブジェクト１４１の表示が制御され、ステージ１１５上に表示される。
【００８８】
ステップＳ１３において、サウンドオブジェクト１４１の表示が終了されると、ステップＳ１１に戻り、他のサウンドオブジェクト１４１に表示の制御対象が変更される。そして、ステップＳ１２以降の処理が繰り返される。
【００８９】
このフローチャートの処理は、コマンドボタン１１４のSTOPボタンが操作されるなどした場合に、割り込み処理として終了される。
【００９０】
次に、図１８のフローチャートを参照して、サウンドオブジェクト１４１が明るさに対応して発音する場合について説明する。ステップＳ２１において、ＣＣＤビデオカメラ２３で撮像された画像が、取り込まれる。取り込まれたデータは、処理部８２に転送される。処理部８２は、ステップＳ２２において、転送された画像から特徴抽出を行う。ここで行う特徴抽出は、明るさを抽出することである。
【００９１】
抽出された明るさに関するデータは、グラフィックチップ８１を介して、マイクロコントローラ６１に転送される。マイクロコントローラ６１のCPU６３は、ステップＳ２３において、転送された明るさに関するデータを用いて、明るさ設定画面（図１１（Ａ））で設定された明るさの閾値以上になったメッシュが存在するか否かを判断する。存在していないと判断された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００９２】
一方、ステップＳ２３において、設定された明るさ以上に達したメッシュが存在すると判断された場合、ステップＳ２４に進む。ステップＳ２４において、ステップＳ２３において設定された明るさ以上に達したと判断されたメッシュに対応するサウンドオブジェクト１４１が発音するように各種のパラメータが設定される。
【００９３】
設定されるパラメータとしては、まず音の大きさがある。音の大きさは、サウンドオブジェクト１４１のステージ１１５上で表示されている大きさに関係している。すなわち、サウンドオブジェクト１４１が、３次元空間と仮想されたステージ１１５内で、奥に存在しているために小さく表示されている場合、そのサウンドオブジェクト１４１から発音される音も小さく鳴るようにパラメータが設定される。
【００９４】
逆に、サウンドオブジェクト１４１が、３次元空間と仮想されたステージ１１５内で、手前に存在しており、大きく表示されている場合、そのサウンドオブジェクト１４１から発音される音も大きく鳴るようにパラメータが設定される。また、例えば、サウンドオブジェクト１４１が奥から手前に移動しているときに、発音する場合、その発音される音は、小さい音から徐々に大きな音になるようにパラメータが設定される。
【００９５】
また、サウンドオブジェクト１４１がステージ１１５上を右から左に移動している場合、その移動に合わせて、音も右から左に移動するように発音、換言すれば、音像の定位が右から左へと移るように音が発音されるようにパラメータが設定される。このように音の強弱と定位が設定され、さらに、発音時間が設定される。この時間は、音の長さ設定画面（図１４（Ｂ））で設定された時間だけ鳴るように設定される。
【００９６】
このように発音させるための各種のパラメータが設定されたら、ステップＳ２５において、設定されたパラメータに従って発音される。そして、発音さられたら、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００９７】
なお、このフローチャートの処理は、コマンドボタン１１４のSTOPボタンが操作されるなどされた場合に、割り込み処理として終了される。
【００９８】
このように、ＣＣＤビデオカメラ２３で撮像された画像にLCD２１に表示される画像が変化し、さらに、発音される音が変化する本発明の情報処理装置が適用された装置の利用方法の一例を以下に示す。
【００９９】
パーソナルコンピュータ１を、例えばワードプロセッサとして用いているときに、上述したような処理により発音される音をＢＧＭ（バックグラウンドミュージック）として用い、ステージ１１５に表示されているサウンドオブジェクト１４１をスクリーンセイバとして用いることも可能である。
【０１００】
ＣＣＤビデオカメラ２３をユーザ自身を撮像するようにしておいた場合、ユーザは、自分の動作により、表示されているサウンドオブジェクト１４１の動作を制御したり、発音させたりできるので、ライブパフォーマンスなどに用いることも可能である。また、楽器の一種として用いることもできる。さらにＣＣＤビデオカメラ２３を部屋のドアを撮像するようにした場合、ドアを開けて入ってくる人に反応して音が発せられるので、お店などでは、入店してきたお客さんに対して”いらっしゃいませ”といった言葉をかけるなどの設定も可能である。
【０１０１】
なお、本発明の情報処理装置は、パーソナルコンピュータ１以外にも適用できることは言うまでもない。また本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１０２】
【発明の効果】
本発明によれば、ユーザは簡単な設定を行うだけで音楽をアレンジして楽しむことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した携帯型パーソナルコンピュータの構成例の表示部を本体に対して開いた状態を示す外観斜視図である。
【図２】図１の平面図である。
【図３】図１の表示部を本体に対して閉塞した状態を示す左側側面図である。
【図４】図１の表示部を本体に対して１８０度開いた状態を示す右側側面図である。
【図５】図３の正面図である。
【図６】図４の底面図である。
【図７】図１の電気回路の構成例を示すブロック図である。
【図８】 LCDに表示される画面の一例を示す図である。
【図９】ユーザが行う処理を説明するフローチャートである。
【図１０】 LCDに表示される画面の一例を示す図である。
【図１１】設定部に表示される画面の一例を示す図である。
【図１２】 LCDに表示される画面の一例を示す図である。
【図１３】ポインタとバブルについて説明する図である。
【図１４】設定部に表示される画面の一例を示す図である。
【図１５】 LCDに表示される画面の一例を示す図である。
【図１６】サウンドオブジェクトの動作を説明する図である。
【図１７】サウンドオブジェクトを表示するために行われる処理を説明するフローチャートである。
【図１８】サウンドオブジェクトが音を発するために行われる処理を説明するフローチャートである。
【符号の説明】
１パーソナルコンピュータ，２３ＣＣＤビデオカメラ，１１０作曲ウインドウ，１１１選択部，１１２画像部，１１３設定部，１１４コマンドボタン，１１５ステージ，１２０サウンドファイルウインドウ，１２１選択部，１２２ファイル表示部，１３０カーソル，１４１サウンドオブジェクト，１６０ポインタ

Claims

画像を表示させる表示制御手段と、
前記表示制御手段に表示された画像から、所定の特徴のデータを抽出する抽出手段と、
前記抽出手段により抽出された所定の特徴データのパラメータを設定する特徴データ設定手段と、
再生する音響データを設定する音響データ設定手段と、
前記特徴データ設定手段により設定された前記パラメータに応じて、前記音響データ設定手段により設定された音響データを再生する再生手段と
を備える情報処理装置。
前記抽出手段により抽出される特徴は、明るさに関するデータである
請求項１に記載の情報処理装置。
前記表示制御手段は、動画データの画像を表示させる
請求項１に記載の情報処理装置。
被写体の画像を撮像する撮像手段をさらに有し、
前記表示制御手段は、前記撮像手段により撮像された画像を表示させる
請求項1に記載の情報処理装置。
前記音響データ設定手段は、前記撮像手段により撮像された画像を複数の画面に分割し、分割された画面毎に、音響データを設定する
請求項４に記載の情報処理装置。
前記音響データ設定手段は、所定の特徴データの閾値を設定し、
前記再生手段は、前記特徴データ設定手段により設定されたパラメータが前記閾値を越えたとき、前記音響データ設定手段により設定された音響データを再生する
請求項１に記載の情報処理装置。
前記音響データ設定手段は、前記撮像手段により撮像された画像を複数の画面に分割し、分割された画面毎に、所定の特徴データの閾値を設定する
請求項４に記載の情報処理装置。
前記音響データ設定手段により設定された音響データに対応してオブジェクトを生成する生成手段をさらに有し、
前記表示制御手段は、前記生成手段により生成されたオブジェクトを表示させる
請求項１に記載の情報処理装置。
前記生成手段に生成されたオブジェクトの動作を制御するためのパラメータを設定するパラメータ設定手段と、
前記パラメータ設定手段により設定されたオブジェクトのパラメータに応じて、当該オブジェクトに対応する音響データの再生を制御する再生制御手段をさらに有し、
前記表示制御手段は、前記パラメータ設定手段により設定されたオブジェクトのパラメータに応じて、当該オブジェクトの表示を制御し、
前記再生手段は、前記音響データ設定手段により設定された音響データを再生する
請求項８に記載の情報処理装置。
前記音響データ設定手段と前記パラメータ設定手段により設定されたデータを記録する記録手段をさらに備える
請求項９に記載の情報処理装置。
表示手段に表示される画像から、所定の特徴のデータを抽出し、
抽出された所定の特徴データのパラメータを設定し、
再生する音響データを設定し、
設定された前記パラメータに応じて設定された前記音響データを再生する
ステップを含む情報処理方法。
表示手段に表示される画像から、所定の特徴のデータを抽出し、
抽出された所定の特徴データのパラメータを設定し、
再生する音響データを設定し、
設定された前記パラメータに応じて設定された前記音響データを再生する
ステップを含むコンピュータが読み取り可能なプログラムを記録している記録媒体。