JP4548495B2 - 情報処理置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、画像と音声のうち、いずれか一方を再生対象とし、他方を付属的再生対象として再生する場合、付属的再生対象を適切に選択できるようになった、情報処理装置および方法並びにプログラムに関する。

従来、ビデオレコーダのピクチャ再生機能やパーソナルコンピュータのアプリケーションなどにより、ピクチャのスライドショー再生が可能となっている（特許文献１等参照）。
特開２００６−１６３９６６号公報

しかしながら、従来のスライドショー再生では、その再生時にBGM （Background music）が全く付かないか、またはBGMとして、事前に用意されている楽曲からランダムに選択された楽曲が再生されていた。そのため、ピクチャとBGMに関連性がなく、画像にあったBGMが付かないといった問題があった。逆の場合、即ち、再生対象を楽曲として、付随的再生対象をピクチャとした場合も同様の問題が発生する。

本発明は、このような状況に鑑みてなされたものであり、画像とピクチャのうち、いずれか一方を再生対象とし、他方を付属的再生対象として再生する場合、付属的再生対象を適切に選択できるようにするものである。

本発明の一側面の情報処理装置は、音声を再生対象とし、画像を付属的再生対象として、前記再生対象を前記付属的再生対象とともに再生させる制御を行う情報処理装置において、前記画像と前記音声の各特徴を解析して前記画像の複数の特徴量および前記音声の複数の特徴量を算出する解析手段と、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴とを形態を統一して比較する比較手段と、前記比較手段による比較結果に基づいて、前記１以上の付属的再生対象の候補の中から、前記再生対象に対する前記付属的再生対象を選択する選択手段と、前記再生対象に対してユーザが選択した付属的再生対象の複数の特徴量に基づいて嗜好データベースを生成する評価手段とを備え、前記比較手段は、前記再生対象の複数の特徴量と所定の係数を用いた線形一次式により前記付属的再生対象の複数の特徴量をそれぞれ算出することで、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴との形態を統一し、前記再生対象の複数の特徴量から算出された前記付属的再生対象の複数の特徴量のそれぞれと、前記ユーザの求める前記付属的再生対象の複数の特徴量のそれぞれとの差を少なくするように、前記嗜好データベースに格納された情報を用いて前記所定の係数を算出する。

前記再生対象を、前記選択手段により選択された前記付属的再生対象とともに再生する再生手段をさらに備える。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。

本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、前記画像と前記音声の各特徴を解析して前記画像の複数の特徴量および前記音声の複数の特徴量が算出され、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴とを形態が統一されて比較され、比較結果に基づいて、前記１以上の付属的再生対象の候補の中から、前記再生対象に対する前記付属的再生対象が選択され、前記再生対象に対してユーザが選択した付属的再生対象の複数の特徴量に基づいて嗜好データベースが生成され、前記再生対象の複数の特徴量と所定の係数を用いた線形一次式により前記付属的再生対象の複数の特徴量をそれぞれ算出することで、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴との形態が統一され、前記再生対象の複数の特徴量から算出された前記付属的再生対象の複数の特徴量のそれぞれと、前記ユーザの求める前記付属的再生対象の複数の特徴量のそれぞれとの差を少なくするように、前記嗜好データベースに格納された情報を用いて前記所定の係数が算出される。

以上のごとく、本発明によれば、画像とピクチャのうち、いずれか一方を再生対象とし、他方を付属的再生対象として再生する制御を行うことができる。特に、付属的再生対象を適切に選択できる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用される情報処理システムの機能的構成例を示している。

ここで、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。即ち、図１の情報処理システムは、１台の装置として構成してもよいし、複数台の装置として構成してもよい。

図１の例の情報処理システムは、楽曲／ピクチャＤＢ（Data Base）１１、特徴解析部１２、楽曲／ピクチャ特徴ＤＢ１３、特徴参照／比較部１４、選択部１５、再生部１６、評価部１７、嗜好ＤＢ１８、および操作部１９を含むように構成されている。

楽曲／ピクチャＤＢ（Data Base）１１には、１以上の楽曲と、１以上のピクチャとの各データが格納されている。

なお、楽曲／ピクチャＤＢ（Data Base）１１は、同一の記録媒体上に構成してもよいが、２以上の記録媒体上にまたがって構成してもよい。例えば楽曲のみを記録する第１の記録媒体と、ピクチャのみを記録する第２の記録媒体とから、楽曲／ピクチャＤＢ（Data Base）１１を構成することができる。また例えば、ユーザが使用するユーザ機器（後述する図６のユーザ機器３２等）に搭載された第１の記録媒体と、インターネット上のサーバ（後述する図６のサーバ３１等）に搭載された第２の記録媒体とから、楽曲／ピクチャＤＢ（Data Base）１１を構成することができる。また、楽曲／ピクチャＤＢ（Data Base）１１は、後述する他のＤＢと別々の記録媒体上に構成してもよいが、同一の記録媒体上に構成してもよい。この段落の記載内容は、他のＤＢについても同様にあてはまる。

特徴解析部１２は、楽曲／ピクチャＤＢ１１に格納されている所定のピクチャの特徴を解析し、その解析結果を楽曲／ピクチャ特徴ＤＢ１３に格納する。解析すべきピクチャの特徴は、特に限定されず、例えば、風景、明暗、色調、時間、季節、人の表情など様々な特徴を採用し得る。ただし、本実施の形態では例えば、特徴解析部１２は、人の表情と(哀楽)とピクチャ全体の明るさ(明暗)の２つの特徴をピクチャから解析し、それらの２つの解析結果を数値化して楽曲／ピクチャ特徴ＤＢ１３に格納するとする。

また、特徴解析部１２は、楽曲／ピクチャＤＢ１１に格納されている所定の楽曲の特徴を解析し、その解析結果を楽曲／ピクチャ特徴ＤＢ１３に格納する。解析すべき楽曲の特徴は、特に限定されない。ただし、本実施の形態では例えば、特徴解析部１２は、曲のテンポと曲調の２つの特徴を楽曲から解析し、それらの２つの解析結果を数値化して楽曲／ピクチャ特徴ＤＢ１３に格納するとする。

なお、特徴解析部１２は、ハードウエアで構成してもよいし、ソフトウエアで構成してもよいし、それらの組み合わせで構成してもよい。本実施の形態では例えば、特徴解析部１２は、楽曲とピクチャとの両者を解析できるソフトウエア、即ちいわゆる解析アプリケーションソフトウエアを含むように構成されているとする。

このようにして、楽曲／ピクチャ特徴ＤＢ１３には、ピクチャの特徴が、そのピクチャ（楽曲／ピクチャＤＢ１１に格納されているデータ）と対応付けられて格納され、また、楽曲の特徴が、その楽曲（楽曲／ピクチャＤＢ１１に格納されているデータ）と対応付けられて格納されることになる。

特徴参照／比較部１４は、再生対象のピクチャの特徴と、そのピクチャと同時に再生させる楽曲の候補の特徴とを楽曲／ピクチャ特徴ＤＢ１３から参照する。ここで、楽曲の候補は、楽曲／ピクチャ特徴ＤＢ１３に格納されている全楽曲のうちの任意の１以上の楽曲であれば足りる。ただし、本実施の形態では例えば、楽曲／ピクチャ特徴ＤＢ１３に格納されている全楽曲が、楽曲の候補とされる。

特徴参照／比較部１４は、再生対象のピクチャ（例えばスライドショー再生で使うピクチャ）の特徴と、それにあわせる楽曲（例えばBGMとする楽曲）の候補の特徴とを比較する。ただし、再生対象のピクチャの特徴と、楽曲の候補の特徴とはそのままでは比較できない。そこで、特徴参照／比較部１４は、何れか一方の特徴を他方の特徴に変換した上で、両者の特徴を比較する。特徴参照／比較部１４による比較結果は選択部１５に提供される。

また、特徴参照／比較部１４は、再生対象の楽曲（例えばBGMではなくユーザが視聴を希望した楽曲）の特徴と、それにあわせるピクチャ（例えば背景画）の候補の特徴とを比較する。この場合も、特徴参照／比較部１４は、何れか一方の特徴を他方の特徴に変換した上で、両者の特徴を比較する。特徴参照／比較部１４による比較結果は選択部１５に提供される。

なお、以下、再生対象のピクチャまたは楽曲を、再生対象コンテンツと称する。また、以下、再生対象コンテンツとあわせて再生される楽曲またはピクチャを、背景コンテンツと称する。

選択部１５は、再生対象コンテンツを、楽曲／ピクチャＤＢ１１から取得して再生部１６に提供する。また、選択部１５は、背景コンテンツを、特徴参照／比較部１４による比較結果に基づいて１以上選択する。選択部１５は、選択した背景コンテンツを、楽曲／ピクチャＤＢ１１から取得して再生部１６に提供する。

なお、特徴参照／比較部１４や選択部１５は、ハードウエアで構成してもよいし、ソフトウエアで構成してもよいし、それらの組み合わせで構成してもよい。本実施の形態では例えば、特徴参照／比較部１４や選択部１５は、所定のアプリケーションソフトウエアを含むように構成されているとする。

特徴参照／比較部１４や選択部１５の処理の各種例については、図２以降の図面を参照して後述する。

再生部１６は、選択部１５から提供された再生対象コンテンツを、選択部１５から提供された背景コンテンツとともに再生する。

再生部１６は、再生対象コンテンツや背景コンテンツをデータから映像または音声に変換して出力する機能を有していれば足りる。即ち、再生部１６は、映像を表示するディスプレイ等、音声を出力するスピーカ等、および、コンテンツの形態をディスプレイ等やスピーカ等の出力形態に変換できるハードウエア若しくはソフトウエアまたはその組み合わせ等から構成することができる。なお、上述したシステムの定義から明らかなように、再生部１６を１つの装置として構成する必要は特にない。即ち、ディスプレイ等、スピーカ等、および、コンテンツの形態をディスプレイ等やスピーカ等の出力形態に変換できるハードウエア若しくはソフトウエアまたはその組み合わせ等のそれぞれは、１つの装置に搭載される必要は特にない。

評価部１７は、再生部１６による再生結果を、ユーザの嗜好という視点で評価し、その評価結果をユーザの嗜好情報として嗜好ＤＢ１８に格納する。即ち、嗜好ＤＢ１８には、ユーザの嗜好情報が格納される。後述するように、この嗜好情報は、選択部１５による背景コンテンツの選択処理にも利用される。

なお、評価部１７は、ハードウエアで構成してもよいし、ソフトウエアで構成してもよいし、それらの組み合わせで構成してもよい。本実施の形態では例えば、評価部１７は、所定のアプリケーションソフトウエアを含むように構成されているとする。

操作部１９は、ユーザによる操作を受け付け、その操作に対応付けられた指示を、上述した各種機能ブロック（特徴解析部１２等）に通知する。即ち、上述した各種機能ブロックは、かかる指示に従った処理も実行できる。なお、操作部１９による操作の各種例については、図２以降の図面を参照して説明する。

次に、図２乃至図９のフローチャートを参照して、図１の情報処理システムの動作の各種例について説明していく。

図２乃至図９のフローチャートにおいては、符号Ｓが付された楕円状のブロックが処理を示している。そして、理解を容易なものとすべく、各種ＤＢも図示されている。ただし、各種ＤＢの中に記載されている文字は、処理対象を示している。例えば、図２において、符号１１が付されているＤＢが、図中左上と右下に存在する。これらの２つのＤＢは、楽曲／ピクチャＤＢ１１を示している。ただし、左上の楽曲／ピクチャＤＢ１１内には「ピクチャ」と記述されていることからその処理対象は「ピクチャ」であるのに対して、右下の楽曲／ピクチャＤＢ１１内には「楽曲」と記述されていることからその処理対象は「楽曲」である。また、実線の矢印は、情報の流れを示している。また、点線の矢印は、コンテンツ（ピクチャまたは楽曲）とその特徴が対応付けられていることを意味している。

図２は、再生対象コンテンツがピクチャであって、背景コンテンツが楽曲の場合、即ち、例えば、ピクチャのスライドショー再生にあうBGMを自動選択する場合についての情報処理システムの動作例を示すフローチャートである。

ステップＳ１において、特徴解析部１２は、ピクチャの特徴を解析し、その結果を楽曲／ピクチャ特徴ＤＢ１３に格納する。

ユーザの操作部１９の操作により所定ピクチャが選択されると、ステップＳ２において、特徴参照／比較部１４は、楽曲／ピクチャ特徴ＤＢ１３を参照して、その所定ピクチャの特徴を抽出する。

ステップＳ３において、特徴参照／比較部１４は、参照した所定ピクチャの特徴と、予め用意された各楽曲の候補の特徴とをそれぞれ比較し、選択部１５は、関連のある楽曲をBGMとして選択する。

即ち、この例では予め、楽曲／ピクチャＤＢ１１には１以上の楽曲の候補が格納されており、楽曲／ピクチャ特徴ＤＢ１３には、それらの１以上の楽曲の候補の各特徴が、各楽曲と対応付けられて格納されている。そこで、特徴参照／比較部１４は、楽曲／ピクチャ特徴ＤＢ１３を参照して、１以上の楽曲の候補の各特徴をそれぞれ抽出する。次に、特徴参照／比較部１４は、参照した所定ピクチャの特徴と、１以上の楽曲の候補の各特徴とをそれぞれ比較し、その比較の結果を選択部１５に通知する。選択部１５は、その比較の結果に基づいて、所定ピクチャと関連のある楽曲を決定する。そして、選択部１５は、関連のある楽曲を楽曲／ピクチャＤＢ１１からBGMとして選択して抽出し、再生部１６に提供する。また、選択部１５は、所定ピクチャも再生部１６に提供する。

すると、ステップＳ４において、再生部１６は、所定ピクチャを含むスライドショー再生を行うとともに、ステップＳ３の処理で自動選択された楽曲（所定ピクチャと関連のある楽曲）をBGMとして再生する。

ここで、ステップＳ３の特徴比較処理、即ち、ピクチャの特徴と楽曲の特徴の比較処理の詳細について説明する。

上述したように、本実施の形態では、ピクチャの特徴としては、人物の表情(哀楽)とピクチャ全体の明るさ(明暗)の２種類が採用されている。ステップＳ１の特徴解析処理では、これらの２種類の特徴が数値化され、（表情の値，明るさの値）が得られる。一方、本実施の形態では、楽曲の特徴としては、曲のテンポと曲調の２種類が採用されており、この２種類が１以上の楽曲毎に数値化された結果として、（テンポの値，曲調の値）が予め用意されている。

この場合、当然ながら、ピクチャの特徴と楽曲の（候補の）特徴とはそのままの形態で比較することは困難である。そこで、例えば本実施の形態では、特徴参照／比較部１４は、ピクチャの特徴の形態を、次のようにして楽曲の特徴の形態に変換する。

即ち、特徴参照／比較部１４は、選択された所定ピクチャに合う（テンポの値）を得るために、その所定ピクチャの特徴（表情の値，明るさの値）を次の式（１）に代入して演算する。

・・・（１）

同様に、特徴参照／比較部１４は、選択された所定ピクチャに合う（曲調の値）を得るために、その所定ピクチャの特徴（表情の値，明るさの値）を次の式（２）に代入して演算する。

・・・（２）

なお、式（１），（２）におけるa₁₁，a₁₂，a₂₁，a₂₂，b₁，b₂は、所定の係数を示している。

即ち、所定ピクチャの特徴の形態が、（表情の値，明るさの値）という形態から、楽曲の特徴の形態である（テンポの値，曲調の値）という形態に変換されたことになる。

これにより、特徴参照／比較部１４は、適当な比較手法を用いて、所定ピクチャの特徴と、１以上の楽曲の候補の各特徴とを比較できるようになる。例えば、類似度を演算できる比較手法を採用すれば、選択部１５は、類似度が一定以上の楽曲の候補を、所定ピクチャと関連する楽曲として決定することができる。

なお、本実施の形態では、上述の如く、ピクチャの特徴の種類は（表情の値，明るさの値）という２種類が採用されていた。また、楽曲の特徴の種類は（テンポの値，曲調の値）という２種類が採用されていた。ただし、種類数は、特に２種類に限定されない。例えばそれぞれ３種類以上とすることもできる。この場合、所定ピクチャの特徴の形態を（表情の値，明るさの値，・・・）という形態から、楽曲の特徴の形態である（テンポの値，曲調の値，・・・）という形態に変換するためには、例えば次の式（３）を採用すればよい。

・・・（３）

なお、ピクチャのスライドショー再生では、複数のピクチャが順次再生されていくことになる。この場合、再生対象のピクチャが変わる毎に、そのピクチャ単体と関連する楽曲をBGMとして流すこともできる。ただし、例えば複数のピクチャが相互に関連している場合、例えば、登場人物が一定する等のような場合、複数のピクチャを１つのグループとみなして、そのグループに適した楽曲をBGMとして選択することも可能である。

例えば、楽曲の特徴として、その全体としての特徴だけではなく、楽曲の時間変化としての特徴も、楽曲／ピクチャＤＢ１３に記録されているとする。この場合、ピクチャのグループがスライドショー再生されると、ピクチャが時間を追って変化していくことになるので、このピクチャの変化を、ピクチャの特徴が時間的に変化していると把握することができる。そこで、特徴参照／比較部１４は、この変化を示す情報そのもの、または、その情報を適宜加工した情報をピクチャのグループの特徴として、楽曲の時間変化としての特徴と比較することができる。その結果、選択部１５は、ピクチャの変化に合う楽曲を選択することができる。即ち、ピクチャのグループのスライドショー再生にその特徴に合った楽曲を選ぶことができるようになる。

図３は、再生対象コンテンツがピクチャであって、背景コンテンツが楽曲の場合、即ち、例えば、ピクチャのスライドショー再生にあうBGMを自動選択する場合についての情報処理システムの動作例を示すフローチャートである。

即ち、ピクチャのスライドショー再生にあうBGMを自動選択する場合の動作という点では、図２の例と同様である。しかしながら、図３の例が、図２の例とは違う点として、次の３点が存在する。即ち、１つ目の点は、再生したスライドショーをユーザに評価させることで、ユーザの嗜好をデータベース化する点である。２つ目の点は、この嗜好データベース（図１の嗜好DB１８）には、ユーザがどのような特徴を持つピクチャや楽曲を好む傾向にあるのかを示す情報や、ピクチャの特徴とその特徴に対してユーザの好む楽曲の特徴を示す情報などが、ユーザの嗜好情報として記録される点である。３つ目の点は、この嗜好情報が、次回以降の楽曲選択の際に使用される点である。かかる３点により、楽曲の自動選択をよりユーザの嗜好に合わせることができるようになる。

図３のステップＳ１１乃至Ｓ１５のうち、ステップＳ１１，Ｓ１２，Ｓ１４については、図２のステップＳ１，Ｓ２，Ｓ４と同様の処理である。そこで、以下、ステップＳ１５，Ｓ１３の処理についてのみ説明する。

ステップＳ１５において、評価部１７は、再生部１６によるピクチャのスライドショー再生を、ユーザの嗜好という視点で評価し、その評価結果をユーザの嗜好情報として嗜好ＤＢ１８に格納する。

なお、スライドショー再生の評価手法自体は、特に限定されない。例えば本実施の形態では、次のような評価手法が採用されているとする。即ち、再生されたピクチャに対して自動選択された楽曲(BGM)が合わないとユーザが考えた場合に、ユーザに操作部１９を操作させて、再生されたピクチャに合うとユーザが考える楽曲を選択させる。評価部１７は、この選択操作を受け取り、再生されたピクチャの特徴の値と、この操作により選択された楽曲の特徴の値とを取得することで、スライドショー再生の評価を行う、という評価手法が本実施の形態では採用されているとする。即ち、再生されたピクチャの特徴の値と、この操作により選択された楽曲の特徴の値とが対応付けられた情報が、ユーザの嗜好情報として嗜好DB１８に蓄積される。

これにより、ステップＳ１３の処理として、次のような処理が可能になる。

即ち、上述の如くスライドショー再生後にその評価をユーザ自身に行わせることによって、次回以降のステップＳ１３の処理として、ピクチャの特徴から算出された楽曲（BGMとして選択された楽曲）の特徴の値と、ユーザの求める楽曲の特徴の値との差が少なくなるような処理が可能になる。かかる処理を式で表現すると、次のようになる。

即ち、上述した式（１）は、次の式（４）のように変形できる。

・・・（４）

この式（４）は、次の式（５），（６）にそれぞれ分解することが可能になる。

・・・（５）

・・・（６）

ここで、スライドショー再生の評価によって蓄積された嗜好情報のうちの、（再生されたピクチャの）表情の値に対する（ユーザにより選択された楽曲の）テンポの値の応答から、最小二乗法を用いて、上述した式（１）の近似式を求め、ユーザの考える応答に近づける各係数を導くこととする。これにより導かれた係数を、a₁₁’，a₁₂’，b₁’，b₂’とすると、式（１）の近似式は、次の式（７）のように示される。

・・・（７）

同様にして、上述した式（２）の近似式は、次の式（８）のように示される。

・・・（８）

なお、本実施の形態では、上述の如く、ピクチャの特徴の種類は（表情の値，明るさの値）という２種類が採用されていた。また、楽曲の特徴の種類は（テンポの値，曲調の値）という２種類が採用されていた。ただし、種類数は、特に２種類に限定されない。例えばそれぞれ３種類以上とすることもできる。この場合、所定ピクチャの特徴の形態を（表情の値，明るさの値，・・・）という形態から、楽曲の特徴の形態である（テンポの値，曲調の値，・・・）という形態に変換するためには、上述した式（３）を適用できる。よって、３種類以上ある場合には、この式（３）の近似式を利用すればよい。

具体的には例えば、楽曲の特徴の値の一番目の要素をy₁とし、ピクチャの特徴の値のj番目の要素をx_jとし、ピクチャの特徴の値の要素数をmとすると、次の式（９）のような関係が得られる。

・・・（９）

式（９）は、次の式（１０）のように分解することができる。

・・・（１０）

即ち、楽曲の特徴の値のh番目の要素y_kについて分解された式は、次の式（１１）のように表される。

・・・（１１）

よって、ピクチャの特徴の値のj番目の要素x_jからの楽曲の特徴の値のh番目の要素y_hに含まれる応答y_h/mは、次の式（１２）に示されるようになる。

・・・（１２）

そこで、嗜好DB１８に格納されているユーザの各嗜好情報の値より次の式（１３）に示されるような近似式を求めて、a_hj’，b_hj’を決定することができる。

・・・（１３）

このようにして、特徴参照／比較部１４は、近似式（７），（８）または近似式（１３）における係数であって、嗜好DB１８を用いて導かれた新しい係数を用いて、所定ピクチャの特徴の形態を楽曲の特徴の形態に変換することができる。そして、特徴参照／比較部１４は、このようにして形態が変換された所定ピクチャの特徴と、1以上の楽曲の候補の特徴とを比較することができる。選択部１５は、このような比較結果を用いることで、より一段とユーザの嗜好に合った楽曲をBGMとして選択できるようになる。

ここで、嗜好DB１８とは、ピクチャを楽曲と直接結び付けるデータベースではなく、それらの特徴とユーザの嗜好傾向とを結び付けているデータベースである。よって、ステップＳ１３の比較処理において、ユーザ自身ではなく、図４に示されるように、他ユーザの嗜好DB１８−Ａを用いることもできる。これにより、楽曲の自動選択を他のユーザの嗜好に合わせることができるようになる。

図５は、再生対象コンテンツが楽曲であって、背景コンテンツがピクチャの場合、即ち、例えば、楽曲の再生にあう背景画像を自動選択する場合についての情報処理システムの動作例を示すフローチャートである。換言すると、再生する楽曲に関連のあるピクチャのスライドショー再生を行う場合の情報処理システムの動作例が図５に示されている。

ステップＳ２１において、特徴解析部１２は、楽曲の特徴を解析し、その結果を楽曲／ピクチャ特徴ＤＢ１３に格納する。

ユーザの操作部１９の操作により所定楽曲が選択されると、ステップＳ２２において、特徴参照／比較部１４は、楽曲／ピクチャ特徴ＤＢ１３を参照して、その所定楽曲の特徴を抽出する。

ステップＳ２３において、特徴参照／比較部１４は、参照した所定楽曲の特徴と、予め用意された各ピクチャの候補の特徴とをそれぞれ比較し、選択部１５は、関連のあるピクチャを背景画像として選択する。なお、後述するように、このステップＳ２３の処理では、嗜好DB１８に格納されたユーザの嗜好情報も利用することが可能である。

ステップＳ２４において、再生部１６は、所定楽曲を再生するとともに、ステップＳ２３の処理で自動選択されたピクチャ（所定楽曲と関連のあるピクチャ）を背景画像としてスライドショー再生する。

ステップＳ２５において、評価部１７は、再生部１６による楽曲の再生を、ユーザの嗜好という視点で評価し、その評価結果をユーザの嗜好情報として嗜好ＤＢ１８に格納する。

ここで、ステップＳ２３の特徴比較処理、即ち、楽曲の特徴とピクチャの候補の特徴の比較処理の詳細について説明する。

はじめに、上述した図２に対応させて、嗜好DB１８に格納されたユーザの嗜好情報を利用しない場合の比較処理について説明する。

上述したように、本実施の形態では、楽曲の特徴としては、曲のテンポと曲調の２種類が採用されている。ステップＳ２１の特徴解析処理では、これらの２種類の特徴が数値化され、（テンポの値，曲調の値）が得られる。一方、本実施の形態では、ピクチャの特徴としては、人物の表情(哀楽)とピクチャ全体の明るさ(明暗)の２種類が採用されており、この２種類が１以上のピクチャ毎に数値化された結果として、（表情の値，曲調の値）が予め用意されている。

この場合、当然ながら、楽曲の特徴とピクチャの（候補の）特徴とはそのままの形態で比較することは困難である。そこで、例えば本実施の形態では、特徴参照／比較部１４は、楽曲の特徴の形態を、次のようにしてピクチャの特徴の形態に変換する。

即ち、特徴参照／比較部１４は、選択された所定楽曲に合う（表情の値）を得るために、その所定楽曲の特徴（テンポの値，曲調の値）を次の式（１４）に代入して演算する。

・・・（１４）

同様に、特徴参照／比較部１４は、選択された所定楽曲に合う（明るさの値）を得るために、その所定楽曲の特徴（テンポの値，曲調の値）を次の式（１５）に代入して演算する。

・・・（１５）

なお、式（１４），（１５）におけるc₁₁，c₁₂，c₂₁，c₂₂，d₁，d₂は、所定の係数を示している。

即ち、所定楽曲の特徴の形態が、（テンポの値，曲調の値）という形態から、ピクチャの特徴の形態である（表情の値，明るさの値）という形態に変換されたことになる。

これにより、特徴参照／比較部１４は、適当な比較手法を用いて、所定楽曲の特徴と、１以上のピクチャの候補の各特徴とを比較できるようになる。例えば、類似度を演算できる比較手法を採用すれば、選択部１５は、類似度が一定以上のピクチャの候補を、所定楽曲と関連するピクチャとして決定することができる。

なお、本実施の形態では、上述の如く、ピクチャの特徴の種類は（表情の値，明るさの値）という２種類が採用されていた。また、楽曲の特徴の種類は（テンポの値，曲調の値）という２種類が採用されていた。ただし、種類数は、特に２種類に限定されない。例えばそれぞれ３種類以上とすることもできる。この場合、所定楽曲の特徴の形態を（テンポの値，曲調の値，・・・）という形態から、ピクチャの特徴の形態である（表情の値，明るさの値，・・・）という形態に変換するためには、例えば次の式（１６）を採用すればよい。

・・・（１６）

次に、上述した図３に対応させて、嗜好DB１８に格納されたユーザの嗜好情報を利用する場合の比較処理について説明する。

ステップＳ２５の評価処理で採用される評価手法は、図３のステップＳ１５の評価処理で採用されている評価手法と同様であるとする。即ち、この例では、再生された楽曲の特徴の値と、ユーザ操作によりより最適であると選択されたピクチャの特徴の値とが対応付けられた情報が、ユーザの嗜好情報として嗜好DB１８に蓄積されるとする。

これにより、ステップＳ２３の処理として、次のような処理が可能になる。

即ち、楽曲の再生後にその評価をユーザ自身に行わせることによって、次回以降のステップＳ２３の処理として、楽曲の特徴の値から算出されたピクチャの特徴の値と、ユーザの求める楽曲の特徴の値との差が少なくなるような処理が可能になる。即ち、再生後にユーザに評価させることによって、楽曲の特徴の値から算出されたピクチャ（背景画像として選択されたピクチャ）の特徴と、ユーザの求める楽曲の特徴の値との差を少なくするよう、上述した式（４）乃至（１３）を用いて説明した処理と同様な処理を行うことができる。

例えば、式（１６）の近似式として、嗜好DB１８に格納されているユーザの各嗜好情報の値より次の式（１７）に示されるような近似式を求めて、c_hj’，d_hj’を決定することができる。

・・・（１７）

このようにして、特徴参照／比較部１４は、近似式（１７）等における係数であって、嗜好DB１８を用いて導かれた新しい係数を用いて、所定楽曲の特徴の形態をピクチャの特徴の形態に変換することができる。そして、特徴参照／比較部１４は、このようにして形態が変換された所定楽曲の特徴と、1以上のピクチャの候補の特徴とを比較することができる。選択部１５は、このような比較結果を用いることで、より一段とユーザの嗜好に合ったピクチャを背景画像として選択できるようになる。

なお、図示はしないが図４と全く同様にして、ステップＳ２３の比較処理において、ユーザ自身ではなく、他ユーザの嗜好DB１８−Ａを用いることもできる。これにより、ピクチャの自動選択を他のユーザの嗜好に合わせることができるようになる。

ところで、上述したように、図１の情報処理システムは、複数台の装置により構成することができる。例えば図６は、インターネット上サーバ３１とユーザ機器３２とで情報処理システムを構成した場合についてのその情報処理システムの動作例を示すフローチャートである。

なお、図６に示されるように、楽曲／ピクチャＤＢ１１のうちの、インターネット上サーバ３１側に構成されているデータベースを、楽曲／ピクチャＤＢ１１−１と称する一方、ユーザ機器３２側に構成されているデータベースを、楽曲／ピクチャＤＢ１１−２と称する。図１のその他のデータベースや機能ブロックについても全く同様に、インターネット上サーバ３１側に構成されている方については「−（ハイフォン）」の後に「１」の符号をつけて称することにする一方、ユーザ機器３２側に構成されている方については「−（ハイフォン）」の後に「２」の符号をつけて称することにする。

インターネット上サーバ３１は、予め用意されたピクチャや楽曲(素材)とそれらの特徴とを管理し、ユーザ機器３２からピクチャ／楽曲の特徴や嗜好情報の供給による問い合わせに対し、それらに関連する素材を選択する機能を有する。

この場合、ステップＳ３１において、ユーザ機器３２側の特徴解析部１２−２は、ピクチャ／楽曲の特徴を解析し、その結果を楽曲／ピクチャ特徴ＤＢ１３−２に格納する。

ユーザの操作部１９−２の操作により所定ピクチャ／所定楽曲が選択されると、ステップＳ３２において、ユーザ機器３２側の特徴参照／比較部１４−２は、楽曲／ピクチャ特徴ＤＢ１３−２を参照して、所定ピクチャ／所定楽曲の特徴を抽出する。

ステップＳ３３において、ユーザ機器３２側の特徴参照／比較部１４−２は、参照した所定ピクチャ／所定楽曲の特徴と、必要に応じて嗜好ＤＢ１８−２から取得した嗜好情報とをインターネット上サーバ３１に提供することで、関連する素材をインターネット上サーバ３１に送信する。

ステップＳ３４において、インターネット上サーバ３１側の選択部１５−１は、所定ピクチャ／所定楽曲の特徴と、予め用意された各楽曲／各ピクチャの候補の特徴とをそれぞれ比較し、関連のある楽曲をBGMとして選択したり、関連のあるピクチャを背景画像として選択する。BGMや背景画像として選択された楽曲やピクチャは、インターネット上サーバ３１からユーザ機器３２に転送される。

そこで、ステップＳ３５において、ユーザ機器３２側の再生部１６−１は、転送されてきた楽曲／ピクチャをダウンロードする。なお、このときのダウンロードの対象の素材（楽曲／ピクチャ）については、ユーザに選択させるようにすることもできる。また、所定ピクチャ／所定楽曲は、このときまでに、ユーザ機器３２内部の処理として再生部１６−２に提供されているとする。

ステップＳ３６において、ユーザ機器３２側の再生部１６−２は、所定ピクチャを含むスライドショー再生を行うとともに、ステップＳ３５の処理でダウンロードされた楽曲（所定ピクチャと関連のある楽曲）をBGMとして再生する。或いはまた、ユーザ機器３２側の再生部１６−２は、所定楽曲を再生を行うとともに、ステップＳ３５の処理でダウンロードされたピクチャ（所定楽曲と関連のある楽曲）を背景画像としてスライドショー再生する。

なお、インターネット上サーバ３１が、図６のステップＳ３４の選択処理として、広告主の宣伝したい楽曲や広告画像用のピクチャを選択する処理を実行することもできる。この場合、所定ピクチャや所定楽曲とともに再生されるBGMや背景画像は、広告に関するBGMや背景画像になる。即ち、このような形態で、ユーザに広告を配信することが可能になる。

図７は、情報処理システムの動作例であって、組合せＤＢ３１を作成するフローチャートである。

ここで、組合せＤＢ３１とは、ピクチャと楽曲との最適な組み合わせの情報が蓄積されたデータベースをいう。

即ち、この図７のフローチャートに従った処理が実行されることで、図１の情報処理システムに、組合せＤＢ３１が構築されることになる。

即ち、ステップＳ４１において、特徴参照／比較部１４は、楽曲／ピクチャ特徴ＤＢ１３を参照することで、 最適なピクチャと音楽の組合せを抽出する。

なお、組合せの抽出手法自体は特に限定されない。例えば、 ピクチャの特徴の形態を上述した式（３）等を用いて音楽の特徴の形態に変換した上で、ピクチャの特徴と、１以上の楽曲の各特徴とを比較することで、最適なピクチャと音楽の組合せを抽出する、といった手法を採用することができる。また例えば、楽曲の特徴の形態を上述した式（１６）等を用いてピクチャの特徴の形態に変換した上で、楽曲の特徴と、１以上のピクチャの各特徴とを比較することで、最適なピクチャと音楽の組合せを抽出する、といった手法を採用することができる。

このようなステップＳ４１の処理が実行されると、その結果、例えば、組み合わされるピクチャと音楽、および、それらの特徴が対応付けられて、組合せＤＢ３１に記録されることになる。

図８は、図１の情報処理システムの処理のうちの、組合せＤＢ３１を用いた処理の一例であって、ユーザが入力したテーマ（キーワード）に適したピクチャと音楽を自動的に選択して再生するまでの一連の処理の一例を説明するフローチャートである。

なお、図８に示されるようなテーマの特徴ＤＢ３２が図１の情報処理システムに構築されているとする。また、テーマの特徴ＤＢ３２には、テーマ（キーワード）に適したピクチャと音楽の各特徴がそれぞれ記録されている。換言すると、テーマの特徴ＤＢ３２は、図８においては楽曲／ピクチャ特徴ＤＢ１３と独立して構成されているが、特に独立して構成する必要はない。即ち、テーマの特徴ＤＢ３２は、楽曲／ピクチャ特徴ＤＢ１３中に構成することも可能である。

ユーザが操作部１９を操作してスライドショーのテーマ（キーワード）を選択すると、ステップＳ５１において、例えば特徴参照／比較部１４は、テーマの特徴ＤＢ３２と組合せＤＢ３１に記録されているピクチャと音楽の特徴とをそれぞれ比較照合することで、 テーマに適したピクチャと音楽の組合せを抽出する。その抽出結果は、選択部１５に通知される。

ステップＳ５２において、選択部１５は、その組合せに含まれるピクチャと楽曲、即ち、テーマに適したピクチャと楽曲とを楽曲／ピクチャＤＢ１１から選択して、再生部１６に提供する。

ステップＳ５３において、再生部１６は、選択されたピクチャと音楽を組合せてスライドショー再生をする。

以上説明した本発明を適用することで、例えば次のような様々な効果を奏することが可能になる。

ピクチャの特徴を解析しデータベース化することによって、ピクチャにあった楽曲を自動的に選ぶことができる。

楽曲の特徴を解析しデータベース化することによって、楽曲にあったピクチャを自動的に選ぶことができる。

スライドショー再生時にユーザに評価をさせ、それをデータベース化することによって、ピクチャの選択や楽曲の選択をユーザの嗜好により合わせることができる。

ユーザの嗜好データベースに基づく楽曲やピクチャのダウンロード機能を用い、楽曲のサンプルやピクチャのサンプルをユーザにスライドショー再生時に視聴させることで、ユーザは気に入ったものをダウンロードできるようになる。さらに、そのようなユーザの動作に対して課金が行えるので、新たなビジネスモデルとして活用することができる。

データベースの作成、ピクチャや楽曲の選択を自動化することによって、ユーザのピクチャ管理や楽曲管理の負担を軽減できる。

ユーザの嗜好情報や、ピクチャ、楽曲の特徴の情報によって、ピクチャや楽曲を選択する機能をインターネット上に配置することができるので、例えば、本発明を広告配信の分野にも適用できるようになる。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した情報処理システムの少なくとも一部として、例えば、図９に示されるパーソナルコンピュータを採用してもよい。

図９において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明が適用される情報処理装置の機能的構成例を示す機能ブロック図である。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 図１の情報処理システムの動作の一例を説明するフローチャートである。 本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１１ 楽曲／ピクチャＤＢ， １２ 特徴解析部， １３ 楽曲／ピクチャ特徴ＤＢ，１４ 特徴参照／比較部， １５ 選択部， １６ 再生部， １７ 評価部， １８ 嗜好ＤＢ， １９ 操作部， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (4)

1. 音声を再生対象とし、画像を付属的再生対象として、前記再生対象を前記付属的再生対象とともに再生させる制御を行う情報処理装置において、
   前記画像と前記音声の各特徴を解析して前記画像の複数の特徴量および前記音声の複数の特徴量を算出する解析手段と、
   前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴とを形態を統一して比較する比較手段と、
   前記比較手段による比較結果に基づいて、前記１以上の付属的再生対象の候補の中から、前記再生対象に対する前記付属的再生対象を選択する選択手段と、
   前記再生対象に対してユーザが選択した付属的再生対象の複数の特徴量に基づいて嗜好データベースを生成する評価手段とを備え、
   前記比較手段は、
   前記再生対象の複数の特徴量と所定の係数を用いた線形一次式により前記付属的再生対象の複数の特徴量をそれぞれ算出することで、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴との形態を統一し、
   前記再生対象の複数の特徴量から算出された前記付属的再生対象の複数の特徴量のそれぞれと、前記ユーザの求める前記付属的再生対象の複数の特徴量のそれぞれとの差を少なくするように、前記嗜好データベースに格納された情報を用いて前記所定の係数を算出する
   を備える情報処理装置。
2. 前記再生対象を、前記選択手段により選択された前記付属的再生対象とともに再生する再生手段
   をさらに備える請求項１に記載の情報処理装置。
3. 音声を再生対象とし、画像を付属的再生対象として、前記再生対象を前記付属的再生対象とともに再生させる制御を行う情報処理装置の情報処理方法において、
   前記画像と前記音声の各特徴を解析して前記画像の複数の特徴量および前記音声の複数の特徴量を算出し、
   前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴とを形態を統一して比較し、
   その比較結果に基づいて、前記１以上の付属的再生対象の候補の中から、前記再生対象に対する前記付属的再生対象を選択し、
   前記再生対象に対してユーザが選択した付属的再生対象の複数の特徴量に基づいて嗜好データベースを生成するステップを含み、
   前記再生対象の複数の特徴量と所定の係数を用いた線形一次式により前記付属的再生対象の複数の特徴量をそれぞれ算出することで、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴との形態を統一し、
   前記再生対象の複数の特徴量から算出された前記付属的再生対象の複数の特徴量のそれぞれと、前記ユーザの求める前記付属的再生対象の複数の特徴量のそれぞれとの差を少なくするように、前記嗜好データベースに格納された情報を用いて前記所定の係数を算出する
   情報処理方法。
4. 音声を再生対象とし、画像を付属的再生対象として、前記再生対象を前記付属的再生対象とともに再生させる制御を行うコンピュータに、
   前記画像と前記音声の各特徴を解析して前記画像の複数の特徴量および前記音声の複数の特徴量を算出し、
   前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴とを形態を統一して比較し、
   その比較結果に基づいて、前記１以上の付属的再生対象の候補の中から、前記再生対象に対する前記付属的再生対象を選択し、
   前記再生対象に対してユーザが選択した付属的再生対象の複数の特徴量に基づいて嗜好データベースを生成するステップを実行させ、
   前記再生対象の複数の特徴量と所定の係数を用いた線形一次式により前記付属的再生対象の複数の特徴量をそれぞれ算出することで、前記再生対象の特徴と、１以上の付属的再生対象の候補の特徴との形態を統一し、
   前記再生対象の複数の特徴量から算出された前記付属的再生対象の複数の特徴量のそれぞれと、前記ユーザの求める前記付属的再生対象の複数の特徴量のそれぞれとの差を少なくするように、前記嗜好データベースに格納された情報を用いて前記所定の係数を算出する
   プログラム。

Images