JP3840321B2 - 異種メディア対の予測方法及びその装置 - Google Patents
異種メディア対の予測方法及びその装置 Download PDFInfo
- Publication number
- JP3840321B2 JP3840321B2 JP23652397A JP23652397A JP3840321B2 JP 3840321 B2 JP3840321 B2 JP 3840321B2 JP 23652397 A JP23652397 A JP 23652397A JP 23652397 A JP23652397 A JP 23652397A JP 3840321 B2 JP3840321 B2 JP 3840321B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- information
- pair
- heterogeneous
- fitness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音楽に合った画像、文章と画像に合った音楽といった具合に異種メディア間で適したメディア対を予測する異種メディア対の予測方法及びその装置に関する。
【０００２】
【従来の技術】
最近は、マルチメディアオーサリングシステムを使用して、音楽と画像といった異種メディアを融合したマルチメディアコンテンツを創作できるようになってきた。優れたコンテンツを創作するためには、多くの素材の中から「良い」素材を選択してくることが必要になる。しかし、画像を見てそれに適するような音楽を選別する等の仕事は、人間の感性が大きく影響してくるため、コンピュータの不得手とするところである。
【０００３】
また、異種メディアを組合わせてマルチメディアコンテンツを提供するものの一つに通信カラオケシステムが挙げられる。通信カラオケシステムは、データ転送量に制約があるため、楽曲固有の画像データが用意されているわけではなく、画像データは予め用意されたものを無作為に表示しているに過ぎない。しかし、個々の楽曲にあった画像データを表示できるようにするためには、予め無数の素材の中から個々の楽曲に合った画像を人間が自分の感性に基づいて選択する作業が必要となる。
【０００４】
【発明が解決しようとする課題】
このように、従来は異種メディアを組合わせたマルチメディアコンテンツを作成する場合、人間の感性が大きく左右するメディア対の選択を人間の手作業に頼っていたために作業効率が低く、また創作されたコンテンツに個人差があり品質が安定しないなどの問題があった。
【０００５】
本発明は、以上のような実情に鑑みてなされたものであり、人間の持つ感性に合った異種メディア対を機械的に選択することのできる異種メディア対の予測方法及び異種メディア対予測装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記課題を解決するために次のような手段を講じた。
本発明の異種メディア対の予測方法は、異種メディア間で適したメディア対を予測する異種メディア対の予測方法であって、複数の種類のメディアの素材を登録したメディアデータベースと、前記メディアデータベースに登録された各素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段とを予め設け、異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出ステップと、前記抽出ステップで抽出した客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算ステップと、前記演算ステップの演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択ステップと、を有するようにした。
また、本発明の異種メディア対予測装置は、異種メディア間で適したメディア対を予測する異種メディア対予測装置であって、複数の種類のメディアの素材を登録したメディアデータベースと、前記メディアデータベースに登録された各メディアの素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段と、異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出手段と、前記抽出手段によって抽出された客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算手段と、前記演算手段の演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択手段と、を有する構成を採る。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して具体的に説明する。
【００２０】
（実施の形態１）
図１に、本発明の実施の形態１となる異種メディア対予測システムの全体構成を示す。本実施の形態１の異種メディア対予測システムは、異種メディア対予測装置１と予測ルール作成部２とから構成される。
【００２１】
異種メディア対予測装置１は、登録メディアデータベース３、付加情報データベース４、メディア１付加情報選択部５、メディア２付加情報選択部６、メディア対適合度演算部７およびメディア対選択部８を備えている。
【００２２】
登録メディアデータベース３には、音楽（メディア１）、画像(メディア２）などの各種メディアの素材が登録されており、付加情報データベース４には登録メディアデータベース３に登録された個々の音楽、画像に関する客観情報と感性情報とからなる付加情報が登録されている。各メディアの付加情報の詳細については後述する。メディア１付加情報選択部５は付加情報データベース４からメディア１（音楽)のファイル内から選曲情報で指定された楽曲の付加情報を取出す部分であり、メディア２付加情報選択部６は付加情報データベース４からメディア２（画像)のファイル内から画像選択情報で指定された画像の付加情報を取出す分部である。メディア対適合度演算部７は、付加情報選択部５，６で選択したメディア対候補についての適合度を、異種メディア対予測演算ルールに基づいて算出する機能を備える。メディア対選択部８は、メディア対適合度演算部７の算出した各メディア対候補の適合度で最大値を示したメディア対候補を選択して該当する画像を登録メディアデータベース３から検索画像として取出す分部である。
【００２３】
予測ルール作成部２は、訓練データの各種情報が格納されたファイル群１１〜１３、主成分分析部１４、決定木学習部１５、メディア対予測ルール作成部１６、メディア対予測ルールの格納されるファイル１７を備えている。
【００２４】
主成分分析部１４は、訓練データの客観情報や感性情報を多変量とみなし、多変量によって表される変動をより少数の代表的、仮設的変動によって説明する主成分分析を実行する機能を備える。決定木学習部１５は、主成分分析部１４で得られた主成分を多変量とし、訓練データの各メディア対の適合度をクラスとして決定木学習アルゴリズムを適用することで、メディアの付加情報とメディア対の適合度との相関関係を抽出する。メディア対予測ルール作成部１６は、決定木学習部１５の抽出した相関関係を使用して異種メディア対の適合度を演算するためのルールを作成する。
【００２５】
次に、以上のように構成された異種メディア対予測システムの動作について説明する。
【００２６】
まず、予測ルール作成部２における異種メディア対の適合度演算のためのルール作成手順について説明する。
【００２７】
メディア１となる音楽とメディア２となる画像について、それぞれ複数の訓練データ（音楽１〜１０、画像１〜１０）が用意されているものとする。これら訓練データに対して人手により付加情報を付ける。
【００２８】
具体的には、メディア１の訓練データ（音楽１〜１０）から、図３に示すような客観的な情報（ｍｐ１〜ｍｐ４）を客観情報として抽出する一方、図４に示すような形容詞対に対して段階評価を付けた評価値をその音楽の感性情報（ｍ１〜ｍ１１）として抽出する。図２（ａ）にメディア１の訓練データ（音楽１〜１０）についての客観情報及び感性情報の抽出結果を示す。
【００２９】
また、メディア２の訓練データ（画像１〜１０）から、図５に示すような客観的な情報（ｐｐ１〜ｐｐ９）を客観情報として抽出する一方、図６に示すような形容詞対に対して段階評価を付けた評価値をその画像の感性情報（ｐ１〜ｐ１１）として抽出する。図２（ｂ）にメディア２の訓練データ（画像１〜１０）についての客観情報及び感性情報の抽出結果を示す。
【００３０】
予測ルール作成部２の客観情報ファイル１１には、メディア１（音楽１〜１０）とメディア２（画像１〜１０）の客観情報がそれぞれ格納されており、感性情報ファイル１２にはメディア１（音楽１〜１０）とメディア２（画像１〜１０）の感性情報がそれぞれ格納されている。
【００３１】
次に、メディア１の訓練データ（音楽１〜１０）とメディア２の訓練データ（画像１〜１０）との対からなる各メディア対について適合度を評価する。この評価結果をメディア対適合度情報として保存する。図２（ｃ）にメディア対適合度の評価結果を示す。このメディア対適合度情報がメディア対適合度情報ファイル１３に格納される。
【００３２】
主成分分析部１４で行われる主成分分析について説明する。主成分分析部１４は、客観情報ファイル１１及び感性情報ファイル１２からメディア１及びメディア２の客観情報及び感性情報を取り込み、図７に示すフローチャートに基づいてメディア１及びメディア２の各々について客観情報及び感性情報の主成分を求める。ここでは、メディア２の主成分分析について説明するが、メディア１についても同様に実施される。
【００３３】
メディア２の客観情報及び感性情報を変量として分散共分散行列Ｓを求める（Ｓ７０１）。ｎ個の素材（画像）が訓練データとしてあり、各素材は客観情報及び感性情報が変量となる。ここでは、各素材は客観情報及び感性情報合わせてｐ個の変量Ｘ１〜Ｘｐがあるものとする。訓練データを複数の人間が評価するので、客観情報及び感性情報の各項目（変量Ｘ１〜Ｘｐ）に対する評価値を画像毎に平均化し、さらに変量毎に全体平均を計算する。図８に訓練データを構成する個々の画像（１〜ｎ）について、変量Ｘ１〜Ｘｐに関する評価結果Ｘ１１〜Ｘｐｎと全体平均Ｘ１AVE〜ＸｐAVEの一覧を示す。
【００３４】
分散共分散行列Ｓを求めるために、変量Ｘ１〜Ｘｐの「分散」を求め、変量の各組み合わせについて「共分散」を求める。
【００３５】
まず、変量Ｘ１の分散＝Ｓ１2を式（１）に基づいて計算する。
【数１】
同様にして、他の変量Ｘ２〜Ｘｐの分散＝Ｓ２2〜Ｓｐ2を計算する。また、変量の共分散として変量Ｘ１とＸ２の共分散＝Ｓ１２を式（２）に基づいて計算する。
【数２】
同様にして、変量の他の各組み合わせについて共分散を計算する。以上のようにして求めた変量（客観情報及び感性情報）の分散及び共分散を用いることにより、図９に示すような「分散共分散行列」を作成することができる。
【００３６】
次に、分散共分散行列Ｓの固有値λを求める（Ｓ７０２）。ｐ行ｐ列の分散共分散行列Ｓについて固有値問題を解くことによりｐ個の固有値λが得られる。これらｐ個の固有値を大きい順に並べ、大きさにしたがった優先順位λ１＞λ２＞λ３＞…＞λｐを求める（Ｓ７０３）。
【００３７】
ここで、主成分ｚの数を決めるために、現在ｐ個ある固有値λ１〜λｐの数をｍ個（ｍ＜ｐ）の固有値に制限する（Ｓ７０４）。主成分ｚの数を決める基準として、次のような基準が挙げられる。
１）分散共分散行列Ｓの固有値λのなかで１より大きい固有値の数
２）共通性の推定値を対角要素に代入した行列の正の固有値の数
これらの基準は、いずれも絶対的なものではない。固有値が１または０の付近で大きく変わる場合には、そこで切るようにしても良い。本実施の形態では基準１）を採用する。
【００３８】
いま、ｐ個の変量Ｘ１〜Ｘｐの変動をｍ個の主成分ｚ１〜ｚｍで表すとすれば、次のようになる。
【００３９】
但し、（ａ１１〜ａ１ｐ）、（ａ２１〜ａ２ｐ）、・・・（ａｍ１〜ａｍｐ）は固有ベクトルである。
【００４０】
一番大きいλ１を選択し（Ｓ７０５）、ｉ＝１として式（３−１）のλｉにλ１を代入して主成分ｚ１の固有ベクトル（ａ１１〜ａ１ｐ）についてｐ個の連立方程式を立てる。
【数３】
これら連立方程式と式（４）とから固有ベクトル（ａ１１〜ａ１ｐ）を求める（Ｓ７０６）。
【数４】
主成分ｚ１は固有ベクトル（ａ１１〜ａ１ｐ）とｐ個の変量Ｘ１〜Ｘｐとで表現されているので、固有ベクトル（ａ１１〜ａ１ｐ）を求めたことにより、主成分ｚ１をｐ個の変量Ｘ１〜Ｘｐで表せることになる（Ｓ７０７）。
【００４１】
１つの主成分ｚｉが求められたならば、ステップＳ７０４で選択した固有値λｉに残りがあるかどうか判断し（Ｓ７０８）、固有ベクトルλｉに残りが存在すればｉ＝ｉ＋１として優先順位の一つ低い固有ベクトルを選択し（Ｓ７０９）、ステップＳ７０６に処理を戻して固有ベクトル及び主成分ｚを求める。残りの固有値λが存在しなくなった時点でｍ個の主成分ｚ１〜ｚｍが求められたことになる。
【００４２】
図１０はメディア１について感性情報１１個、客観情報２個の変量から３個の主成分ｍｆ１、ｍｆ２、ｍｆ３を抽出した結果を示している。図１１はメディア２について感性情報１１個、客観情報９個の変量から３個の主成分ｐｆ１、ｐｆ２、ｐｆ３を抽出した結果を示している。なお、メディア１についてはｍｐ１とｍｐ３については連続値として表現できないので含めていない。
【００４３】
メディア１の主成分で高い評価が出ているのは、第１主成分では、「賑やかな」、「テンポの速い」、「楽しい」、「明るい」、第２主成分では、「Major Code」、「テンポが遅い」、「楽しい」、第３主成分では、「歌いやすい」、「力強い」である。また、メディア２の主成分で高い評価が出ているのは、第１主成分では、「さわやかな」、「安らかな」、「印象の良い」、第２主成分では、「楽しげな」、「雰囲気が明るい」、「動的な」、第３主成分では、「大人っぽい」、「ムードのある」、「洗練された」である。
【００４４】
決定木学習部１４は、上記したメディア１、メディア２の主成分ｍｆ１、ｍｆ２、ｍｆ３、ｐｆ１、ｐｆ２、ｐｆ３（以下、メディアを区別せずに主成分を表す場合は「ｚ１〜ｚｍ」を用いる）と、先に求めたメディア対適合度情報とが入力し、決定木学習アルゴリズムを適用して、客観情報及び感性情報とメディア対適合度との相関関係を抽出したマッピングルールを出力する。
【００４５】
以下、決定木学習部１４で制約条件を求める手順を詳しく説明する。
図１２に決定木学習アルゴリズムの概念図を示す。クラスが既知である対象群が、決まった数の属性集合で表されているとき、その分類規則は決定木の形で表すことができる。
【００４６】
いま、データ集合Ｄに含まれたデータが、決定木Ｈによってｍ個の排反なクラスＣ１〜Ｃｍに分類されたとする。データ集合Ｄは付加情報（客観情報及び感性情報の主成分、メディア対適合度情報）の抽出されたメディア１、メディア２の訓練データに相当し、排反なクラスＣ１〜Ｃｍはあるメディア１とメディア２の訓練データの各対の適合度評価値に相当するとすれば、決定木Ｈは主成分を属性として持つ複数のメディア対の集合を、客観情報及び感性情報からなる制約条件の組み合わせによりある適合度評価値に分類するアルゴリズムであるといえる。したがって、根節点及び各中間節点における制約条件が判れば、異種メディア対の客観情報及び感性情報からそのメディア対の適合度評価値を機械的に求めることができることになる。
【００４７】
以下、図１３のフローチャートを用いて制約条件を決定するための処理内容について詳細に説明する。
【００４８】
メディア１とメディア２の訓練データのメディア対のデータ集合ＤがクラスＣ１〜Ｃｍに分類されたとする。クラスＣｉに分類されるデータ数をｄｉとして、あるデータがクラスＣｉに分類される確率Ｐｉを求める（Ｓ1301）。確率Ｐｉは下式にて表すことができる。
【数５】
次に、決定木Ｈが伝達する情報量Ｅを下式から計算する（Ｓ1302）。
【００４９】
【数６】
根節点における決定木のテスト（データ集合を分類する制約条件として用いる主成分の属性として「ｔj」を選択したとする。属性ｔjは、Ｖｊ1〜Ｖｊnjのｎｊ種類の値をとる。主成分のある属性（ｚｉ）について、Ｖｊ1の値を持つメディア対の集合をＤjk、Ｖｊ2の値を持つメディア対の集合をＤｊ2、…Ｖｊkの値を持つメディア対の集合をＤｊkとし、データ集合Ｄｊkに含まれたデータが、クラスＣ１〜Ｃｍに分類されるデータ数をｄ（jk）ｉとすると、データ集合Ｄｊkに対応する部分木Ｈjkが伝達する情報量は下式で表せる。
【数７】
次に、各部分木Ｈjkが伝達する情報量と決定木Ｈが伝達する全情報量とから、全情報量に対する各部分木Ｈjkのデータ数の割合Ｐjkを求める（Ｓ1303）。さらに、テストｔｊを選んだときに伝達する情報量Ｅ’(tj)を式（８）より求める（Ｓ1304）。
【数８】
次に、テストｔｊを選択したことによる情報量の増加分Ｇ(tj)を式（９）より計算する（Ｓ1305）。属性ｔjは、Ｖｊ1〜Ｖｊnjのｎｊ種類の値をとるので、この全てについて増加分Ｇ(tj)を求める。
【数９】
一つの属性について終了したら、残りの属性が存在するか否か判断し（Ｓ1306）、主成分の全属性（ｚ１〜ｚｐ）について同様に増加分Ｇ(tj)を計算する。そして、全属性のｎｊ種類について計算した情報量の増加分Ｇ(tj)の中から最大値を検索し（Ｓ1307）、情報量の増加が最大となるテストｔｊを選択する（Ｓ1308）。以上の様にしてテストの選択が行われる。
【００５０】
テストの選択が終了したら、選択したテストｔｊをその根節点での制約条件としてデータ集合Ｄを分類する（Ｓ1309）。データ集合Ｄが複数のグループに分類されたとすれば、各グループに異なる適合度評価値を持つメディア対が存在するか否かチェックをかける（Ｓ1310)。同一の適合度評価値を持つメディア対が同じグループに分類されたかいなか判断する（Ｓ1311)。その結果、同じグループに同一評価値のメディア対だけが分類されていれば、そのグループを最終的なクラスとして決定する。また、一つのグループに複数の評価値のメディア対が含まれていれば、そこを中間節点として新しく部分木を生成する（Ｓ1312)。新しく生成した部分木について上記ステップＳ1301〜Ｓ1311と同様な処理を実行してテストの選択と分類を繰り返す。
【００５１】
以上のようにして、テストの選択と分類を繰り返すことにより、データ集合Ｄを排反なクラスＣ１〜Ｃｍに分類する決定木Ｈの根節点及び中間節点における制約条件が決まる。
【００５２】
決定木Ｈにおいて根節点からクラスＣｉに至るルートに存在する節の制約条件がルールｆとなる。ルールｆを規定している制約条件は主成分ｚ１〜ｚｍで表されており、主成分ｚ１〜ｚｍは客観情報と感性情報とで表すことができるので、メディア１とメディア２のメディア対のそれぞれの客観情報と感性情報とそのメディア対の適合度評価値との相関関係を規定する適合度予測ルールを、メディア１とメディア２の客観情報及び感性情報で表現できることになる。
【００５３】
メディア対予測ルール作成部１６は、決定木学習部１５から与えられる制約条件を用いて異種メディア対予測装置１に認識できる形式の上記適合度予測ルールｆを作成する。作成した適合度予測ルールｆはファイル１７に格納され、異種メディア対予測装置１のメディア対適合度演算部７へ与えられる。
【００５４】
異種メディア対予測装置１の動作として、選曲された音楽に合った画像を検索する例を説明する。
【００５５】
ある音楽が選択された場合、その選曲情報がメディア１付加情報選択部５に入力される。メディア１付加情報選択部５は、選曲情報に対応した音楽の付加情報（客観情報及び感性情報）を付加情報データベース４から取出してメディア対適合度演算部７へ入力する。また、選曲情報の入力と前後して画像選択情報がメディア２付加情報選択部６へ入力される。メディア２付加情報選択部６は、画像選択情報の入力があると付加情報データベース４からメディア２に登録されている画像の付加情報（客観情報及び感性情報）を順番に取出してメディア対適合度演算部７へ入力する。
【００５６】
メディア対適合度演算部７では、音楽１が選択されたとすればその付加情報（客観情報及び感性情報）と画像１の付加情報（客観情報及び感性情報）とから上記適合度予測ルールを適用して音楽１と画像２との適合度を予測演算する。メディア対適合度演算部７にて演算された音楽１と画像２とからなる異種メディア対の適合度評価値はメディア対選択部８へ与えられる。メディア対適合度演算部７には、メディア２付加情報選択部６から指定のタイミングで順次残りの画像２，３・・・の付加情報（客観情報及び感性情報）が与えられるので、その都度、異種メディア対の適合度評価値が演算されてメディア対選択部８へ与えられる。
【００５７】
メディア対選択部８は、音楽１と各画像１，２・・・との各異種メディア対の適合度評価値から最大値の異種メディア対を検索し、検索したメディア対の一歩有為のメディアである画像の番号を認識する。認識した画像番号に相当する画像データを登録メディアデータベース３から検索して出力する。
【００５８】
以上の説明ではメディア１とメディア２のメディア対について説明したが、他のメディア対についても同様に適合度予測ルールｆを抽出し、そのルールｆに基づいて異種メディア対の適合度を予測することができる。
【００５９】
このような実施の形態によれば、異種メディア対の適合度を客観情報と感性情報とに基づいて予測する適合度予測ルールｆを訓練データを用いて抽出し、この抽出した適合度予測ルールｆを用いて実際の異種メディア対に適合度を予測するので、多数の素材の中から最適な異種メディア対をコンピュータで機械的に検索することが出来、作業効率を大幅に改善できると共に、安定した品質のマルチメディアコンテンツを提供できる。
【００６０】
本実施の形態によれば、決定木学習部１５で決定木学習アルゴリズムを適用して制約条件を求める際の前処理として、訓練データの客観情報と感性情報の主成分分析を行い変量を減らしているので、決定木学習部１５での負荷を軽減できる。
【００６１】
（実施の形態２）
図１４に、本発明の実施の形態２となる異種メディア対予測装置の全体構成を示す。本実施の形態２の異種メディア対予測装置は、付加情報データベース1401、メディアデータベース1402-1・・・、メディア１付加情報選択部1403、ニューラルネットワーク1404、印象度一致判定部1405、メディア対選択部1406から構成される。本実施の形態では、メディア１（文章）とメディア２（画像）との異種メディア対の適合度を予測する場合を例にして説明する。
付加情報データベース1401は、メディア１（文章）、メディア２（画像）、メディア３（音楽）の付加情報が登録されている。メディア１となる文章の付加情報としてその文章の印象度を用いる。その文章で使われている「単語（名詞）」で、頻度の高いものを重要語として抽出し、その重要語についての印象度を平均したものを文章の印象度としている。図１５（ａ）に重要語の印象度を評価するための項目を示す。各項目について重要語の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。メディア２となる画像の付加情報としてその画像の印象度を用いる。画像の印象度は図１５（ｂ）に示す各項目について画像の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。メディア２となる画像の付加情報としてその画像の印象度を用いる。音楽の印象度は図１５（ｃ）に示す各項目について音楽の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。
【００６２】
メディアデータベース1402-1は、メディア２の画像の登録データベースである。メディアデータベース1402-1に登録されている画像の付加情報（印象度）は付加情報データベース1401に登録されている。図示していないが、他のメディア１，３についても同様のディアデータベース1402-2,1402-3を備えている。
【００６３】
メディア１付加情報選択部1403は、付加情報データベース1401からメディア１の該当する文章の印象度情報を取出す機能を有する。ニューラルネットワーク1404は、重要語の印象度を入力すると画像の印象度を出力すように学習されている。印象度一致判定部1405は、ニューラルネットワーク1404から与えられる画像の印象度と一致又は近似する印象度を付加情報データベース1401のメディア２から検索する機能を備える。メディア対選択部1406は、印象度一致判定部1405の検索した画像をメディアデータベース1402-1から取出す部分である。
【００６４】
次に、以上のように構成された異種メディア対予測装置の動作について説明する。
まず、ニューラルネットワーク1404の学習方法について説明する。ニューラルネットワーク1404をメディア１の重要語の印象度を入力すると対応する画像の印象度を出力するように学習する必要がある。そのために、メディア１とメディア２の訓練データから印象度情報をそれぞれ抽出する。メディア１の複数の文章Ｂ１〜Ｂｉ（訓練データ）についてそれぞれ重要語を抽出して重要語の印象度を複数の被験者に評価してもらう。評価値を項目毎に平均した値を重要語の印象度として保存する。もう一方のメディア２の複数の画像Ｍ１〜Ｍｉ（訓練データ）について複数の被験者に上記各項目で印象度を評価してもらう。評価値を項目毎に平均した値を画像の印象度として保存する。
【００６５】
次に、メディア１の文章Ｂ１〜Ｂｉとメディア２の画像Ｍ１〜Ｍｉとを各対にして、これらメディア対の適合度を被験者にそれぞれ評価してもらう。メディア１とメディア２のメディア対の中から適合度評価の高かった上位１／４組のメディア対を選択する。
【００６６】
図１６にニューラルネットワークの学習システムを示す。最適メディア対付加情報発生部1602は、適合度評価の高かった上位１／４組のメディア対の印象度を発生する。メディア対の一方であるメディア１の文章の印象度をニューラルネットワーク1601へ供給し、同メディア対を形成するもう一方のメディア２の画像の印象度を荷重最適化部1603へ入力する。
【００６７】
ニューラルネットワーク1601は、最初の入力では学習されていないので初期状態に応じた値が画像の印象度として出力される。ニューラルネットワーク1601の出力は荷重最適化部1603へ与えられる。荷重最適化部1603には、ニューラルネットワーク1601に入力した文章の印象度に対して高い適合度評価の画像の印象度が与えられているので、ニューラルネットワーク1601の出力が適合度評価の高い画像の印象度と一致するようにニューラルネットワーク1601の荷重ΔＷを修正する。高い適合度評価を得た他のメディア対についても同様にしてバックプロパゲーション方式で学習させていく。その結果、ニューラルネットワーク1601は最終的には文章の印象度を入力するとその文章に対して高い適合度評価を得た画像の印象度を出力するようになる。
【００６８】
上記したように訓練データで学習の完了したニューラルネットワーク1601の荷重情報1407を異種メディア対予測装置のニューラルネットワーク1404に設定する。
【００６９】
次に、異種メディア対予測装置の動作について説明する。
メディア１付加情報選択部1403に選択された文章の文章選択情報が入力されると、付加情報データベース1401から選択文章の印象度情報を取出してニューラルネットワーク1404に入力する。
【００７０】
図１７（ａ）に示すように、文章の印象度（明るさ、複雑さ等の項目に対する評価値）が入力すると、ネットワークを構成する各ニューロンに設定された荷重Ｗｉにしたがって画像の印象度を出力する。
【００７１】
印象度一致判定部1405が、ニューラルネットワーク1404から出力された画像の印象度と一致する又は近似する印象度を持った画像を付加情報データベース1401から検索してメディア対選択部1406へ通知する。メディア対選択部1406は印象度一致判定部1405から通知された画像をメディアデータベース1402-1から検索して出力する。
【００７２】
なお、以上の説明では文章の印象度からその文章に合った画像を予測する場合について説明したがメディア対に組み合わせは上記例に限定されるものではない。
【００７３】
また、上記実施の形態２では一つのメディアの印象度から一つのメディアを予測しているが、例えば図１７（ｂ）に示すように２つのメディア１，２（文章、画像）に対して別のメディア３（音楽）を予測するように変形することもできる。
【００７４】
このような変形例を実現するためには、メディア１，２の組み合わせとメディア３とを対として適合度を評価しておき、評価の高い対を用いてニューラルネットワークを学習する必要がある。ニューラルネットワークの入力はメディア１，２の印象度とし、出力をメディア３の印象度として、バックプロパゲーション方式の学習を行う。また、ニューラルネットワークの学習はバックプロパゲーション方式に限定されるものではない。
【００７５】
【発明の効果】
以上詳記したように本発明によれば、人間の持つ感性に合った異種メディア対を機械的に選択することのできる異種メディア対の予測方法及び異種メディア対予測装置を提供できる。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１の異種メディア対予測システムの全体構成図。
【図２】客観情報、感性情報の抽出結果及びメディア対の適合度評価結果を示す図。
【図３】音楽の客観情報の具体例を示す図。
【図４】音楽の形容詞対の具体例を示す図。
【図５】静止画の客観情報の具体例を示す図。
【図６】静止画の形容詞対の具体例を示す図。
【図７】実施の形態１の異種メディア対予測システムでの主成分分析のフロー図。
【図８】訓練データの客観情報及び感性情報に対する評価結果を示す図。
【図９】訓練データの客観情報及び感性情報の分散共分散行列を示す図。
【図１０】音楽の客観情報及び感性情報に関する主成分分析結果を示す図。
【図１１】画像の客観情報及び感性情報に関する主成分分析結果を示す図。
【図１２】実施の形態１における決定木学習アルゴリズムの概念図。
【図１３】決定木学習アルゴリズムのフロー図。
【図１４】本発明にかかる実施の形態２の異種メディア対予測装置の機能ブロック図。
【図１５】単語、画像、音楽の印象度の項目を示す図。
【図１６】実施の形態２におけるニューラルネットワーク学習システムの構成図。
【図１７】実施の形態２におけるニューラルネットワークでの予測動作を示す概念図。
【符号の説明】
１ 異種メディア対予測装置
２ 予測ルール作成部
３ 登録メディアデータベース
４ 付加情報データベース
５ メディア１付加情報選択部
６ メディア２付加情報選択部
７ メディア対適合度演算部
８ メディア対選択部
１１〜１３ 訓練データファイル群
１４ 主成分分析部
１５ 決定木学習部
１６ メディア対予測ルール作成部
１７ メディア対予測ルール
【発明の属する技術分野】
本発明は、音楽に合った画像、文章と画像に合った音楽といった具合に異種メディア間で適したメディア対を予測する異種メディア対の予測方法及びその装置に関する。
【０００２】
【従来の技術】
最近は、マルチメディアオーサリングシステムを使用して、音楽と画像といった異種メディアを融合したマルチメディアコンテンツを創作できるようになってきた。優れたコンテンツを創作するためには、多くの素材の中から「良い」素材を選択してくることが必要になる。しかし、画像を見てそれに適するような音楽を選別する等の仕事は、人間の感性が大きく影響してくるため、コンピュータの不得手とするところである。
【０００３】
また、異種メディアを組合わせてマルチメディアコンテンツを提供するものの一つに通信カラオケシステムが挙げられる。通信カラオケシステムは、データ転送量に制約があるため、楽曲固有の画像データが用意されているわけではなく、画像データは予め用意されたものを無作為に表示しているに過ぎない。しかし、個々の楽曲にあった画像データを表示できるようにするためには、予め無数の素材の中から個々の楽曲に合った画像を人間が自分の感性に基づいて選択する作業が必要となる。
【０００４】
【発明が解決しようとする課題】
このように、従来は異種メディアを組合わせたマルチメディアコンテンツを作成する場合、人間の感性が大きく左右するメディア対の選択を人間の手作業に頼っていたために作業効率が低く、また創作されたコンテンツに個人差があり品質が安定しないなどの問題があった。
【０００５】
本発明は、以上のような実情に鑑みてなされたものであり、人間の持つ感性に合った異種メディア対を機械的に選択することのできる異種メディア対の予測方法及び異種メディア対予測装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記課題を解決するために次のような手段を講じた。
本発明の異種メディア対の予測方法は、異種メディア間で適したメディア対を予測する異種メディア対の予測方法であって、複数の種類のメディアの素材を登録したメディアデータベースと、前記メディアデータベースに登録された各素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段とを予め設け、異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出ステップと、前記抽出ステップで抽出した客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算ステップと、前記演算ステップの演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択ステップと、を有するようにした。
また、本発明の異種メディア対予測装置は、異種メディア間で適したメディア対を予測する異種メディア対予測装置であって、複数の種類のメディアの素材を登録したメディアデータベースと、前記メディアデータベースに登録された各メディアの素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段と、異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出手段と、前記抽出手段によって抽出された客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算手段と、前記演算手段の演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択手段と、を有する構成を採る。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して具体的に説明する。
【００２０】
（実施の形態１）
図１に、本発明の実施の形態１となる異種メディア対予測システムの全体構成を示す。本実施の形態１の異種メディア対予測システムは、異種メディア対予測装置１と予測ルール作成部２とから構成される。
【００２１】
異種メディア対予測装置１は、登録メディアデータベース３、付加情報データベース４、メディア１付加情報選択部５、メディア２付加情報選択部６、メディア対適合度演算部７およびメディア対選択部８を備えている。
【００２２】
登録メディアデータベース３には、音楽（メディア１）、画像(メディア２）などの各種メディアの素材が登録されており、付加情報データベース４には登録メディアデータベース３に登録された個々の音楽、画像に関する客観情報と感性情報とからなる付加情報が登録されている。各メディアの付加情報の詳細については後述する。メディア１付加情報選択部５は付加情報データベース４からメディア１（音楽)のファイル内から選曲情報で指定された楽曲の付加情報を取出す部分であり、メディア２付加情報選択部６は付加情報データベース４からメディア２（画像)のファイル内から画像選択情報で指定された画像の付加情報を取出す分部である。メディア対適合度演算部７は、付加情報選択部５，６で選択したメディア対候補についての適合度を、異種メディア対予測演算ルールに基づいて算出する機能を備える。メディア対選択部８は、メディア対適合度演算部７の算出した各メディア対候補の適合度で最大値を示したメディア対候補を選択して該当する画像を登録メディアデータベース３から検索画像として取出す分部である。
【００２３】
予測ルール作成部２は、訓練データの各種情報が格納されたファイル群１１〜１３、主成分分析部１４、決定木学習部１５、メディア対予測ルール作成部１６、メディア対予測ルールの格納されるファイル１７を備えている。
【００２４】
主成分分析部１４は、訓練データの客観情報や感性情報を多変量とみなし、多変量によって表される変動をより少数の代表的、仮設的変動によって説明する主成分分析を実行する機能を備える。決定木学習部１５は、主成分分析部１４で得られた主成分を多変量とし、訓練データの各メディア対の適合度をクラスとして決定木学習アルゴリズムを適用することで、メディアの付加情報とメディア対の適合度との相関関係を抽出する。メディア対予測ルール作成部１６は、決定木学習部１５の抽出した相関関係を使用して異種メディア対の適合度を演算するためのルールを作成する。
【００２５】
次に、以上のように構成された異種メディア対予測システムの動作について説明する。
【００２６】
まず、予測ルール作成部２における異種メディア対の適合度演算のためのルール作成手順について説明する。
【００２７】
メディア１となる音楽とメディア２となる画像について、それぞれ複数の訓練データ（音楽１〜１０、画像１〜１０）が用意されているものとする。これら訓練データに対して人手により付加情報を付ける。
【００２８】
具体的には、メディア１の訓練データ（音楽１〜１０）から、図３に示すような客観的な情報（ｍｐ１〜ｍｐ４）を客観情報として抽出する一方、図４に示すような形容詞対に対して段階評価を付けた評価値をその音楽の感性情報（ｍ１〜ｍ１１）として抽出する。図２（ａ）にメディア１の訓練データ（音楽１〜１０）についての客観情報及び感性情報の抽出結果を示す。
【００２９】
また、メディア２の訓練データ（画像１〜１０）から、図５に示すような客観的な情報（ｐｐ１〜ｐｐ９）を客観情報として抽出する一方、図６に示すような形容詞対に対して段階評価を付けた評価値をその画像の感性情報（ｐ１〜ｐ１１）として抽出する。図２（ｂ）にメディア２の訓練データ（画像１〜１０）についての客観情報及び感性情報の抽出結果を示す。
【００３０】
予測ルール作成部２の客観情報ファイル１１には、メディア１（音楽１〜１０）とメディア２（画像１〜１０）の客観情報がそれぞれ格納されており、感性情報ファイル１２にはメディア１（音楽１〜１０）とメディア２（画像１〜１０）の感性情報がそれぞれ格納されている。
【００３１】
次に、メディア１の訓練データ（音楽１〜１０）とメディア２の訓練データ（画像１〜１０）との対からなる各メディア対について適合度を評価する。この評価結果をメディア対適合度情報として保存する。図２（ｃ）にメディア対適合度の評価結果を示す。このメディア対適合度情報がメディア対適合度情報ファイル１３に格納される。
【００３２】
主成分分析部１４で行われる主成分分析について説明する。主成分分析部１４は、客観情報ファイル１１及び感性情報ファイル１２からメディア１及びメディア２の客観情報及び感性情報を取り込み、図７に示すフローチャートに基づいてメディア１及びメディア２の各々について客観情報及び感性情報の主成分を求める。ここでは、メディア２の主成分分析について説明するが、メディア１についても同様に実施される。
【００３３】
メディア２の客観情報及び感性情報を変量として分散共分散行列Ｓを求める（Ｓ７０１）。ｎ個の素材（画像）が訓練データとしてあり、各素材は客観情報及び感性情報が変量となる。ここでは、各素材は客観情報及び感性情報合わせてｐ個の変量Ｘ１〜Ｘｐがあるものとする。訓練データを複数の人間が評価するので、客観情報及び感性情報の各項目（変量Ｘ１〜Ｘｐ）に対する評価値を画像毎に平均化し、さらに変量毎に全体平均を計算する。図８に訓練データを構成する個々の画像（１〜ｎ）について、変量Ｘ１〜Ｘｐに関する評価結果Ｘ１１〜Ｘｐｎと全体平均Ｘ１AVE〜ＸｐAVEの一覧を示す。
【００３４】
分散共分散行列Ｓを求めるために、変量Ｘ１〜Ｘｐの「分散」を求め、変量の各組み合わせについて「共分散」を求める。
【００３５】
まず、変量Ｘ１の分散＝Ｓ１2を式（１）に基づいて計算する。
【数１】
【数２】
【００３６】
次に、分散共分散行列Ｓの固有値λを求める（Ｓ７０２）。ｐ行ｐ列の分散共分散行列Ｓについて固有値問題を解くことによりｐ個の固有値λが得られる。これらｐ個の固有値を大きい順に並べ、大きさにしたがった優先順位λ１＞λ２＞λ３＞…＞λｐを求める（Ｓ７０３）。
【００３７】
ここで、主成分ｚの数を決めるために、現在ｐ個ある固有値λ１〜λｐの数をｍ個（ｍ＜ｐ）の固有値に制限する（Ｓ７０４）。主成分ｚの数を決める基準として、次のような基準が挙げられる。
１）分散共分散行列Ｓの固有値λのなかで１より大きい固有値の数
２）共通性の推定値を対角要素に代入した行列の正の固有値の数
これらの基準は、いずれも絶対的なものではない。固有値が１または０の付近で大きく変わる場合には、そこで切るようにしても良い。本実施の形態では基準１）を採用する。
【００３８】
いま、ｐ個の変量Ｘ１〜Ｘｐの変動をｍ個の主成分ｚ１〜ｚｍで表すとすれば、次のようになる。
【００３９】
【００４０】
一番大きいλ１を選択し（Ｓ７０５）、ｉ＝１として式（３−１）のλｉにλ１を代入して主成分ｚ１の固有ベクトル（ａ１１〜ａ１ｐ）についてｐ個の連立方程式を立てる。
【数３】
【数４】
【００４１】
１つの主成分ｚｉが求められたならば、ステップＳ７０４で選択した固有値λｉに残りがあるかどうか判断し（Ｓ７０８）、固有ベクトルλｉに残りが存在すればｉ＝ｉ＋１として優先順位の一つ低い固有ベクトルを選択し（Ｓ７０９）、ステップＳ７０６に処理を戻して固有ベクトル及び主成分ｚを求める。残りの固有値λが存在しなくなった時点でｍ個の主成分ｚ１〜ｚｍが求められたことになる。
【００４２】
図１０はメディア１について感性情報１１個、客観情報２個の変量から３個の主成分ｍｆ１、ｍｆ２、ｍｆ３を抽出した結果を示している。図１１はメディア２について感性情報１１個、客観情報９個の変量から３個の主成分ｐｆ１、ｐｆ２、ｐｆ３を抽出した結果を示している。なお、メディア１についてはｍｐ１とｍｐ３については連続値として表現できないので含めていない。
【００４３】
メディア１の主成分で高い評価が出ているのは、第１主成分では、「賑やかな」、「テンポの速い」、「楽しい」、「明るい」、第２主成分では、「Major Code」、「テンポが遅い」、「楽しい」、第３主成分では、「歌いやすい」、「力強い」である。また、メディア２の主成分で高い評価が出ているのは、第１主成分では、「さわやかな」、「安らかな」、「印象の良い」、第２主成分では、「楽しげな」、「雰囲気が明るい」、「動的な」、第３主成分では、「大人っぽい」、「ムードのある」、「洗練された」である。
【００４４】
決定木学習部１４は、上記したメディア１、メディア２の主成分ｍｆ１、ｍｆ２、ｍｆ３、ｐｆ１、ｐｆ２、ｐｆ３（以下、メディアを区別せずに主成分を表す場合は「ｚ１〜ｚｍ」を用いる）と、先に求めたメディア対適合度情報とが入力し、決定木学習アルゴリズムを適用して、客観情報及び感性情報とメディア対適合度との相関関係を抽出したマッピングルールを出力する。
【００４５】
以下、決定木学習部１４で制約条件を求める手順を詳しく説明する。
図１２に決定木学習アルゴリズムの概念図を示す。クラスが既知である対象群が、決まった数の属性集合で表されているとき、その分類規則は決定木の形で表すことができる。
【００４６】
いま、データ集合Ｄに含まれたデータが、決定木Ｈによってｍ個の排反なクラスＣ１〜Ｃｍに分類されたとする。データ集合Ｄは付加情報（客観情報及び感性情報の主成分、メディア対適合度情報）の抽出されたメディア１、メディア２の訓練データに相当し、排反なクラスＣ１〜Ｃｍはあるメディア１とメディア２の訓練データの各対の適合度評価値に相当するとすれば、決定木Ｈは主成分を属性として持つ複数のメディア対の集合を、客観情報及び感性情報からなる制約条件の組み合わせによりある適合度評価値に分類するアルゴリズムであるといえる。したがって、根節点及び各中間節点における制約条件が判れば、異種メディア対の客観情報及び感性情報からそのメディア対の適合度評価値を機械的に求めることができることになる。
【００４７】
以下、図１３のフローチャートを用いて制約条件を決定するための処理内容について詳細に説明する。
【００４８】
メディア１とメディア２の訓練データのメディア対のデータ集合ＤがクラスＣ１〜Ｃｍに分類されたとする。クラスＣｉに分類されるデータ数をｄｉとして、あるデータがクラスＣｉに分類される確率Ｐｉを求める（Ｓ1301）。確率Ｐｉは下式にて表すことができる。
【数５】
【００４９】
【数６】
【数７】
【数８】
【数９】
【００５０】
テストの選択が終了したら、選択したテストｔｊをその根節点での制約条件としてデータ集合Ｄを分類する（Ｓ1309）。データ集合Ｄが複数のグループに分類されたとすれば、各グループに異なる適合度評価値を持つメディア対が存在するか否かチェックをかける（Ｓ1310)。同一の適合度評価値を持つメディア対が同じグループに分類されたかいなか判断する（Ｓ1311)。その結果、同じグループに同一評価値のメディア対だけが分類されていれば、そのグループを最終的なクラスとして決定する。また、一つのグループに複数の評価値のメディア対が含まれていれば、そこを中間節点として新しく部分木を生成する（Ｓ1312)。新しく生成した部分木について上記ステップＳ1301〜Ｓ1311と同様な処理を実行してテストの選択と分類を繰り返す。
【００５１】
以上のようにして、テストの選択と分類を繰り返すことにより、データ集合Ｄを排反なクラスＣ１〜Ｃｍに分類する決定木Ｈの根節点及び中間節点における制約条件が決まる。
【００５２】
決定木Ｈにおいて根節点からクラスＣｉに至るルートに存在する節の制約条件がルールｆとなる。ルールｆを規定している制約条件は主成分ｚ１〜ｚｍで表されており、主成分ｚ１〜ｚｍは客観情報と感性情報とで表すことができるので、メディア１とメディア２のメディア対のそれぞれの客観情報と感性情報とそのメディア対の適合度評価値との相関関係を規定する適合度予測ルールを、メディア１とメディア２の客観情報及び感性情報で表現できることになる。
【００５３】
メディア対予測ルール作成部１６は、決定木学習部１５から与えられる制約条件を用いて異種メディア対予測装置１に認識できる形式の上記適合度予測ルールｆを作成する。作成した適合度予測ルールｆはファイル１７に格納され、異種メディア対予測装置１のメディア対適合度演算部７へ与えられる。
【００５４】
異種メディア対予測装置１の動作として、選曲された音楽に合った画像を検索する例を説明する。
【００５５】
ある音楽が選択された場合、その選曲情報がメディア１付加情報選択部５に入力される。メディア１付加情報選択部５は、選曲情報に対応した音楽の付加情報（客観情報及び感性情報）を付加情報データベース４から取出してメディア対適合度演算部７へ入力する。また、選曲情報の入力と前後して画像選択情報がメディア２付加情報選択部６へ入力される。メディア２付加情報選択部６は、画像選択情報の入力があると付加情報データベース４からメディア２に登録されている画像の付加情報（客観情報及び感性情報）を順番に取出してメディア対適合度演算部７へ入力する。
【００５６】
メディア対適合度演算部７では、音楽１が選択されたとすればその付加情報（客観情報及び感性情報）と画像１の付加情報（客観情報及び感性情報）とから上記適合度予測ルールを適用して音楽１と画像２との適合度を予測演算する。メディア対適合度演算部７にて演算された音楽１と画像２とからなる異種メディア対の適合度評価値はメディア対選択部８へ与えられる。メディア対適合度演算部７には、メディア２付加情報選択部６から指定のタイミングで順次残りの画像２，３・・・の付加情報（客観情報及び感性情報）が与えられるので、その都度、異種メディア対の適合度評価値が演算されてメディア対選択部８へ与えられる。
【００５７】
メディア対選択部８は、音楽１と各画像１，２・・・との各異種メディア対の適合度評価値から最大値の異種メディア対を検索し、検索したメディア対の一歩有為のメディアである画像の番号を認識する。認識した画像番号に相当する画像データを登録メディアデータベース３から検索して出力する。
【００５８】
以上の説明ではメディア１とメディア２のメディア対について説明したが、他のメディア対についても同様に適合度予測ルールｆを抽出し、そのルールｆに基づいて異種メディア対の適合度を予測することができる。
【００５９】
このような実施の形態によれば、異種メディア対の適合度を客観情報と感性情報とに基づいて予測する適合度予測ルールｆを訓練データを用いて抽出し、この抽出した適合度予測ルールｆを用いて実際の異種メディア対に適合度を予測するので、多数の素材の中から最適な異種メディア対をコンピュータで機械的に検索することが出来、作業効率を大幅に改善できると共に、安定した品質のマルチメディアコンテンツを提供できる。
【００６０】
本実施の形態によれば、決定木学習部１５で決定木学習アルゴリズムを適用して制約条件を求める際の前処理として、訓練データの客観情報と感性情報の主成分分析を行い変量を減らしているので、決定木学習部１５での負荷を軽減できる。
【００６１】
（実施の形態２）
図１４に、本発明の実施の形態２となる異種メディア対予測装置の全体構成を示す。本実施の形態２の異種メディア対予測装置は、付加情報データベース1401、メディアデータベース1402-1・・・、メディア１付加情報選択部1403、ニューラルネットワーク1404、印象度一致判定部1405、メディア対選択部1406から構成される。本実施の形態では、メディア１（文章）とメディア２（画像）との異種メディア対の適合度を予測する場合を例にして説明する。
付加情報データベース1401は、メディア１（文章）、メディア２（画像）、メディア３（音楽）の付加情報が登録されている。メディア１となる文章の付加情報としてその文章の印象度を用いる。その文章で使われている「単語（名詞）」で、頻度の高いものを重要語として抽出し、その重要語についての印象度を平均したものを文章の印象度としている。図１５（ａ）に重要語の印象度を評価するための項目を示す。各項目について重要語の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。メディア２となる画像の付加情報としてその画像の印象度を用いる。画像の印象度は図１５（ｂ）に示す各項目について画像の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。メディア２となる画像の付加情報としてその画像の印象度を用いる。音楽の印象度は図１５（ｃ）に示す各項目について音楽の印象度を段階評価して複数の被験者の評価値を平均したものを各項目について求めておく。
【００６２】
メディアデータベース1402-1は、メディア２の画像の登録データベースである。メディアデータベース1402-1に登録されている画像の付加情報（印象度）は付加情報データベース1401に登録されている。図示していないが、他のメディア１，３についても同様のディアデータベース1402-2,1402-3を備えている。
【００６３】
メディア１付加情報選択部1403は、付加情報データベース1401からメディア１の該当する文章の印象度情報を取出す機能を有する。ニューラルネットワーク1404は、重要語の印象度を入力すると画像の印象度を出力すように学習されている。印象度一致判定部1405は、ニューラルネットワーク1404から与えられる画像の印象度と一致又は近似する印象度を付加情報データベース1401のメディア２から検索する機能を備える。メディア対選択部1406は、印象度一致判定部1405の検索した画像をメディアデータベース1402-1から取出す部分である。
【００６４】
次に、以上のように構成された異種メディア対予測装置の動作について説明する。
まず、ニューラルネットワーク1404の学習方法について説明する。ニューラルネットワーク1404をメディア１の重要語の印象度を入力すると対応する画像の印象度を出力するように学習する必要がある。そのために、メディア１とメディア２の訓練データから印象度情報をそれぞれ抽出する。メディア１の複数の文章Ｂ１〜Ｂｉ（訓練データ）についてそれぞれ重要語を抽出して重要語の印象度を複数の被験者に評価してもらう。評価値を項目毎に平均した値を重要語の印象度として保存する。もう一方のメディア２の複数の画像Ｍ１〜Ｍｉ（訓練データ）について複数の被験者に上記各項目で印象度を評価してもらう。評価値を項目毎に平均した値を画像の印象度として保存する。
【００６５】
次に、メディア１の文章Ｂ１〜Ｂｉとメディア２の画像Ｍ１〜Ｍｉとを各対にして、これらメディア対の適合度を被験者にそれぞれ評価してもらう。メディア１とメディア２のメディア対の中から適合度評価の高かった上位１／４組のメディア対を選択する。
【００６６】
図１６にニューラルネットワークの学習システムを示す。最適メディア対付加情報発生部1602は、適合度評価の高かった上位１／４組のメディア対の印象度を発生する。メディア対の一方であるメディア１の文章の印象度をニューラルネットワーク1601へ供給し、同メディア対を形成するもう一方のメディア２の画像の印象度を荷重最適化部1603へ入力する。
【００６７】
ニューラルネットワーク1601は、最初の入力では学習されていないので初期状態に応じた値が画像の印象度として出力される。ニューラルネットワーク1601の出力は荷重最適化部1603へ与えられる。荷重最適化部1603には、ニューラルネットワーク1601に入力した文章の印象度に対して高い適合度評価の画像の印象度が与えられているので、ニューラルネットワーク1601の出力が適合度評価の高い画像の印象度と一致するようにニューラルネットワーク1601の荷重ΔＷを修正する。高い適合度評価を得た他のメディア対についても同様にしてバックプロパゲーション方式で学習させていく。その結果、ニューラルネットワーク1601は最終的には文章の印象度を入力するとその文章に対して高い適合度評価を得た画像の印象度を出力するようになる。
【００６８】
上記したように訓練データで学習の完了したニューラルネットワーク1601の荷重情報1407を異種メディア対予測装置のニューラルネットワーク1404に設定する。
【００６９】
次に、異種メディア対予測装置の動作について説明する。
メディア１付加情報選択部1403に選択された文章の文章選択情報が入力されると、付加情報データベース1401から選択文章の印象度情報を取出してニューラルネットワーク1404に入力する。
【００７０】
図１７（ａ）に示すように、文章の印象度（明るさ、複雑さ等の項目に対する評価値）が入力すると、ネットワークを構成する各ニューロンに設定された荷重Ｗｉにしたがって画像の印象度を出力する。
【００７１】
印象度一致判定部1405が、ニューラルネットワーク1404から出力された画像の印象度と一致する又は近似する印象度を持った画像を付加情報データベース1401から検索してメディア対選択部1406へ通知する。メディア対選択部1406は印象度一致判定部1405から通知された画像をメディアデータベース1402-1から検索して出力する。
【００７２】
なお、以上の説明では文章の印象度からその文章に合った画像を予測する場合について説明したがメディア対に組み合わせは上記例に限定されるものではない。
【００７３】
また、上記実施の形態２では一つのメディアの印象度から一つのメディアを予測しているが、例えば図１７（ｂ）に示すように２つのメディア１，２（文章、画像）に対して別のメディア３（音楽）を予測するように変形することもできる。
【００７４】
このような変形例を実現するためには、メディア１，２の組み合わせとメディア３とを対として適合度を評価しておき、評価の高い対を用いてニューラルネットワークを学習する必要がある。ニューラルネットワークの入力はメディア１，２の印象度とし、出力をメディア３の印象度として、バックプロパゲーション方式の学習を行う。また、ニューラルネットワークの学習はバックプロパゲーション方式に限定されるものではない。
【００７５】
【発明の効果】
以上詳記したように本発明によれば、人間の持つ感性に合った異種メディア対を機械的に選択することのできる異種メディア対の予測方法及び異種メディア対予測装置を提供できる。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１の異種メディア対予測システムの全体構成図。
【図２】客観情報、感性情報の抽出結果及びメディア対の適合度評価結果を示す図。
【図３】音楽の客観情報の具体例を示す図。
【図４】音楽の形容詞対の具体例を示す図。
【図５】静止画の客観情報の具体例を示す図。
【図６】静止画の形容詞対の具体例を示す図。
【図７】実施の形態１の異種メディア対予測システムでの主成分分析のフロー図。
【図８】訓練データの客観情報及び感性情報に対する評価結果を示す図。
【図９】訓練データの客観情報及び感性情報の分散共分散行列を示す図。
【図１０】音楽の客観情報及び感性情報に関する主成分分析結果を示す図。
【図１１】画像の客観情報及び感性情報に関する主成分分析結果を示す図。
【図１２】実施の形態１における決定木学習アルゴリズムの概念図。
【図１３】決定木学習アルゴリズムのフロー図。
【図１４】本発明にかかる実施の形態２の異種メディア対予測装置の機能ブロック図。
【図１５】単語、画像、音楽の印象度の項目を示す図。
【図１６】実施の形態２におけるニューラルネットワーク学習システムの構成図。
【図１７】実施の形態２におけるニューラルネットワークでの予測動作を示す概念図。
【符号の説明】
１ 異種メディア対予測装置
２ 予測ルール作成部
３ 登録メディアデータベース
４ 付加情報データベース
５ メディア１付加情報選択部
６ メディア２付加情報選択部
７ メディア対適合度演算部
８ メディア対選択部
１１〜１３ 訓練データファイル群
１４ 主成分分析部
１５ 決定木学習部
１６ メディア対予測ルール作成部
１７ メディア対予測ルール
Claims (7)
- 異種メディア間で適したメディア対を予測する異種メディア対の予測方法であって、
複数の種類のメディアの素材を登録したメディアデータベースと、前記メディアデータベースに登録された各素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段とを予め設け、
異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出ステップと、
前記抽出ステップで抽出した客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算ステップと、
前記演算ステップの演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択ステップと、
を有する異種メディア対の予測方法。 - 異種メディア間で適したメディア対を予測する異種メディア対予測装置であって、
複数の種類のメディアの素材を登録したメディアデータベースと、
前記メディアデータベースに登録された各メディアの素材に関する客観情報及び感性情報を付加情報として登録した付加情報データベースと、
異種メディア対を構成する各素材の客観情報及び感性情報と異種メディア対の適合度との相関関係を規定した適合度予測ルールを格納した記憶手段と、
異種メディア対候補を構成する各素材の客観情報及び感性情報を前記付加情報データベースから抽出する抽出手段と、
前記抽出手段によって抽出された客観情報及び感性情報に基づいて、前記記憶手段に格納された適合度予測ルールを用いて、前記異種メディア対候補の適合度を演算する演算手段と、
前記演算手段の演算結果に基づいて、前記異種メディア対候補の中から最も適合度が高い異種メディア対を選択する選択手段と、
を有する異種メディア対予測装置。 - 前記客観情報は、各メディアの素材に関する客観的な情報であり、前記感性情報は、形容詞対に対して段階評価を付けた評価値である、請求項２記載の異種メディア対予測装置。
- 前記複数の種類のメディアは、音楽、画像、および文章を含む、請求項２記載の異種メディア対予測装置。
- 前記適合度予測ルールは、異種メディア対の訓練データの客観情報及び感性情報と、前記訓練データの各メディア対の適合度を評価した結果であるメディア対適合度情報とを入力し、決定木学習アルゴリズムを適用して、客観情報及び感性情報とメディア対適合度との相関関係を抽出したマッピングルールである、請求項２記載の異種メディア対予測装置。
- 前記適合度予測ルールは、各メディアの訓練データから客観情報及び感性情報を抽出する一方、前記訓練データを用いて異種メディア対の適合度を評価し、前記訓練データの異種メディア対をデータ集合Ｄ、前記訓練データの異種メディア対の適合度評価値をクラスＣ１〜Ｃｍ、前記訓練データの客観情報及び感性情報を属性値（Ｘ１〜Ｘｐ）として、全ての属性値に対して部分木の伝達する情報量を求め、情報量が最大になるテストの選択を実施し、選択したテストに対応する制約条件でデータ集合Ｄを分類し、分類された異種メディア対が同一の適合度評価値を持つようになるまでテストの選択と分類を繰り返し、それによって得られた制約条件から適合度予測ルールを作成する、請求項２記載の異種メディア対予測装置。
- テストの選択を行う前段で、前記訓練データの客観情報及び感性情報について主成分分析を行い、属性値として属性数が制限された主成分（ｚ１〜ｚｐ）を用いる、請求項６記載の異種メディア対予測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23652397A JP3840321B2 (ja) | 1997-08-18 | 1997-08-18 | 異種メディア対の予測方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23652397A JP3840321B2 (ja) | 1997-08-18 | 1997-08-18 | 異種メディア対の予測方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1166028A JPH1166028A (ja) | 1999-03-09 |
| JP3840321B2 true JP3840321B2 (ja) | 2006-11-01 |
Family
ID=17001965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23652397A Expired - Fee Related JP3840321B2 (ja) | 1997-08-18 | 1997-08-18 | 異種メディア対の予測方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3840321B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003242060A1 (en) * | 2003-06-09 | 2005-01-04 | Matsushita Electric Industrial Co., Ltd | Kansei mastering device |
| CN101313364B (zh) * | 2005-11-21 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法 |
| JP5469884B2 (ja) * | 2009-03-09 | 2014-04-16 | 株式会社ニコンシステム | 画像音楽再生装置 |
-
1997
- 1997-08-18 JP JP23652397A patent/JP3840321B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1166028A (ja) | 1999-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216620B1 (en) | Methods and apparatuses for training service model and determining text classification category | |
| US20080097937A1 (en) | Distributed method for integrating data mining and text categorization techniques | |
| Li et al. | Using text mining and sentiment analysis for online forums hotspot detection and forecast | |
| CN107491531A (zh) | 基于集成学习框架的中文网络评论情感分类方法 | |
| CN109933686B (zh) | 歌曲标签预测方法、装置、服务器及存储介质 | |
| CN108763354B (zh) | 一种个性化的学术文献推荐方法 | |
| JP2011060182A (ja) | コンテンツ選択システム | |
| CN111695042A (zh) | 基于深度游走和集成学习的用户行为预测方法及系统 | |
| CN112579794B (zh) | 一种为中英文单词对预测义原树的方法及系统 | |
| CN108509421A (zh) | 基于随机游走和粗糙决策置信度的文本情感分类方法 | |
| CN114358657B (zh) | 一种基于模型融合的岗位推荐方法及装置 | |
| Rutkowski et al. | On explainable fuzzy recommenders and their performance evaluation | |
| CN112487237B (zh) | 基于自适应cnn和半监督自训练模型的音乐分类方法 | |
| JP5747508B2 (ja) | 対訳情報検索装置、翻訳装置及びプログラム | |
| Sharaff et al. | Analysing fuzzy based approach for extractive text summarization | |
| CN114492423A (zh) | 基于特征融合及筛选的虚假评论检测方法、系统及介质 | |
| Leman et al. | Rabin karp and Winnowing algorithm for Statistics of text document plagiarism detection | |
| Koops et al. | Chord label personalization through deep learning of integrated harmonic interval-based representations | |
| Ozer | Data mining algorithms for classification | |
| JP3840321B2 (ja) | 異種メディア対の予測方法及びその装置 | |
| KR102663632B1 (ko) | 인공지능 기반의 미술품 거래의 트랜드 예측 장치 및 방법 | |
| Arronte Alvarez et al. | Distributed vector representations of folksong motifs | |
| CN111708865A (zh) | 一种基于改进XGBoost算法的技术预见及专利预警分析方法 | |
| KR20210053539A (ko) | 특허 신규성 판단 시스템 및 방법 | |
| JPH08190578A (ja) | 設計支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060807 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |