JP5469884B2

JP5469884B2 - 画像音楽再生装置

Info

Publication number: JP5469884B2
Application number: JP2009054614A
Authority: JP
Inventors: 弘二西垣
Original assignee: Nikon Systems Inc
Current assignee: Nikon Systems Inc
Priority date: 2009-03-09
Filing date: 2009-03-09
Publication date: 2014-04-16
Anticipated expiration: 2029-03-09
Also published as: JP2010210746A

Description

本発明は、画像音楽再生装置に関する。

従来から、音楽鑑賞の環境を向上させるための様々な試みが行われている。例えば、デジタル音楽再生装置は、再生中に視覚エフェクトを表示する方法や、画像データを割り当てる方法や、複数の音楽データから構成されるアルバムにおいては、音楽データの曲調を解析して自動分類し、気分や雰囲気、時間帯にあった楽曲を自動的に選択する方法等を提供している（例えば、特許文献１参照）。また、従来、画像の印象を判定する方法としては、例えば、画像の印象に影響を与えている部分領域及び複数の特徴量の部分ベクトルを特定して画像の印象を判定する方法が知られている（例えば、非特許文献１参照）。

特許第３３２７８９８号公報

電子情報通信学会技術研究報告信学技報Ｖｏｌ．１０８Ｎｏ．９３第１５７−１６２ページ

しかしながら、聴覚及び視覚の両面から体感される場合では、従来の音楽データ再生中に視覚エフェクトを表示する方法は、設定されたエフェクトが繰り返し表示されるものであった。また、画像データを割り当てる方法では、音楽再生中に付加・再生される画像は、コンテンツ作成者が選択したものであった。そして、自動で画像の印象判定する方法では、その画像の印象は、ユーザーの好みがフィードバックされるものとはなっていないので、自動で選択された画像を音楽再生中に表示すると、その画像が、ユーザーの好みや感覚と合っていない場合があるが、このような場合でも、自動で選択される画像の条件を修正してユーザーに提供できないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、音楽の印象と画像の印象を自動で判定し、この判定に従って、音楽を再生する際の画像を自動で選択し、音楽再生時にその画像を表示することができると共に、その画像がユーザーの好みや感覚に合致していない場合に、ユーザーの操作を反映して、画像データの選択条件をユーザーの好みに合わせて調整できる画像音楽再生装置を提供することを目的とする。

前記課題を解決するために、本発明に係る画像音楽再生装置は、音楽を記憶する音楽データ記憶部と、画像を記憶する画像データ記憶部と、音楽の印象を記憶する音楽印象記憶部と、予め学習画像により学習した結果である印象判定用学習結果を記憶する印象判定用学習結果記憶部と、画像データ記憶部に記憶されている画像の印象を、印象判定用学習結果記憶部に記憶されている印象判定用学習結果を用いて判定する画像印象判定部と、画像印象判定部の判定結果を記憶する画像印象記憶部と、音楽を再生する音楽再生部と、画像を表示する画像表示部と、音楽再生部で音楽を再生する際に、音楽印象記憶部に記憶されている音楽の印象を取得して、当該音楽の印象に対応する印象を有する画像を画像印象記憶部の判定結果を参照して選択し、選択された画像を画像表示部に表示するイメージ選択部と、イメージ選択部により選択され、画像表示部に表示している画像に対する使用者の操作情報を画像印象記憶部に記憶する画像印象更新部と、を有する。

そして、画像印象更新部は、画像印象記憶部に記憶された操作情報を、イメージ選択部により画像を選択する際に、印象判定用学習結果記憶部の印象判定用学習結果に反映する構成を有する。

また、このような画像音楽再生装置において、印象判定用学習結果記憶部の印象判定用学習結果は、複数の印象語に対する学習結果を記憶しており、画像印象判定部は、画像の特徴量を算出する特徴量演算部と、画像に対して複数の印象語毎に印象判定を行う印象判定部と、印象語毎の印象判定部の印象判定の結果から、画像に対する印象語の優先度を決定する印象決定部と、を有し、画像印象更新部は、操作情報を印象判定用学習結果及び画像印象記憶部に印象語毎に記憶するように構成されていることが好ましい。

このとき、画像印象更新部は、複数の印象語の内で任意の印象語に対する、操作情報が閾値回数以上になった際に、印象判定部に対して補正を加えるように構成されていることが好ましい。

本発明に係る画像音楽再生装置を以上のように構成すると、音楽の再生中に表示される画像を自動的に選択でき、さらにその画像の選択に際し、ユーザーの好みに合わせたものに調整できる。

画像音楽再生装置の一例を示しており、（ａ）は画像表示部に画像が表示されている状態の概略図であり、（ｂ）は別の画像音楽再生装置の例を示す概略図である。画像音楽再生装置の構成を示すブロック図である。上記画像音楽再生装置の画像印象判定部の構成を示すブロック図である。音楽の印象語に対応する画像の印象語を記憶している印象語定義データテーブルのデータ構造を示すデータ構造図である。画像の印象語において矛盾する印象語を記憶している印象語関係定義データテーブルのデータ構造を示すデータ構造図である。画像印象記憶部内の画像印象データテーブルのデータ構造を示すデータ構造図である。音楽印象記憶部内の音楽印象データテーブルのデータ構造を示すデータ構造図である。印象判定用学習結果記憶部内の前処理データテーブルのデータ構造を示すデータ構造図である。印象判定用学習結果記憶部内の特徴量データテーブルのデータ構造を示すデータ構造図である。音楽印象判定部における処理を示すフローチャートである。画像印象判定部における処理を示すフローチャートである。イメージ選択部における処理を示すフローチャートである。外部印象判定学習部における処理を示すフローチャートである。上記外部印象判定学習部における処理において、印象に影響を与える部分領域が特定される課程を示す説明図である。上記外部印象判定学習部における処理において、弱識別器を構築する処理の詳細を示すフローチャートである。画像印象更新部における処理を示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照して説明する。図１（ａ）に示すように、この画像音楽再生装置１００は、例えばＡＶ装置であり、画像を表示する画像表示部１０１と、音楽を再生する音楽再生部１０２と、を有している。この画像表示部１０１及び音楽再生部１０２は、図１（ｂ）のように映像信号出力部１０１′と音声信号出力部１０２′であっても良い。また、画像音楽再生装置１００は、図２に示すように、音楽データが記憶されている内部音楽ストレージ３０２と、画像データが記憶されている内部画像ストレージ２０２と、音楽データの印象を判定する音楽印象判定部３０４と、画像データの印象を判定する画像印象判定部２０４と、画像データの印象を記憶する画像印象記憶部２０６と、音楽データの印象を記憶する音楽印象記憶部３０６と、選択された音楽データに対してふさわしい印象を有する画像データを内部画像ストレージ２０２又は外部画像ストレージ２０１から選択・取得するイメージ選択部２１０と、イメージ選択部２１０で選択・取得された音楽データを再生する音楽再生部１０２と、画像データを表示する画像表示部１０１と、を有する。また、画像印象判定部２０４の結果をカスタマイズする（ユーザーの嗜好に調整する）画像印象更新部２０５と、音楽の印象語と画像の印象語とを対応させるための定義ファイル等を記憶する定義情報記憶部２１１とを有する。ここで、音楽データ及び画像データは、それぞれ外部音楽ストレージ３０１及び外部画像ストレージ２０１に記憶することもできる。つまり、内部音楽ストレージ３０２及び外部音楽ストレージ３０１は、音楽のデータを記憶する記憶部であり、内部画像ストレージ２０２及び外部画像ストレージ２０１は、画像のデータを記憶する記憶部である。

ここで、本実施形態における音楽は、リズム（律動）、メロディー（旋律）、ハーモニー（和音）をもつもの、すなわち、人の声、あるいはピアノやバイオリンなどの楽器の音などのように、規則正しい振動により起こる音であって、毎秒規則的に一定した振動数を繰り返すことにより一定の音の高さが生じる音（楽音）や、風や波の音、あるいは太鼓やシンバルなどの打楽器等の音であり一定の高音を持たない音（噪音）も含む。つまり、ここでの音楽は、物の響きや鳥獣の声などの物体の振動が音波（空気の振動）として伝わるもの、すなわち、音の媒質（気体・液体・固体など）が、発音体の振動を受けることにより弾性波動を生じ、その弾性波動が、聴覚器官の聴覚細胞を刺激することにより感知されるものであり、聴覚を通じ知覚されるもの（音）である。従って、ここでの音楽は、例えば、クラシックのような楽器による演奏の音や、音楽と歌詞からなる唄や、和歌や短歌等の詩や、落語のように音声のみのものや、風や波の音、鳥獣の声などの音も含むものである。

イメージ選択部２１０は、音楽データを内部音楽ストレージ３０２又は外部音楽ストレージ３０１から選択し、その選択された音楽データに対してふさわしい印象を有する画像データを内部画像ストレージ２０２又は外部画像ストレージ２０１から選択・取得する。そしてイメージ選択部２１０は、音楽再生部１０２で音楽データを再生中にその画像データを画像表示部１０１に表示する。例えば、音楽印象判定部３０４が再生される音楽データの印象を“アクティブ”と判定すると、イメージ選択部２１０は、画像印象記憶部２０６と定義情報記憶部２１１の定義ファイル等を参照して、“アクティブ”の印象語と対応する印象語を有する画像データを選択し、その画像データのファイルを内部画像ストレージ２０２又は外部画像ストレージ２０１から取得し、画像表示部１０１に表示する。

ここで、定義情報記憶部２１１に記憶されている定義ファイル等は、得られた音楽の印象から画像を選択するための定義である印象語定義データテーブル４００と（図４参照）、複数の画像の印象語においてそれぞれ矛盾する関係にある印象語を定義している印象語関係定義データテーブル５００（図５参照）である。図４に示すように、印象語定義データテーブル４００のデータ構造は、音楽の印象語を記憶する音楽の印象語カラム４００ａと、音楽の印象語に対応する画像の印象語候補を記憶する画像印象語候補カラム４００ｂと、を有している。また、図５に示すように、印象語関係定義データテーブル５００は、予め設定された印象語Ａ、印象語Ｂ、・・・、印象語ＸＸを記憶する画像印象語カラム５００ａと、画像印象語カラム５００ａに設定された印象語と矛盾する印象語の候補を記憶する矛盾印象語カラム５００ｂと、を有している。

また、画像印象記憶部２０６は、画像の印象の判定結果である画像印象データテーブル６００を記憶している。図６に示すように、この画像印象データテーブル６００のデータ構造は、ファイル名が記憶されるファイル名カラム６００ａと、パス名が記憶されるパス名カラム６００ｂと、印象語優先順位カラム６００ｃと、を有している。印象語優先順位カラム６００ｃは、その画像の印象判定の結果を優先度の高い順番（スコアの高い順）に記憶している。そして、この印象語優先順位カラム６００ｃには、その画像の印象語を記憶する印象語カラム６０１ｃと、ユーザーの操作情報の１つであるＯＫ判断のカウント数を記憶する正判定カラム６０２ｃと、操作情報の１つであるＮＧ判断のカウント数が記憶される誤判定カラム６０３ｃと、が優先度順に記憶されている。例えば、画像印象データテーブル６００の正判定カラム６０２ｃの欄の”ｏ_１ａ”は、ファイル１の”印象語Ａ”を有する画像が画像表示部１０１に表示されている際に、ユーザーによる操作情報の１つであるＯＫ判定をした回数である。また、同様に、画像印象データテーブル６００の誤判定カラム６０３ｃの欄の”ｎ_１ａ”は、ファイル１の”印象語Ａ”有する画像が画像表示部１０１に表示されている際に、ユーザーによる操作情報の１つであるＮＧ判定をした回数である。ここで、ユーザーによる操作情報は、画像表示部１０１自体が、タッチパネル操作部として機能するので、ユーザーは画像表示部１０１を介して、操作情報を画像音楽再生装置１００に入力できる。

そして、音楽印象記憶部３０６は、音楽の印象の判定結果である音楽印象データテーブル７００を記憶している。この音楽印象データテーブル７００のデータ構造は、図７に示すように、音楽のファイル名が記憶されるファイル名カラム７００ａと、音楽のファイルのパス名が記憶されるパス名カラム７００ｂと、ファイルの印象語カラム７００ｃと、を有している。

本実施形態の画像音楽再生装置１００は、表示中の画像が再生中の音楽データのイメージに相応しくないとユーザーが判断した場合に、ユーザーは画像表示部１０１を介してその画像をスキップ（操作情報の１つとしてＮＧ判定となる情報である）させることができる。また、逆に、ユーザーがこの画像（画像データ）が音楽データのイメージに合致していると判断した場合には、その画像の更新を止めて画像表示部１０１に表示し続けることができる（操作情報の１つとしてＯＫ判定となる情報である）。そして、このようなユーザーの操作情報が画像音楽再生装置１００に入力されると、画像印象更新部２０５は、画像印象記憶部２０６の画像印象データテーブル６００の正判定カラム６０２ｃ又は誤判定カラム６０３ｃの値を更新し、これをイメージ選択部２１０の画像の選択に際し、反映させることができる。これにより、再生された音楽データに対し表示する画像データは、ユーザー毎にカスタマイズできる。また、この時、ある設定回数、ユーザーが上述のような操作を行うと、印象判定用学習結果記憶部２１７（図３参照）に記憶されている印象判定用学習結果が更新される。具体的には、後述する画像の印象判定に用いられる識別器の重みの値が更新され、その結果が、印象判定用学習結果記憶部２１７と画像印象記憶部２０６に反映され、各記憶部内のデータが更新されることで、更に、ユーザーの好みとなるように調整できる。

また、本実施形態の画像音楽再生装置１００に備わる画像印象判定部２０４は、図３に示すように、画像の印象判定を行う前に画像に対し前処理を行う画像前処理部２１４と、前処理した画像の特徴量を抽出する特徴量演算部２１５と、特徴量に基づいて画像の印象語に対する印象判定を行う印象判定部２１６と、印象語関係定義データテーブル５００に基づいて画像の印象を決定する印象決定部２１９と、特徴量演算部２１５及び印象判定部２１６が、画像の印象判定を行う際に参照する印象判定用学習結果記憶部２１７の印象判定用学習結果と、を有する。印象判定部２１６は、印象語毎の判定部２１６ａを有しており、印象語毎の判定部２１６ａは、それぞれが後述する弱識別器を１つ持っている。

そして、印象判定用学習結果記憶部２１７は、外部印象判定学習部２１８によって学習された結果が記憶されている。具体的には、印象判定用学習結果記憶部２１７は、印象判定用学習結果である前処理データテーブル９００（図８（ａ）参照）、特徴量データテーブル９０１（図８（ｂ）参照）及び、印象語毎の学習結果テーブル９０２（図９参照）と、を記憶している。前処理条件データテーブル９００は、後述するように画像の印象判定を行う際に、画像に対し行う前処理に関するデータが記憶されている。前処理条件データテーブル９００のデータ構造は、図８（ａ）に示すように、画像データに対する前処理の条件としていくつかの属性（例えば、「リサイズ」、「ＥＸＩＦサムネイル画像使用」、「平滑化」など）を記憶する属性カラム９００ａとその属性に対する条件値が記憶されている条件値カラム９００ｂと、を有している。また、特徴量データテーブル９０１は、画像の印象判定を行う際に参照されるデータである。この特徴量データテーブル９０１のデータ構造は、図８（ｂ）に示すように、任意の印象語が記憶されている印象語カラム９０１ａと、その印象語に対する１番目特徴量〜Ｎ番目特徴量を記憶する特徴量カラム９０１ｂと、を有する。尚、この１番目特徴量〜Ｎ番目特徴量は、ＭＰＥＧ７で規格化されている、スケーラブルカラー（Scalable Color）やエッジヒストグラム（Edge Histogram）を用いたｎ次元のベクトルとして定義されており、本実施形態においては、学習画像毎に予め決められた方法により計算されて設定された値を使用する。また、印象語毎の学習結果テーブル９０２も画像の印象判定の際に参照されるデータであり、そのデータ構造は、図９に示すように、印象語ＩＤカラム９０２ａと、学習回数カラム９０２ｂと、識別器の重み（α_ｔ）カラム９０２ｃと、陽性平均ベクトルカラム９０２ｄと、陰性平均ベクトルカラム９０２ｅと、誤判定ファイル数カラム９０２ｆと、正判定ファイル数カラム９０２ｇと、を有する。

本実施形態の画像音楽再生装置１００は、音楽の印象と、画像の印象を予め別々に判定し、音楽の印象に合致した画像を、定義情報記憶部２１１に記憶されている上述した定義フィル等（印象語定義データテーブル４００、印象語関係定義データテーブル５００）を参照して、イメージ選択部２１０が選択するようになっている。そこで、まず、音楽の印象判定及び画像の印象判定を行う工程について説明し、その後、音楽の印象に対応する画像の選択工程及び、音楽の印象に対し選択された画像が、ユーザーの好みに合致していない場合に、画像の選択をカスタマイズする為の工程（印象判定用学習結果記憶部２１７の印象判定用学習結果の更新）について説明する。

［音楽の印象判定］
本実施形態の画像音楽再生装置１００の音楽の印象判定の工程は、図１０に示すように、画像音楽再生装置１００に外部音楽ストレージ３０１が接続されると、音楽の印象判定を行う音楽印象判定部３０４は、音楽データを取得し（ステップＳ１０１）、取得した音楽データの印象判定を行う（ステップＳ１０２）。そして、その印象判定の結果が、ファイル名及びパス名と共に音楽印象記憶部３０６の音楽印象データテーブル７００のファイルの印象語カラム７００ｃに記憶される（ステップＳ１０２）。この時、外部音楽ストレージ３０１の音楽データが内部音楽ストレージ３０２にコピーされた場合は、パス名のみが内部音楽ストレージ３０２に変更されたデータベースレコードが音楽印象記憶部３０６の音楽印象データテーブル７００のパス名カラム７００ｂに記憶される。このようにして、音楽データを画像音楽再生装置１００に取り込む際に、音楽印象判定部３０４は、その音楽データに対する印象判定を予め行い、その情報を音楽印象記憶部３０６の音楽印象データテーブル７００にファイル名及びパス名と関連させて記憶しておくので、ユーザーが音楽を再生する場合に、その音楽データのファイル名又はパス名で、印象を特定することができる。

［画像の印象判定］
次に、画像音楽再生装置１００に備わる画像印象判定部２０４が行う画像の印象判定について説明する。画像印象判定部２０４が行う画像の印象判定は、図１１に示す工程の順で行われる。まず、画像音楽再生装置１００に外部画像ストレージ２０１が接続されると、画像印象判定部２０４が画像データを取得する（ステップＳ１１１）。ここで、外部画像ストレージ２０１の画像データが内部画像ストレージ２０２にコピーされた場合は、内部画像ストレージ２０２から画像データを取得するようにしてもよい。画像データはファイル名及びパス名で管理され、内部画像ストレージ２０２又は外部画像ストレージ２０１のいずれかに記憶されている画像データであるか特定できる。

次に、画像印象判定部２０４の画像前処理部２１４が、取得した画像データに対し、印象判定に必要な前処理を行う（ステップＳ１１２）。前処理を行う為の条件は、印象判定用学習結果記憶部２１７の前処理条件データテーブル９００（図８（ａ）参照）に、画像データに対する前処理条件として、リサイズの有無（ＯＮ／ＯＦＦ）や平滑化の有無（ＯＮ／ＯＦＦ）等のデータが設定され、記憶されているので、画像前処理部２１４は、このデータを参照して、画像データに対して印象判定に必要な前処理（リサイズや平滑化など）を行う。そして、特徴量演算部２１５は、印象語の印象判定に必要な特徴量を前処理終了後の画像データから算出する（ステップＳ１１３）。印象語の印象判定に必要な特徴量の情報は、印象判定用学習結果記憶部２１７の特徴量データテーブル９０１（図８（ｂ）参照）から抽出できるので、次に、特徴量演算部２１５は、印象判定用学習結果記憶部２１７を参照して抽出する。次に、印象判定部２１９は、特徴量演算部２１５の算出した特徴量と、印象判定用学習結果記憶部２１７に記憶されている印象語毎の学習結果テーブル９０２（図９参照）を用いて、印象判定を行う（ステップＳ１１４）。そして、印象決定部２１６は、定義情報記憶部２１１に記憶されている印象語関係定義データテーブル５００（図５）参照）を参照して、複数の印象語の印象判定の結果のうちスコアが最も高い印象語と矛盾する印象語を除外し、最終的な画像データの印象を決定し、優先順位の高い順（スコアの高い順）に画像印象データテーブル６００の印象語優先順位カラム６００ｃに記憶する（ステップＳＴ１１５）。このようにして、画像データ毎に印象語を割り当て、予め記憶しておく。そして、この画像データの印象判定の結果と、上述した音楽の印象判定の結果とを用いて、本実施形態の画像音楽再生装置１００のイメージ選択部２１０が、後述するように音楽を鑑賞する際の画像データを選択して抽出し、音楽を再生する際に、その画像データを画像表示部１０１に表示する。つまり、画像音楽再生装置１００は、音楽データの印象語と合致するような画像データを画像表示部１０１に表示するようになっている。

［音楽に対する画像の選択］
それでは、次に、上述の音楽データの印象判定の結果及び画像の印象判定の結果を用いて、イメージ選択部２１０が音楽の印象と対応する印象語を有する画像を選択する工程について、図１２を参照しつつ説明する。ユーザーが、音楽を鑑賞するために、画像音楽再生装置１００の電源をＯＮにして、音楽鑑賞モードに移行させると、イメージ選択部２１０は、画像表示部１０１に内部音楽ストレージ３０２又は外部音楽ストレージ３０１に保存されている音楽データ一覧を表示する。ユーザーは、鑑賞したい音楽をその一覧から選択し、音楽再生部１０２を介して決定する（ステップＳ２００）。イメージ選択部２１０は、その決定された音楽を内部音楽ストレージ３０２又は外部音楽ストレージ３０１に記憶されている音楽データのファイル名又はパス名で特定し、取得する（ステップＳ２０１）。次に、イメージ選択部２１０は、印象語を音楽印象記憶部３０６に記憶されている音楽印象データテーブル７００を参照し（ステップＳ２０２）、取得した音楽データのファイル名（又は、パス名）と対応して記憶されている音楽に対する印象語を取得する（ステップＳ２０３）。次に、イメージ選択部２１０は、印象語定義記憶部２１１に記憶されている印象語定義データテーブル４００を参照して、その音楽の印象語に対応する画像の印象語（画像印象語）を抽出して取得する（ステップＳ２０４）。そして、イメージ選択部２１０は、画像印象記憶部２０６に記憶されている画像印象データテーブル６００を参照し、取得した印象語（画像印象語）を有する画像があるか否かを判断して（ステップＳ２０５）、相応しい印象語（画像印象語）を有する画像がある場合にはその画像を抽出する（ステップＳ２０６）。

このとき、ステップＳ２０５で、イメージ選択部２１０が、該当する印象語（画像印象語）を有する画像が無いと判断した場合には、イメージ選択部２１０は、印象語定義データテーブル４００を参照して、音楽の印象語に対して次の画像の印象語の候補を抽出し、取得する（ステップＳ２０７）。そして、イメージ選択部２１０は、ステップＳ２０５に戻り、画像印象記憶部２０６の画像印象データテーブル６００を参照して、その印象語を有する画像を抽出する。この時、イメージ選択部２１０は、ステップＳ２０７で次に対応する画像の印象語を抽出せずに、音楽の次の印象を取得し、ステップＳ２０４〜ステップＳ２０７を繰り返してもよい。

次に、イメージ選択部２１０は、選択された音楽データを音楽再生部１０２で再生し、再生と共にその抽出した画像データを画像表示部１０１に表示する（ステップＳ２０８）。この時、画像印象更新部２０５は、表示した画像データに対し、ユーザーが所定時間（例えば３秒）内にスキップの指示をしたか否かを判断する（ステップＳ２０９）。ここで、音楽データ及び画像データは、ファイル名又はパス名で特定できるようになっている。従って、表示された画像データがスキップされない場合は、画像印象更新部２０５は、画像印象記憶部２０６の画像印象データテーブル６００のその画像データのファイル名カラム６００ａ又はパス名カラム６００ｂ、及び印象語優先順位カラム６００ｃの印象語カラム６０１ｃを参照し、対応する正判定カラム６０２ｃに”１”をインクリメントする（ステップＳ２１０）。この時、画像印象更新部２０５は、印象語優先順位カラム６００ｃの印象語カラム６０２ｃの正判定の数が、「１」以下であるか否かを判定する（ステップＳ２１１）。画像印象更新部２０５は、「１」以下であると判断すると、印象判定用学習結果記憶部２１７に格納されている印象語毎の学習結果テーブル９０２の印象語判定カラム９０２ａ（例えば、”印象語Ａ判定”）の正判定ファイル数カラム９０２ｈの値をインクリメントし（ステップＳ２１２）、「１」より大きい時はインクリメントせずにステップＳ２１３に進む。そして、イメージ選択部２１０は、選択した音楽データの再生が終了したか否かを判断し（ステップＳ２１３）、音楽データが終了するまで再生を繰り返し、音楽データの再生が終了すると、この工程を終了する。なお、再生を繰り返す際に再度画像抽出（ステップＳ２０６に戻る）を行っても良い。

一方、上述のステップＳ２０９で、画像印象更新部２０５は、表示されている画像がユーザーによってスキップされたと判断すると（ユーザーによる操作情報の１つであるＮＧ判定の情報が出力されると）、画像印象記憶部２０６に格納されている画像印象データテーブル６００のその画像データのファイル名カラム６００ａ又はパス名カラム６００ｂ、及び印象語優先順位カラム６００ｃの印象語カラム６０１ｃを参照し（例えば、”印象語ＸＸ”）、対応する誤判定カラム６０３ｃに”１”をインクリメントする（ステップＳ２１４）。この時、画像印象更新部２０５は、画像印象データテーブル６００の印象語カラム６０１ｃの、例えば、”印象語ＸＸ”の誤判定カラム６０３ｃの数が「１」以下であるか否かを判断する（ステップＳ２１５）。

そして、画像印象更新部２０５は、”印象語ＸＸ”の誤判定カラム６０３ｃの数が「１」以下である場合は、図９に示すように印象判定用学習結果記憶部２１７に格納されている印象語毎の学習結果テーブル９０２の印象語判定カラム９０２ａ（例えば、”印象語ＸＸ判定”）の誤判定ファイル数カラム９０２ｇの値をインクリメントする（ステップＳ２１６）。一方、ステップＳＴ２１５で、画像印象更新部２０５は、画像印象データテーブル６００の印象語カラム６０１ｃの、例えば、”印象語ＸＸ”の誤判定カラム６０３ｃの数が「１」より大きいと判断すると、印象語毎の学習結果テーブル９０２の印象語判定カラム９０２ａ（例えば、”印象語ＸＸ判定”）の誤判定ファイル数カラム９０２ｇの値をインクリメントせずに、ステップＳ２１７に進む。これにより、ある印象語（ここでは、”印象語ＸＸ”）を重複してカウントすることがないので、印象判定用学習結果記憶部２１７の誤判定のファイル数が正確にカウントされる。

そして、画像印象更新部２０５は、イメージ選択部２１０に次の画像候補を読み出し（ステップＳ２１７）、画像表示部１０１にその画像を表示し、音楽データの再生が終了するまで（ステップＳ２１８）、ステップＳ２０９〜ステップＳ２１７を繰り返す。

本実施形態の画像音楽再生装置１００は、音楽の再生と共に表示する画像を上述のように自動で選択することができる。そして、その画像がユーザーの好みや感性に合致していない場合に、ユーザーがその画像をスキップ等すると、その情報が画像印象データテーブル６００や印象判定用学習結果記憶部２１７に反映される。そして、後述するように、印象判定用学習結果記憶部２１７が更新され、ユーザーの好みや感性を反映させた画像を選択することができる。

［印象判定用学習結果記憶部の構築］
本実施形態の画像音楽再生装置１００は、予め外部印象判定学習部２１８が、ＡｄａＢｏｏｓｔの手法により、複数の学習サンプル（学習画像）を用いて、各学習回で印象に影響を与えている部分領域と特徴量の部分ベクトルを学習により特定し、それらを用いて、ＡｄａＢｏｏｓｔで用いる弱識別器を構成し、画像データの印象を判定するための１つの強識別器Ｈ（Ｘ）を構築し、その結果である印象判定用学習結果記憶部２１７を使用して画像データの印象判定を実行するものである。したがって、ここでは、図１３を用いて、外部印象判定部２１８の学習画像による学習の工程について説明する。この外部印象判定学習部２１８は、学習を開始すると、複数の学習画像を読み込む（ステップＳ３００）

そして、外部印象判定学習部２１８は、学習の繰り返し回数ｔに初期値として”１”を設定し（ステップＳ３１０）、繰り返し回数ｔが、予め決められた回数（Ｔｍａｘ）を超えたか否かを判断し、Ｔｍａｘを超えるまで、ステップＳ３３０からステップＳ３５０を繰り返す（ステップＳ３２０）。この繰り返し処理において、ステップＳ３３０では、ステップＳ３００で読み込んだ学習画像を用いて、繰り返し処理毎の（ｔ回目の）学習における弱識別器ｈ（ｘ，ｔ）が構築される。本実施の形態では、学習画像を予め決められた部分領域に分割し、この部分領域毎に学習を行い、当該部分領域毎の弱識別器ｈ_i（ｘ，ｔ）を構築し（ｉは部分領域の番号）、これらの部分領域に対応する弱識別器の中から最も印象が強い部分領域を選択し、この部分領域の弱識別器をこの学習処理（ｔ回目の学習処理）における弱識別器ｈ（ｘ，ｔ）として選択するように構成されている。そのため、ｘは、ｔ回目の学習において入力される学習画像の特徴量（ベクトル量）Ｘのうち、各弱識別器ｈ（ｘ，ｔ）が対応する部分領域における部分ベクトルを表している。

また、ステップＳ３４０では、ステップＳ３３０で構築された弱識別器ｈ（ｘ，ｔ）から、線形結合のためのｔ回目の学習における係数α_tを算出し、さらに、次の学習ステップ（ｔ＋１回目）で用いる各学習画像の重みＤ_t+1（ｊ）を更新する。そして、ステップＳ３５０でステップ数ｔに１を加算する。

以上のようにして、Ｔｍａｘ回の学習をすることにより、Ｔｍａｘ個の部分領域と弱識別器ｈ（ｘ，ｔ）との組が決定され、ステップＳ３６０においてこれらの弱識別器ｈ（ｘ，ｔ）を線形結合することにより１つの強識別器Ｈ（Ｘ）が構築される。このステップＳ３６０において弱識別器ｈ（ｘ，ｔ）を線形結合するための係数α_tは、上述のようにステップＳ３４０で算出されるが、後述するように、ステップＳ３３０で選択された部分領域（部分ベクトル）に対応する弱識別器ｈ（ｘ，ｔ）とその誤り率ε_tとを用いて、次式（１）として決定される。ここで、１枚の学習画像をｍ個の部分領域に分割したとすると、部分領域の組み合わせの集合はＧ＝｛ｇ１，ｇ２，．．．，ｇｍ｝と表され、ｊ枚目の学習画像の部分領域ｉに対応する部分ベクトルをｘ_i,jとすると、特徴量のベクトルＸは部分ベクトルの集合（Ｘ（ｊ）＝｛ｘ_1,j，ｘ_2,j，．．．，ｘ_m,j｝）として表される。

この式（１）は、弱識別器ｈ（ｘ，ｔ）の信頼性を表しており、誤り率ε_tが低いほど係数α_tが大きくなり、対応する弱識別器ｈ（ｘ，ｔ）のステップＳ３６０での判断の影響が大きくなる。但し、誤り率ε_tが０．５を超えるときは、弱識別器ｈ（ｘ，ｔ）の判定を逆にすれば誤り率ε_tを小さくすることができるので、この場合は１から誤り率ε_tを引いた値を新たな誤り率ε_tとする。従って、誤り率ε_tの最悪値は０．５となる。

また、ｔ＋１回目の学習における学習画像の重みＤ_t+1（ｊ）は、全ての学習画像に対する重みを加算したときに１になる必要があるため、次式（２）に示す条件値Ｚ_tを満たすように、ｔ回目の学習における重みＤ_t（ｊ）から次式（３）により求められる。なお、この式（２）及び（３）において、Ｊｍａｘは学習画像の枚数を示し、ｘ_i,jは、弱識別器が選択された部分領域ｉに対応するｊ番目の学習画像の部分ベクトルを示し、ｙ_jは、この弱識別器による判定結果を示す。

以上より、ステップＳ３６０で構築される１つの強識別器Ｈ（Ｘ）は、次式（４）で表される。なお、この式（４）において、Ｘは強識別器Ｈで評価される学習画像の特徴量（ベクトル量）であり、ｘは、特徴量Ｘのうち、ｔ回目の学習において弱識別器ｈ（ｘ，ｔ）が選択された部分領域に対応する部分ベクトルである。

図１４では、学習全体を通じて、一番選択された頻度の多かった部分領域が学習画像の印象に影響を与えている領域として特定される様子が示されており、Ｔｍａｘ回行った学習の結果は、丸印が付けられた領域となる。

それでは、図１５を用いて、弱識別器ｈ（ｘ，ｔ）を構築するための処理（ステップＳ３３０）の具体的構成について説明する。まず、学習画像を予め決められた複数の部分領域に分割する（ステップＳ３３０１）例えば、学習画像を図１４で示すように、矩形領域に分割し、学習画像の部分領域を生成する。具体的には、例えば、横６×縦４の２４の矩形領域に分割する（この場合は、ｍ＝２４となる）。この時、説明を簡単にするために、縦、横を均等分に分割した場合について示しているが、矩形領域の大きさは任意に設定することができる。また、これらの分割された矩形領域を組合わせたものを新たな部分領域とすることもできる。そして、部分領域のカウンタｉに初期値として”１”を設定し（ステップＳ３３０２）、部分領域ｇ１から順に、部分領域ｇｍまで以下の処理を繰り返す（ステップＳ３３０３）。図１４に於ける各番号が、各学習回で部分領域として選択された矩形領域の組み合わせを例示したものである。このようにして抜き出した学習画像の部分領域の組み合わせ集合をＧとする。また、図１４には、学習全体を通じて、一番選択される頻度の多い部分領域が、その学習画像の印象に影響を与えている領域として特定される様子が示されている。

まず、上述のステップＳ３００ですべての学習画像の、部分領域ｇｉにおける特徴量の部分ベクトルを抽出する（ステップＳ３３０４）。例えば、７枚の学習画像がある場合は、ｉ番目の部分領域の処理において抽出された部分ベクトルの集合は、｛ｘ_i,1，ｘ_i,2，．．．，ｘ_i,7｝（ｊ＝１，２，．．．，７）となる。そして、ｔ回目の学習において、学習画像の陽性サンプルの特徴量の部分ベクトルの重み付き平均値を次式（５）により算出し、学習画像の陰性サンプルの特徴量の部分ベクトルの重み付き平均値を次式（６）により算出する（ステップＳ３３０５）。ここで、陽性サンプルとは、外部印象判定学習部２１８に設定された印象語に割り当てられている学習画像のことを言い、反対に陰性サンプルとは、当該印象語に割り当てられていない学習画像のことを言う。例えば、印象語”Ａ”を判定する装置では、”Ａ”というラベルのある学習画像を陽性サンプルといい、”Ａ”というラベルのない学習画像を陰性サンプルという。なお、式（５），（６）において、〜付きのｘは、部分ベクトルの重み付きの平均値であり、添え字の最初の数字は、”１”が陽性サンプルに対するものであることを示し、”２”が陰性サンプルに対するものであることを示す。また、ｍ＜ｎである。

これらの式（５），（６）において、ｎ₁は陽性サンプルの枚数を示し、ｎ₂は陰性サンプルの枚数を示している。また、λ_jはｊ番目の学習画像に付加されている印象語数の逆数である。例えば、学習画像に付加されている印象語の数が１個であれば、λ_j＝１．０、印象語の数が２個であればλ_j＝０．５となる。つまり、このλ_jは、ｊ番目の学習画像の印象に対する影響力を表しており、多くの印象語が付加されている学習画像ほど、その学習画像の印象に与える影響力は小さくなる。また、Ｄ_1,t（ｊ）は、ｔ回目の学習における、ｊ番目の陽性サンプルの重みであり、Ｄ_2,t（ｊ）は、ｔ回目の学習における、ｊ番目の陰性サンプルの重みである。ここで言う重みとは、各学習画像が平均的な特徴量の部分ベクトルである式（１）及び（２）に影響を与える割合のことであり、常に以下の式（７）の関係を満足するものとする。

なお、この陽性及び陰性サンプルの重みＤ_1,t（ｊ），Ｄ_2,t（ｊ）は、学習回数とともに変化するが、初期値（ｔ＝１）のときの値は、それぞれ、次式（８），（９）により定義され、各学習サンプルの重みを同じとする。

次に、上述のステップＳ３３０５で算出された特徴量の部分ベクトルの平均値と、各学習画像の特徴量の部分ベクトルとのユークリッド距離を次式（１０），（１１）により算出する（ステップＳ３３０６）。式（１０）において、ｆ₁は、第ｉ番目の領域の部分ベクトルｘと陽性サンプルの特徴量の部分ベクトルの平均値（〜付きのｘ_1,j,t）とのユークリッド距離を示し、式（１１）において、ｆ₂は、第ｉ番目の領域の部分ベクトルｘと陰性サンプルの特徴量の部分ベクトルの平均値（〜付きのｘ_2,j,t）とのユークリッド距離を示している。また、特徴量の部分ベクトルの平均値の添え字のうち、最後のｔは、ｔ回目の学習であることを示す。

そして、ステップＳ３３０６で算出された距離ｆ₁，ｆ₂を用いて、第ｉ番目の部分領域において印象が陽性か陰性かを判定する弱識別器ｈ_i（ｘ，ｔ）を次式（１２）により構築する（ステップＳ３３０７）。ここで、”１”が陽性で、”−１”が陰性を表す。すなわち、この式（１２）で表される弱識別器ｈ（ｘ，ｔ）は、評価画像の特徴量の部分ベクトルと学習画像より得られた部分ベクトルの重み付き平均値との距離が、陽性サンプルと近いときに陽性（１）と判断され、陽性及び陰性サンプルとの距離が等しいか若しくは陰性サンプルと近いときに陰性（−１）と判断するものである。

最後に、上述のステップＳ３３０７で構築された弱識別器ｈ_i（ｘ，ｔ）を用いて、すべての学習画像の第ｉ番目の部分領域に対する部分ベクトルの判定を行い、その判定結果と、予めつけた答え（陽性サンプルか、陰性サンプルか）と一致するかを検査する（ステップＳ３３０８）。ステップＳ３３０９で、判定結果が、答えと一致しないと判断される場合は、判定を間違えた（答えが一致しなかった）学習画像の重みα_tを誤り率ε_iとして加算する（ステップＳ３３１０）。一方、ステップＳ３３０９で、判定結果が一致している場合は、ステップＳ３３０３に戻る。

ここで、該当する弱識別器ｈ_i（ｘ，ｔ）（言い換えると、該当する部分領域ｉ）に対応する誤り率ε_iは、次式（１３）により算出される。

このようなステップＳ３３０４からＳ３３０８までの一連の処理を部分領域の組み合わせの集合Ｇの要素数だけ繰り返す。最終的に、ｉ個の部分領域において、最も誤り率ε_iが低かった弱識別器ｈ_i（ｘ，ｔ）を、ｔ回目の学習における弱識別器ｈ（ｘ，ｔ）として選択し、学習回数ｔと、この弱識別器ｈ（ｘ，ｔ）に関する部分領域の番号ｉ（ｉ番目特徴量であり、例えば、i＝１〜Ｎ）、係数（重み）α_t及び選択された部分領域における特徴量の部分ベクトルの重み付き平均値（〜付きのｘ_1,j,t、ｘ_2,j,t）とが記憶され、弱識別器のＤＢとして印象判定用学習結果記憶部２１７に記憶されている印象判定用学習結果である各データテーブル９００，９０１，９０２が構成される（ステップＳ３３１１）。なお、弱識別器ｈ_i（ｘ，ｔ）が選択された部分領域ｉの誤り率ε_iが、ｔ回目の学習における誤り率ε_tとして選択される。

以上のように本実施形態の画像音楽再生装置１００は、外部印象判定部２１８が、予め学習画像を用いて学習した結果（印象判定用学習結果）である各データテーブル９００，９０１，９０２を構成して、これを予め記憶した印象判定用学習結果記憶部２１７を有するものとして構成されている。そして、この印象判定用学習結果記憶部２１７の各データテーブル９００，９０１，９０２に基づいて、自動的に画像の印象判定を行い、画像印象記憶部６００を構成する。更に、イメージ選択２１０は、印象語定義データテーブル４００を参照して、音楽印象記憶部７００と画像印象記憶部６００とを用いて、音楽に対応する画像を自動的に選択・決定し、共に再生する。

画像は、このように機械的（自動的に）に決定されたものであり、ユーザーの好みを反映するものとなっていない。特に、音楽鑑賞と同時に画像データを再生して鑑賞する場合、ユーザーは、音楽データと共に流れる画像データに対して、好みや感性の反映された画像を求める傾向にある。そこで、本実施形態の画像音楽再生装置１００は、音楽と共に流れる画像を予め自動的に決定しつつも、ユーザーの好みや感性が反映された画像を流すことができるよう構成されている。つまり、画像音楽再生装置１００は、音楽に対応する画像を自動的に選択する際に、カスタマイズした条件を用いて画像を選択する構成を有する。この画像選択の条件をカスタマイズする構成は、印象判定用学習結果記憶部２１７の印象判定用学習結果（各データ）を更新する構成を有することで実現できる。そこで、次に、この画像選択の条件をカスタマイズする構成について図１６を示して詳細に説明する。

［印象判定用学習結果の更新］
上述したように、音楽と共に流れる画像は、画像音楽再生装置１００に備わるイメージ選択部２１０が、音楽印象記憶部３０６や画像印象記憶部２０６の各データテーブル、及定義情報記憶部２１１の印象語定義データテーブル４００等の各データを参照して自動的に選択したものである。そして、本実形態の画像音楽再生装置１００では、この時、表示されている画像に対し、ユーザーが音楽の印象に相応しくないと判断し、その画像をスキップする等の操作（ユーザーによる操作情報）を行われた場合、上述したように、画像印象更新部２０５は、その画像に対応する印象語、例えば、印象語”ＸＸ”の誤判定ファイル数をカウントし、印象判定用学習結果記憶部２１７の学習結果テーブル９０２の印象語”ＸＸ”に対応する誤判定ファイル数カラム９０２ｇの値がインクリメントされる。そして同時に、画像印象記憶部２０６の画像印象データテーブル６００の誤判定された画像（例えば、ファイルｎ）の印象語”ＸＸ”の誤判定カラム６０３ｃのＮＧの値がインクリメントされる。ただし、同じ画像であるファイルｎが再度、誤判定とみなされても、学習結果テーブル９０２の誤判定ファイル数カラム９０２ｇの値（ファイル数）はインクリメントしない。これにより、同一の印象を有する音楽において、同じ画像が誤判定された場合でも、重複して誤判定の画像としてカウントされることを防ぐことができる。

そして、画像印象更新部２０５は、図１６に示す工程により、印象判定用学習結果記憶部２１７の更新を行う。具体的には、画像印象更新部２０５は、印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２の例えば、印象語”ＸＸ”の誤判定ファイル数カラム９０２ｇの値（誤判定ファイル数の値）が、予め規定された個数（例えば、Ｎｍａｘ＝１０〜１００）に達するまでカウントを行い（ステップＳ４００）、その個数になったと判断すると、Ｎ個のファイルに対して印象語”ＸＸ”の判定を行う（ステップＳ４１０）。そして、画像印象更新部２０５は、誤判定をした弱識別器ｈ_i（ｘ，ｔ）の識別器の重みの値α_ｔを減じる補正を行う為に、次式（１４）により減じるΔα_ｔ算出し、重みの値α_ｔを減ずる（ステップＳ４２０）。

ここで、τ_ＮＧは、誤判定率であり次式（１５）として定義されている。

ＮＧ_ｎＸＸはファイルｎの印象語ＸＸのＮＧの値であり、ファイル数である。また、ｈ_ｉ（ｎ）は弱識別器が誤判定した場合は、１、そうでなければ０とする。次に、画像印象更新部２０５は、印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２の（ここでは、印象語”ＸＸ”）誤判定ファイル数カラム９０２ｇの値（誤判定ファイル数の値）をリセットして、”０”に戻し（ステップＳ４３０）、印象判定用学習結果記憶部２１７の印象語毎の学習結果データテーブル９０２を更新する（ステップＳ４４０）。更新後、画像印象更新部２０５は、画像印象判定部２０４が誤判定されたＮ個のファイルに対し、印象判定を行うように指示し、画像印象判定部２０４は、印象判定を行う（ステップＳ４５０）。そして画像印象更新部２０５は、その結果に基づき、画像印象記憶部２０６の画像印象データテーブル６００を更新し（ステップＳ４６０）、終了する。

一方、ステップＳ４００で、誤判定ファイル数が、予め決められた個数に達していないと判断されると、画像印象更新部２０５は、印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２の例えば、印象語”ＸＸ”の正判定ファイル数カラム９０２ｈの値（正判定ファイル数の値）が、予め規定された回数（例えば、Ｎｍａｘ＝１０〜１００）に達するまでカウントを行う（ステップＳ４７０）。つまり、画像印象更新部２０５は、印象語毎の学習結果テーブル９０２の誤判定ファイル数カラム９０２ｇ又は正判定ファイル数カラム９０２ｈの値が予め規定された個数に達するまでカウントする（ステップＳ４００、ステップＳ４７０）。

そして、画像印象更新部２０５は、画像印象更新部２０５は、印象語毎の学習結果テーブル９０２の正判定ファイル数カラム９０２ｈの値が規定個数になったと判断すると、Ｎ個のファイルに対して印象語”ＸＸ”の判定を行う（ステップＳ４８０）。次に、画像印象更新部２０５は、正判定をした弱識別器ｈ_i（ｘ，ｔ）の識別器の重みの値α_ｔを増やす補正を行う為に、次式（１６）により増加するΔα_ｔ算出し、重みの値α_ｔを増やす（ステップＳ４９０）。

ここで、τ_ＯＫは、誤判定率であり次式（１７）として定義されている。

ＯＫ_ｎＸＸはファイルｎの印象語”ＸＸ”のＯＫの値であり、ファイル数である。また、ｈ_ｉ（ｎ）は弱識別器が正判定した場合は、１、そうでなければ０とする。次に、画像印象更新部２０５は、印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２の（ここでは、印象語”ＸＸ”）正判定ファイル数カラム９０２ｈの値（正判定ファイル数の値）をリセットして、”０”に戻し（ステップＳ５００）、印象判定用学習結果記憶部２１７を更新する（ステップＳ５１０）。更新後、画像印象更新部２０５は、画像印象判定部２０４が正判定されたＮ個のファイルに対し、印象判定を行うように指示し、画像印象判定部２０４は、印象判定を行う（ステップＳ５２０）。そして画像印象更新部２０５は、その結果に基づき、画像印象記憶部２０６の画像印象データテーブル６００を更新し（ステップＳ４６０）、終了する。

以上のように、本実施形態の画像音楽再生装置１００は、予め印象判定用学習結果を記憶した印象判定用学習結果記憶部２１７を有しているが、ユーザーが音楽とともに再生されている画像に対し、例えばスキップや、表示中の画像をポーズした場合など、ユーザーの操作情報を画像印象データテーブル６００や印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２に反映する構成を有している。つまり、ユーザーによるこのような操作情報を画像印象データテーブル６００や学習結果テーブル９０２に記憶しておき、ある指定回数値となった際に、印象判定用学習結果記憶部２１７の印象語毎の学習結果テーブル９０２に記憶されている弱識別器ｈ_i（ｘ，ｔ）の識別器の重みを更新する構成を有している。これにより、印象語の判定器が、カスタマイズされるようになる。そのため、この画像音楽再生装置１００は、画像が自動で選択されても、ユーザーの好みを反映して選択することができる。特に、音楽鑑賞と同時に画像を再生して鑑賞する場合、音楽と共に流れる画像に対しては、ユーザーの好みや感性が反映された画像を再生することができる画像音楽再生装置１００となる。ここで、本実施の形態では、誤判定ファイル数または正判定ファイル数は、予め画像音楽再生装置１００に決められた値としており、任意に決定することが可能であるが、ここでは、１０〜１００回程度の数としている。そして、同じ印象を有する音楽を対照とした場合に、音楽の印象に相応しい画像の印象語に対して正判定または誤判定のファイル数が１０〜１００個程度蓄積する毎に、弱識別器ｈ_i（ｘ，ｔ）の識別器の重みを更新し、印象判定用学習結果記憶部２１７を更新することにより、イメージ選択部２１０はユーザーの好みに調整された画像を選択するようになる。

１００画像音楽再生装置１０１画像表示部１０２音楽再生部
２０４画像印象判定部２０６画像印象記憶部２１０イメージ選択部
２０５画像印象更新部２１７印象判定用学習結果記憶部
３０６音楽印象記憶部

Claims

音楽を記憶する音楽データ記憶部と、
画像を記憶する画像データ記憶部と、
前記音楽の印象を記憶する音楽印象記憶部と、
予め学習画像により学習した結果である印象判定用学習結果を記憶する印象判定用学習結果記憶部と、
前記画像データ記憶部に記憶されている前記画像の印象を、前記印象判定用学習結果記憶部に記憶されている前記印象判定用学習結果を用いて判定する画像印象判定部と、
前記画像印象判定部の判定結果を記憶する画像印象記憶部と、
前記音楽を再生する音楽再生部と、
前記画像を表示する画像表示部と、
前記音楽再生部で前記音楽を再生する際に、前記音楽印象記憶部に記憶されている前記音楽の印象を取得して、当該音楽の印象に対応する印象を有する前記画像を前記画像印象記憶部の前記判定結果を参照して選択し、選択された前記画像を前記画像表示部に表示するイメージ選択部と、
前記イメージ選択部により選択され、前記画像表示部に表示している前記画像に対する使用者の操作情報を前記画像印象記憶部に記憶する画像印象更新部と、を有し、
前記画像印象更新部は、前記画像印象記憶部に記憶された前記操作情報を、前記イメージ選択部により前記画像を選択する際に、前記印象判定用学習結果記憶部の前記印象判定用学習結果に反映する構成を有する画像音楽再生装置。
前記印象判定用学習結果記憶部の前記印象判定用学習結果は、複数の印象語に対する学習結果を記憶しており、
前記画像印象判定部は、前記画像の特徴量を算出する特徴量演算部と、前記画像に対して複数の印象語毎に印象判定を行う印象判定部と、前記印象語毎の前記印象判定部の印象判定の結果から、前記画像に対する印象語の優先度を決定する印象決定部と、を有し、
前記画像印象更新部は、前記操作情報を前記印象判定用学習結果及び前記画像印象記憶部に前記印象語毎に記憶するように構成されている請求項１に記載の画像音楽再生装置。
前記画像印象更新部は、複数の前記印象語の任意の印象語に対し、前記操作情報が閾値回数以上になった際に、前記印象判定部に対して補正を加えるように構成されている請求項２に記載の画像音楽再生装置。