JP5104709B2 - 情報処理装置、プログラム、および情報処理方法 - Google Patents

Description

本発明は、情報処理装置、プログラム、および情報処理方法に関する。

近日、デジタルカメラが普及しており、デジタルカメラで撮像した写真画像のＰＣ上での編集や、写真画像を順次に切替えて表示するスライドショーの実行などが広く行なわれている。

従来のスライドショーでは、楽曲の再生と写真画像の表示が独立して行なわれていたが、以下のようにしてスライドショーを実現することも考えられる。
（１）楽曲の進行や拍などの楽曲進行情報に基づいて写真画像の切替タイミングを調整する。
（２）特定の楽曲の再生に際し、当該楽曲に合うように写真画像の切替タイミングやフェードインおよびフェードアウトのパターンが設定されたテンプレートを用いる。

なお、スライドショーにおけるフェードインおよびフェードアウトについては例えば特許文献１に記載されている。

特開２００６−１６６１６４号公報

しかし、上記（１）の方法では、楽曲の進行情報をスライドショーの再生制御に利用するだけであり、再生される写真画像そのものは楽曲と独立していた。また、上記（２）の方法では、利用できる楽曲が限定されているため、ユーザが所望の楽曲を利用できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生する楽曲に応じた補正を施して画像を表示させることが可能な、新規かつ改良された情報処理装置、プログラム、および情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、１または２以上の画像を記憶している記憶部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、を備える情報処理装置が提供される。

前記情報処理装置は、前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備えてもよい。

前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させてもよい。

前記情報処理装置は、前記記憶部に記憶されている前記１または２以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択してもよい。

前記情報処理装置は、前記記憶部に記憶されている前記１または２以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。

前記情報処理装置は、前記記憶部に記憶されている前記１または２以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備えてもよい。

前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含んでもよい。

前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、楽曲データを再生する再生部と、前記楽曲データの関連画像の特徴を解析する解析部と、複数の補正タイプのいずれかで画像補正を行なう画像補正部と、前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と、記憶媒体に記憶されている１または２以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と、前記画像補正部により補正された画像を出力する出力部と、として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、楽曲データを再生する再生ステップと、前記楽曲データの関連画像の特徴を解析するステップと、前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと、記憶媒体に記憶されている１または２以上の画像を前記選択部により選択された補正タイプで補正するステップと、補正された画像を出力するステップと、を含む情報処理方法が提供される。

以上説明したように本発明にかかる情報処理装置、プログラム、および情報処理方法によれば、再生する楽曲に応じた補正を施して画像を表示させることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
１．ＰＣのハードウェア構成
２．ＰＣの機能および動作の概略
３．再生区間の設定
４．レイアウトの決定
５．画像選択
６．エフェクト処理の概略
７．パラメータｐについて
８．各エフェクトタイプの説明
[モノクローム]
[ノイズ]
[ポスタライゼーション]
[トーンエフェクト]
[カラーイミテーション]
９．エフェクトタイプの選択
１０．スライドショーの実行
１１．まとめ、および補足

＜１．ＰＣのハードウェア構成＞
本実施形態にかかるＰＣ２０は、楽曲データの再生と併せて、楽曲データに応じたエフェクトが施された写真画像を順次に切替えて表示することができる。このような本実施形態にかかるＰＣ２０の機能の説明に先立ち、まず、ＰＣ２０のハードウェア構成について図１を参照して説明する。

図１は、ＰＣ２０のハードウェア構成を示したブロック図である。ＰＣ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってＰＣ２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ＰＣ２０のユーザは、該入力装置２０８を操作することにより、ＰＣ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの映像出力装置と、スピーカおよびヘッドホンなどの音響出力装置で構成される。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、映像出力装置は再生された写真画像等の各種情報を表示する。一方、音響出力装置は、再生された楽曲データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかるＰＣ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。また、このストレージ装置２１１には、後述の、楽曲データ、エフェクト用情報などが記録される。

ドライブ２１２は、記憶媒体用リーダライタであり、ＰＣ２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。

通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、本明細書においては情報処理装置の一例としてＰＣ２０を挙げて説明しているにすぎず、情報処理装置はかかる例に限定されない。例えば、情報処理装置は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、または携帯用映像処理装置であってもよい。さらに、情報処理装置は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯用ゲーム機器、家電機器などの情報処理装置であってもよい。

＜２．ＰＣの機能および動作の概略＞
次に、図２〜図４を参照し、本実施形態にかかるＰＣ２０の機能および動作について概略的に説明する。

図２は、本実施形態にかかるＰＣ２０の構成を示した機能ブロック図である。図２に示したように、ＰＣ２０は、スライドショープレーヤと、ムード判定部２２４と、ジャケット解析部２２８と、エフェクトタイプ選択部２３２と、レイアウト制御部２３６と、エフェクト制御部２５２と、操作部２６４と、設定管理部２６８と、を備える。また、スライドショープレーヤは、記憶部２２０と、画像選択部２４０と、デコーダ２４４と、ミキサ・エフェクト回路２４８と、音響出力部２５６と、映像出力部２６０と、フォント選択部２７２と、表示生成部２７６と、を備える。

記憶部２２０は、スライドショーの実行に利用される楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などが記録される記憶媒体である。

各楽曲はいずれかのジャケット画像に対応しており、例えば楽曲データと併せて記憶部２２０に記録される。なお、楽曲データおよびジャケット画像は、光ディスクから取得することも、通信網１２を介してコンテンツ配信サーバから取得することも可能である。

楽曲特徴量は、楽曲データの特徴を示し、楽曲データを解析することにより取得される。例えば、楽曲特徴量としてはムード特徴量、楽曲構成情報、楽曲進行情報、およびムードなどが挙げられる。以下、このような楽曲特徴量の各々について説明する。

（ムード特徴量）
「明るい」、「楽しい」、「悲しい」、「さわやか」、などの楽曲の印象、雰囲気、または気分が数値化された特徴量である。楽曲データを信号処理（音楽解析）することにより基本特徴量（例えば、テンポ、以下の楽曲進行情報など）を抽出し、基本特徴量を利用した機械学習および音楽推定により高次特徴量である当該ムード特徴量を抽出することができる。より詳細な解析方法については、例えば、特開２００５−２７４７０８、特開２００５−２７５０６８、特開２００８−２７５３８、および特開２００８−６５９０５などに記載されている。

（楽曲構成情報）
Ａメロ、Ｂメロ、サビ、エンディングなどの楽曲の構成要素が開始するタイミングを楽曲の先頭を基準に表す情報である。図３を参照し、より具体的に楽曲構成情報について説明する。

図３は、楽曲構成の一例を示した説明図である。図３には、イントロ、Ａメロ、Ｂメロ、サビ、間奏、Ｂメロ、サビ、・・・という順に構成要素が配されている例を示している。この場合、イントロからＡメロに切替わる時間ｔ１、ＡメロからＢメロに切替わる時間ｔ２、Ｂメロからサビに切替わる時間ｔ３、および同様にｔ４〜ｔ６が楽曲構成情報に該当する。

なお、本明細書においては、楽曲の盛り上がり部分をサビと称する。また、楽曲構成情報の解析方法は、例えば、特開２００７−１５６４３４に記載されているため、本願での詳細な説明は省略する。

（楽曲進行情報）
楽曲中の各拍子、小節、コード（Ｃメジャー、Ａマイナーなど）が到来するタイミングを楽曲の先頭を基準に表す情報である。例えば、図３に示した例において、コードＣに切替わる時間ｔ１１、コードＧに切替わる時間１２、コードＡｍに切替わる時間１３、コードＥｍに切替わる時間１４などが楽曲進行情報に該当する。なお、楽曲進行情報の解析方法は、例えば特開２００７−１８３４１７に記載されているため、本願での詳細な説明は省略する。

（ムード）
楽曲のムードは、上記のムード特徴量に基づいてムード判定部２２４により判定される。ここで、ムード判定部２２４は、例えばＰｌａｙＳｔａｔｉｏｎ３（登録商標）で使用されている「おまかせチャンネル」のアルゴリズムを用いてムード判定を行なってもよい。また、楽曲のムードは、楽曲の雰囲気や、楽曲から想起される抽象的なテーマ（気候、場所、季節、気分、イベント）などを表してもよい。以下では、ムード判定部２２４が、楽曲のムードをＥｎｅｒｇｅｔｉｃ、Ｒｅｌａｘｉｎｇ、Ｄｒａｍａｔｉｃ、Ｈａｐｐｙ、またはＥｌｅｃｔｒｏｎｉｃのいずれかに判定するものとして説明する。なお、ムード判定部２２４は、楽曲が複数のムードに該当する場合、所定の優先順位にしたがって１のムードを採用してもよい。優先順位は、統計的に楽曲が該当し難いムードほど高くてもよく、例えば、Ｄｒａｍａｔｉｃが最も低く、Ｒｅｌａｘｉｎｇ、Ｅｎｅｒｇｅｔｉｃ、Ｅｌｅｃｔｒｏｎｉｃ、Ｈａｐｐｙの順に高くてもよい。

エフェクト用情報は、ジャケット解析部２２８によりジャケット画像の解析により取得される画像解析情報、およびエフェクトタイプ選択部２３２により選択されるエフェクトタイプを含む。以下に、画像解析情報の要素、および各要素の本明細書における意義の一例を示す。

・平均色：ジャケット画像の全画素の色を平均した値。
・コントラスト：ジャケット画像の全画素の輝度値の標準偏差。
・固有値、固有ベクトル：ジャケット画像の全画素を３Ｄ色空間（本実施形態においてはＲＧＢ空間）にプロットした集合を主成分分析して得られる固有ベクトルと固有値を、第一主成分、第二主成分、第三主成分の順に並べたもの。第一主成分の固有値・固有ベクトルを第一固有値・第一固有ベクトル、第二主成分の固有値・固有ベクトルを第二固有値・第二固有ベクトル、第三主成分の固有値・固有ベクトルを第三固有値・第三固有ベクトル、と称する。具体的には、集合を主成分分析するとＲＧＢ空間で３本の直行する直線が得られ、３本の直線のうちで長い直線から第一主成分、第二主成分、第三主成分に対応する。また、各直線の方向が固有ベクトルに対応し、各直線の長さが固有値に対応する。なお、ジャケット画像中の特異な色が分離可能な場合、この特異な色をポイント色として除外し、ポイント色が除外された色の集合に対して主成分分析を行なって固有値および固有ベクトルを得えることも可能である。
・色ヒストグラム：ジャケット画像を規定色数まで減色（本実施形態では３２色）した際の、各色値とその含有量。
・輝度ヒストグラム：ジャケット画像をグレースケール化し、その画素値（つまり輝度値）を規定数（本実施形態では最大３２色）のヒストグラムとしたもの。
・顔情報：顔認識技術によりジャケット画像から検出される情報であり、例えば、ジャケット画像に含まれる顔の数、各顔の位置、大きさ、および傾きなどがあげられる。
・ポイント色：ジャケット画像を構成する色の中で特異な色。例えばモノクロ背景の一部のみに赤色の物体が含まれるジャケット画像においては、その物体の赤色の色値。
・フォント：ジャケット画像に文字が含まれている場合、その文字のフォントと文字色。

また、エフェクトタイプ（補正タイプ）の具体例を以下に示す。なお、以下では記憶部２２０から選択される写真画像が入力画像であることを想定している。

・モノクローム：写真画像を、２つの色の線形和で表現される色のみからなるように加工する。一例として一般的にグレー画像と呼ばれるもの（白と黒の線形和）があげられる。なお、本実施形態においては、２つの色として適切な色は、ジャケット画像の画像解析情報に基づいて決定される。
・ノイズ：写真画像にモノクロームと同様の処理を施した後、ノイズを付加し、さらにコントラストを強調する。なお、モノクロームエフェクト実行やコントラスト強調の度合いは、ジャケット画像の画像解析情報に基づいて決定される。
・ポスタライゼーション：写真画像を少ない数の色（例えば３色）で表現する。使用する色はジャケット画像の画像解析情報に基づいて決定される。
・トーンエフェクト：写真画像の色分布を、ジャケット画像の画像解析情報に応じた方向へ全体的に移動させる。
・カラーイミテーション：写真画像の色分布を、ジャケット画像に含まれる色成分が強調されるように加工する。

このように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部２３２がジャケット画像に適したエフェクトタイプを選択する。詳細については＜９．エフェクトタイプの選択＞において説明するが、例えば、エフェクトタイプ選択部２３２は、グレー画像であるジャケット画像に対してはモノクロームを選択し、最大色数より極めて少ない色数で表現されるジャケット画像に対してはポスタライゼーションを選択する。

また、記憶部２２０に記録されている写真画像は、スライドショー実行時に表示対象として選択され得る。ＰＣ２０は、この写真画像を例えば撮像装置から取得しても、通信網１２を介して取得してもよい。なお、スライドショー実行時に表示対象として選択され得る画像は写真画像に限られず、任意の画像であってもよい。

また、上記説明した楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像を記憶する記憶部２２０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。また、上記の楽曲データ、ジャケット画像、エフェクト用情報、楽曲特徴量、および写真画像などは物理的に異なる記憶媒体に記録されてもよい。

レイアウト制御部２３６は、スライドショー実行時に楽曲の再生区間を設定し、レイアウト情報テーブルを参照し、当該再生区間を複数の画像表示枠に区切る（レイアウトを決定する）。ここで、レイアウト情報テーブルは、再生区間を複数の画像表示枠に区切る複数の方法の情報を含み、レイアウト制御部２３６は、これら方法のいずれかに基づいてレイアウトを決定する。なお、各画像表示枠では異なる画像が表示される。

また、レイアウト制御部２３６は、画像の動きパターンを複数含むアニメーション情報テーブルを有し、各画像表示枠で表示させる画像の動きパターンをアニメーション情報テーブルから選択する。

画像選択部２４０は、レイアウト制御部２３６によるレイアウトの決定の結果、スライドショーの実行に必要となる枚数の写真画像を記憶部２２０から選択する。詳細な写真画像の選択方法については＜５．画像選択＞において説明する。

デコーダ２４４は、記憶部２２０に記憶されている楽曲データ、および画像選択部２４０により選択された写真画像をデコードする。例えば、デコーダ２４４は、ＭＰ３（ＭＰＥＧ１ Ａｕｄｉｏ Ｌａｙｅｒ−３）形式、またはＡＴＲＡＣ（Ａｄａｐｔｉｖｅ ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）形式の楽曲データをＰＣＭ形式にデコードする。

ミキサ・エフェクト回路２４８は、デコーダ２４４によりデコードされた楽曲データ、および写真画像に所定の処理を施す画像補正部として機能する。例えば、ミキサ・エフェクト回路２４８は、デコーダ４２４によりデコードされた写真画像に、レイアウト制御部２３６により設定されたアニメーション処理を施したり、エフェクト制御部２５２の制御に基づくエフェクト処理を行なったりする。本実施形態にかかるミキサ・エフェクト回路２４８、モノクロームエフェクター、ノイズエフェクター、ポスタライゼーションエフェクター、トーンエフェクター、またはカラーイミテーションエフェクターとして機能することができる。

エフェクト制御部２５２は、ミキサ・エフェクト回路２４８による写真画像のエフェクトを制御する補正制御部として機能する。例えば、エフェクト制御部２５２は、エフェクトタイプ、エフェクト処理の内容、および後述のパラメータｐなどを制御する。

音響出力部２５６は、ミキサ・エフェクト回路２４８から供給される楽曲データを例えば空気振動に変換して出力する。すなわち、デコーダ２４４、ミキサ・エフェクタ２４８、および音響出力部２５６は、協働して楽曲データを再生する再生部として機能する。なお、音響出力部２５６は、ミキサ・エフェクト回路２４８から供給される楽曲データを外部装置へ出力してもよい。

また、映像出力部２６０は、ミキサ・エフェクト回路２４８から供給されるエフェクト処理後の写真画像をユーザが視認可能に表示する出力部としての機能を有する。なお、映像出力部２６０は、ミキサ・エフェクト回路２４８から供給されるエフェクト処理後の写真画像を外部装置に出力してもよい。

操作部２６４は、ユーザにより各種情報、各種指示が入力されるユーザインターフェースである。設定管理部２６８は、例えば操作部２６４へのユーザ操作に基づいて各種設定を行う。各種設定としては、後述の再生区間の設定、レイアウトの設定、エフェクトの設定、および画像選択などがあげられる。フォント選択部２７２および表示生成部２７６については、「＜１０．スライドショーの実行＞」において説明する。

このような本実施形態にかかるＰＣ２０が楽曲付きのスライドショーを実現するための一連の流れを図４を参照して説明する。

図４は、楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。図４に示したように、まず、操作部２６４を介してユーザにより再生対象の楽曲データが選択されると（Ｓ２０４）、レイアウト制御部２３６が楽曲データの再生区間を設定する（Ｓ２０８）。詳細については後述するが、再生区間は楽曲の全体であっても、楽曲の一部のハイライト部分であってもよい。なお、図４ではユーザにより楽曲データが選択される例を示しているが、本実施形態はかかる例に限定されない。例えば、楽曲データはランダムに選択されたり、特定のムードに分類された楽曲データから自動的に選択されたりしてもよい。

その後、レイアウト制御部２３６が、楽曲の再生区間を複数の画像表示枠に区切る（Ｓ２１２）。詳細については後述するが、楽曲の再生区間は、固定時間で区切られても、小節ごとに区切られも、コード変化に応じて区切られても、自動で区切られてもよい。ここで、レイアウト制御部２３６は、画像表示枠ごとに、表示する画像に適用する動きパターンを設定してもよい。

そして、画像選択部２４０が楽曲の再生区間の再生の間に必要となる枚数の写真画像を選択する（Ｓ２１６）。その後、楽曲データの再生が開始され、画像選択部２４０により選択されてデコーダ２４４によりデコードされた写真画像へのエフェクト処理およびエフェクト処理された写真画像の表示が開始される（Ｓ２２０）。

ここで、エフェクト制御部２５２が、再生対象の楽曲データのジャケット画像に対応するエフェクト用情報に基づいてミキサ・エフェクト回路２４８を制御することにより、上記写真画像へのエフェクト処理が行なわれる。その結果、本実施形態によれば、楽曲付きのスライドショーにおいて、再生対象の楽曲データのジャケット画像の雰囲気に合うようにエフェクト処理（加工）された写真画像を表示することが可能となる。以下、このような本実施形態における各処理についてより具体的に説明する。

＜３．再生区間の設定＞
楽曲データの再生区間は、楽曲データの全体（フル再生）、または楽曲データのハイライト部分（ダイジェスト再生）のいずれかから選択可能である。楽曲データの全体、または楽曲データのハイライト部分のいずれを再生区間とするかは、操作部２６４を介してユーザにより選択されても、ＰＣ２０に事前に設定されていてもよい。楽曲データのハイライト部分は、レイアウト制御部２３６が例えば図５に示す処理により設定することができる。

図５は、レイアウト制御部２３６による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。図５に示したように、レイアウト制御部２３６は、まず、記憶部２２０に記憶されている楽曲構成情報（楽曲特徴量に含まれる）に基づいてサビの開始位置を取得する（Ｓ５６０）。そして、レイアウト制御部２３６は、図５右側上段に示したように、ダイジェスト時間がサビ開始位置で２等分されるように始点と終点を仮設定する（Ｓ５６２）。

そして、レイアウト制御部２３６は、仮設定した始点が１拍目でない場合（Ｓ５６４）、始点を１拍目まで戻し（Ｓ５６６）、仮設定した終点が１拍目でない場合（Ｓ５６８）、始点を１拍目まで進める（Ｓ５７０）。図５右側中段には、仮設定した始点が２拍目であったため１拍目まで戻され、仮設定した終点が３拍目であったため１拍目まで進められた例を示している。

さらに、レイアウト制御部２３６は、始点の前のＮ小節（Ｎ≧１、例えばＮ＝４）を検索し（Ｓ５７２）、楽曲の構成要素が変化する構成変化点が存在した場合（Ｓ５７４）、始点を構成変化点に更新する（Ｓ５７６）。同様に、レイアウト制御部２３６は、終点の後のＮ小節（Ｎ≧１、例えばＮ＝４）を検索し（Ｓ５７８）、楽曲の構成要素が変化する構成変化点が存在した場合（Ｓ５８０）、終点を構成変化点に更新する（Ｓ５８２）。図５右側下段には、更新前の始点のＮ小節前までにＡメロからＢメロへの構成変化点が存在したため始点が当該構成変化点に更新され、更新前の終点のＮ小節後までにサビから間奏への構成変化点が存在したため終点が当該構成変化点に更新された例を示している。

このようにしてレイアウト制御部２３６により得られた始点から終点までの区間がダイジェスト再生の再生区間（ハイライト部分）として設定される。なお、図５においては、Ｓ５７２において始点の前Ｎ小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部２３６は、始点の後Ｎ小節を検索対象に含めてもよい。同様に、Ｓ５７８において終点の後Ｎ小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、レイアウト制御部２３６は、終点の前Ｎ小節を検索対象に含めてもよい。

＜４．レイアウトの決定＞
レイアウト制御部２３６は、設定した楽曲データの再生区間を、例えば以下に示す方法により複数の画像表示枠に区切る。

・時間固定
例えば１０秒などの一定時間で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。この方法では楽曲特徴量が特に利用されない。

・小節区切り
一定の小節数で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部２３６は、楽曲進行情報に含まれる小節の切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。一般的に、４拍子の楽曲では４小節、または８小節ごとに曲調が変化する傾向があるので、レイアウト制御部２３６は、例えば４小節、または８小節ごとに再生区間を区切ってもよい。

・コード区切り
コード進行の変化に同期して画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部２３６は、楽曲進行情報に含まれるコードの切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。例えば、コードがＣメジャーからＡマイナーに再生区間の先頭から１０００ミリ秒後に切替わる場合、レイアウト制御部２３６は、再生区間の先頭から１０００ミリ秒後で再生区間を区切ってもよい。時間固定や小節区切りの場合には一定の間隔で再生区間が区切られるため、スライドショーにおいて画像が一定の周期で切替えられる。これに対し、コード区切りの場合には不定の間隔（１小節、２小節、１小節と２拍など）で再生区間が区切られるため、スライドショーにおける画像の切替周期が一定とならず、より楽曲の流れに合ったスライドショーを実現できる。

・ムードに従った自動レイアウト
楽曲のムードに応じた規則に従って楽曲データの再生区間を区切るレイアウト方法である。楽曲のムードは、楽曲特徴量に基づいてムード判定部２２４により判定される。当該事項について図６および図７を参照して後述する。

図６および図７は、ムードに応じたレイアウトの設定例を示した説明図である。なお、図６および図７に示した切替周期は、画像が切替えられる周期、すなわち画像表示枠の周期を意味する。図６に示したように、ムードがＥｎｅｒｇｅｔｉｃである場合、サビ４小節前、サビ１小節前、およびサビ開始位置で再生区間が区分される。そして、切替周期が、サビ１小節前までは１小節、サビ１小節前からサビまでは１拍、サビからは２拍に設定される。なお、区分された各再生区間には、異なる動きパターンが設定されてもよい。

また、図６に示したように、ムードがＲｅｌａｘｉｎｇである場合、切替周期がコード変化２回に設定される。また、図６に示したように、ムードがＥｍｏｔｉｏｎｎａｌである場合、切替周期が、サビ２小節前まではコード変化１回、サビ２小節前からサビまでは２拍、サビからはコード変化１回に設定される。また、図７に示したように、ムードがＥｌｅｃｔｒｏｎｉｃである場合、基本的にコード変化に伴って写真画像が切替えられるが、コード変化が４拍以下の場合は１拍ごとに写真画像が切替えられる。さらに、図７に示したように、ムードがＨａｐｐｙである場合、切替周期が、サビまでは１小節、サビからはコード変化に応じて設定される。

このように、ムードに応じ、サビ開始位置を基準にして写真画像の切替周期を区別することにより、再生位置がサビに向かうにつれて盛り上がっていく（視覚効果が激しくなっていく）スライドショーを実現することができる。

また、レイアウト制御部２３６は、レイアウトを決定すると、各画像表示枠で表示する画像に適用する動きパターンを選択する。動きパターンについて、図８〜図１０を参照して説明する。

図８は、動きパターンの具体例を示した説明図である。図９は、動きパターンを表現するパラメータの意味を示した説明図である。図１０は、複数の画像の切替わり時の関係を示した説明図である。図８に示したように、各動きパターンは、始点（画像表示枠の開始時）と終点（画像表示枠の終了時）における複数のパラメータを含む。例えば、図８にはパラメータとして、位置（Ｘ、Ｙ、Ｚ）、スケール、Ｘ回転（図９に示したＸ軸を回転軸とする角度）、Ｙ回転（図９に示したＹ軸を回転軸とする角度）、Ｚ回転（図９に示したＺ軸を回転軸とする角度）を示している。

一例としてある画像表示枠に図８に示した動きパターン０１が選択されると、当該画像表示枠において画像が位置（４５２，３４５，４８９）から位置（２６２，２４３，１２３７）へ移動し、かつ−２８°から３３°へＹ回転するように表示される。また、図１０に示したように、各画像の切替わりはクロスフェードで行なわれてもよい。すなわち、画像の切替わり時には、ある画像が完全に消える前に次の画像が現れて、２の画像が重ねて表示されてもよい。

レイアウト制御部２３６は、このような動きパターンをランダムに各画像表示枠に選択してもよい。または、レイアウト制御部２３６は、再生対象の楽曲のムードに応じて動きパターンを選択あるいは生成しても、表示対象の写真画像の内容に応じて動きパターンを選択あるいは生成してもよい。

以下に、再生対象の楽曲のムードと選択または生成される動きパターンの関係の一例を示す。
楽曲のムード 動きパターン
Ｅｎｅｒｇｅｔｉｃ 大きな動き・速い動きを有するパターン
Ｒｅｌａｘｉｎｇ 小さな動き・遅い動きを有するパターン
Ｅｌｅｃｔｒｏｎｉｃ 直線的な動きを有するパターン

また、以下に表示対象の写真画像の内容と選択または生成される動きパターンの関係の一例を示す。
写真画像の内容 動きパターン
人物を含む 顔をズームインまたはズームアウトするパターン
縦撮り・横撮り 写真端が表示エリアを出ないようズームおよび回転を設定

レイアウト制御部２３６は、上記のようにして楽曲の再生区間、レイアウト、および各画像表示枠に動きパターンを選択すると、スライドショーの実行に必要な写真画像の枚数を決定する。すると、画像選択部２４０が、画像選択部２４０は、レイアウト制御部２３６により決定された枚数の写真画像を、記憶部２２０に記憶されている写真画像から選択する。以下、このような画像選択部２４０による写真画像の選択について説明する。

＜５．画像選択＞
本実施形態によれば、ジャケット画像に応じたエフェクトを写真画像に施すため、再生対象の音楽データのジャケット画像の雰囲気にどの写真画像でも合わせることができる。このため、画像選択部２４０は、レイアウト制御部２３６により決定された枚数の写真画像を記憶部２２０に記憶されている写真画像からランダムに選択してもよい。かかる構成によれば、記憶部２２０に記憶されている写真画像の同頻度での出現が期待されるため、普段ユーザが意図的に選択しない写真画像をユーザに提示する機会が得られる。

また、その他にも、以下に示すように、写真画像の画像特徴量を利用する選択方法も考えられる。

例えば、画像選択部２４０は、再生対象の楽曲データの特徴（例えば、ムード）に応じた写真画像を選択してもよい。かかる構成によれば、再生対象の楽曲データと調和のとれた写真画像が選択されるため、楽曲データおよび写真画像の各々が他方を引き立てることが期待される。再生対象の楽曲のムードと選択される写真画像の関係の一例を以下に示す。
楽曲のムード 選択される写真画像
Ｒｅｌａｘｉｎｇ 緑・青の多い写真画像
Ｈａｐｐｙ 笑顔が写っている写真画像
Ｅｌｅｃｔｒｏｎｉｃ 人物を含まない写真画像

また、画像選択部２４０は、再生対象の楽曲データのジャケット画像の特徴（例えば、エフェクトタイプ選択部２３２により選択されたエフェクトタイプ）に応じた写真画像を選択してもよい。かかる構成によれば、例えば施されるエフェクトに適した写真画像を選択されるため、エフェクトによる効果の向上が期待される。再生対象の楽曲データのジャケット画像のエフェクトタイプと選択される写真画像の関係の一例を以下に示す。
エフェクトタイプ 選択される写真画像
ノイズ 古い写真
ポスタライゼーション 人物を含まない写真画像
カラーイミテーション ジャケット画像の色味と近い画像

また、画像選択部２４０は、再生対象の楽曲データの付加情報（例えば、リリース時期、楽曲タイトル、ジャンルなど）に応じた写真画像を選択してもよい。かかる構成によれば、楽曲データと関連性を有する写真画像が選択されることが期待される。再生対象の楽曲データの再生対象の楽曲データの付加情報と選択される写真画像の関係の一例を以下に示す。
楽曲データの付加情報 選択される写真画像
リリース時期 リリース時期と同時期の写真画像
楽曲タイトル 楽曲タイトルに含まれるキーワードを有する写真画像

なお、上記のようにランダムでない方法で写真画像を選択する場合、特定の写真画像が高頻度で選択され、他の写真画像がほとんど選択されないことも想定される。そこで、選択頻度の偏りを抑制するために、画像選択部２４０は、各写真画像の以前の選択頻度を蓄積し、以前の選択頻度が低い写真画像ほど優先的に選択してもよい。また、上記の複数の写真画像の選択方法は、単独で利用してもよいし、組み合わせて利用してもよい。

また、画像選択部２４０により選択される写真画像の枚数が、レイアウト制御部２３６により決定されたスライドショーの実行に必要な写真画像の枚数に満たない場合も考えられる。この場合、レイアウト制御部２３６は、同一の写真画像を複数の画像表示枠に割当てたり、写真画像の一部を当該写真画像と別の画像表示枠に割当てたりしてもよい。より具体的には、写真画像の一部を抜き出す際、画像特徴量に含まれる顔位置を利用して、写真画像に含まれる顔ごとにズームした部分画像を生成してもよい。

＜６．エフェクト処理の概略＞
次に、図１１〜図１３を参照し、本実施形態にかかるエフェクト処理を実現するための流れの要旨を説明する。なお、以下では、ジャケット画像を一般化して参照画像と称し、写真画像を一般化して入力画像と称する。

本実施形態にかかるエフェクト処理は、図１１または図１２に示したように参照画像の画像解析を行なって画像解析情報およびエフェクトタイプなどのエフェクト用情報を取得し、図１３に示したように当該エフェクト用情報およびパラメータｐを利用して実現される。

図１１は、エフェクト用情報の取得例を示した説明図である。まず、図１１に示したように、参照画像を画像解析し、参照画像の画像解析情報、および最適なエフェクトタイプを得る。そして、これらの画像解析情報およびエフェクトタイプなどのエフェクト用情報は、楽曲データと関連付けて記憶部２２０に記録される。例えば、参照画像がジャケット写真である場合、エフェクト用情報はジャケット写真に対応する楽曲データと関連付けて記憶部２２０に記録される。

このようにエフェクト用情報は記憶部２２０に記録されるため、参照画像の画像解析は、エフェクト用情報を利用したスライドショーの実行と異なるタイミングに行なってもよい。例えば、参照画像の画像解析は、記憶部２２０へ楽曲データおよび参照画像が記録される際（前後）に行なっておいてもよい。

なお、図１１では、参照画像を直接解析してエフェクトタイプを判定する例（図２に示した構成に対応）を示しているが、図１２に示すように、本実施形態はかかる例に限定されない。

図１２は、エフェクト用情報の他の取得例を示した説明図である。図１２に示したように、エフェクトタイプの判定に必要な画像解析情報を参照画像の解析により取得し、当該画像解析情報に基づいてエフェクトタイプを判定することも可能である。

図１３は、エフェクト処理の実行例を示した説明図である。図１３に示したように、再生対象の楽曲データが決定されると、当該楽曲データの再生と併せて表示する入力画像へのエフェクト内容を決定するために、記憶部２２０から当該楽曲データに関連付けられている画像解析情報およびエフェクトタイプを取得する。

そして、取得したエフェクトタイプに従い、モノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、またはカラーイミテーションのいずれを利用するかを決定する。
さらに、参照画像の画像解析情報を利用し、参照画像のような雰囲気を出すためのエフェクト内容を決定する。なお、当該エフェクト内容の決定は図２に示したエフェクト制御部２５２により行なわれる。

次に、決定されたエフェクト内容で、ミキサ・エフェクト回路２４８により入力画像に対するエフェクト処理が行われる。ここで、ミキサ・エフェクト回路２４８にはエフェクト内容に影響を与えるパラメータｐを指定することができる。したがって、パラメータｐを楽曲データの再生に合わせて変化させることにより、出力画像が変化し、結果としてアニメーションに近似する効果を得ることが可能である。以下、このパラメータｐについて説明する。

＜７．パラメータｐについて＞
パラメータｐは、ミキサ・エフェクト回路２４８によるエフェクト内容に影響を与える１次元の数値であり、０．０〜１．０の間の値をとる。本実施形態にかかる各エフェクトの処理内容へパラメータｐが与える影響の説明に先立ち、簡易なエフェクトを例にあげてパラメータｐの変化に伴うエフェクト内容の変化について説明する。

図１４は、パラメータｐがエフェクト内容に与える影響を示した説明図である。より詳細には、図１４には、写真画像を無彩色単色に変化させるエフェクト処理の結果を、パラメータｐの値ごとに示している。図１５に示したように、パラメータｐの値がエフェクト内容に影響を与えるため、パラメータｐの値に応じてエフェクト処理の結果が変化する。なお、図１５においては説明の便宜上、エフェクト内容がパラメータｐのみにより決定される様子を示しているが、上述したように、パラメータｐだけでなく、ジャケット画像の画像解析情報もエフェクト内容に影響を与える。

本実施形態にかかる各エフェクト処理の内容に対しては、パラメータｐは例えば以下に示す項目に関する影響を与える。
・エフェクト深度
写真画像に施すエフェクト処理の程度。例えば、パラメータｐ＝０．０の場合にはエフェクト処理の前後の写真画像に変化がなく、パラメータｐ＝１．０の場合には写真画像に最も高い程度のエフェクト処理が施される。また、０．０＜パラメータｐ＜１．０の場合には、写真画像にパラメータｐの値に応じた程度のエフェクト処理が施される。
・輝度
写真画像に対して施す輝度変化の程度。例えば、パラメータｐ＜０．５の場合にはパラメータｐの値に応じて写真画像を暗くする処理が付加され、パラメータｐ＞０．５の場合にはパラメータｐの値に応じて写真画像を明るくする処理が付加される。
・各エフェクト依存の変化
各エフェクトにおいて、処理内容に影響を与える数値にパラメータｐを割当てる。この場合、パラメータｐによる処理内容の変化がエフェクト処理ごとに異なる。

なお、＜８．各エフェクトタイプの説明＞では、各エフェクト処理に対してパラメータｐが与える影響を説明しているが、エフェクトタイプとパラメータｐの与える影響を各々独立させ、双方を組み合わせて用いてもよい。また、各エフェクト処理を、パラメータｐ１、ｐ２、ｐ３・・・のように複数のパラメータｐｎで調整できるようにしてもよい。

また、本実施形態においては、楽曲データの再生時間と関連付けてパラメータｐの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。例えば、ある写真画像の表示開始時にパラメータｐ＝０．０を設定し、楽曲データの再生の進捗にしたがってパラメータｐの値を増加させ、次の写真画像への切替時にパラメータｐ＝１．０を設定することにより、時間の経過と共にエフェクト内容を変化させられる。

また、上記ではパラメータｐが０．０から１．０へ単調増加する例を説明したが、図１６に示すように、本実施形態はかかる例に限定されない。

図１５は、時間の経過とパラメータｐの関係の一例を示した説明図である。図１５の変化パターン１には、上記のパラメータｐが０．０から１．０へ単調増加する例を示している。また、変化パターン２に示したように、パラメータｐを１．０から０．０へ単調減少させてもよい。また、変化パターン３に示したように、パラメータｐを第１の値（例えば０．５）から第２の値（例えば０．８）へ単調増加させてもよい。また、変化パターン４に示したように、パラメータｐを０．０から１．０へ単調増加させた後に０．０へ単調減少させてもよい。

また、変化パターン５に示したように、パラメータｐを０．０に維持してもよい。また、変化パターン６に示したように、パラメータｐを０．０と１．０とで交互に切替えてもよい。また、変化パターン７に示したように、ある画像の表示から所定時間が経過したときにパラメータｐを急激に０．０から１．０へ増加させてもよい。さらに、変化パターン８に示したようにパラメータｐを所定の値に維持してもよい。

また、エフェクト処理に際して用いられるこのような変化パターンは、エフェクトタイプごとに固定的に設定されていても、上記複数の変化パターンから画像や楽曲データごとにランダムに選択されてもよい。

また、上記では１の写真画像の表示期間中のパラメータｐの変化について説明したが、パラメータｐを楽曲特徴量に応じて変化させることにより、楽曲自体にエフェクトを依存させてもよい。例えば、パラメータｐに応じて輝度が変化する場合、再生位置がサビに近づくにつれてパラメータｐを急激に増加させてもよい。また、ある写真画像の表示期間が長い場合にはパラメータｐを繰り返し増加および減少させたり、テンポにパラメータｐの変化の傾きを合わせたり、曲調の激しい部分ではパラメータｐを０．０と１．０とで交互に切替えてもよい。

＜８．各エフェクトタイプの説明＞
続いて、本実施形態において利用されるモノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、およびカラーイミテーションの各々について図１６〜図１９を参照して詳細に説明する。

［モノクローム］
モノクロームエフェクターは、写真画像を２つの色の線形和で表現される色のみからなるように加工する。２つの色の線形和で表現される色のみからなる画像には、例えばグレー画像やセピア色の画像などが該当する。このモノクロームエフェクターは、画像解析情報に含まれるＲＧＢ空間における第一固有ベクトルと平均色の情報を用いる。

具体的には、ＲＧＢ空間における第一固有ベクトルを示す直線は、他の固有ベクトルを示す直線との交点であるジャケット画像の平均色を通るため、第一固有ベクトルと画像の平均色から当該直線を示す数式が得られる。モノクロームエフェクターは、当該数式に基づき、写真画像内の全ての画素の色を当該直線の示す１次元空間に写像し、写像された位置における値を新しい画素の色とする処理を行う。なお、モノクロームエフェクターは特にパラメータｐの影響を受けず、パラメータｐに対して常に同一の結果を出力してもよい。また、モノクロームエフェクターは、ジャケット画像のポイント色を、写真画像の任意の位置にガウス上にオーバレイし、さらに、上記任意の位置をパラメータｐの値に応じて変化させてもよい。

［ノイズ］
ノイズエフェクターは、モノクロームエフェクターと同様の処理を施した後にノイズを付加し、さらにその後にコントラストを強調する。このノイズエフェクターは、ジャケット画像の画像解析情報に含まれる第一固有ベクトルと平均色、およびコントラストの情報を用いる。すなわち、第一固有ベクトルと平均色の情報を用い、モノクロームエフェクターと同様の処理を行なった後、コントラスト値に応じたコントラストの強調を行う。

ノイズの付加方法としては例えば以下の３種類があげられ、３種類のうちのいずれの方法を用いるかはエフェクト制御部２５２がランダムに決定してもよい。
・点ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させる。
・粒子ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させ、かつ周囲の画素値も増減させる。例えば、図１６に示したように画素Ｃの画素値をｘ増加させた場合、画素Ｃの上下左右の画素値をｘ／２、画素Ｃの左上、右上、左下、および右下の画素値をｘ／３増加させる。
・スクラッチノイズ
写真画像中のいくつかの画素をノイズ開始点に設定する。そして、図１７に示したように、ノイズ開始点におけるノイズ値を０とし、水平方向に画素が１つ進むにつれ、ノイズ値をランダムに増減させることを繰り返し、ノイズ値が０になった場合に終了する。なお、ノイズ値の絶対値は事前に設定されている閾値を上回らないよう制御される。また、ノイズ開始点におけるノイズ値を０とし、垂直方向に画素が１つ進むにつれ、ノイズ値をランダムに増減させることを繰り返すことにより、垂直方向にも同様のスクラッチノイズを付加することが可能である。

また、ノイズエフェクターは、コントラストの強調を以下の数式１に従って行なう。なお、数式１において、ｖは写真画像のある画素の元の輝度値を示し、ｖ’は当該画素の強調後の輝度値を示し、ｍは写真画像の輝度平均値を示す。また、０．０≦ｖ≦１．０であり、ｃｏｎｔｒａｓｔはコントラストの強調の度合いを示す値である。なお、当該ｃｏｎｔｒａｓｔの値とジャケット画像のコントラストの対応関係は、ジャケット画像のコントラストが大きいほど当該ｃｏｎｔｒａｓｔの値が大きくなるように事前に設定されていてもよい。

また、ノイズエフェクターは、パラメータｐに応じてノイズ付加の際に利用するランダム系列を変化させる。例えば、ノイズエフェクターは、事前に異なるランダム系列でエフェクト処理を施した写真画像を用意しておき、パラメータｐの変化に合わせて出力する写真画像を切替えてもよい。また、ノイズエフェクターは、例えば図１５に示した変化パターン１に従って変化するパラメータｐに基づいてエフェクト処理を行なってもよい。

［ポスタライゼーション］
ポスタライゼーションエフェクターは、写真画像を、２または３色などの少ない数の色（本実施形態では最大３色）で表現する。このポスタライゼーションエフェクターは、まず、ジャケット画像の画像解析情報に含まれる色ヒストグラムの情報を参照し、色ヒストグラムから最大３色をランダムで選択する。

なお、色ヒストグラムにおいて含有量のある色が１色であった場合、当該色と白色および黒色を比較し、色空間上での距離が遠い方の色をさらに選択してもよい。また、色ヒストグラムにおいて含有量のある色が２色であった場合、色１および色３として同一の色を選択してもよい。また、エフェクト制御部２５２は、色ヒストグラムにおいて含有量が最大である色を選択し、かつ、色２として選択してもよい。

また、ポスタライゼーションエフェクターは、輝度値の範囲を３分割する閾値ｔｈ１および閾値ｔｈ２を有する（閾値ｔｈ１＜閾値ｔｈ２）。そして、エフェクト制御部２５２により３色が選択された場合、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値ｔｈ１以下の画素には色１を割当てる。同様に、ポスタライゼーションエフェクターは、写真画像中で輝度値が閾値ｔｈ１より大きく閾値ｔｈ２以下である画素には色２を割当て、輝度値が閾値ｔｈ２より大きい画素には色３を割当てる。

また、ポスタライゼーションエフェクターは、輝度値が閾値ｔｈ１または閾値ｔｈ２の付近である画素には、以下の数式２に従って混色された色を割当てる。なお、数式２においてｃｏｌ１は色１を示し、ｃｏｌ２は色２を示し、ｃｏｌ３は色３を示し、ｃは画素の元の色値を示し、ｃ’は画素の混色後の色値を示す。また、ｍａｒｇｉｎは、混色の対象となる輝度値の幅を示し、事前に設定されていてもよい。

また、ポスタライゼーションエフェクターは、図１８に示したように、パラメータｐに応じて閾値ｔｈ１および閾値ｔｈ２の値を変化させる。

図１８は、閾値ｔｈ１および閾値ｔｈ２とパラメータｐの関係を示した説明図である。図１８に示したように、パラメータｐ＝０．０の場合には写真画像の全画素に色１が割当てられ、パラメータｐの増加と共に輝度値の高い画素に色２が割当てられる。そして、パラメータｐがｐ１を上回ると、閾値ｔｈ２より輝度値の高い画素に色３が、輝度値が閾値ｔｈ１以下の画素に色１が、その他の画素に色２が割当てられ、写真画像が３色で表現される。さらに、パラメータｐがｐ２を上回ると、閾値ｔｈ２より輝度値の高い画素に色３が、輝度値が閾値ｔｈ２以下の画素に色２が割当てられ、写真画像が２色で表現される。そして、パラメータｐ＝１．０の場合には写真画像の全画素に色３が割当てられる。

なお、常に写真画像を３色で表現するために、パラメータｐをｐ１〜ｐ２の間でのみ変化させてもよい。また、上記ではパラメータｐにより閾値ｔｈ１および閾値ｔｈ２を変化させる例を説明したが、パラメータｐにより数式２におけるｍａｒｇｉｎを変化させてもよい。また、エフェクト制御部２５２は、例えばミキサ・エフェクト回路２４８に図１５に示した変化パターン１または変化パターン２に従って変化するパラメータｐを供給してもよい。

［トーンエフェクト］
トーンエフェクターは、ジャケット画像の画像解析情報に含まれる平均色の情報を用いて、写真画像の色分布を全体的にある方向へ移動させる。具体的には、トーンエフェクターは、写真画像の平均色を求め、（ジャケット画像の平均色―入力画像の平均色）の計算により差ベクトルｄｉｆｆｖｅｃを求める。ここで、ｃを写真画像のある画素の色値、当該画素のエフェクト処理後の色値、ｇを当該画素をグレー変換した色値とすると、当該画素のエフェクト処理後の色値ｃ’を以下の数式３により求めることができる。なお、数式３ではある画素の色値ｃとグレー変換した色値ｇの加算値を２で除算することにより彩度を半減させているが、他の方法で彩度を下げてもよい。

また、トーンエフェクターは、パラメータｐに応じて輝度を変化させる。例えば、トーンエフェクターは、パラメータｐ＝０．５である場合には上記数式３を用いた処理により得られる写真画像を出力する。また、トーンエフェクターは、パラメータｐ＝０．０である場合には写真画像を全体的に輝度を一定量下げて出力し、パラメータｐ＝１．０である場合には写真画像を全体的に輝度を一定量上げて出力する。また、トーンエフェクターは、０＜パラメータｐ＜０．５である場合には写真画像を全体的に輝度をパラメータｐに応じた量だけ下げて出力し、０．５＜パラメータｐ＜１．０である場合には写真画像を全体的に輝度をパラメータｐに応じた量だけ上げて出力する。

なお、実際には、トーンエフェクターは、パラメータｐ＝０．０、およびパラメータｐ＝１．０である場合に出力される写真画像を事前に計算しておき、パラメータｐの値に応じて双方の写真画像をαブレンドすることにより所望の写真画像を得てもよい。また、エフェクト制御部２５２は、例えばミキサ・エフェクト回路２４８に図１５に示した変化パターン１に従って変化するパラメータｐを供給してもよい。

［カラーイミテーション］
カラーイミテーションエフェクターは、写真画像の色分布のうちで、ジャケット画像に含まれる色成分が強調されるよう処理する。このカラーイミテーションエフェクターは、画像解析情報に含まれる色ヒストグラムの情報を用いる。

カラーイミテーションエフェクターは、まず、写真画像を、輝度と色差成分が直交しているＹＵＶ空間やＬ＊ａ＊ｂ空間などの色空間に変換する。以下では、カラーイミテーションエフェクターが写真画像をＹＵＶ空間に変換する例を説明する。この場合、カラーイミテーションエフェクターは、ジャケット画像の色ヒストグラム中の各色も同様にＹＵＶ空間上での表現に変換する。

写真画像の色分布、およびジャケット画像の色ヒストグラム中の色が図１９の左図に示したようにＵＶ平面へ投影されるとする。なお、図１９において丸領域がジャケット画像の色ヒストグラム中の色に対応し、丸領域の大きさが含有量を示している。この場合、写真画像の各画素の色は、ＵＶ平面へ投影された全ての色ヒストグラム中の色から、含有量および距離に応じた強さで引っ張られる。具体的には、写真画像の各画素の色は、色ヒストグラム中の色への色空間上での距離が近いほど強く、また、色の含有量が多いほど強く引っ張られる。

ここで、各画素が、ある色ヒストグラムの色ｃ＿ｕｖから引っ張られる重みｗｅｉｇｈｔ＿ｕｖ（ｃ＿ｕｖ）は、以下の数式４のように表すことができる。なお、数式４においてｕｖは写真画像中のある画素の元の色のＵＶ値を示し、ｎは色ヒストグラム中の色の含有量を示す。

したがって、各画素が引っ張られる量ｄ＿ｕｖ（ｃ＿ｕｖ）を以下の数式５のように表現できる。

数式５の計算を色ヒストグラム中のすべての色に対して行なった結果に基づき、以下の数式６に従って処理後の画素色のＵＶ値ｕｖ’を算出することができる。

また、カラーイミテーションエフェクターは、パラメータｐ＝０．０の場合には写真画像をそのまま出力し、パラメータｐ＝１．０の場合には上記数式６によって得られる写真画像を出力する。また、カラーイミテーションエフェクターは、０．０＜パラメータｐ＜１．０の場合には、パラメータｐ＝１．０の結果に至る中間の写真画像を出力する。

なお、実際には、カラーイミテーションエフェクターは、パラメータｐ＝１．０である場合に出力される写真画像を事前に計算しておき、当該写真画像と処理前の写真画像をパラメータｐの値に応じてαブレンドすることにより所望の写真画像を得てもよい。

また、エフェクト制御部２５２は、例えばミキサ・エフェクト回路２４８に図１５に示した変化パターン７に従って変化するパラメータｐを供給してもよい。具体的には、ある写真画像の表示期間がｔである場合、０．０≦ｔ≦０．４の間はパラメータｐ＝０．０、０．４＜ｔ＜０．６の間はパラメータｐが０．０から１．０へ単調増加、０．６≦ｔ≦１．０の間はパラメータｐ＝１．０としてもよい。かかる構成によれば、表示開始からしばらくは未処理の写真画像が維持され、中間点であるｔ＝０．５近辺で急激に処理後の写真画像に変化する様子を表現できる。また、ジャケット画像の輝度ヒストグラムに写真画像の輝度分布が合うように写真画像の輝度ヒストグラムを調整してもよい。

＜９．エフェクトタイプの選択＞
以上説明したように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部２３２がジャケット画像に適したエフェクトタイプを選択する。以下、エフェクトタイプ選択部２３２による各ジャケット写真のエフェクトタイプの選択について、図２０〜図２５を参照して説明する。

図２０は、エフェクトタイプ選択部２３２が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。また、図２１〜図２５は、ジャケット画像Ａ〜Ｅの具体例を示した説明図である。以下では、図２０に示したフローチャートにより、ジャケット画像Ａ〜Ｅの各々にいずれのエフェクトタイプが選択されるかを説明する。

なお、図２１〜図２５においては、色相をハッチングの種類で表現し、彩度または輝度をハッチングの濃さで表現している。例えば、図２１に示したジャケット画像Ａは、４隅から中央に向けて薄くなる黒色（斜線のハッチング）の背景と、黒色の「ＴＡＮＧＩＢＬＥ」という文字から構成されている。また、図２２に示したジャケット画像Ｂは、白色の背景と、白色と黒色の多様な混合色を含むさいの画像から構成されている。また、図２３に示したジャケット画像Ｃは、黒色の背景と、黄色（まばらなドットハッチング）の月の画像と、白色の「ｍｏｏｎｔａｎ」という文字から構成されている。また、図２４に示したジャケット画像Ｄは、左上から右下にかけて黄色の彩度が増している背景と、緑色（斜線が交差するハッチング）の花の画像から構成されている。また、図２５に示したジャケット画像Ｅは、白色の背景と、多様な色を有する複数のリボンを含む。

まず、図２０に示したように、エフェクトタイプ選択部２３２はジャケット画像の直線分布スコアが所定値より高いか否かを判定する（Ｓ３０４）。なお、直線分布スコアは、画像解析情報に含まれる第一固有値を第二固有値で除算した値であるため、ジャケット画像の画素値が色空間で直線に近い分布を形成するほど高くなる。したがって、エフェクトタイプ選択部２３２は、モノクロ画像に該当するジャケット画像ＡおよびＢの直線分布スコアは所定値より高いと判定し、他のジャケット画像Ｃ〜Ｅの直線分布スコアは所定値以下であると判定する。

続いて、エフェクトタイプ選択部２３２は、直線分布スコアが所定値より高いと判定したジャケット画像のコントラストが所定値より低いか否かを判定する（Ｓ３０８）。そして、エフェクトタイプ選択部２３２は、コントラストが所定値より低いジャケット画像にはエフェクトタイプ「モノクローム」を選択し、コントラストが所定値以上であるジャケット画像にはエフェクトタイプ「ノイズ」を選択する。したがって、エフェクトタイプ選択部２３２は、ジャケット画像Ａにエフェクトタイプ「モノクローム」を選択し、ジャケット画像Ｂにエフェクトタイプ「ノイズ」を選択する。

一方、エフェクトタイプ選択部２３２は、直線分布スコアが所定値以下であると判定したジャケット画像の色勾配スコアが所定値より低いか否かを判定する（Ｓ３１２）。そして、エフェクトタイプ選択部２３２は、色勾配スコアが所定値より低いジャケット画像にエフェクトタイプ「ポスタライゼーション」を選択する。ここで、色勾配スコアは、ジャケット画像が、ポスター画像のように、色変化のない単色となっているような領域の集まりから構成される場合に低い値となるスコアである。

したがって、エフェクトタイプ選択部２３２は、一様の黒色の背景および一様の黄色の月を含むジャケット画像Ｃの色勾配スコアが所定値より低いと判定し、ジャケット画像Ｃにエフェクトタイプ「ポスタライゼーション」を選択する。また、エフェクトタイプ選択部２３２は、他のジャケット画像ＤおよびＥの色勾配スコアは所定値以上であると判定する。なお、具体的には、色勾配スコアは以下のように計算される。

例えばＳｏｂｅｌフィルタを用いてエッジ抽出を行う。ここで、Ｓｏｂｅｌフィルタにより各点の色勾配を示す応答値が得られ、当該応答値が事前に設定されている閾値を上回っているか否かの２値判定によりエッジ検出が行なわれる。さらに、応答値が閾値以下であるすべての点、つまりエッジでない点の応答値の加算値をエッジでない点の総数で除算して正規化することにより、色勾配スコアを計算することができる。

続いて、エフェクトタイプ選択部２３２は、色勾配スコアが所定値以上であると判定したジャケット画像の彩度スコアが所定値より低いか否かを判定する（Ｓ３１６）。そして、エフェクトタイプ選択部２３２は、彩度スコアが所定値より低いジャケット画像にエフェクトタイプ「トーンエフェクト」を選択し、彩度スコアが所定値以上であるジャケット画像にエフェクトタイプ「カラーイミテーション」を選択する。ここで、彩度スコアは、ジャケット画像の彩度を示し、低彩度のジャケット画像ほど値が低くなる。

したがって、エフェクトタイプ選択部２３２は、全体的に低彩度であるジャケット画像Ｄに「トーンエフェクト」を選択し、多様な色を含むジャケット画像Ｅに「カラーイミテーション」を選択する。

なお、ジャケット画像の第二固有値が限りなく小さいときには、ジャケット画像の色空間中での色分布は直線となっている。すなわち、ジャケット画像の第二固有値の大きさは、ジャケット画像の色空間中での色分布の直線らしさを示す指標として用いることができる。また、色空間中での色分布が直線に近い画像はモノクロームに近いと考えられるため、本実施形態においては、彩度スコアの代わりとしてジャケット画像の第二固有値を用いてもよい。

また、上記では色勾配スコアの判定の次に彩度スコアの判定を行なう例を説明したが、本実施形態はかかる例に限定されない。例えば、先に彩度スコアの判定を行ない、彩度スコアが所定値より低いジャケット画像にトーンエフェクトを選択し、他のジャケット画像について色勾配スコアの判定を行なってもよい。そして、色勾配スコアが所定値より低いジャケット画像にポスタライゼーションを選択し、色勾配スコアが所定値以上であるジャケット画像にカラーイミテーションを選択してもよい。

続いて、図２６〜図３１を参照し、ある写真画像が、上記各種のエフェクトタイプによるエフェクト処理によりどのように変化するかを説明する。

図２６は、エフェクト処理前の写真画像の具体例を示した説明図である。図２６に示した写真画像は、海辺の画像であり、白色の雲、青色（ドットハッチング）の空や海、赤色（三角のハッチング）を含むビートパラソル、および緑色のストライプを有する浮き輪などから構成される。この写真画像にエフェクト処理「モノクローム」、「ノイズ」、「ポスタライゼーション」、「トーンエフェクト」、および「カラーイミテーション」を施した結果の各々を図２７〜図３１に示す。

図２７は、図２６に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。図２７に示したように、多様な色を含む図２６に示した写真画像は、エフェクト処理「モノクローム」によりモノクロ画像に変換される。

図２８は、図２６に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。図２８に示したように、多様な色を含む図２６に示した写真画像は、エフェクト処理「ノイズ」によりモノクロ画像に変換され、ランダムなノイズが付加され、かつコントラストが強調される。

図２９は、図２６に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。図２９に示したように、図２６に示した写真画像は、エフェクト処理「ポスタライゼーション」により少ない色数からなる画像に変換される。なお、図２９では、図２３に示したジャケット画像Ｃの画像解析情報に基づく処理を想定しているため、写真画像がジャケット画像Ｃに含まれる黄色、白色および黒色からなる画像に変換される様子を示している。

図３０は、図２６に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。図３０に示したように、図２６に示した写真画像は、エフェクト処理「トーンエフェクト」により全体的に図２４に示したジャケット画像Ｄのような色味に変換される。より具体的には、図２４に示したジャケット画像Ｄが全体的に彩度の低い黄色および緑色で構成されていることから、図２６に示した写真画像が全体的に彩度の低い黄緑色っぽい画像に変換される。

図３１は、図２６に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。図３１に示したように、図２６に示した写真画像は、エフェクト処理「カラーイミテーション」により、ジャケット画像に含まれる色が強調される。例えば、ジャケット画像が図２５に示した赤色（三角のハッチング）や緑色（斜線が交差するハッチング）を含むジャケット画像Ｅであった場合、図３１に示したように、写真画像中の赤色や緑色の部分が強調される。

＜１０．スライドショーの実行＞
次に、図３２〜図３６を参照し、スライドショーにより映像出力部２６０に表示される表示画面について説明する。

上述してきたように、本実施形態においては、ジャケット画像の雰囲気に合うように写真画像にエフェクト処理を施す。さらに、本実施形態においては、写真画像にジャケット画像の雰囲気に応じたエフェクト処理が施されていることをユーザが実感できるよう、図３２に示すように、楽曲データの再生開始時に当該楽曲データのジャケット画像を表示する。

図３２は、スライドショーの開始時に映像出力部２６０に表示される表示画面の一例を示した説明図である。図３２に示したように、当該表示画面は、ジャケット画像の表示領域２８２と、楽曲データのタイトルやアーティストなどの付加情報の表示領域２８４を含む。具体的には、図３２に示した表示画面の付加情報の表示領域２８４には「Ｍｒ．ｆｉｎａｌｉｓｔ ＴＡＮＧＩＢＬＥ」という付加情報が記載されている。

ここで、付加情報のフォントは一律でなく、楽曲データの楽曲特徴量などに応じて選択されてもよい。すなわち、フォント選択部２７２が楽曲データに応じたフォントおよび文字色を選択し、選択されたフォントおよび文字色で表現された付加情報を含む表示画面を表示生成部２７６が表示してもよい。以下、フォント選択部２７２によるフォントの選択方法について図３３〜図３５を参照して説明する。

図３３は、楽曲のムードとフォントの関係の一例を示した説明図である。図３３に示したように、フォント選択部２７２は、楽曲特徴量のうちの楽曲のムードに対応するフォントを選択してもよい。例えば、フォント選択部２７２は、楽曲のムードがＥｎｅｒｇｅｔｉｃである場合、フォント「Ｈｅｌｖｅｔｉｃａ Ｎｅｕｅ ９５ Ｂｌａｃｋ」を選択してもよい。

図３４は、ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。上述したように、ジャケット画像に文字が含まれている場合、ジャケット解析部２２８の画像解析により得られる画像解析情報に文字のフォントと文字色が含まれる。そこで、フォント選択部２７２は、画像解析情報に含まれるフォントと同一、または近似するフォントを選択してもよい。例えば、図３４に示したようにジャケット画像に「ＴＡＮＧＩＢＬＥ」という文字が含まれる場合、フォント選択部２７２は、「ＴＡＮＧＩＢＬＥ」という文字のフォントに近似する「Ａｒｉａｌ Ｂｌａｃｋ」を選択してもよい。

図３５は、楽曲のジャンルとフォントの関係の一例を示した説明図である。図３５に示したように、例えば、クラシック、ポップス、ジャズ、ロックなどの楽曲のジャンルごとにフォントが対応付けられており、フォント選択部２７２は楽曲のジャンルに対応するフォントを選択してもよい。

上述したフォントで記載された楽曲データの付加情報、およびジャケット画像を含む表示画面が表示されると、図３６に示すように、エフェクト処理が施された写真画像の表示に切替えられる。

図３６は、スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。図３６の上図に示した表示画面の表示から所定期間が経過すると、表示生成部２７６は、図３６の中図に示したようにジャケット画像の表示領域２８２を空間的に回転、および縮小させながら表示画面の左下端部に移動させる。なお、図３６の上図に示した表示画面の表示と同時に楽曲データの再生が開始される。

その後、図３６の下図に示したようにジャケット画像に応じたエフェクト処理が施された写真画像が表示される。なお、表示生成部２７６は、写真画像の表示が開始された後もジャケット画像および楽曲データの付加情報を映像出力部２６０に表示させ続ける。かかる構成により、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示することができるため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。

＜１１．まとめ、および補足＞
以上説明したように、本実施形態によれば、楽曲付きのスライドショーの実行時に、ユーザの写真画像を再生対象の楽曲データのジャケット画像に応じたエフェクト処理を施して表示することができる。また、本実施形態によれば、楽曲データの再生時間と関連付けてパラメータｐの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。

また、本実施形態においては、スライドショーの開始時に、楽曲データのジャケット画像、および楽曲データの付加情報を含む表示画面を表示する。ここで、楽曲データの付加情報のフォントは、楽曲データの楽曲特徴量やジャケット画像内の文字のフォントに基づいて選択されるため、写真画像に施すエフェクト処理に加え、付加情報のフォントも再生対象の楽曲データと調和させることができる。さらに、本実施形態においては、同一画面にジャケット画像およびエフェクト処理が施された写真画像を表示するため、写真画像がジャケット画像に合うようにエフェクト処理されていることユーザが実感し易くなる。

なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では楽曲データのジャケット画像に応じてエフェクトタイプを選択する例を説明したが、本発明はかかる例に限定されない。変形例として、エフェクトタイプと画像解析情報の組合せを複数用意しておき、利用する組合せをランダムに選択しても、楽曲データの楽曲特徴量に応じて選択してもよい。例えば、エフェクト制御部２５２は、楽曲データの曲調が激しい場合には赤系統の色を含む色ヒストグラムおよびポスタライゼーションの組合せを利用し、曲調が静かな場合には青系統を含む色ヒストグラムおよびトーンエフェクトの組合せを利用してもよい。

また、上記では楽曲データの関連画像としてジャケット画像を例にあげて説明したが、本発明はかかる例に限定されない。例えば、関連画像は、楽曲データのアーティストの画像、またはアーティストのＷｅｂページに含まれる画像などであってもよい。また、上記ではＰＣ２０が関連画像であるジャケット写真を記憶している例を説明したが、ＰＣ２０は楽曲データの再生時に関連画像を外部から取得してもよい。例えば、ＰＣ２０は、楽曲データの付加情報に含まれるタイトル名やアーティスト名をキーワードにして、通信網１２上で楽曲データの関連画像を検索してもよい。そして、エフェクトタイプ選択部２３２は、検索された関連画像の画像解析情報に基づいてエフェクトタイプを選択してもよい。この場合、楽曲データと関連性の薄い画像が検索されてしまうことも想定されるので、エフェクトタイプの決定には利用するものの、ジャケット画像の表示領域２８２には当該画像でなく例えば「ｎｏ ｉｍａｇｅ」という文字を表示してもよい。または、ジャケット画像の表示領域２８２には何も表示しなくてもよい。

また、本発明は、楽曲付きのスライドショー以外の用途にも適用することができる。例えば、本発明は、背景画像上に任意の表示画像を表示する場合にも適用できる。より詳細には、任意の表示画像を参照画像（ジャケット画像）として利用し、背景画像を入力画像（写真画像）として利用してもよい。この場合、背景画像が表示画像の雰囲気に合うようにエフェクト処理されるため画面全体で統一感が得られる。したがって、例えばコンピュータ上で擬似的なスクラップブックを実現するようなアプリケーションに応用することも可能である。

また、本明細書のＰＣ２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ＰＣ２０の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。

また、ＰＣ２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述したＰＣ２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図２の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

ＰＣのハードウェア構成を示したブロック図である。 本実施形態にかかるＰＣの構成を示した機能ブロック図である。 楽曲構成の一例を示した説明図である。 楽曲付きのスライドショーを実現するための一連の流れを示したフローチャートである。 レイアウト制御部による楽曲データのハイライト部分の設定処理の流れを示したフローチャートである。 ムードに応じたレイアウトの設定例を示した説明図である。 ムードに応じたレイアウトの設定例を示した説明図である。 動きパターンの具体例を示した説明図である。 動きパターンを表現するパラメータの意味を示した説明図である。 複数の画像の切替わり時の関係を示した説明図である。 エフェクト用情報の取得例を示した説明図である。 エフェクト用情報の他の取得例を示した説明図である。 エフェクト処理の実行例を示した説明図である。 パラメータｐがエフェクト内容に与える影響を示した説明図である。 時間の経過とパラメータｐの関係の一例を示した説明図である。 ノイズエフェクターにより付加されるノイズについて示した説明図である。 ノイズエフェクターにより付加されるノイズについて示した説明図である。 閾値ｔｈ１および閾値ｔｈ２とパラメータｐの関係を示した説明図である。 カラーイミテーションエフェクターによる処理のイメージ図である。 エフェクトタイプ選択部が各ジャケット写真のエフェクトタイプを選択する流れを示したフローチャートである。 モノクローム判定されるジャケット画像の具体例を示した説明図である。 ノイズ判定されるジャケット画像の具体例を示した説明図である。 ポスタライゼーション判定されるジャケット画像の具体例を示した説明図である。 トーンエフェクト判定されるジャケット画像の具体例を示した説明図である。 カラーイミテーション判定されるジャケット画像の具体例を示した説明図である。 エフェクト処理前の写真画像の具体例を示した説明図である。 図２６に示した写真画像にエフェクト処理「モノクローム」を施した結果を表す説明図である。 図２６に示した写真画像にエフェクト処理「ノイズ」を施した結果を表す説明図である。 図２６に示した写真画像にエフェクト処理「ポスタライゼーション」を施した結果を表す説明図である。 図２６に示した写真画像にエフェクト処理「トーンエフェクト」を施した結果を表す説明図である。 図２６に示した写真画像にエフェクト処理「カラーイミテーション」を施した結果を表す説明図である。 スライドショーの開始時に映像出力部に表示される表示画面の一例を示した説明図である。 楽曲のムードとフォントの関係の一例を示した説明図である。 ジャケット画像の画像解析情報に基づいてフォントを選択する様子を示した説明図である。 楽曲のジャンルとフォントの関係の一例を示した説明図である。 スライドショーの開始時に表示される表示画面からエフェクト処理が施された写真画像の表示に切替えられる様子を示した説明図である。

符号の説明

２０ ＰＣ
２２０ 記憶部
２２４ ムード判定部
２２８ ジャケット解析部
２３２ エフェクトタイプ選択部
２３６ レイアウト制御部
２４０ 画像選択部
２４８ ミキサ・エフェクト回路
２５２ エフェクト制御部
２６０ 映像出力部
２７２ フォント選択部

Claims (10)

1. 楽曲データを再生する再生部と；
   前記楽曲データの関連画像の特徴を解析する解析部と；
   複数の補正タイプのいずれかで画像補正を行なう画像補正部と；
   １または２以上の画像を記憶している記憶部と；
   前記解析部により解析された前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択する選択部と；
   前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に画像補正させる補正制御部と；
   前記画像補正部により補正された画像を出力する出力部と；
   を備える、情報処理装置。
2. 前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備える、請求項１に記載の情報処理装置。
3. 前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させる、請求項２に記載の情報処理装置。
4. 前記記憶部に記憶されている前記１または２以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項３に記載の情報処理装置。
5. 前記記憶部に記憶されている前記１または２以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項３に記載の情報処理装置。
6. 前記記憶部に記憶されている前記１または２以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項３に記載の情報処理装置。
7. 前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、
   前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含む、請求項２に記載の情報処理装置。
8. 前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含む、請求項２に記載の情報処理装置。
9. コンピュータを、
   楽曲データを再生する再生部と；
   前記楽曲データの関連画像の特徴を解析する解析部と；
   複数の補正タイプのいずれかで画像補正を行なう画像補正部と；
   前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と；
   記憶媒体に記憶されている１または２以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と；
   前記画像補正部により補正された画像を出力する出力部と；
   として機能させるための、プログラム。
10. 楽曲データを再生する再生ステップと；
    前記楽曲データの関連画像の特徴を解析するステップと；
    前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと；
    記憶媒体に記憶されている１または２以上の画像を前記選択部により選択された補正タイプで補正するステップと；
    補正された画像を出力するステップと；
    を含む、情報処理方法。
    
    
    
    

Images