JP4595704B2 - 画像処理装置、撮像装置、およびプログラム - Google Patents

Description

本発明は、画像と音声とを同期して再生するスライドショー再生を行なう画像処理装置、撮像装置、およびプログラムに関する。

従来、デジタルカメラなどの撮像装置は、撮像時にリアルタイムに撮像画像を確認するファインダー表示や撮像後に撮像した画像を確認するためのＬＣＤ（Liquid Crystal Display）などによる表示部を備えたものがある。この表示部における撮像画像の表示では、撮像画像の再生順序を指定して再生する、いわゆるスライドショー再生により、利用者が楽しんで鑑賞できるように表示するものが知られている。

さらに、スライドショー再生においては、単に撮像画像を鑑賞する以外に音楽データに合わせて複数の撮像画像データを同期再生させることで、より利用者が楽しんで鑑賞できるものがある。
これは、音楽データの各部分に対応してどの撮像画像データを再生させるかを予め指定（または、撮像画像データの再生順に対応して再生する音楽データを予め指定）したスライドショー情報に基づいて音楽データと複数の撮像画像データを同期再生させておこなう。
例えば、特許文献１には、音声情報が対応付けされた画像を表示させると共に、対応付けされている音声情報に基づく音声を発音させる技術が開示されている。
特開２００３−１１６０９９号公報

しかしながら、上述した従来技術では、音楽データの各部分に対応する画像データがスライドショー情報によって直接的かつ固定的に対応付けられているため、新たな画像データや新たな音楽データが逐次装置内に追加されていくような環境においては、その新たに追加されたデータを従前に設定したスライドショー情報によるスライドショー再生に含めることができない。
つまり、撮像して容易に画像の取得が可能なデジタルカメラなどにおいて、新たに撮像した画像を従前のスライドショー再生に含める場合、その都度、音楽データの各部分と画像データとの対応関係を指定し直す作業を利用者が行なう必要があり、容易に画像を取得できる割に、その画像を元にしたスライドショー再生を行なうことは面倒なものであった。

本発明は、このような課題に鑑みて為されたものであり、その目的とするところは、撮像した画像を容易にスライドショー再生可能な画像処理装置、撮像装置、およびプログラムを提供することである。

上記課題を解決するために、請求項１に記載の発明は、複数の画像データを記憶する画像データ記憶手段と、複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、を備えたことを特徴とする。

請求項２に記載の発明は、更に、前記画像データ割当手段は、前記画像処理割当手段により割り当てられた画像処理で必要な数だけ、各再生位置に対して複数の画像データを割り当て、前記再生手段は、前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた複数の画像データを切り換えながら表示することを特徴とする。

請求項３に記載の発明は、更に、前記画像データ割当手段は、前記画像処理割当手段により割り当てられた画像処理で必要な数の画像データを、適合度の高い順に選択して割り当てることを特徴とする。

請求項４に記載の発明は、更に、複数の音声データを記憶する音声データ記憶手段と、前記画像データ記憶手段に記憶されている複数の画像データを指定する画像データ指定手段と、前記画像データ指定手段により指定された複数の画像データに対する前記各音声データの適合度を判定し、最も適合度の高い音声データを、前記再生対象となる音声データとして選択する音声データ選択手段とを更に備え、前記画像データ割当手段は、前記画像データ指定手段により指定された複数の画像データを対象として、再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てることを特徴とする。

請求項５に記載の発明は、更に、前記画像データ記憶手段は、複数の画像データを含む複数のグループを記憶し、前記画像データ指定手段は、前記複数のグループのいずれかを指定することで、該グループに含まれる複数の画像データを指定することを特徴とする。

請求項６に記載の発明は、更に、前記画像データ記憶手段は、第３の属性情報が付与された画像データを複数記憶し、前記音声データ記憶手段は、各再生位置に対して前記第１の属性情報および前記第２の属性情報が付与された音声データを記憶し、前記画像データ割当手段は、再生対象となる音声データの各再生位置に付与された前記第１の属性情報と、各画像データに付与された前記第３の属性情報とに基づいて、各再生位置に対する各画像データの適合度を判定することを特徴とする。

請求項７に記載の発明は、更に、被写体を撮像して画像データを取得する撮像手段を更に備え、前記画像データ記憶手段は、前記撮像手段により逐次撮像される画像データを逐次追加して記憶し、前記画像データ割当手段は、再生対象となる音声データに対する画像データの割り当てを行う時点で前記画像データ記憶手段に記憶されている複数の画像データを対象として前記適合度の算出を行なうことを特徴とする。

請求項８に記載の発明は、更に、外部から音声データを取得する音声データ取得手段を更に備え、前記音声データ記憶手段は、前記音声データ取得手段により逐次取得される音声データを逐次追加して記憶し、前記音声データ選択手段は、指定された画像データに対する音声データの選択を行う時点で前記音声データ記憶手段に記憶されている複数の音声データを対象として前記適合度の算出を行なうことを特徴とする。

請求項９に記載の発明は、更に、通信回線を介してサーバ装置に画像データまたは音声データを送信する送信手段と、前記送信手段により送信された画像データまたは音声データに応じてサーバ装置側で作成されたスライドショー情報を受信する受信手段を更に備え、前記再生手段は、前記受信手段により受信したスライドショー情報に基づいて音声データを再生するとともに、音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する処理を実行することを特徴とする。

請求項１０に記載の発明は、更に、前記複数の画像処理は、表示する画像データを切り替える速さの異なる複数の画像処理、または画像データを切り替える際のフェードイン／フェードアウトの処理内容が異なる複数の画像処理であることを特徴とする。

請求項１１に記載の発明は、更に、前記音声データは、イントロ、間奏、サビ、アウトロ、Ａメロ、Ｂメロのうちの少なくとも１つを含む複数の再生区間から構成される音楽データであり、前記画像データ割当手段は、各再生区間毎に画像データを割り当て、前記画像処理割当手段は、各再生区間毎に画像処理を割り当てることを特徴とする。

請求項１２に記載の発明は、更に、前記画像データ割当手段は、音楽データにおけるテンポの速い再生位置ほど、割り当てる画像データの数を多くし、前記画像処理割当手段は、音楽データにおけるテンポの速い再生位置ほど、表示する画像データの切り替えを速くすることを特徴とする。

請求項１３に記載の発明は、更に、前記第３の属性情報は、撮影年月日、気分、お気に入り度、色合い、撮影距離、撮影モードのうちの少なくとも１つを含む属性情報であり、画像データに対して前記第３の属性情報を任意に設定する第１の属性情報設定手段を更に備えることを特徴とする。

請求項１４に記載の発明は、更に、前記第１の属性情報および前記第２の属性情報は、再生時間、流行時期、イメージ、分類、テンポのうちの少なくとも１つを含む属性情報であり、音声データに対して前記第１の属性情報および前記第２の属性情報を任意に設定する第２の属性情報設定手段を更に備えることを特徴とする。

請求項１５に記載の発明は、更に、前記第３の属性情報が示す各データに対して、前記第１の属性情報が示す各データとの適合度を記憶する適合度判定テーブルを備え、前記画像データ割当手段は、再生対象となる音声データの各再生位置に付与された前記第１の属性情報と、各画像データに付与された前記第３の属性情報との適合度を、前記適合度判定テーブルを参照して算出することを特徴とする。

請求項１６に記載の発明は、更に、前記適合度判定テーブルの記憶内容を任意に設定する適合度判定テーブル設定手段を更に備えることを特徴とする。

請求項１７に記載の発明は、被写体を撮像して画像データを取得する撮像手段と、前記撮像手段により取得した複数の画像データを記憶する画像データ記憶手段と、複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、を備えたことを特徴とする。

請求項１８に記載の発明は、画像データの表示機能と、音声データの再生機能を有する画像処理装置のコンピュータを、複数の画像データを記憶する画像データ記憶手段と、複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、して機能させることを特徴とする。

本発明によれば、再生の対象となる音声データに適した画像データを表示させることができ、しかも、各音声データに対して同時に表示させるべき画像データの情報を予め固定的に指定しておく必要がないので、新たな画像データや新たな音声データが追加されていくような環境においても、いつでも、再生の対象となる音声データを指定するだけで、該音声データの各部分に適した画像データを表示させることができる。更に、音声データに基づいて音声再生する際の再生区分毎に適した画像データの表示を行うことができ、より再生される音声の状況に適した画像の表示を行うことができる。更に、各再生区分での画像データの表示を、当該再生区分に適した画像処理を施して行うことができ、より再生される音声に適した視覚演出で画像の表示を行うことができる。

［第１の実施の形態］
以下、図を参照して本発明の実施形態について詳細に説明するが、この発明は、この実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の用語はこれに限定しない。

先ず、本発明である撮像装置１の構成について図１〜図５を参照しながら説明する。図１（ａ）は、撮像装置１の正面外観を示す外観図であり、図１（ｂ）は、撮像装置１の背面外観を示す外観図であり、図２は、撮像装置１の機能的構成を模式的に示すブロック図であり、図３は、撮像部１１の詳細を示すブロック図であり、図４（ａ）は、画像情報テーブル１７１の内容を例示する図であり、図４（ｂ）は、音楽情報テーブル１７２の内容を例示する図であり、図５（ａ）は、適合度判定テーブル１７３ａの内容を例示する図であり、図５（ｂ）は、適合度判定テーブル１７３ｂの内容を例示する図である。

撮像装置１は、図１（ａ）に示すように、撮影対象物である被写体からの光を内部にある撮像素子の撮像面に結像するレンズ１２０を正面に備え、利用者が背面方向から右手で右測方を把持した時に右手人差し指で容易に押下が可能な上部位置にシャッター１４１を備える。

また、撮像装置１は、主に正面方向における外部からの音声を入力するマイク１９１、外部マイクや音声再生機器からの音声信号を入力可能な音声入力端子１９２及び音声の再生を行なうスピーカ１９３などの音声部１９を備え、動画像撮影時の録音や外部機器で再生した音楽の録音又は当該装置に格納された音声データに基づいた音声再生を行なう。

図１（ｂ）に示すように、撮像装置１は、撮影した画像などを表示するＬＣＤ（Liquid Crystal Display）である表示画面１２１と、上述のシャッター１４１と同様に利用者が右手で把持した時に右手親指で容易な操作が可能なキー操作部１４２と、を背面位置に備える。

撮像装置１は、図２に示すように、制御部１０、撮像部１１、表示部１２、ファインダ部１３、入力部１４、メモリカードＩ／Ｆ１５、画像処理部１６、記憶部１７、通信Ｉ／Ｆ１８及び音声部１９を備え、各部はバス２０により互いに電気的に接続されてなる。

制御部１０は、特に図示しないＣＰＵ（Central Processing Unit）、内部ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などを備え、ＣＰＵが前記内部ＲＡＭの所定領域を作業領域としてＲＯＭに格納されている各種制御プログラム又は各種データを元に、上記各部に制御信号を送って撮像装置１の動作全般を統括制御する。なお、上述の作業領域や各種プログラムの格納先は、後述する記憶部１７であっても良い。具体的に制御部１０は、格納されたプログラムを読出して、後述する音楽情報の設定処理、画像情報の設定処理、適合度判定テーブルの設定処理、スライドショー作成処理、適合度判定処理、エフェクト適合度判定処理又はスライドショー再生処理を行なう。

また、制御部１０は、撮影レンズ系及びミラーなどのレンズ・ミラーブロック、ＣＣＤ（Charge Coupled Device）等の撮像素子、その駆動系ほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路などを備えた撮像部１１の光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御することで、撮像装置１における撮像動作を制御する。

なお、撮像装置１における撮像動作は、人物撮影に適した「人物モード」、夜景などの撮影に適した「夜景モード」、日中の撮影に適した「日中モード」などの各種撮影モードに応じて上記制御を行なってよい。

また、制御部１０は、撮像部１１によって撮影されて信号処理された画像データを画像処理部１６に送り、所定の画像処理を施した画像データの記憶部１７への格納や表示部１２又はファインダ部１３による表示画面１２１への表示を行なう。また、制御部１０は、常時一定周波数の水晶発振によるクロック信号の計数などにより、現在時刻を計時する機能を備える。

表示部１２は、例えばＬＣＤなどである表示画面１２１によって構成され、画像再生画面、入力操作画面、メッセージ画面として使用されるもので、その解像度は撮像部１１内の撮像素子の解像度と略同様な高精細ディスプレイである。

ファインダ部１３は、撮像部１１で撮像した画像データにフレーム、視野枠、及び合焦対象を示すマーカなどの標識及び絞り・シャッタースピードなどの数値を合成した画像をリアルタイムに表示画面１２１に表示する（スルー／ファインダ画像表示）。

なお、ファインダ部１３は、表示画面１２１に撮像画像をファインダ画像として表示する構成以外に撮像方向からの光が入射される対物レンズ、制御部１０からの指示により上記標識や数値を表示するファインダ用ＬＣＤ、入射される光束を利用者の眼に導く接眼レンズ及び対物レンズからの光とファインダ用ＬＣＤからの光を導光して接眼レンズへ導くプリズムなどによる光学ファインダーであってもよい。

入力部１４は、「半押し」又は「全押し」の２段階ストロークで押下操作が可能なシャッター１４１、各種設定、選択などを選択キーや決定キーの押下操作で行なうキー操作部１４２などであり、押下操作に応じた信号を制御部１０に送信する。

メモリカードＩ／Ｆ１５は、特に図示しないデータの読み書きが可能な記録媒体であるメモリーカードが着脱自在に装着されるインターフェイスであり、画像データなどをメモリーカードに書き込む。なお、メモリーカードは、不揮発性の記録媒体であり、具体的には、スマートメディア、ＩＣカードなどである。

画像処理部１６は、画像処理用ＤＳＰ（Digital Signal Processor）等からなり、制御部１０から入力される画像データと制御信号とにより、拡大・縮小処理、画素補間、輝度値の調整、色変換及び所定領域の切り取りなどの各種画像処理を行ない、制御部１０へ変換後の画像データや演算結果値を出力する。

記憶部１７は、制御部１０の指示により電気的に消去及び書き換えが可能な不揮発メモリなどであり、プログラム記憶領域、データ記憶領域及び作業領域を有する構成である。プログラム記憶領域には、後述するフローチャートに示す動作手順で本実施の形態に関する動作を実現するためのプログラムなどが格納される。データ記憶領域には、画像情報テーブル１７１、音楽情報テーブル１７２、適合度判定テーブル１７３及びスライドショー情報１７４や特に図示しない画像データや音楽データ（音声データ）が格納される。

画像情報テーブル１７１は、図４（ａ）に示すように、記憶部１７に「画像」名で格納された各画像データに対して「画像グループ」、「撮影年月日」、「気分」、「お気に入り度」、「色合い」、「撮影距離」又は「撮影モード」などの属性情報を付与するデータを格納するテーブルである。各画像データに対する属性情報は、同図に示したテーブル形式の他に、各画像データのヘッダ／フッタ部分にタグ情報として格納する構成、例えばＥｘｉｆ（Exchangeable Image File Format）形式の画像データにおける付加情報に格納する構成であっても良い。

なお、属性情報における「画像グループ」は画像データが属するカテゴリを示す情報であり、「気分」・「お気に入り度」・「色合い」は利用者の撮像画像に対する印象を示す情報であり、ともに撮像後の確認時などに利用者が設定する。また、「撮影年月日」は撮像時の時刻情報、「撮影距離」・「撮影モード」は撮影時における撮影モードやセンサ部１１１が出力する距離値などであり、撮像と同時に設定される情報である。

音楽情報テーブル１７２は、図４（ｂ）に示すように、記憶部１７に「楽曲名」で格納された各音楽データに対して再生部分毎の「再生時間」、「流行時期」、「イメージ」、「分類」又は「テンポ」などの属性情報を付与するデータを格納するテーブルである。各音楽データに対する属性情報は、上述した画像データに対する属性情報と同様に各音楽データのヘッダ／フッダ部分にタグ情報として格納する構成などであっても良い。

適合度判定テーブル１７３は、音楽の属性情報の何れかに対して画像の属性情報の何れかとの適合関係を示す情報と、音楽の属性情報の何れかに対して画像のエフェクトの何れかとの適合関係を示す情報とを格納する。前段の適合関係を示すものは、図５（ａ）に示すように、音楽の「イメージ」と画像の「気分」との適合度や、音楽の「テンポ」と画像の「色合い」との適合度など、音楽対画像の適合関係を複数の項目で格納する適合度判定テーブル１７３ａがある。また、後段の適合関係を示すものは、図５（ｂ）に示すように、音楽の「テンポ」と画像のエフェクトの切替速度との適合度や、音楽の「分類」と画像のエフェクトの切替モードとの適合度など、音楽対エフェクトの適合関係を複数の項目で格納する適合度判定テーブル１７３ｂがある。

なお、図５に示したように、適合関係に関する情報は、適合度を示すテーブルで複数の項目をまとめて格納する構成でもよいが、項目の比較ごとにテーブルを設ける構成であってよい。また、音楽対画像又は音楽対エフェクトの適合関係は、同図に示したように、一つの音楽の属性情報に対して複数の画像の属性情報又はエフェクトの適合関係とは逆に、一つの画像の属性情報又はエフェクトに対して複数の音楽の属性情報の適合関係であって良く、特に限定しない。

スライドショー情報１７４は、再生する音楽データ、その音楽データの再生部分ごとに表示する画像データ及びその画像を表示する際の画像処理による表示効果（エフェクト）を示す情報であり、後述するスライドショー作成処理で作成される。なお、スライドショー情報１７４は、タイムテーブルで上記情報を管理し、複数の音楽データと画像データの再生が可能な構成であってよい。

通信Ｉ／Ｆ１８は、外部機器として、例えば、ＰＣ（Personal Computer）などのデータ処理装置が接続するインターフェイスであり、有線又は無線通信により所定の通信プロトコルで当該外部機器との間のデータ通信を行なう。

音声部１９は、マイク１９１、音声入力端子１９２及びスピーカ１９３を備え、マイクや端子を通して入力される音声信号に基づいた制御部１０への音声データの出力や、入力される音声データを元にした音声再生を行なう。具体的には、音声部１９は、マイク１９１又音声入力端子１９２から入力される音声信号をデジタル変換してからＡＶＩ（Audio Video Interleave）形式、ＭＰＥＧ（Moving Picture Experts Group）形式、ＷＡＶ形式など所定の形式の音声データ（音楽データ）へ変換してその音声データの制御部１０への出力を行なう。また、制御部１０から入力される上記形式の音声データを復号し、アナログ変換してマイク１９１から出力する。

撮像部１１は、図３に示すように、センサ部１１１、光学系駆動部１１２、駆動回路１１３、撮像素子１１４、アナログ処理回路１１５、Ａ／Ｄ回路１１６、バッファ１１７、信号処理回路１１８、圧縮伸長回路１１９、レンズ１２０及び絞り１１２１を備え、制御部１０の指示により所定の焦点距離に合焦して撮像された動画又は静止画像である画像データを所定の形式の画像データに変換して画像処理部１６に出力する。

センサ部１１１は、撮像方向にある撮影対象の距離値と露出値とを出力する構成であり、例えば、特に図示しない赤外光投光部及び受光部による測距回路とＣｄＳなどの光電導体による露光回路からなる。

光学系駆動部１１２は、後述するレンズ１２０、絞り１１２１をステッピングモータなどにより駆動する回路であり、上述のセンサ部１１１により得られる距離値や露出値に応じた撮像部１１の指示により、撮像素子１１４で結像する画像が撮像対象に合焦するようなレンズ１２０の移動と撮像素子１１４に入光する光量が適正となるような絞り１１２１による露出制御とを行なう。

駆動回路１１３は、撮像素子１１４によって光電変換された各画素対応の電荷を画像信号として順次取り出してアナログ処理回路１１５に与える。撮像素子１１４は、ＣＣＤ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光センサにより構成され、当該撮像素子上の撮像面に結像される画像を各画素対応の画像信号として出力する。なお、撮像素子１１４における各画素は、ＲＧＢ（Red、Green、Blue）それぞれのフィルターを備えた３色分の画素を一つの単位画素として構成する。

アナログ処理回路１１５は、撮像素子１１４から出力される画像信号のノイズを低減させるＣＤＳ（Correlated Double Sampleing：相関二重サンプリング）回路、信号の増幅を行なうＡＧＣ（Automatic Gain Control：自動利得制御）回路、入力された画像信号における色差信号の差を利用して、Ｒ、Ｇ、Ｂの各色の色差成分に分離させる色分離回路及びそのＲ、Ｇ、Ｂの各色差成分のバランスが同等になるように調整されるホワイトバランス制御回路などにより、所定のアナログ信号処理を行ない、Ａ／Ｄ回路１１６へアナログ画像信号を出力する。

Ａ／Ｄ回路１１６は、アナログ処理回路１１５から出力されるアナログ画像信号をデジタル画像信号に変換し、バッファ１１７へ出力する。バッファ１１７は、Ａ／Ｄ回路１１６で変換されたデジタル画像信号を一時的に記憶し、制御部１０の指示により信号処理回路１１８又は圧縮伸長回路１１９へ順次出力する。

信号処理回路１１８は、入力されたデジタル画像信号による画像の所定領域の鮮鋭度を算出して制御部１０へ出力する。これにより、制御部１０は、最も鮮鋭でコントラストが高くなる合焦した状態を検出することで、画像の所定領域における合焦を行なうことができる。
圧縮伸長回路１１９は、入力されるデジタル画像信号を例えばＪＰＥＧ（Joint Photographic Experts Group）などの所定の符号化方式で圧縮又は復号化して制御部１０へ出力する。

レンズ１２０は、撮像対象の像を前述の撮像素子１１４上の撮像面に結像（合焦）するように調整可能なレンズである。なお、レンズ１２０は複数のレンズ群の組み合わせにより画角調整が可能に構成されても良い。表示画面１２１は、レンズ１２０と撮像素子１１４との間に配され、複数枚のシャッター羽根により開口径と開閉時間（露光時間）とを制御可能に構成される。

次に、撮像装置１における音楽情報、画像情報、適合度判定テーブルの設定処理について、図６、図７を参照して説明する。図６（ａ）は、制御部１０が行なう音楽情報の設定処理を示すフローチャートであり、図６（ｂ）は、制御部１０が行なう画像情報の設定処理を示すフローチャートであり、図７は、制御部１０が行なう適合度判定テーブルの設定処理を示すフローチャートである。

先ず、音楽情報の設定処理について説明する。
図６（ａ）に示すように、制御部１０は、入力部１４からの操作指示などにより入力の対象である音楽データに対する音楽情報の設定処理を開始し、その音楽データの流行時期・イメージ・分類・テンポなど、音楽に関する情報を入力部１４から受け付ける（ステップＳ１１）。なお、ステップＳ１１においては、音楽データの再生時間毎に区切り、その音楽に関する情報を入力する構成であって良い。具体的には、同図に示すように、音楽に関する情報を入力部１４から受け付ける時に音楽データを再生し、利用者からの入力があったタイミングで区切られた再生部分に対してさらに情報を入力する構成である。

次いで、入力部１４からの入力指示や記憶部１７に格納された設定情報に基づいて、音楽データに対して入力された音楽に関する情報の埋め込みを行なうか否かが判定され（ステップＳ１２）、行なわない場合は（ステップＳ１２：ＮＯ）入力された情報が音楽情報テーブル１７２に別ファイルとして保存されて（ステップＳ１３）終了し、行なわれる場合は（ステップＳ１２：ＹＥＳ）データのヘッダ／フッタ部分や電子透かし技術などを用いた方法でその音楽データに入力された情報が埋め込まれ（ステップＳ１４）、その情報が埋め込まれた音楽データが保存されて（ステップＳ１５）終了する。

次に、画像情報の設定処理について説明する。
図６（ｂ）に示すように、制御部１０は、撮像部１１で撮影し（ステップＳ２１）、その撮影画像の確認画面を表示部１２に表示して（ステップＳ２２）、画像グループ名、気分、お気に入り度、色合いなど、その撮像画像に関する情報を入力部１４から受け付けて（ステップＳ２３）、撮像画像データの保存と入力された情報の画像情報テーブル１７１への保存を行ない（ステップＳ２４）、終了する。

なお、撮像画像に関する情報は、入力部１４から入力される情報以外に、計時された現在時刻に基づいた撮影年月日や、撮像部１１における撮影時の撮影モード、センサ部１１１で測定された撮影対象との距離値を元にした撮影距離などであっても良い。

次に、適合度判定テーブルの設定処理について説明する。
図７に示すように、制御部１０は、入力部１４からの操作指示に基づいて音楽データの属性と画像データの属性とを指定し（ステップＳ３１、Ｓ３２）、その指定された属性間の適合度の入力を受け付け（ステップＳ３３）、指定されて入力された２つの属性間の適合度を適合度判定テーブル１７３ａとして記憶し（ステップＳ３４）、この設定処理の終了指示の有無に基づいて設定終了と判定されるまで上記ステップＳ３１〜Ｓ３４の処理を行なう（ステップＳ３５）。

同様に、適合度判定テーブル１７３ｂに関する設定処理は、ステップＳ３２においてエフェクトを指定し、ステップＳ３４において指定された入力された音楽の属性情報とエフェクトとの適合度を適合度判定テーブル１７３ｂとして記憶することで行なう。なお、この適合度判定テーブルの設定処理は、ステップＳ３１、Ｓ３２を入れ替え、画像の属性情報に対する音楽の属性情報の適合度を設定する処理であっても良い。

撮像装置１は、上述した音楽情報の設定処理、画像情報の設定処理又は適合度判定テーブルの設定処理を行なうことで、利用者の好みで音楽データや画像データに付与する情報の設定や、その情報に基づく適合関係を設定することができる。

次に、スライドショー作成処理について、図８〜図１０を参照して説明する。図８は、制御部１０が行なうスライドショー作成処理を示すフローチャートであり、図９（ａ）は、制御部１０が行なう適合度判定処理を示すフローチャートであり、図９（ｂ）は、制御部１０が行なうエフェクト適合度判定処理を示すフローチャートであり、図１０は、制御部１０が行なうスライドショー再生処理を示すフローチャートである。

先ず、図８に示すように、制御部１０は、入力部１４からの操作指示によりスライドショー作成処理を開始し、同期して再生するスライドショーの元となるデータとして、音楽データ若しくは複数の画像データが入力部１４から指定されるまで待機する（ステップＳ４１、Ｓ４２）。

同期して再生するスライドショーの元となるデータとして、複数の画像データ（画像グループ）が指定された場合（ステップＳ４２：ＹＥＳ）、該画像グループに含まれる画像データがスライドショーの選択候補データであり、画像情報テーブル１７１におけるその画像データに対応する情報が記憶部１７の作業領域に格納され、（ステップＳ４３）、該画像グループに対する各音楽データの適合度が判定される適合度判定処理が行なわれ（ステップＳ４４）、指定された画像グループに対して最も適合度の高い音楽データがスライドショー再生時の音楽データとして選択される（ステップＳ４５）。

ここで、ステップＳ４４における適合度判定処理について詳細に述べる。図９（ａ）に示すように、制御部１０は、適合度判定テーブル１７３ａにおける項目の一つを選択し（ステップＳ６１）、判定対象となる音楽データの属性情報と画像データの属性情報とを元にした画像と音楽との適合度を取得し（ステップＳ６２）、取得した適合度を判定対象となる音楽データと画像データごとに累計して記憶部１７の作業領域に格納し（ステップＳ６３）、適合度判定テーブル１７３ａにおける他の適合度を判定する項目の有無を判定し（ステップＳ６４）、項目が有る場合はステップＳ６２、Ｓ６３を他の項目に基づいて行ない、項目が無い場合は累計された適合度を判定対象である音楽データと画像データとの適合度として格納して（ステップＳ６５）、終了する。

ステップＳ４４においては、上述した適合度判定処理を画像グループの属性情報の平均と各音楽データの各再生部分の属性情報の平均とを元にして行ない、画像グループの各音楽データに対する適合度を算出する。これにより、画像グループに対する音楽の適合具合を適合度の高低で示すことができる。また、画像グループと音楽データとの適合度の算出は、画像グループの属性情報の平均や音楽データの各再生部分の平均に基づいた算出だけでなく、当該画像グループに属する各画像データと音楽データの各再生部分との適合度を累計して算出する構成などであって良い。

なお、同期して再生するスライドショーの元となるデータとして、音楽データが指定された場合は（ステップＳ４１：ＹＥＳ）、記憶部１７に格納された全画像データがスライドショーの選択候補データであり、画像情報テーブル１７１の全てが記憶部１７の作業領域に格納される（ステップＳ４６）。

次いで、スライドショー再生時の音楽として指定された音楽データの各部分（再生位置）に対する各エフェクトの適合度がエフェクト適合度判定処理で判定され（ステップＳ４７）、当該音楽データの各部分で最も高い適合度のエフェクトが割り当てられる（ステップＳ４８）。

ここで、ステップＳ４７におけるエフェクト適合度判定処理について詳細に述べる。図９（ｂ）に示すように、制御部１０は、適合度判定テーブル１７３ｂにおける項目の一つを選択し（ステップＳ７１）、判定対象となる音楽データの各部分における属性情報とエフェクトとのとの適合度を取得し（ステップＳ７２）、取得した適合度を判定対象となる音楽データの部分ごとに累計して記憶部１７の作業領域に格納し（ステップＳ７３）、適合度判定テーブル１７３ｂにおける他の適合度の項目の有無を判定し（ステップＳ７４）、項目が有る場合はステップＳ７２、Ｓ７３を他の項目に基づいて行ない、項目が無い場合は累計された適合度を判定対象である音楽データの各部分とエフェクトとの適合度として格納して（ステップＳ７５）、終了する。

このステップＳ４７では、上述したエフェクト適合度判定処理を指定された音楽データの全ての部分に対して行なうことで、再生部分ごとのエフェクトの適合具合を適合度の高低で示すことができる。

次いで、指定された音楽データの各部分に対するスライドショーの選択候補である各画像データの適合度が、ステップＳ４４とは逆に音楽データの各部分に対して画像データを比較する適合度判定処理により判定され（ステップＳ４９）、当該音楽データの部分毎にステップＳ４８で割り当てられたエフェクトで必要な画像データが適合度が高い画像データ順に選択され（ステップＳ５０）、該音楽データの各部分に対して画像データとエフェクトとを対応付けたスライドショー情報が作成されて記憶部１７のデータ記憶領域に格納される（ステップＳ５１）。

以上までの処理により作成されるスライドショー情報について、スライドショー情報１７４を例示する図１１を参照して説明する。同図に示すように、スライドショー情報１７４は、再生する音楽データと、その音楽データにおける前奏やサビなどの各部分に対応する画像データと、その画像データに対するエフェクトとから構成されるデータである。撮像装置１は、このスライドショー情報１７４に基づいて音楽と画像とを同期したスライドショー再生を行なう。

このため、撮像装置１は、上述した処理により作成されたスライドショー情報１７４をスライドショー再生に用いることで、画像と音楽とが適合したより好適なスライドショーを再生することができる。例えば、音楽データのサビの部分に対して画像データの属性情報におけるお気に入り度が高い場合に適合度が高くなるように適合度判定テーブル１７３ａが設定されている場合は、その設定に応じたお気に入りの画像がサビの部分で再生される。また、テンポがゆっくりの場合は画像をゆっくり切り替え、速い場合は速く切り替えるエフェクトの適合度が高くなるように適合度判定テーブル１７３ｂが設定されている場合は、その設定に応じたエフェクトで画像を切り替えて再生される。

なお、ステップＳ５１の後、入力部１４からの指示などを元に直ちに再生するか否かが判定され（ステップＳ５２）、直ちに再生する場合はステップＳ５１までに作成されて格納されたスライドショー情報に基づいてスライドショー再生処理が行なわれて（ステップＳ５３）終了する。
直ちに再生しない場合には、ここで格納されたスライドショー情報を利用者の好きな時に指定して再生することができる。

ところで、記憶されている画像データの数は、新たな撮影記録が行われたり、不要な画像データが削除されることによって常に変化している。また、記憶されている音楽データの数は、例えば、着脱式のメモリカードを介して新たな音楽データが読み込まれたり、通信回線を介して新たな音楽データがダウンロードされたり、不要な音楽データが削除されることによって常に変化している。

このような常に情報が変化する環境にあって、指定した音楽データに対して毎回同じ画像データを同期再生させたい場合や、指定された画像グループに対して毎回同じ音楽データを同期再生させたい場合には、ここで格納された同じスライドショー情報を毎回指定して再生させればよい。これに対して、同じ音楽データを指定して再生を行う場合でも、常に最新の画像データの中から選択された複数の画像データを用いて同期再生させたい場合や、同じ画像グループを指定して再生を行う場合でも、常に最新の音楽データの中から選択された複数の音楽データを用いて同期再生させたい場合には、同期再生を行う直前にステップＳ４１からの処理を実行させればよい。

ここで、ステップＳ５３におけるスライドショー再生処理について詳細に述べる。図１０に示すように、制御部１０は、入力部１４などからの指示により再生対象となるスライドショー情報が指定されるまで待機し（ステップＳ８１）、指定された場合は該スライドショー情報で指定されている音楽データを記憶部１７から取得し（ステップＳ８２）、該音楽データの再生を開始する（ステップＳ８３）。

次いで、該スライドショー情報に基づいて、再生している音楽データの現在の再生位置に対応して指定されているエフェクトに関する情報と画像データとが取得され（ステップＳ８４）、取得された画像データが指定されているエフェクトで画像処理されて表示部１２に表示され（ステップＳ８５）、このステップＳ８４、Ｓ８５の処理が音楽データの終わりが検出されるまで、つまり、再生が終了するまで行なわれて（ステップＳ８６：ＹＥＳ）、終了する。

以上のように、撮像装置１は、記憶部１７に記憶された音楽データや画像データの中から入力部１４で指定された画像データ若しくは音楽データに基づいてスライドショー再生を行なう際に、画像情報テーブル１７１／音楽情報テーブル１７２を参照して得られるその指定された画像データ／音楽データに関する情報と適合度判定テーブル１７３とを元に同時に再生すべき音声データ／画像データとの適合度を算出し、その適合度に応じて選択された音声データ／画像データを用いてスライドショー再生を行なう。

このため、撮像装置１は、スライドショー再生に際して再生の元となるデータとして画像グループ若しくは音楽データの何れかを指定することで、スライドショー再生を行なうことができ、容易なスライドショー再生を可能とする。

また、撮像装置１は、音楽情報テーブル１７２により音楽データの再生区分毎に情報を格納する構成であるため、音楽データによる音声再生時の画像データの選択をその再生区分毎に行うことができ、より音楽に沿った画像表示を行うことができる。

また、撮像装置１は、適合度判定テーブル１７３ａにより画像データに関する情報と音楽データに関する情報の適合関係に関する情報を格納する構成であるため、画像と音楽との適合関係を明確に対応付けることができる。また、適合度判定テーブル１７３ｂにより音楽データと画像処理による表示効果の関係に関する情報を格納し、その情報に基づいて表示する画像の画像処理を行なう構成であるため、例えば音楽データのテンポに応じて画像を表示する切り替え速度を変更することで、音楽のテンポに同期した画像の表示を行なうなど、音楽に合わせた視覚的な演出を行うことができる。

［第２の実施の形態］
次に、第２の実施の形態として、本発明を適用した折り畳み式の携帯電話である携帯情報端末２と、その携帯情報端末２を用いた情報通信システム１００について、図１２〜図１５を参照して説明する。なお、簡略化のため、第１の実施の形態で説明した撮像装置１と同様の構成については、同一の符号を付して説明を省略する。

ここで、図１２（ａ）は、開いた状態における携帯情報端末２の正面外観図であり、図１２（ｂ）は、開いた状態における携帯情報端末２の背面外観図であり、図１３は、携帯情報端末２の機能的構成を模式的に示した図であり、図１４は、情報通信システム１００の構成の概略を示す概略図であり、図１５（ａ）は、情報通信システム１００における携帯情報端末２及びサーバ４の処理を示すラダーチャートであり、図１５（ｂ）は、携帯情報端末２の音楽情報設定処理を示すフローチャートである。

先ず、携帯情報端末２について詳細に述べる。
図１２（ａ）に示すように、携帯情報端末２は、上蓋１０１と下蓋１０２とがヒンジ部１０３により回動可能に接合されており、そのヒンジ部１０３を軸にして正面側で互いに向かい合うように折り畳む構成となっている。また、携帯情報端末２は、上蓋１０１の正面側に表示画面１２１とスピーカ１９３を、下蓋１０２の正面側にキー操作部１４２とマイク１９１を備える。このため、利用者が正面側を向けて下蓋１０２を把持した状態でキー操作部１４２の操作と表示画面１２１の画面確認とを容易にする。

また、携帯情報端末２は、図１２（ｂ）に示すように、上蓋１０１の背面側にレンズ１２０を、下蓋１０２の背面側にスピーカ１９３ａ、１９３ｂを備える。このため、ステレオ音声の再現が可能であるとともに、利用者が正面側を向けて下蓋１０２を把持した状態で利用者の正面方向の撮像とその画像の確認を容易にする。

また、携帯情報端末２は、図１３に示すように、通信回路である通信部２１を備え、ＧＳＭ（Global System for Mobile communication）方式、ＧＰＲＳ（General Packet Radio System ；汎用パケット無線システム）方式、ＰＤＣ（Personal Digital Cellular）方式、ＣＤＭＡ（Code Division Multiple Access）方式、ＰＨＳ（Personal Handyphone System）方式、Bluetooth無線通信方式、無線ＬＡＮ（Local Area Network）等のように各種携帯電話や無線モデムの規格や通信方式により、通信業者の無線基地局との間で、データ通信や通話などの通信を行う。

以上のように、携帯情報端末２は、前述の撮像装置１と同様な構成であり、撮像した画像に基づいたスライドショー再生が可能であるとともに、通信部２１による通話や無線通信を行なうことが可能である。

次に情報通信システム１００について詳細に述べる。
図１４に示すように、情報通信システム１００は、ワークステーションやＰＣ（Personal Computer）などであるサーバ４、無線通信業者が携帯電話との通信を行なうための無線局３及び携帯情報端末２が上述した各種携帯電話や無線モデムの規格や通信方式又は有線であるネットワークＮにより互いに通信可能に接続する構成である。

サーバ４は、当該サーバ４における動作の統括制御を行う制御部４１０、ネットワークＮを介して電気的に接続された外部の情報機器と通信を行なう通信部４１１、その制御部４１０が実行するプログラムや画像情報テーブル１７１、音楽情報テーブル１７２、適合度判定テーブル１７３、画像データ及び音楽データなどの各種データを格納する記憶部４１２や特に図示しない各種機能部を備える。上記構成により、サーバ４は、携帯情報端末２から送信されるデータに基づいた処理を行ない、その結果に基づいたデータを携帯情報端末２に送信する。

次に、携帯情報端末２と情報通信システム１００とが協働して行なうスライドショー再生処理について図１５（ａ）を参照して説明する。

先ず、携帯情報端末２における制御部１０は、スライドショー再生する画像データ（画像グループ）又は音声データを入力部１４から受け付け、画像情報テーブル１７１又は音楽情報テーブル１７２を参照して対応する画像情報又は音楽情報をサーバ４に送信する（ステップＳ９１）。

次いで、サーバ４における制御部４１０は、携帯情報端末２から送信される画像情報又は音楽情報を受信して、その受信した情報に基づいてスライドショー情報を作成し、当該スライドショー情報とそのスライドショーの再生に必要な画像データ又は音楽データを携帯情報端末２に送信する（ステップＳ１０１）。具体的には、制御部４１０は、画像情報を受信した場合には前述のステップＳ４４からＳ５１に至るまでの処理を、音楽情報を受信した場合には前述のステップＳ４６からＳ５１に至るまでの処理を行ない、作成されたスライドショー情報とそれに関する画像データ又は音楽データを携帯情報端末２に送信する。

次いで、携帯情報端末２における制御部１０は、サーバ４から送信されるスライドショー情報とそれに関する画像データ又は音楽データを受信して前述したスライドショー再生処理を行ない（ステップＳ９２）終了する。

また、携帯情報端末２における制御部１０が行なう音楽情報の設定処理は、図１５（ｂ）に示す構成であってよい。同図に示すように、制御部１０は、音楽データを取得し（ステップＳ１１１）、入力部１４からの入力指示や記憶部１７に格納された設定情報などに基づいて、音楽データに対してユーザー自身がその音楽に関する情報の設定を行なうか否かを判定し（ステップＳ１１２）、行なう場合（ステップＳ１１２：ＹＥＳ）は前述した音楽情報の設定処理（ステップＳ１１〜Ｓ１５）を行なって終了する。

ユーザー自身が設定を行なわない場合は（ステップＳ１１２：ＮＯ）、曲名、音楽データのデータ量、トータルの再生時間などの音楽データを特定する情報をレコード会社などが提供する音楽情報提供サービスの端末に送信することでその音楽データにあった音楽情報が取得され（ステップＳ１１３）、その音楽情報が記憶部１７に保存されて（ステップＳ１１５）、終了する。具体的には、ステップＳ１１３において、上述の音楽情報提供サービスを行なうサーバ４に音楽データを特定する情報が送信されて、制御部４１０の制御により、その情報に基づいて記憶部４１２に格納された音楽情報テーブル１７２が参照されることで得られるその音楽データにあった音楽情報が携帯情報端末２に送信される。

上述した情報通信システム１００のように、スライドショー作成処理を携帯情報端末２とサーバ４とが協働して行ない、携帯情報端末２で音楽データや画像データの再生の際に、その音楽データに基づく再生時に適した画像データや画像データに基づく表示時に適した音声データをサーバ４から受信して再生する構成であっても良い。この場合は、携帯情報端末２に音声データ又は画像データのいずれか一方の情報を保持するだけで良く、記憶領域をより効率的に利用することができる。

また、携帯情報端末２は、サーバ４から音楽データにあった音楽情報を取得して設定する構成であってもよい。この場合は、利用者自身が音楽情報を設定する手間を省くことができる。

なお、本実施の形態における記述は、本発明の一例を示すものであり、これに限定しない。本発明における撮像装置１、携帯情報端末２又は情報通信システム１００の細部構成及び細部動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、本実施の形態で説明した画像データは、動画像又は静止画像のいずれであっても良く、特に限定するものではない。

また、撮像装置１や携帯情報端末２は、デジタルカメラやカメラ付き携帯電話だけでなく、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）等の情報機器であって良く、特に限定するものではない。

（ａ）は、本発明である撮像装置１の正面外観を示す外観図であり、（ｂ）は、撮像装置１の背面外観を示す外観図である。 撮像装置１の機能的構成を模式的に示すブロック図である。 撮像部１１の詳細を示すブロック図である。 （ａ）は、画像情報テーブル１７１の内容を例示する図であり、（ｂ）は、音楽情報テーブル１７２の内容を例示する図である。 （ａ）は、適合度判定テーブル１７３ａの内容を例示する図であり、（ｂ）は、適合度判定テーブル１７３ｂの内容を例示する図である。 （ａ）は、音楽情報の設定処理を示すフローチャートであり、（ｂ）は、画像情報の設定処理を示すフローチャートである。 適合度判定テーブルの設定処理を示すフローチャートである。 スライドショー作成処理を示すフローチャートである。 （ａ）は、適合度判定処理を示すフローチャートであり、（ｂ）は、エフェクト適合度判定処理を示すフローチャートである。 スライドショー再生処理を示すフローチャートである。 スライドショー情報１７４を例示する図である。 （ａ）は、開いた状態における携帯情報端末２の正面外観を示す図であり、（ｂ）は、開いた状態における携帯情報端末２の背面外観を示す図である。 携帯情報端末２の機能的構成を模式的に示す図である。 情報通信システム１００の構成の概略を示す概略図である。 （ａ）は、情報通信システム１００における携帯情報端末２及びサーバ４の処理を示すラダーチャートであり、（ｂ）は、携帯情報端末２の音楽情報設定処理を示すフローチャートである。

符号の説明

１ 撮像装置
２ 携帯情報端末（情報端末）
３ 無線局
４ サーバ
Ｎ ネットワーク
１０ 制御部（再生手段）
１１ 撮像部（撮像手段）
１２ 表示部（再生手段）
１３ ファインダ部
１４ 入力部（音声指定手段、画像指定手段、第１の適合情報設定手段、第２の適合情報設定手段、第１の属性情報設定手段、第２の属性情報設定手段）
１５ メモリカードＩ／Ｆ
１６ 画像処理部
１７ 記憶部（画像データ記憶手段、音声データ記憶手段、第１の適合情報記憶手段、第２の適合情報記憶手段）
１８ 通信Ｉ／Ｆ
１９ 音声部（再生手段）
２０ バス
２１ 通信部（通信手段）
１００ 情報通信システム
１０１ 上蓋
１０２ 下蓋
１０３ ヒンジ部
１１１ センサ部
１１２ 光学系駆動部
１１２１ 絞り
１１３ 駆動回路
１１４ 撮像素子
１１５ アナログ処理回路
１１６ Ａ／Ｄ回路
１１７ バッファ
１１８ 信号処理回路
１１９ 圧縮伸長回路
１２０ レンズ
１２１ 表示画面
１４１ シャッター
１４２ キー操作部
１７１ 画像情報テーブル（第１の属性情報）
１７２ 音楽情報テーブル（第２の属性情報）
１７３、１７３ａ、１７３ｂ 適合度判定テーブル（第１の適合情報、第２の適合情報）
１７４ スライドショー情報
１９１ マイク（音声データ取得手段）
１９２ 音声入力端子（音声データ取得手段）
１９３、１９３ａ、１９３ｂ スピーカ
４１０ 制御部（データ通信手段）
４１１ 通信部（データ通信手段、通信手段）
４１２ 記憶部（記憶手段）

Claims (18)

1. 複数の画像データを記憶する画像データ記憶手段と、
   複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、
   再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、
   再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、
   前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像データ割当手段は、前記画像処理割当手段により割り当てられた画像処理で必要な数だけ、各再生位置に対して複数の画像データを割り当て、
   前記再生手段は、前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた複数の画像データを切り換えながら表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データ割当手段は、前記画像処理割当手段により割り当てられた画像処理で必要な数の画像データを、適合度の高い順に選択して割り当てることを特徴とする請求項２に記載の画像処理装置。
4. 複数の音声データを記憶する音声データ記憶手段と、
   前記画像データ記憶手段に記憶されている複数の画像データを指定する画像データ指定手段と、
   前記画像データ指定手段により指定された複数の画像データに対する前記各音声データの適合度を判定し、最も適合度の高い音声データを、前記再生対象となる音声データとして選択する音声データ選択手段とを更に備え、
   前記画像データ割当手段は、前記画像データ指定手段により指定された複数の画像データを対象として、再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画像データ記憶手段は、複数の画像データを含む複数のグループを記憶し、
   前記画像データ指定手段は、前記複数のグループのいずれかを指定することで、該グループに含まれる複数の画像データを指定することを特徴とする請求項４記載の画像処理装置。
6. 前記画像データ記憶手段は、第３の属性情報が付与された画像データを複数記憶し、
   前記音声データ記憶手段は、各再生位置に対して前記第１の属性情報および前記第２の属性情報が付与された音声データを記憶し、
   前記画像データ割当手段は、再生対象となる音声データの各再生位置に付与された前記第１の属性情報と、各画像データに付与された前記第３の属性情報とに基づいて、各再生位置に対する各画像データの適合度を判定することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 被写体を撮像して画像データを取得する撮像手段を更に備え、
   前記画像データ記憶手段は、前記撮像手段により逐次撮像される画像データを逐次追加して記憶し、
   前記画像データ割当手段は、再生対象となる音声データに対する画像データの割り当てを行う時点で前記画像データ記憶手段に記憶されている複数の画像データを対象として前記適合度の算出を行なうことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 外部から音声データを取得する音声データ取得手段を更に備え、
   前記音声データ記憶手段は、前記音声データ取得手段により逐次取得される音声データを逐次追加して記憶し、
   前記音声データ選択手段は、指定された画像データに対する音声データの選択を行う時点で前記音声データ記憶手段に記憶されている複数の音声データを対象として前記適合度の算出を行なうことを特徴とする請求項４乃至６のいずれかに記載の画像処理装置。
9. 通信回線を介してサーバ装置に画像データまたは音声データを送信する送信手段と、
   前記送信手段により送信された画像データまたは音声データに応じてサーバ装置側で作成されたスライドショー情報を受信する受信手段を更に備え、
   前記再生手段は、前記受信手段により受信したスライドショー情報に基づいて音声データを再生するとともに、音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する処理を実行することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記複数の画像処理は、表示する画像データを切り替える速さの異なる複数の画像処理、または画像データを切り替える際のフェードイン／フェードアウトの処理内容が異なる複数の画像処理であることを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 前記音声データは、イントロ、間奏、サビ、アウトロ、Ａメロ、Ｂメロのうちの少なくとも１つを含む複数の再生区間から構成される音楽データであり、
    前記画像データ割当手段は、各再生区間毎に画像データを割り当て、
    前記画像処理割当手段は、各再生区間毎に画像処理を割り当てることを特徴とする請求項１乃至１０のいずれかに記載の画像処理装置。
12. 前記画像データ割当手段は、音楽データにおけるテンポの速い再生位置ほど、割り当てる画像データの数を多くし、
    前記画像処理割当手段は、音楽データにおけるテンポの速い再生位置ほど、表示する画像データの切り替えを速くすることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第３の属性情報は、撮影年月日、気分、お気に入り度、色合い、撮影距離、撮影モードのうちの少なくとも１つを含む属性情報であり、
    画像データに対して前記第３の属性情報を任意に設定する第１の属性情報設定手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
14. 前記第１の属性情報および前記第２の属性情報は、再生時間、流行時期、イメージ、分類、テンポのうちの少なくとも１つを含む属性情報であり、
    音声データに対して前記第１の属性情報および前記第２の属性情報を任意に設定する第２の属性情報設定手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
15. 前記第３の属性情報が示す各データに対して、前記第１の属性情報が示す各データとの適合度を記憶する適合度判定テーブルを備え、
    前記画像データ割当手段は、再生対象となる音声データの各再生位置に付与された前記第１の属性情報と、各画像データに付与された前記第３の属性情報との適合度を、前記適合度判定テーブルを参照して算出することを特徴とする請求項６に記載の画像処理装置。
16. 前記適合度判定テーブルの記憶内容を任意に設定する適合度判定テーブル設定手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
17. 被写体を撮像して画像データを取得する撮像手段と、
    前記撮像手段により取得した複数の画像データを記憶する画像データ記憶手段と、
    複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、
    再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、
    再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、
    前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、
    を備えたことを特徴とする撮像装置。
18. 画像データの表示機能と、音声データの再生機能を有する画像処理装置のコンピュータを、
    複数の画像データを記憶する画像データ記憶手段と、
    複数の画像処理のいずれかを施しながら画像データを表示する画像処理手段と、
    再生対象となる音声データの各再生位置に対する前記各画像データの適合度を、音声データの各再生位置に付与された第１の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像データを割り当てる画像データ割当手段と、
    再生対象となる音声データの各再生位置に対する前記各画像処理の適合度を、音声データの各再生位置に付与された前記第１の属性情報とは異なる第２の属性情報に応じて判定し、各再生位置毎に、最も適合度の高い画像処理を割り当てる画像処理割当手段と、
    前記再生対象となる音声データの各再生位置を再生する際に、各再生位置に割り当てられた画像処理を施しながら各再生位置に割り当てられた画像データを表示する再生手段と、
    して機能させることを特徴とするプログラム。

Images