JP4646822B2 - カメラ及び音楽画像装置 - Google Patents

Description

この発明は、音楽と画像を同時に楽しむような音楽画像再生を行うカメラ、そのような音楽画像再生方法及び音楽画像装置等に関する。

デジタルカメラの再生機能をより活用するような、撮影画像を一定時間で切換えて再生するいわゆるスライドショー再生は、多くのカメラに搭載されている。そして、このスライドショーの機能においても、単にスライドショーで再生するだけでは退屈になるので、これにタイトルを付加したり、画像のレイアウトをできるようなカメラも提案されている（特許文献１）。

そして、さらに画像再生だけではその効果に限度あるので、音楽に合わせて画像を切換えて、音楽と画像を同時に再生する方法も提案されている。その１つとして、静止画画像ファイルと音楽ファイルを管理して、音楽の所定のタイミングで画像を再生させるファイルの処理方法も提案されている（特許文献２）。
特開２００５−１７６２１６号公報 特開２００２−３００５２０号公報

上記説明したように、画像だけでなく音楽も同時に再生させて、かつこの音楽に合わせた効果的なタイミングで順次画像を切り換えるようにすれば、より楽しく画像を鑑賞させることができる。しかし、音楽画像の再生でその効果が十分に発揮されるためには、音楽と画像がうまくマッチする必要がある。音楽と画像あるいは画像の切換わりが、音楽にマッチしていないと、却って情感の不一致を起こし、逆効果になってしまう。初心者にとって、画像にあわせて音楽を選択することや、音楽の進行に合わせて画像を切換えるのは必ずしも容易ではない。これに比べて、画像切換わりタイミングや画像選択が専門家により作成されたものでは、アマチュアのものに比べて格段の差がある。だらかと言って、初心者が専門家の模倣をすることは容易ではないし、専門家のレベルになるには相当な経験が必要になる。初心者でも専門家のレベル並みの音楽画像の組み合わせ再生ができるようなカメラが望まれる。

本発明は上記課題に鑑み、撮影画像の鑑賞の際に適切な組み合わせからなる音楽画像の再生を行うカメラ及び音楽画像装置を提供することを目的とする。

上記の目的を達成するために、この発明による音楽画像装置は、音楽に合わせて撮影画像を表示する音楽画像装置において、音楽との組み合わせが推奨されるサンプル画像に類似する撮影画像を、当該サンプル画像に付帯された撮影シーンに関する情報及び代替可能な画像を示す情報を、それぞれ考慮して検出する類似検出部と、上記類似検出部によって、上記サンプル画像に類似する画像を撮影画像の中から選択する類似画像選択部と、音楽に合わせて画像を表示する音楽画像再生を制御するものであって、上記類似画像選択部によって選択される撮影画像を音楽に合わせて表示させる制御部と、を備え、上記類似検出部は、上記撮影シーンに関する情報によって上記サンプル画像と類似する場面の撮影画像を検出し、当該検出された類似する場面の撮影画像の中から当該サンプル画像に類似する画像を、色と輪郭の情報で解析して検出し、当該解析により当該類似する画像が検出できなかった場合には、上記代替可能な画像を示す情報によって、当該類似する場面の撮影画像の中から当該サンプル画像と代替可能な撮影画像を検出することを特徴とする。

本発明によれば、撮影画像の鑑賞の際に適切な組み合わせからなる音楽画像の再生を行うカメラ、音楽画像装置及び音楽画像再生方法等を提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１の実施形態）
図１から図８を用いて、第１の実施形態を説明する。画像を切換えながら鑑賞する際に、例えばＴＶなどの画面を利用することが多いが、この時に全く音が出てこないと、もの足りないような雰囲気になる。これに比べて、画像だけでなく音楽も同時に再生させて、そしてこの音楽に合わせた効果的なタイミングで順次画像を切り換えるようにすれば、より楽しく画像を鑑賞させることができる。しかし、音楽と画像あるいは画像の切換わりか音楽にマッチしていないときには、かえって情感の不一致を起こしてしまう。この当たりの切換わりタイミングや画像選択は、専門家がコーディネイトしたものの方が、はるかに見ごたえがある。

そこで、本実施形態では、あらかじめ専門家によって作成された「音楽とサンプル画像とその切りかえタイミング」を基準にして、ユーザーの撮影した画像の中からサンプル画像に類似した写真を探し、この画像をサンプル画像の代わりに再生するようにする。サンプル画像は、音楽と組み合わせる画像として専門家によって撮影された画像である。これにより、ユーザの撮影した画像を使いながら、専門家の知識を生かして、切換えのタイミングや変化ずけ等、大筋の流れを大切にして、効果的なアルバム再生をできるようにした。なお、以下説明で、音楽と画像の組み合わせ再生をアルバム再生とも呼ぶ。以下に詳細を説明する
図１は、本発明が適用されるデジタルカメラの全体ブロック図である。

カメラ２１には、撮像部１９、信号処理部５、ＲＡＭ６や第２メモリ９が設けられる。撮像部１９は、撮影レンズ２、撮像素子３、アナログフロントエンド４から構成される。撮影レンズ２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。アナログフロントエンド４は、撮像素子３からの電気信号をＡＤ変換してデジタル画像データとして出力する。

信号処理部５は、圧縮部や伸張部等が設けられ、画像データに対して色補正や信号圧縮などの処理を行う。圧縮部は、画像データを第２メモリ９に記録するための例えばＪＰＥＧ圧縮やＭＰＥＧ圧縮を行い、また音声圧縮の機能も有する。伸張部は、圧縮された画像データをもとに戻す処理を行う。ＲＡＭ６は、種々の演算データの一時的な格納や圧縮伸張時の画像データのワークエリアとして使用される。

第２メモリ９は、画像データの保存用メモリで、例えば、フラッシュメモリやハードディスクで構成される。第２メモリ部９には、送信用メモリ９ａの領域も設けられる。信号処理部５で処理された画像データが撮影画像データ９ｂとして第２メモリ９に記録される。

また、カメラ２１には、再生制御部１７、画像表示用の表示部８、マイク１２、スピーカ１３が設けられる。再生制御部１７は、表示部８への画像の表示と、スピーカ１３への音声出力を制御する。再生制御部１７は、撮影時には画像確認用として、表示部８に撮像素子３から出力される画像を逐次再生して表示させる。再生制御部１７は、再生時には、第１メモリ７や第２メモリ９から読み出され伸張部で伸張された画像を表示部８に表示させる。

さらに、カメラ２１には、プリント信号出力部１０、無線送信部１１が設けられる。プリント信号出力部１０は、接続されるプリンタに対して、撮影した画像データを出力させるインターフェース部である。無線送信部１１は、プリンタやＰＣ（Personal Computer）に無線で画像データを送信するインターフェース部である。

カメラ２１には、第１メモリ７、類似画像選択部１８、ＭＰＵ１と、ＭＰＵ１に接続される操作部１６、時計部１４、位置検出部１５が設けられる。第１メモリ７は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなる。第１メモリ７には、カメラ処理を行う制御用のプログラムが格納されるとともに、予めサンプル画像データや音楽データも記録されている。サンプル画像データや音楽データの詳細は後述する。類似画像選択部１８についても後述する。

ＭＰＵ１は、第１メモリ７に記憶されたプログラムに従って、撮影や再生等カメラの全体の制御を司る制御部である。また、操作部１６は、撮影者の指示をＭＰＵ１に通知する。操作部１６として、スイッチ１６ａ、１６ｂ、１６ｃは、例えばレリース、モード切替指示、電源のＯＮ／ＯＦＦスイッチである。時計部１４は、撮影日時の記録用や露出時間や動画の撮影時間を記録したり、所定のタイミング間隔を測定するときに用いられる。位置検出部１５は、ＧＰＳセンサーで構成され、撮影した位置を検出して位置データをＭＰＵ１に通知する。検出された撮影位置が画像データに付帯して第２メモリ９に記録される。

図２は、音楽とこの音楽に合わせて組み込まれたサンプル画像と実際に再生される撮影画像の関係を示す図である。図２（Ａ）は、再生音楽の譜面の一部を示す図である。同図（Ｂ）は、この音楽の進行に合わせて設定されているサンプル画像の切換わりを示す。サンプル画像であるＢ１（風景），Ｂ２（風景と人物）、Ｂ３（人物）、Ｂ４（花）が、番号の順に音楽の進行にあわせて切換わるよう設定されている。サンプル画像は、プロの写真家によって撮影された画像で、音楽の進行にマッチするような画像として予め用意されている画像である。

そして、同図（ Ｃ ） は、ユーザーが撮影した画像で、音楽の進行に合わせて表示部８ に実際に再生される画像である。このＣ １ 、Ｃ ２ … の画像は、Ｂ １ 、Ｂ ２ … に類似する画像として、撮影画像の中から自動的にまたは手動で探された画像である。風景画像であるＢ １ の代わりに、風景画像であるＣ １ が選ばれる。またサンプル画像に類似する適当な画像が撮影画像にない場合には、サンプル画像をそのまま表示させる。例えばＣ ４ は、Ｂ ４ のサンプル画像のままである。これによりプロ並みの音楽画像再生が可能となる。

図３は、上記音楽再生に係る部分の機能ブロック図である。図３は、図１の全体ブロック図から本発明の特徴となる機能部を抽出したものである。図１と同一の構成部位は同じ符号で示し、その説明は省略する。撮影時には、撮像部１９から出力され信号処理部５で圧縮等処理された画像データが、第２メモリ９に撮影画像データ９ｂとして記録される。音声信号が記録されるときは、音声データも撮影画像データ９ｂにリンクして記録される。また、第１メモリ７には、プログラム以外に、予めサンプル画像データ７ａと音楽データ７ｂとが記録されている。音楽は複数曲記録されている。サンプル画像データ７ａには対応する曲名および音楽の進行にあわせた表示タイミングも記録されている。そしてこの音楽とサンプル画像を組み合わせたものが、第１メモリ７にアルバムとして登録されている。再生制御部は、表示制御部１７ａとスピーカ制御部１７ｂを有する。表示制御部１７ａは、再生時に表示部８への画像表示を制御する。スピーカ制御部１７ｂは、再生時にスピーカ１３より音楽を再生する。

類似画像選択部１８は、類似検出部１８ａ、画像選択部１８ｂおよび特性抽出部１８ｃを有する。類似画像検出部１８ａは、第２メモリ９に記録された撮影画像の中から、サンプル画像に類似した画像を検出する部である。画像選択部１８ｂは、類似検出部１８ａで検出された画像を選択する部である。特性抽出部１８ｃは、サンプル画像に付帯されているシーン条件等を抽出したり、さらに画像データを解析して画像の特性を抽出する。このデータは、色や輪郭の情報から、「青い画像」、「幾何学的な画像」等を判定するのに利用される（後述するステップＳ５３）。

以上のブロックによる処理を簡単に説明する。ユーザーによりアルバム再生モードが指定され、さらに特定のアルバムが名称や番号で指定される。ＭＰＵ１が、そのアルバムに対応する曲を第１メモリ７から、また表示画像としてサンプル画像または選択された撮影画像を第２メモリり９から読み出す。そして、再生制御部１７がその画像を表示部８に表示させる。画像の切換えは、ＭＰＵ１が、表示タイミングデータにより音楽のタイミングに合わせて再生制御部１７を制御する。

なおここで、アルバム作成時のモードとして、「自動」と「手動」の２通りが用意されていて、ユーザーにより選択される。「自動」は、類似検出部１８ａが、選ばれた音楽に設定されたサンプル画像に類似した画像を、撮影画像データ９ａの中から自動的に選択して、新たなアルバムを作成するモードである。「手動」は、ユーザーがサンプル画像と撮影画像を比較対象しながら、画像を選択して、新たなアルバムを作成するモードである。詳細は後述する。

なお、上記構成は、カメラに適用した例で説明したが、撮像部を除けばカメラ以外の装置にも適用できる。従って、この発明は、破線の範囲で示されるような、音楽と画像を格納するメモリを有し、音楽と画像を再生する音楽画像装置３０にも適用可能である。

図４及び図５は、このような音楽画像再生に関する制御処理を示すフローチャートである。この制御処理は、主にMPU１によって実行される。
まず、ユーザー操作によるアルバム再生の指示があったかを判断する（ステップＳ１）。アルバム再生指示がないときは、撮影モードとして撮影操作を受け付ける（ステップＳ１N）。そして、ユーザーによるレリースボタン操作の有無を判断する（ステップＳ２）。レリースボタン操作のないときは（ステップＳ２N）、撮影用のズームレンズの制御操作やモード選択操作の有無を判断する（ステップＳ３）。ズームレンズの制御操作やモード選択操作指示がされると（ステップＳ３Ｙ）、その指示に応じた制御を行う（ステップＳ４）。これらの操作指示がないときは、ステップＳ４をジャンプして、ステップＳ５に進む。

次に、撮影に先立ってマイクから入力される音声情報を検出する（ステップＳ５）。それが笑い声や泣き声など特徴あるものであるかを判定するためである。続いて、この音声情報に特徴があるかを判断する（ステップＳ６）。特徴があるときには（ステップＳ６Ｙ）、この音声情報を第１メモリ７に記録する（ステップＳ７）。以上を終了して、ステップ２に戻る。

一方、ステップＳ２でレリースボタン操作がされると（ステップＳ２Ｙ）、撮影を実行する。まず、オートフォーカスによるピント合わせ（ステップＳ１１）、及び露出制御を行う（ステップＳ１２）。そして、撮影された画像データを第２メモリ９に撮影画像データ９ｂとして記録する（ステップＳ１３）。さらに、この時のピント位置情報、モード設定の情報、ズーム情報、露出制御や音声情報に基づく情報を、「補助情報」として、各撮影画像に関連付けて第２メモリ９に記録する（ステップＳ１４）。これらの情報は後述する類似画像検索時の補助データとして利用する。以上で撮影を終了する。

次にアルバム再生動作を説明する。ステップＳ１でユーザーによりアルバム再生が選択されると（ステップＳ１Ｙ）、図５のステップＳ２１に進む。
第１メモリ７に複数登録されているアルバムの中から、ユーザにより指示されたアルバムを選択する（ステップＳ２１）。次に、ユーザにより選択されたアルバムから新たなアルバムを作成する指示がされたかを判断する（ステップ２２）。指示がないときは（ステップ２２Ｎ）、ステップ２３以降のアルバム再生の処理に進む。まず、選択されたアルバムに対応する画像を読み出す。利用する画像が、サンプル画像のときは第１メモリ７から、撮影画像のときは第２メモリ９から、それぞれ画像データを読み出し伸張してＲＡＭに記憶させる（ステップＳ２３）。画像がすぐに再生できるようにするためである。

そして、選択された音楽と画像の再生を開始する（ステップＳ２４）。切換えタイミングのデータから画像の切換えタイミングを判断して（ステップＳ２５）、そのタイミングになったら（ステップＳ２５Ｙ）、順次画像を切り換える（ステップＳ２６）。そして、ユーザーの終了指示または曲の終わりを判断する（ステップＳ２７）。終了指示または曲が終われば（ステップＳ２６Ｙ）、再生を終了する。

次に、ステップＳ２２に戻りアルバム作成処理についてを説明する。選ばれたアルバムでそのサンプル画像に代えて自分で撮影した画像を登録して、新アルバムを作成する処理である。ステップＳ２２で、ユーザーが新アルバムの作成を指示すると（ステップＳ２２Ｙ）、ステップ３１以降に進む。前述したように、画像選択の条件として「手動」と「自動」の２つが用意され、ユーザーによりいずれか選択される（ステップＳ３１）。

「手動」から説明する。「手動」が選択されると（ステップ３１Ｙ）、図７のような画像一覧を表示部８に表示させる（ステップＳ３２）。図７は、「手動」時の画像選択用の画面である。画面には、サンプル画像ｍ１、撮影画像ｍ２、変更画像ｍ３、採用画像ｍ４、がそれぞれ表示される。サンプル画像ｍ１は例えば縦に３枚表示され、画像特性が各画像の横に特徴コメント（例えばポートレイト…）として表示させる。選択補助のためである。

撮影画像ｍ２は、撮影画像データ９ｂに基づく画像で、ここでは６枚表示されている。変更画像ｍ３は、現在このアルバムに登録されている画像で、この画面で変更される対象の画像である。変更画像ｍ３は、デフォルト状態ではサンプル画像である。採用画像ｍ４は、変更画像ｍ３に代えてアルバムに採用（登録）する画像である。表示されているサンプル画像ｍ１、撮影画像ｍ２のいずれの中から選んでも良い。撮影画像の中に適当な画像があるとは限らないからである。変更画像ｍ３と採用画像ｍ４は、サンプル画像ｍ１に対して大きなサイズで表示させる。サンプル画像ｍ１、撮影画像ｍ２の切換えや、採用画像の確定は、ユーザーの操作部１６の操作によって行われる。

図５に戻る。表示された画像一覧を見たユーザーによって、変更画像ｍ３が選択される（ステップＳ３３）。そして、ユーザーにより選択された画像である採用画像ｍ４を変更画像ｍ３に代えて登録する（ステップＳ３４）。その結果により新しいアルバムを作成登録する（ステップＳ４８）。第１メモリ７のアルバムに関するデータを更新する。

一方自動が選択されると（ステップ３１Ｎ）、ステップＳ４１に進む。特性抽出部１８ｃによりサンプル画像から画像の特性を抽出する（ステップＳ４１）。画像の特性とは、図５のサンプル画像の横に記載されたような特性（ポートレイト、風景等）で、必要に応じて利用する。

次に、その１つのアルバムを構成する画像の総枚数をｎ０（例えば１０枚）とし、カウンタｎにｎ０をセットする（ステップＳ４２）。以下ｎ０枚の各画像に類似する画像を順次検索していく。アルバムの中のｎ番目の画像と類似する画像を検索する（ステップＳ４３）。最初にｎ０番目の画像（例えばｎ＝１０）と類似する画像を検索する。なお、デフォルトではアルバムを構成する画像は全てサンプル画像である。類似画像検索手順の詳細を図６のサブルーチンで説明する。

図６は、類似画像検索の詳細を示すサブルーチンである。サンプル画像には、２種類の補助データが付帯されている。この補助データのうちの第１補助データは、画像の概略の種類を示すデータである。例えば、図７のサンプル画像横の「ポートレイト」、「明るい風景」、「マクロ」で示すような種類である。第２補助データは、類似していなくてもこのサンプル画像と代替して、同等な雰囲気を出すような画像を示すデータである。つまり、元の画像と類似でなくとも同等の効果を奏することができる画像があり、第２補助データはこのような画像の種類を示す。

図８に第１補助データと第２補助データの具体例の表を示す。この表は、各アルバムに属するサンプル画像（Ｎｏ１、２，３，４…）ごとに、サンプル画像に対応する第１補助データと第２補助データの内容を示す。

まず、サンプル画像の第１補助データを参照する（ステップＳ５１）。そして、このサンプル画像の第１補助データから、サンプル画像と類似する場面で撮影された撮影画像を探す（ステップＳ５２）。撮影画像の場面は、撮影時にステップＳ１４で記録されている情報から判断する。撮影画像に付帯されたピント情報から距離などから、風景やマクロ画像かが判定できるからである。精度の高い類似画像の選択ができる。

類似する撮影画像が検出されたら（ステップＳ５２Ｙ）、ステップＳ５３に進む。ステップＳ５３では、さらにサンプル画像の画像データを解析して、画像の特性を抽出する（ステップＳ５３）。具体的には、色や輪郭の情報から、「青い画像」、「幾何学的な画像」等を判定する。これによって、同じ風景でも、青空とか、建物とかが詳細な判別が可能になる。そして、対応して撮影画像のデータを分析し、それに対応する特性を有する撮影画像を検出する（ステップＳ５４）。ステップＳ５２での第１補助データの対比で撮影画像が複数の検出されたとすると、ここで複数の候補からの絞りこみができる。類似する撮影画像が検出されたときは（ステップＳ５４Ｙ）、その撮影画像を採用して（ステップＳ５５）、図５のステップＳ４４に進む。

一方解析データによる類似する撮影画像が検出されないときは（ステップＳ５４Ｎ）、第２補助データを利用するステップに進む。第２補助データは、前述したようにサンプル画像に対して代替可能な画像を示すデータである。まず、サンプル画像の第２補助データを参照する（ステップＳ５６）。参照した補助データで示される代替可能な画像を、ステップＳ５２で選ばれた画像の中からさらに検出する（ステップＳ５７）。撮影画像の中に代替可能な画像が検出されたら（ステップＳ５７Ｙ）、これを採用し（ステップＳ５５）、ステップ４４に戻る。代替可能な画像が検出されないときは（ステップＳ５７Ｎ）、そのままステップＳ４４に進む。また、第１補助データによる類似画像が撮影画像の中には検出されないとき（ステップＳ５２Ｎ）も、ステップＳ４４に進む。

図５に戻る。上記類似画像選択の結果による採用画像（撮影画像）の有無を判断する（ステップＳ４４）。採用できる画像があるときは（ステップＳ４４Ｙ）、採用画像をサンプル画像に置き換える（ステップＳ４５）。逆に、採用画像がないときはＳ４５をジャンプする。そして、カウンタｎを１つ減らし、対象となるサンプル画像を次の番号のサンプル画像にする（ステップ４６）。これを全てのサンプル画像について行う（ステップＳ４７）。なお、図６のサブルーチンにおいて、比較選択される撮影画像については、撮影日時の新しい画像から優先して比較するようにする。印象の強い新しい画像を優先させるためである。全てのサンプル画像との比較が終了する（ステップＳ４７Ｙ）と、その結果により新しいアルバムを作成登録する（ステップＳ４８）。

このようにして類似画像を選択するので、サンプル画像と厳密に一致するような画像がなくても、一定の鑑賞効果が得られる。また、所定の効果を挙げられないような画像は、ステップ５２で排除するので、一定の水準を保証できる。また、類似画像の検出に、サンプル画像に類似画像の検出用の補助データを添付しているので、この検出の精度が向上する。また、第２補助データによって代替表示されることで、撮影画像に直接の類似画像がない場合でも対応でき、画像の選択の幅が広がる。さらに撮影画像にサンプル画像に対応する画像が見つからないときは、サンプル画像をそのまま表示させることもできるので、表示画像が欠落することも防止できる。また、カメラ任せだけでなく、手動での選択もできるので、こだわりのアルバムを作ることができ、自分の好みに微修正も可能になる。このときに、選択画面を表示するようにしたので、比較選択も容易にできる。

このようにして作成されたアルバム再生により、音楽画像再生の楽しみが倍加する。音楽とともに再生される画像が他人の画像ではなく自分で撮影した画像であることと、加えてその画像の選択や切換えがプロの表現に準じたものだからである。専門家が作った音楽と画像の組み合わせ再生の作例に対して、一般的なユーザーが自分で撮影した類似画像をあてはめ再構成する方式のため、非常に簡単でかつ効率的な再生が可能となる。
（第２の実施形態）
第２の実施形態を図９を用いて説明をする。図９は、第２の実施形態の全体のシステムとデータの流れを示す図である。第２の実施形態は、サンプル画像の入手経路に関するものである。第１の実施形態では、音楽データやサンプル画像データ等が予めカメラに記録されているとして説明した。しかし、このような音楽データは、データ量が大きいので必要に応じて外部から入手するようにした例である。

このシステムには、カメラ２１、カメラに接続されカメラと外部とでデータの通信を行うユーザーＰＣ（Personal Computer）２２、及びこのユーザーＰＣ２２が接続されるネットワーク２３が設けられる。さらに、ネットワーク２３には、ネットワーク２３と携帯電話２７を無線で繋げる基地局２６と、ユーザーにデータを提供するプロバイダＰＣ２４が接続される。そして、プロバイダＰＣ２４には、さらにデータベース２５が設けられる。データベース２５には、今回のアルバム再生で使用されるような音楽データ、補助データ付きのサンプル画像データ、サンプル画像データの切換えタイミングのデータが格納される。

矢印Ｒ１は、プロバイダＰＣ２４からカメラ２１へのデータ送信の流れである。ユーザーＰＣ２２からプロバイダＰＣ２４にデータ要求が送信される。この要求を受信するとプロバイダＰＣ２４がデータベース２５から、要求のあった音楽データ、画像データ、切換えデータを探す。そして、プロバイダＰＣ２４が探した各データをユーザーＰＣ２２に送信する。ユーザーＰＣ２２には受信した音楽データ等が受信され、格納される。そして、ユーザーＰＣ２２からカメラ１１にデータが転送される。

また、矢印Ｒ２は、ユーザーＰＣ２２経由で友人の携帯電話２７に送信されるデータの流れを示す。前述したカメラ２１で作成されたアルバムデータを、ユーザーＰＣ２２経由で友人の携帯電話２７に送信することも出来る。
（第３の実施形態）
第３の実施形態を図１０と図１１を用いて説明をする。第１の実施形態では、音楽に合わせて類似する画像を選択することを説明した。本実施形態では、逆にユーザーがアルバムとして見たい画像を選んでから、音楽を選択する例である。なお、本実施形態のシステムの構成は図９に示すシステムと同じ構成なので図は省略する。図１０は、ユーザーとプロバイダからなるシステムの流れを説明するフローチャートの１である。同じく図１１は、流れを説明するフローチャートの２である。このシステムは、ユーザーＰＣ２２とプロバイダＰＣ２４の連係で実行される。そこで、フローチャートとしては、ユーザーＰＣ２２により実行される処理と、プロバイダＰＣ２４により実行される処理を並列的に並べて説明する。ユーザーＰＣ２２により実行される処理をステップＴ１からステップＴ２３で示し、プロバイダＰＣ２４により実行される処理をステップＵ１からＵ１３で示す。

まずユーザーがアルバム作成の操作をカメラ１０またはユーザーＰＣ２２で行う。ユーザーは、作りたいアルバムの「ムード（例えば、楽しい、悲しい、切ない）」を入力する。この入力に従い１つの「ムード」を選択する（ステップＴ１）。また、ユーザーは自分のカメラ２１の撮影画像からアルバムにしたい画像を指示する。指示された画像を選択する（ステップＴ２）。そして、ユーザーＰＣ２２がその選択された「ムード」と選択された画像に関するデータをプロバイダに送信する（ステップＴ３）。「ムード」と画像に関するデータが送信される（矢印Ｆ１）。送信後、ユーザーＰＣ２２は待機状態になり（ステップＴ４）、プロバイダＰＣ２４からの受信を待つ（ステップＴ５）。

プロバイダＰＣ２４は、受信待ちの状態にある（ステップＵ１）。プロバイダＰＣ２４は、この「ムード」と画像に関するデータを受信すると（ステップＵ１Ｙ）、送信された「ムード」に合致する音楽をデータベース２５から絞り込む（ステップＵ２）。データベース２５の各音楽のデータには「ムード」に関するデータが付されていて、プロバイダＰＣ２４は、この付されたデータにより「ムード」に合致する音楽を絞り込む。

次に「ムード」により絞り込まれた音楽を、さらにユーザーより送信された画像に基づき絞り込む処理を行う。ユーザーＰＣ２２より送信された画像数をｎ０枚とし、各画像に対し、画像に添付されている前述の補助データ（第１補助データ、第２補助データ）から音楽をさらに候補として絞り込む処理を画像１枚づつ行う。まず、画像枚数をカウントするカウンタｎを１に初期化する（ステップＵ３）。そして、最初の画像（ｎ＝１）に添付されている前述の補助データを参照する（ステップＵ４）。そして、この補助データに基づき、音楽候補を絞り込む（ステップＵ５）。カウンタｎを１つ増加させ（ステップＵ６）、次の番号の画像を使って同様の絞込みを行う。全画像について終了したか判断する（ステップＵ７）。未終了のときは（ステップＵ７Ｎ）ステップＵ５に戻り、終了後（ステップＵ７Ｙ）はステップＵ８に進む。

そして、所定の条件を満たす音楽が検出されたかを判断する（ステップＵ８）。音楽が検出されたときは（ステップＵ８Ｙ）、検出された音楽の曲名一覧表をユーザーのＰＣに送信する（Ｆ２，ステップＵ１０）。一方対応する音楽がなかったときは（ステップＵ８Ｎ）、音楽に付帯されている補助データを変更する（ステップＵ９）。そして、再度候補となる音楽の絞込み検索を行うようステップＵ４に戻る。

待ち状態であったユーザーＰＣ２２が音楽候補データを受信すると（ステップＴ５Ｙ）、図１１のステップＴ１１に進む。なお、ユーザーＰＣ２２は、受信待ち状態で、一定時間の経過をチェックする（ステップＴ６）。通信回線等の都合で一定の時間がオーバーしても受信できないときは（ステップＴ６Ｙ）、省エネや接続料金を考慮して、ユーザーＰＣ２２は警告表示（ステップＴ７）をしてから終了処理する。

音楽の曲名一覧を受信したユーザーＰＣ２２は、送信された曲名を一覧表示させる（ステップＴ１１）。ユーザーはその画面を見ながら、音楽を選択する。音楽が選択されると（ステップＴ１２Ｙ）、選択された曲名をプロバイダに送信する（ステップＴ１３、Ｆ３）。そして、待機状態になる（ステップＴ１４）。なお、この選択状態（ステップＴ１２）で、一定時間以上経過したときは（ステップＴ１５Ｙ）、警告後（ステップＴ１６）、終了処理する。

プロバイダＰＣ２４は受信待ち状態にある（ステップＵ１１）。プロバイダＰＣ２４が、ユーザーＰＣ２２から送信された曲名を受信すると（ステップＵ１１Ｙ）、対応する音楽データ（実データ）をデータベース２５から読み出し、ユーザーＰＣ２２に送信する（ステップＵ１２）。送信される音楽データには画像切換えデータも付帯されている。

ユーザーＰＣが音楽データを受信すると（ステップＴ１７）、対応するアルバムを作成する（ステップＴ１８）。ユーザーはその効果をチェックする（ステップＴ１９）。確認したユーザーによりＯＫが入力されると、ユーザーＰＣ２２が終了信号をプロバイダＰＣ２４に送信する（ステップＴ２３、Ｆ５）。 送信後はプロバイダＰＣ２４は、終了信号待ち状態（ステップＵ１３）および曲名受信待ち状態（ステップＵ１１）になる。プロバイダＰＣ２４は、終了信号を受信すると、この処理を終了する。一方、チェックした結果その音楽が気に入らないときは、再トライして（ステップＴ２０Ｙ）、ステップＴ１１に戻る。また、受信待ち状態（ステップＴ１７）で一定時間経過後（ステップＴ２１Ｎ）は、警告して（ステップＴ２２）終了する。

以上第３の実施形態では、ユーザーが選択した画像に対して適切な音楽を添付してアルバムを作成するサービスが提供できる。初心者でも効果的な音楽付き画像鑑賞が可能なシステムを提供できる。また、画像データと音楽データに共通の補助データ（図８に示したような）を添付したので、単純に高速で音楽絞込み検索を行うことができる。また、ステップＴ１１の一覧表示に続き、サンプル画像をＢＧＭ付きで鑑賞できるようにしてもよい。更に確実にアルバムの完成度をアップできる。この場合には、そのサンプル画像の一枚ごとの特徴と、ユーザーが選択した画像の特徴を、画像そのものの特徴一致を判別する方法で画像の置き換えを行うようにする。その効果をあらまし確認してから、全データをダウンロードすれば、カメラのメモリの節約になる。
なお、上記ではユーザー側の処理をユーザーＰＣ２２が行うことで説明したが、カメラ２１が通信機能を備えていれば、ユーザーＰＣ２２を介さずにカメラ２１のＭＰＵ１が単独で処理を行うようにしても当然良い。

以上説明した各実施形態により、以下の発明が抽出される。
１）被写体を撮影する撮像部１９と、
音楽に合わせて画像を表示する音楽画像再生を制御する制御部（ＭＰＵ１）と、
音楽との組み合わせが推奨されるサンプル画像７ａに類似する画像を撮影画像９ｂの中から選択する類似画像選択部１８と、を備え
上記制御部は、サンプル画像７ａに代えて類似画像選択部１８によって選択される撮影画像９ｂを音楽に合わせて表示させることを特徴とするカメラ２１。

２）上記類似画像選択部１８は、サンプル画像７ａに類似する撮影画像９ｂを検出する類似検出部１８ａを備えることを特徴とする上記１）に記載のカメラ２１。

３）音楽に合わせて画像を表示する音楽画像再生を制御する制御部（ＭＰＵ１）と、
音楽との組み合わせが推奨されるサンプル画像７ａに類似した画像を撮影画像９ｂの中から選択する類似画像選択部１８と、を備え
上記制御部は、サンプル画像７ａに代えて類似画像選択部１８によって選択される撮影画像９ｂを音楽に合わせて表示させることを特徴とする音楽画像装置３０。

なお、第１の実施形態で説明したＭＰＵ１の処理に関しては、一部または全てをハードウェアで構成してもよい。逆に、類似画像選択部をソフトウェア処理しても当然良く、具体的な構成は設計事項である。また、ＭＰＵ１による各制御処理は、第１メモリ７に格納されたソフトウェアプログラムがＭＰＵ１（記録制御部１ａ）に供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリー等を用いることができる。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態において、本発明が適用されるデジタルカメラの全体ブロック図。 第１の実施形態において、音楽とこの音楽に合わせて組み込まれたサンプル画像と実際に再生される撮影画像の関係を示す図。 第１の実施形態において、音楽再生に係る部分の機能ブロック図。 第１の実施形態において、音楽画像再生に関する制御処理を示すフローチャートの１。 第１の実施形態において、音楽画像再生に関する制御処理を示すフローチャートの２。 第１の実施形態において、類似画像検索の詳細を示すサブルーチン。 第１の実施形態において、「手動」時の画像選択用の画面を示す図。 第１の実施形態において、第１補助データと第２補助データの具体例の表を示す図。 第２の実施形態において、全体のシステムとデータの流れを示す図。 第３の実施形態において、ユーザーとプロバイダからなるシステムの流れを説明するフローチャートの１。 第３の実施形態において、ユーザーとプロバイダからなるシステムの流れを説明するフローチャートの２。

符号の説明

１…ＭＰＵ、２…撮影レンズ、３…撮像素子、４…アナログフロントエンド、５…信号処理部、
６…ＲＡＭ、７…第１メモリ、８…表示部、９…第２メモリ、９ａ…送信用メモリ、
９ｂ…撮影画像データ、１０…プリント信号出力部、１１…無線送信部、１２…マイク、
１３…スピーカ、１４…時計部、１５…位置検出部、１６…操作部、１７…再生制御部、
１７ａ…表示制御部、１７ｂ…スピーカ制御部、１８…類似画像選択部、１８ａ…類似検出部、
１８ｂ…画像選択部、１８ｃ…特性抽出部、１９…撮像部、２０…被写体像、
２１…カメラ、２２…ユーザーＰＣ、２３…ネットワーク、２４…プロバイダＰＣ、２５…データベース、２６…基地局、２７…携帯電話、３０…音楽画像装置

Claims (5)

1. 音楽に合わせて撮影画像を表示する音楽画像装置において、
   音楽との組み合わせが推奨されるサンプル画像に類似する撮影画像を、当該サンプル画像に付帯された撮影シーンに関する情報及び代替可能な画像を示す情報を考慮して、検出する類似検出部と、
   上記類似検出部によって、上記サンプル画像に類似する画像を撮影画像の中から選択する類似画像選択部と、
   音楽に合わせて画像を表示する音楽画像再生を制御するものであって、上記類似画像選択部によって選択される撮影画像を音楽に合わせて表示させる制御部と、を備え、
   上記類似検出部は、上記撮影シーンに関する情報によって上記サンプル画像と類似する場面の撮影画像を検出し、当該検出された類似する場面の撮影画像の中から当該サンプル画像に類似する画像を、色と輪郭の情報の解析により検出し、当該色と輪郭の情報の解析によっては当該類似する画像が検出できなかった場合には、上記代替可能な画像を示す情報によって、当該類似する場面の撮影画像の中から当該サンプル画像と代替可能な撮影画像を検出する
   ことを特徴とする音楽画像装置。
2. 上記制御部は、上記類似検出部によりサンプル画像と類似する撮影画像が検出されない
   ときは、サンプル画像をそのまま表示させる
   ことを特徴とする請求項１に記載の音楽画像装置。
3. さらに上記制御部は、サンプル画像に代える撮影画像を操作者に選択させるための画面
   として、サンプル画像と撮影画像が同時に表示される画面を表示させる
   ことを特徴とする請求項１ に記載の音楽画像装置。
4. 上記音楽データとサンプル画像データと音楽に応じた画像切換えタイミングに関するデ
   ータが、それぞれ記録されたメモリを備える
   ことを特徴とする請求項１ に記載の音楽画像装置。
5. 請求項１に記載の音楽再生装置を備えた
   ことを特徴とするカメラ。

Images