JP5836091B2 - 再生装置及びプログラム - Google Patents

Description

本発明は、画像と楽曲の両方を再生することができる再生装置等に関する。

現在のデジタルカメラやデジタルフォトフレーム等の中には、静止画像を連続再生（スライドショー再生）する際に、楽曲をＢＧＭとして音楽再生するものがある。また、ビデオカメラ等においても、動画像を再生する際に、動画像の音声に、楽曲を混合してＢＧＭとして再生するものもある。

このような装置では、ユーザがあらかじめ選択した楽曲を再生するが、再生している動画像の雰囲気とユーザの選択した楽曲の雰囲気とが合わない場合もあった。そのような場合、ユーザが楽曲を選択し直す必要があり、操作が煩雑であった。

一方で、画像の内容に応じた楽曲を再生する方法も提案されている。例えば、特許文献１の画像再生装置は、演奏音楽を自動的に選定する自動選択が選択されたときには、再生するフィルムのフォーマット（パノラマ撮影、通常撮影）、被写体距離等のフィルム情報に基づいて画像に合った曲を自動的に選定するものである。
また、特許文献２の画像表示装置は、被写体画像中の人物の顔表情や年代、性別に相応しい楽曲を選択するものである。

特開平０６−２８９８６３号公報 特開２０１０−２２６４８４号公報

しかしながら、上記従来例では、画像が切り替わるごとに楽曲も切り替わるため、特に画像が頻繁に切り替わる動画像を再生すると楽曲が細切れに再生され、視聴者が落ち着いて画像鑑賞できない。

そこで、本発明は、画像と楽曲の両方が再生される場合において、画像に応じた楽曲を、切り替わりが頻繁にならないように再生できるようにすることを目的とする。

本発明に係る再生装置は、第１の時間から第２の時間までの動画データと、前記動画データの所定時間ごとの画像から検出された複数の特徴値とを記録媒体から再生する再生手段と、前記複数の特徴値に含まれる各特徴値の出現回数に基づいて、前記複数の特徴値に含まれる各特徴値のスコアを計算する計算手段と、前記複数の特徴値に含まれる各特徴値のスコアに基づいて前記複数の特徴値の中から１つの特徴値を選択し、選択された特徴値に対応する楽曲の再生を制御する制御手段とを有することを特徴とする再生装置である。
本発明に係るプログラムは、コンピュータを、第１の時間から第２の時間までの動画データと、前記動画データの所定時間ごとの画像から検出された複数の特徴値とを記録媒体から再生する再生手段と、前記複数の特徴値に含まれる各特徴値の出現回数に基づいて、前記複数の特徴値に含まれる各特徴値のスコアを計算する計算手段と、前記複数の特徴値に含まれる各特徴値のスコアに基づいて前記複数の特徴値の中から１つの特徴値を選択し、選択された特徴値に対応する楽曲の再生を制御する制御手段として機能させるためのプログラムである。

本発明によれば、画像と楽曲の両方が再生される場合において、画像に応じた楽曲を、切り替わりが頻繁にならないように再生することができる。

本発明の実施形態に係る再生装置の一例としての撮像装置の構成例を示すブロック図 動画ファイルの説明図 音楽ファイルの説明図 音楽選択処理のフローチャート 音楽選択処理の説明図 スコア計算処理のフローチャート スコア計算処理の説明図 動画ファイルの別の実施形態の説明図 スコア計算処理の別のフローチャート

＜第１の実施形態＞
以下、図面を参照して本発明の第１の実施形態を説明する。図１は、本実施形態に係る再生装置の一例としての撮像装置１００の構成例を示すブロック図である。本実施形態では、画像の撮像及び記録を行うための構成を有する撮像装置に本発明を適用した例を説明するが、撮像および記録を行うための構成は本発明に必須ではない。本発明は、記録済みの画像を再生することが可能な任意の装置に対して適用可能である。このような装置の例としては、パーソナルコンピュータ、メディアプレーヤ、携帯電話機などが含まれる。

（撮像装置の構成）
制御部１０１は、例えばＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ）等からなる。制御部１０１は各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりして、以下に説明する撮像装置１００の機能を実現する。制御部１０１は、ＣＰＵやメモリからなるマイクロコンピュータであってもよい。制御部１０１は、複数の処理（プログラム）を並行して実行することができる。これはＣＰＵの処理時間を時分割して、実行する処理（プログラム）を切り替えることによる、見かけ上の並列処理であってもよいし、複数のＣＰＵを用いて実際に並列処理してもよい。

また、制御部１０１は、ユーザから操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。操作部１０２は、例えば電源ボタン、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。また、操作部１０２は、記録開始ボタン、ズーム調整ボタン、オートフォーカスボタン等の撮影に関連する各種操作を入力するスイッチ類を持つこともある。

また、バス１０３は各種データ、制御信号、指示信号等を撮像装置１００の各ブロックに送るための汎用バスである。

まず、本実施形態における画像記録手段について説明する。撮像部１１０は着脱式であってよいレンズが生成する被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１１１に送る。

画像処理部１１１は、画像の記録再生に必要な処理を実行する。画像処理部１１１はマイクロコンピュータによりソフトウェア的に処理を実行してもよい。従って、制御部１０１を構成するマイクロコンピュータが画像処理部１１１の少なくとも一部の機能を実行してもよい。画像処理部１１１の処理は、撮像部１１０から取得したデジタル画像信号を一時的に不図示のメモリに記憶し、ホワイトバランスや色、明るさなどを設定に基づいて調整する画質調整処理を含む。

また、画像処理部１１１の処理は画質調整処理された複数のフレームの画像信号から動画データを生成する処理も含んでいる。この処理は、動画データの各フレームをフレーム内符号化する方式で圧縮された動画データを生成してもよい。また、動画データの複数フレーム間での差分や動き予測等を利用した方式で圧縮符号化された動画データを生成してもよい。例えば、ＭｏｔｉｏｎＪＰＥＧ，ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０：ＡＶＣ）等の様々な公知の圧縮符号化方式を用いて動画データを生成しても良い。これら公知の圧縮符号化方式の詳細は、本発明の特徴とは関係ないので説明を省略する。画像処理部１１１で処理された動画データは制御部１０１によりメモリ１０４に送信される。

音声入力部１２０は、例えば内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を収音（集音）し、取得したアナログ音声信号をデジタル信号に変換して音声処理部１２１に送信する。

音声処理部１２１は、音声の記録再生に必要な処理を実行する。音声処理部１２１はマイクロコンピュータによりソフトウェア的に処理を実行してもよい。従って、制御部１０１を構成するマイクロコンピュータが音声処理部１２１の少なくとも一部の機能を実行してもよい。音声処理部１２１の処理は、音声入力部１２０から送信されたデジタル音声信号を一時的に不図示のメモリに記憶し、レベルの適正化処理や雑音低減処理等の音声に関する処理を含む。また、音声処理部１２１は必要に応じて、音声信号を圧縮する処理を行う。音声処理部１２１で処理された音声データは制御部１０１によりメモリ１０４に送信される。

また、表示制御部１３１は、表示部１３０に画像を表示するための表示制御を行う。表示制御部１３１はマイクロコンピュータによりソフトウェア的に処理を実行してもよい。従って、制御部１０１を構成するマイクロコンピュータが表示制御部１３１の少なくとも一部の機能を実行してもよい。表示制御部１３１は、画像処理部１１１に一時的に記憶されたデジタル画像信号を読み出して、表示部１３０に表示させる。表示部１３０は、例えば撮像装置１００に搭載された液晶パネルや有機ＥＬパネル等であっても良いし、撮像装置１００とは別の外部表示装置（例えば、テレビ、モニタ、プロジェクタ）であってもよい。

メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた動画データ、音声データ等を一時的に記憶する。
制御部１０１は、例えばメモリ１０４より動画データ、音声データ等を読み出して記録再生部１４０に転送し、記録再生部１４０は転送された動画データと音声データを記録媒体１４１に対して一つの動画ファイルとして記録する。また、撮影時のカメラ設定や、検出データ等を示す各種データを制御部１０１が生成し、動画データ、音声データと共に記録再生部１４０により記録媒体１４１に記録させてもよい。ここで、記録媒体１４１は、撮像装置１００に内蔵された記録媒体でもよいし、取り外し可能な記録媒体でもよい。例えば、記録媒体１４１はハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ等のあらゆる方式の記録媒体を含む。

また、記録再生部１４０は、制御部１０１の指示に従い、記録媒体１４１に記録されている動画ファイルを読み出し、動画データ及び音声データを再生する。記録再生部１４０における動画再生処理については後で詳細に説明する。

（動画ファイルの構造）
図２を用いて記録媒体に記録される動画ファイルの構造について説明する。図２（ａ）は、動画ファイルの構造の例である。画像処理部１１１は、撮影時に所定時間毎（時刻Ｔ１、Ｔ２、・・・、ＴＮ、・・・）に画像から特徴を検出して、特徴値として制御部１０１に送信する。制御部１０１は、特徴値を動画データ、音声データと共に記録再生部１４０に転送する。記録再生部１４０は、特徴値を特徴値が検出された画像データに対応付けて記録媒体１４１に記録する。記録再生部１４０は例えば、図２（ａ）のように、特徴値を、特徴値を検出したフレーム（時刻）の動画データ、音声データに付加する形で一つの動画ファイルに記録してもよい。あるいは、動画ファイルとは別のファイルとして、特徴値をフレーム番号（または時刻等）と共に記録してもよい。

特徴値を検出する所定時間の間隔は、ユーザが視認できる程度の時間、例えば１秒でもよいし、撮像装置１００の処理負荷に余裕があれば、さらに短くてもよい。再生時に特徴値を間引いて読み出してもよい。

特徴値としては、例えば顔認識情報が考えられる。図２（ｂ）のようにフレーム中の主顔の人物を顔認識し、人物を特定する顔認識値を特徴値として記録する。顔認識は、公知の方法を用いることができ、顔認識方法は本発明の特徴とは関係ないので、その詳細についての説明を省略する。別の特徴値としては、例えば表情認識情報が考えられる。図２（ｃ）のようにフレーム中での主顔の表情を認識し、その表情を特定する顔表情値を特徴値として記録する。表情認識は、公知の方法を用いることができ、表情認識方法は本発明の特徴とは関係ないので、その詳細についての説明を省略する。また、ここで言う主顔とは、例えば撮影された顔の面積が一番大きい顔でもよいし、ユーザが複数の顔から選択したものでもよい。

（画像再生動作）
次に、本実施形態の画像再生動作について説明する。例えば、記録媒体１４１に記録されている動画ファイルについて、操作部１０２を通じてユーザから再生指示が入力されると、制御部１０１は指定された動画ファイルの動画データ、音声データを記録媒体１４１から読み出すように記録再生部１４０を制御する。

記録再生部１４０は、読み出した動画データを画像処理部１１１へ、音声データを音声処理部１２１に転送する。画像処理部１１１は再生した動画データの１フレームの画像を順次、不図示のメモリに記憶する。そして、表示制御部１３１は不図示のメモリに記憶された１フレームの画像を順次読み出して、表示部１３０に表示させる。一方、音声処理部１２１は、再生した音声データからデジタル音声信号を復元し、音声出力部１２２（スピーカー、イヤホン端子、音声出力端子等）に出力する。

また、制御部１０１は動画と音声の再生中に、動画ファイルとは別に記録媒体１４１に記録された音楽ファイルを再生する。例えば、図３（ａ）は、記録媒体１４１に記録されている音楽ファイルのディレクトリ構造とファイル名の例である。また、音楽ファイルは動画ファイルと異なる記録媒体に記録されていてもよい。例えば、動画ファイルは着脱可能なメモリカードに記録され、音楽ファイルは内蔵ＲＯＭ等の不揮発性メモリーに記録されていてもよい。なお、記録再生部１４０は、動画ファイル及び音楽ファイルを任意の場所及び方法で取得可能である。例えば有線もしくは無線通信を利用して外部装置から取得してもよい。

制御部１０１は、音楽ファイルから音楽データを読み出すように記録再生部１４０を制御する。記録再生部１４０は読み出した音楽データを音声処理部１２１に転送する。音声処理部１２１は、動画ファイルから再生した音声データに音楽ファイルから再生した音楽データを混合して音声出力部１２２に出力する。音声データと音楽データの混合比に関しては、制御部１０１が、例えばユーザがあらかじめ設定した値をＳＲＡＭ等に保持しておき、その値を音声処理部１２１に送信してもよい。

再生する音楽ファイルは、制御部１０１が動画ファイルから特徴値を読み出すよう記録再生部１４０を制御し、特徴値に予め関連付けられた音楽ファイルを制御部１０１が選択する。これにより、ユーザの手間を省きながら、画像にマッチした音楽ファイルを自動で選択することができる。ユーザが音楽ファイルを選択することも可能であるが、その場合には特徴値及びその変化とは無関係にユーザが選択した音楽ファイルを再生する。

図３（ｂ）は、特徴値と音楽ファイルとの関連付けの例を示す。ここでは、テーブルの形式で特徴値と音楽ファイルとの関連付けを保持する例を示している。制御部１０１は、このようなテーブルを予めＳＲＡＭ等に保持しておき、読み出した特徴値を用いてテーブルを検索し、関連付けられた音楽ファイル名を抽出する。上述のように特徴値は特定の周期で検出したものであるから、動画の再生が進行すると場面の変化などに応じて変化し、特徴値の変化に応じて制御部１０１が選択する音楽ファイルも変更される。再生する音楽ファイルの変更の仕方については後述する。音楽ファイルが変更された場合、ユーザに違和感を与えないように音楽を出力する。制御部１０１は再生中の音楽の音量を徐々に下げながら（フェードアウト）、次に再生する音楽の徐々に音量を上げて（フェードイン）再生しながら音楽を切り替えるよう音声処理部１２１を制御してもよい。

（音楽ファイルの変更方法）
図４は本実施形態において制御部１０１が行う音楽ファイルの選択（変更）動作を説明するフローチャートである。制御部１０１が音楽選択処理の各ステップを実行する。

また、図５は音楽ファイルの選択（変更）動作の具体例を説明する図である。本実施形態において制御部１０１は、ＲＡＭ等に特徴値を保持しておくためのバッファを持ち、このバッファはリングバッファとして構成されているものとする。以下では、リングバッファの各要素をＦｊ（ｊ＝１，・・・，Ｎ）、リングバッファの最後尾を示すポインタをｐとする。また、動画中の時刻（またはフレーム番号）をＴｉ（ｉ＝１，・・・）として、現在の動画の再生位置をｉで表記する。なお、Ｎは２以上の整数であるが、値が少ないと後述するスコアの値が特徴値の変化の影響を受けやすくなるため、ある程度の時間（例えば１０秒に相当する値）以上に設定する。

まず、Ｓ４０１で制御部１０１は、時刻Ｔ１からＴＮまでの特徴値を読み込むよう記録再生部１４０を制御して、読み込んだ特徴値をリングバッファＦｊに保持する。なお、特徴値が図２（ａ）に示したように動画ファイルに記録されている場合には、動画データ及び音声データとともに特徴値を読み込んでメモリ１０４に保存しておき、メモリ１０４から時刻Ｔ１からＴＮまでの特徴値を取得してもよい。次に、Ｓ４０２で制御部１０１は、動画の再生位置ｉを１に、リングバッファのポインタｐをＮに初期化する。

Ｓ４０３で、制御部１０１はリングバッファの内容に基づいて特徴値毎の得点（スコア）を算出する。スコアを算出する計算手順に関しては後述するが、基本的にはリングバッファに格納された特徴値の出現回数に重み付けをして計算している。図５（ａ）は、時刻Ｔ１の時点でのリングバッファの内容とこのリングバッファの内容に対応した各特徴値ｆのスコアＳの計算結果を図示したものである。

Ｓ４０４で制御部１０１は、スコアが最大となった特徴値を探索し、その特徴値をＲＡＭ等に変数ＦＴＯＰとして保持する。図５（ａ）の例では、特徴値ｆＡのスコアＳが１５で最大であるため、制御部１０１はＦＴＯＰ（Ｆ１）にｆＡを保持する。ここで、例えば、人物が一人もいなくなった場合や、スコアＳが全て等しい場合などは、例外状態としてＦＴＯＰに０を格納してもよい。

Ｓ４０５で制御部１０１は、スコアＳが最大（他のスコアの何れよりも大きい）の特徴値があるか否かを、ＦＴＯＰの値によって判断し、値が０でない場合はＳ４０６に進む。ＦＴＯＰ値が０の場合制御部１０１はＳ４１１に進み、音楽ファイルの変更を行わない。これは、例えば人物が一人もいなくなった場合や、スコアＳが全て等しい場合は、同じ音楽ファイルを再生し続けるということを意味する。また、本フローチャートで不図示だが、ＦＴＯＰの値が０の場合にはあらかじめユーザが選択した音楽ファイルに切り替えてもよい。

Ｓ４０６で制御部１０１は、ＦＴＯＰの値を、前回の処理時におけるＦＴＯＰの値を保持する変数ＦＰＲＥＶの値と比較し、ＦＴＯＰが前回と異なるかどうか判断し、値が異なる場合はＳ４０７に進む。ＦＴＯＰの値が同じ間は制御部１０１はＳ４１１に進み、音楽ファイルの変更は行わない。

Ｓ４０７で制御部１０１は、現在再生中の音楽の再生位置を保存する。これは、制御部１０１が例えばＲＡＭ等に音楽ファイル毎に再生位置を保持するテーブルを持つことで実現できる。これにより、同じ音楽ファイルが再度選択される場合に、前回の再生終了位置から再生を開始することができる。

Ｓ４０８で制御部１０１は、ＦＴＯＰの特徴値に対応する音楽ファイル名をテーブルから読み込む。例えばＦＴＯＰの特徴値がｆＡの場合制御部１０１は、図３（ｂ）のテーブルに従えば”ＭＵＳＩＣ０１．ＷＡＶ”を読み込む。
Ｓ４０９で制御部１０１は、音楽ファイルの再生位置を保持するテーブルから、次に再生する（切替先の）音楽ファイル名ＭＵＳＩＣ０１の再生位置を読み出す。

Ｓ４１０で制御部１０１は、切替先の音楽ファイル名の再生位置から音楽データを読み込むよう記録再生部１４０を制御し、読み込まれた音楽データを再生のために音声処理部１２１に転送し再生を指示する。

Ｓ４１１で制御部１０１は、ＦＴＯＰの値を、前回の値を保持しておくための変数ＦＰＲＥＶにコピーする。
Ｓ４１２で制御部１０１は、次の時刻Ｔｉ＋１におけるスコアＳを算出するために、リングバッファの時刻を示す変数ｉを１つインクリメントすると同時に、リングバッファのポインタｐの値も１インクリメントする。例えば、ｉが１のときはｉは２に変化する。ただし、ポインタｐの値がＮの場合はインクリメントによりリングバッファの先頭の１に戻す。

次に、ｉ＝２のとき、Ｓ４１３で制御部１０１は、動画の再生が次の時刻Ｔ２になるまでの間、音楽選択処理と並行して時刻Ｔ１からの動画再生の処理を実行している。前述したように制御部１０１は動画ファイルから動画データ、音声データを読み込むよう記録再生部１４０を制御して、読み込んだ動画データ及び音声データをそれぞれ画像処理部１１１、音声処理部１２１に転送している。そして、制御部１０１は、現在再生中の画像に関する時刻Ｔｉ（またはフレーム番号）を監視し、転送した画像データの時刻Ｔｉ（またはフレーム番号）がＴ２になったかどうかを判断する。時刻がＴ２になった場合、制御部１０１はＳ４１４に進み、時刻Ｔ２＋Ｎの特徴値をリングバッファのポインタが示すＦｐに読み込む。そして、制御部１０１は、操作部１０２から動画像の再生終了指示が入力されているか、動画像が最後まで再生された場合には音楽選択処理を終了する（Ｓ４１５，ＹＥＳ）。

一方、再生終了指示が入力されておらず、動画像を最後まで再生してもいない場合（Ｓ４１５，ＮＯ）、制御部１０１はＳ４０３に戻り、Ｔ２からＴ２＋Ｎの各特徴値に基づきスコアＳを再計算する。制御部１０１は再計算したスコアＳに基づいて次に再生する音楽を自動的に選択し、撮像装置１００は時刻Ｔ２の動画データと音声データを、選択した音楽と共に再生する。このように、本実施形態においては、個々の特徴値ではなく、時刻Ｔｉ＋１からＴｉ＋ＮのＮ個の特徴値の統計値に基づいて再生する音楽を自動的に選択する。そのため、被写体の一時的な変化（例えば主被写体が一時的に画面から出て戻ってきた場合など）に応じて、選択される音楽が短時間に変更されることを回避できる。なお、複数の動画ファイルを連続して再生する場合に、動画ファイルの切り替わり時にスコアＳを初期化しなくてもよい。しかし、動画ファイルが切り替わる場合には、被写体が大きく変化する可能性があるので、一度音楽ファイルの再生を停止して、再度Ｓ４０１から処理を開始してもよい。

次に時刻の進行に応じたスコアの更新について図５（ａ）〜（ｄ）を参照して説明する。スコアの計算方法については後述する。図４のＳ４０４の説明に記載したとおり、図５（ａ）は時刻Ｔ１からＴＮまでのスコアの算出結果である。時刻Ｔ１からＴＮまでの間で特徴値ｆＡのスコアが１５であり、最大値となっている。図５（ｂ）は時刻Ｔ２からＴＮ＋１までのスコアの例である。この例では時刻ＴＮ＋１の特徴値はｆＣである。特徴値ｆＡのスコアは１３に減少しているが、依然として特徴値の最大値はｆＡである。図５（ｃ）は時刻ＴＮ＋２の特徴値としてｆＣを検出し、その結果、特徴値ｆＡのスコアが１０に減っていることを表している。時刻に対応する特徴値が変化しても、ただちにｆＡのスコアが最大値でなくなることはない。図５（ｄ）は時刻ＴＮからＴ２Ｎ−１までの特徴値の例であり、特徴値としてｆＡの出現が減ってｆＣが最大値になった状態を示している。以上のように画像を再生する時刻が変化する都度、スコアの算出を行い、順次更新して得られる特徴値に基づいて順次楽曲を選択する。

次に音楽選択処理のＳ４０３で行うスコア計算処理の具体例を、図６に示すフローチャートと、図７とを参照して説明する。

制御部１０１は、ＲＡＭ等に特徴値毎のスコアを保持しておくためのバッファを持つ。以下では、このバッファに保持された特徴Ａ，Ｂ，Ｃ，・・・に対応するスコアをＳｘ（ｘ＝Ａ，Ｂ，Ｃ，・・・）と表記する。

Ｓ６０１で制御部１０１は、特徴値毎のスコアＳｘを０で初期化する。次に制御部１０１はＳ６０２からＳ６０７までを繰り返し実行して、リングバッファの各要素Ｆｊ（ｊ＝ｐ＋１（先頭），．．．，ｐ）を処理する。Ｓ６０３で制御部１０１は、要素Ｆｊが一つ前の要素Ｆ（ｊ−１）と同じ値かどうか判断する。同じ値の場合は、Ｓ６０４に進み、制御部１０１はスコアに加算するウェイトｗを１増やす。異なる場合は、Ｓ６０５に進み、制御部１０１はウェイトｗを１に初期化する。Ｓ６０６で制御部１０１は、要素Ｆｊの特徴値ｆｘに対応するスコアＳｘにウェイトｗを加算する。

図７（ａ）は、リングバッファの内容の例と、リングバッファの各要素Ｆｊが処理されたときのウェイトｗ、スコアＳｘの値を示したものである。この例では、リングバッファの要素数Ｎ＝９であり、時刻Ｔ１におけるｐ＝２であるとする。そのため、ｊ＝３，４，・・・，９，１，２の順番に繰り返し処理される。例えば、Ｆ３はｆＢであり、一つ前はｆＣなので、Ｓ６０５でｗ＝１となり、特徴値ｆＢに対応するスコアＳＢはｗ＝１が加算されてＳＢ＝１となる。次のＦ４はｆＡであり、一つ前はｆＢなので、Ｓ６０４でｗ＝１となる。スコアＳＡはｗ＝１が加算されてＳＡ＝１となる。Ｆ５は引き続きｆＡであるため、Ｓ６０４でｗ＝２となり、スコアＳＡはｗ＝２が加算されてＳＡ＝３となる。このように、同じ特徴値が連続すればするほど、ウェイトを増加させることで、スコアが上がりやすくしている。これにより、例えば特徴値が顔認識値の場合、同一人物が連続して写っていればその人物に対応する特徴値が最大となりやすく、再生される音楽が変更されにくくなる。

図７（ｂ）は、図７（ａ）に示した例において、全てのＦｊの処理が終わった時点におけるスコアＳｘの算出結果である。特徴値ｆＡ，ｆＢ，ｆＣが出現した回数はすべて３回だが、連続性が多いｆＡのスコアが最大となる。すなわち、切り替わりが早い特徴よりも連続して出現している特徴値のスコアを上げるものである。これにより、再生されている画像においてユーザが一番認識しやすい特徴に対応した音楽が、継続して再生されやすくなり、ユーザの違和感を減らすことができる。

また、図６では不図示だが、直前の計算において最大値であったスコアに対応する特徴値、すなわちＦＰＲＥＶに対応する特徴値のスコアＳｘに所定の加点をしてもよい。これにより、各スコアの差が微小だった場合に、最大スコアの切り替わりが細かく発生することを防ぐことができる。

さらに、図６では不図示だが、音楽ファイルを最後まで再生した場合、その音楽ファイルを関連付けている特徴値のスコアを減点してもよい。また、同一音楽ファイルの再生回数が増えるに従ってスコアを減点してもよい。これにより、同じ音楽ファイルが繰り返し再生されることを抑制することができる。

また、あらかじめユーザが特徴値毎に優先順位を付けておき、それをスコアの算出に反映してもよい。例えば、優先順位に応じて加点を行うことが考えられる。

なお本実施形態において、特徴値として人物や人物の表情を識別する顔情報（顔認識値または顔表情値）を用いた場合について説明してきたが、特徴値は顔情報に限らない。例えば、シーンが風景であればその色合い（例えばＲＧＢ成分の比率）などを特徴値として利用することも考えられる。また、公知のシーン判別機能を利用してシーン判別を行い、シーンに応じた特徴値を用いてもよい。

また、本実施形態においてはあらかじめ特徴値が記録された画像ファイルを再生する場合を説明したが、再生装置が特徴値を求めてスコアを計算する構成を有していれば、あらかじめ特徴値を画像ファイルに記録しておかなくてもよい。

以上説明したように、本実施形態によれば、主要被写体のような画像の特徴的な情報に応じた楽曲が選択されて再生される。また、所定の時間にわたる所定数の画像から検出される特徴量に基づいて楽曲を選択するので、画像が切り替わっても特徴量に大きな変化がない場合は再生される楽曲を変化させないようにでき、楽曲が細切れで再生されることが防止できる。これにより、楽曲を選択するのにかかる操作の煩雑さが低減するとともに、落ち着いて画像鑑賞することができる。

＜第２の実施形態＞
図８、図９を用いて、本発明の第２の実施形態を説明する。本実施形態は、画像に複数の特徴値が存在する場合の処理に特徴を有する。ここでは、第１の実施形態と同様、画像の特徴値が人物の顔に関する情報であるものとし、顔ごとに特徴値を検出する。

図８（ａ）に示すように、動画ファイルには画像データと関連づけて、検出した特徴値をすべて記録する。さらに、特徴値毎にウェイトを記録することもできる。

図８（ｂ）は、画像で複数の顔が検出された際の特徴値と対応するウェイトの例を示す。ここでは、特徴値として人物の顔認識値を用いている。特徴値に対応づけるウェイトは、顔枠（顔領域の外接四角形）の面積と画面内での位置に基づいて求めることができる。例えば、顔枠の面積が大きいほど、また、顔枠が画像の中心に近いほど、ウェイトが大きくなるようにする。つまり、大きい顔や中心に近い顔ほどスコアが高くなる。また、図８（ｃ）は人物の表情を示す顔表情値を特徴値として用いた場合の例を示す。図８（ｂ）と同様、顔枠の面積と画面内の位置との少なくとも一つに基づいてウェイトを求めることができる。

撮像装置の構成は第１の実施形態と同様であってよいため、説明を省略する。記録再生部１４０は画像処理部１１１が検出した特徴値を画像データに関連づけて記録する。その際に、図８（ａ）に示すように一つの画像データに関連づけて複数種類の特徴値を記録しておく。制御部１０１が実行する音楽選択処理に用いる特徴値を保持しておくリングバッファＦｊは、時刻毎に複数種類の特徴値とウェイトを保持できるようにする。

図９は、図４の音楽選択処理中のＳ４０３に相当する本実施形態のスコア計算処理を説明するフローチャートである。本実施形態における音楽選択処理は、Ｓ４０３に相当するステップを除き、第１の実施形態と同様であってよいため説明を省略する。

Ｓ９０１で制御部１０１は各特徴値のスコアＳｘを０で初期化する。次に制御部１０１はＳ９０２からＳ９０６までを繰り返し実行する。まず、制御部１０１は各リングバッファの要素Ｆｊ毎にＳ９０３からＳ９０５までを繰り返し実行して、各特徴値ｆｘを処理する。制御部１０１は、Ｓ９０４で、特徴値ｆｘに対応するスコアＳｘを求めるためにＦｊの時点でのウェイトｗｊｘを特徴値と加算する。制御部１０１はリングバッファの各要素Ｆｊ毎に、リングバッファのｐ＋１、ｐ＋２、・・、Ｎ、・・ｐまでの１周分についての処理をする。その後、制御部１０１は種類毎の特徴値のスコアを実施形態１に記載されているようにリングバッファ１周分について求め、最大スコアの特徴値に基づいた音楽選択を行う。また、図９では不図示だが、前回の最大スコアを持つ特徴値、すなわちＦＰＲＥＶに対応するＳｘに対して次回の計算時に所定の加点をしてもよい。これにより、各スコアの差が微小だった場合に、スコアの切り替わりが細かく発生することを防ぐことができる。

また、あらかじめユーザが複数の特徴値毎に優先順位を付けておき、その優先順位をスコアの計算に反映してもよい。例えば、優先順位毎に加点を行うことが考えられる。

また、画像内で最大のウェイト値を持つ人物と他の人物のウェイト値の差が所定の閾値以上であれば、最大のウェイト値を有する人物に、さらにウェイト値をスコアに加点してもよい。

第２の実施形態によれば、同じ画像に出現する複数種類の特徴値の各々に対してスコアを計算するため、第１の実施形態の効果に加え、特徴値が画像中で複数検出された場合でも、画像にふさわしい音楽を選択することができる。

以上、本発明の実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 第１の時間から第２の時間までの動画データと、前記動画データの所定時間ごとの画像から検出された複数の特徴値とを記録媒体から再生する再生手段と、
   前記複数の特徴値に含まれる各特徴値の出現回数に基づいて、前記複数の特徴値に含まれる各特徴値のスコアを計算する計算手段と、
   前記複数の特徴値に含まれる各特徴値のスコアに基づいて前記複数の特徴値の中から１つの特徴値を選択し、選択された特徴値に対応する楽曲の再生を制御する制御手段と
   を有することを特徴とする再生装置。
2. 前記複数の特徴値に含まれる各特徴値は、対応する画像に含まれる顔又は顔の表情から検出された値であることを特徴とする請求項１に記載の再生装置。
3. 前記計算手段は、出現する回数が最も多い特徴値のスコアが大きくなるように、前記複数の特徴値の統計値を計算することを特徴とする請求項１または２に記載の再生装置。
4. 前記計算手段は、連続して出現する回数が最も多い特徴値のスコアが大きくなるように、前記複数の特徴値の統計値を計算することを特徴とする請求項１から３のいずれか１項に記載の再生装置。
5. 前記制御手段は、最も大きいスコアに対応する特徴値を前記複数の特徴値の中から選択することを特徴とする請求項１から４のいずれか１項に記載の再生装置。
6. 前記楽曲は、前記記録媒体とは異なる記録媒体に記録されていることを特徴とする請求項１から５のいずれか１項に記載の再生装置。
7. コンピュータを、
   第１の時間から第２の時間までの動画データと、前記動画データの所定時間ごとの画像から検出された複数の特徴値とを記録媒体から再生する再生手段と、
   前記複数の特徴値に含まれる各特徴値の出現回数に基づいて、前記複数の特徴値に含まれる各特徴値のスコアを計算する計算手段と、
   前記複数の特徴値に含まれる各特徴値のスコアに基づいて前記複数の特徴値の中から１つの特徴値を選択し、選択された特徴値に対応する楽曲の再生を制御する制御手段
   として機能させるためのプログラム。