JP5369595B2 - 画像処理装置と画像処理方法および撮像装置とコンピュータ・プログラム - Google Patents

Description

この発明は、画像処理装置と画像処理方法および撮像装置とコンピュータ・プログラムに関する。詳しくは、動画データから静止画データと一致する部分の動作データを読み出してつなげることで、ユーザの意図に近い動画のダイジェストを容易に生成するものである。

近年、動画と静止画を同時に得ることができるビデオカメラが実用化されている。このビデオカメラを用いることにより、ユーザは被写体を撮像して動画を記録メディアに記録しているとき、デジタルカメラを用いることなく、静止画を記録することができるようになる。さらに、このようなビデオカメラでは、動画の視聴中にシャッターボタンを押すだけで、後から静止画を切り出して記録メディアに記録する機能も実現されている。

また、特許文献１では、動画と静止画が混在して記録される記録メディアを用いて、動画と静止画を組み合わせたスライドショー作成が行われている。この特許文献１では、動画について最初から最後まで再生してしまうと長時間のスライドショーになってしまうことから、予めユーザのお気に入りの場面を示すブックマークを動画に対して指定することで、スライドショー候補にその動画が選ばれた場合は、全ての動画を再生せずにブックマーク前後の動画のみを再生することが行われている。

特開２００７−２２８４０６号公報

ところで、引用文献１のように、ブックマークを指定する操作を行うものとした場合、撮像時にお気に入りの場面とするか否かを意識してブックマークを挿入する作業や、スライドショーを作成するために予め動画を再生してブックマークを挿入する作業が必要となる。これは、ユーザにとって面倒な作業である。また、近年ハードディスクなどの記録メディアの大容量化により、手軽に長時間の動画を記録できるようになっており、長時間の動画からお気に入りの場面にブックマークを挿入することは、さらに面倒な作業となる。

そこで、本発明はユーザ自身が好みの画像部分を選び出す手間を減らし、ユーザの意図に近い動画のダイジェストを容易に生成できる画像処理装置と画像処理方法および撮像装置とコンピュータ・プログラムを提供するものである。

この発明の第１の側面は、静止画データが示す静止画の一覧を生成する静止画一覧生成部と、前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出部と、前記検出部で検出されたフレーム位置を基準として前記動画データから所定期間分の動画データを読み出す動画データ読出部と、前記動画データ読出部で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成部とを備える画像処理装置および画像処理方法にある。

この発明では、動画データから静止画データと一致するフレーム位置が検出される。例えば動画データから抽出した撮像時の日時データと位置データを含む属性情報と、静止画データから抽出した撮像時の日時データと位置データを含む属性情報を抽出して、この属性情報を比較することで、動画データから静止画データと撮像時の日時データと位置データが一致するフレーム位置が検出される。この検出されたフレーム位置を基準として動画データから所定期間分例えば前後数秒程度の動画データが読み出されて、この読み出された動画データをつなげてダイジェストが生成される。

また、静止画データが示す静止画の一覧が生成されて、この静止画の一覧から静止画を選択すると、選択された静止画データから属性情報が抽出されて、この抽出された属性情報に基づきダイジェストが生成される。このダイジェストの表示中に再生指示がなされたときは、表示中のダイジェストを含むチャプタの動画データが読み出されて、動画の再生が行われる。

さらに、動画データを生成したときの撮像期間内に含まれる静止画データの読み出しが行われて、この撮像期間内に含まれる静止画データに対して重み付けが行われる。例えば、前後の静止画データと日時や位置が近いとき重要度が低いものとされる。ここで、ダイジェストの再生時間が所定再生時間よりも長くなるときは、重要度の低い静止画の静止画データが削除されて、一致するフレーム位置の検出に用いられる静止画データのデータ数を少なくすることでダイジェストの再生時間が所定再生時間以下とされる。

この発明の第２の側面は、撮像データを生成する撮像部と、前記撮像データを処理して動画データとする動画データ信号処理部と、前記撮像データから抽出したデータを処理して静止画データとする静止画データ信号処理部と、前記動画データを記録メディアに記録する動画データ記録部と、前記静止画データを記録メディアに記録する静止画データ記録部と、静止画データが示す静止画の一覧を生成する静止画一覧生成部と、前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出部と、前記動画データから前記静止画データと一致するフレーム位置を検出する検出部と、前記検出部で検出されたフレーム位置を基準として前記記録メディアに記録された動画データから所定期間分の動画データを読み出す動画データ読出部と、前記動画データ読出部で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成部とを備える撮像装置にある。

この発明は、撮像部で生成された撮像データが処理されて動画データとして記録メディアに記録される。また、撮像部で生成された撮像データから例えば１フレームのデータが抽出されて静止画データとして記録メディアに記録される。記録メディアに記録された動画データから、記録メディアに記録された静止画データと一致するフレーム位置が検出されて、検出されたフレーム位置を基準として動画データから所定期間分例えば前後あわせて数秒程度の動画データが読み出されて、この読み出された動画データをつなげてダイジェストが生成される。

この発明の第３の側面は、コンピュータを、静止画データが示す静止画の一覧を生成する静止画一覧生成機能手段と、前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出機能手段と、前記検出機能手段で検出されたフレーム位置を基準として前記動画データから所定期間分の動画データを読み出す動画データ読出機能手段と、前記動画データ読出機能手段で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成機能手段として機能させるためのコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

この発明によれば、動画データから静止画データと一致するフレーム位置が検出されて、このフレーム位置を基準として動画データから所定期間分の動画データが読み出される。また、読み出された所定期間分の動画データがダイジェストのデータとして用いられる。このため、お気に入りの場面をユーザが静止画として記録しておけば、動画データから好みの画像部分を選び出す操作等を行わなくとも、ユーザの意図に近い動画のダイジェストを容易に生成できる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。この説明では、下記に示すように画像記録装置の構成と動作について説明したのち、本願発明の画像処理装置の構成と動作についての説明を行うものとする。また、画像記録装置と画像処理装置が例えば撮像装置である場合を例示している。
１．画像記録装置の構成
２．画像記録装置の動作
２−１．画像記録装置の表示動作
２−２．画像記録装置の動画記録動作
２−３．画像記録装置の静止画記録動作
３．本発明の画像処理装置の構成
４．本発明の画像処理装置の動作
４−１．画像処理装置の動画一覧表示動作
４−２．画像処理装置の動画再生動作
４−３．画像処理装置の静止画一覧表示動作
４−４．画像処理装置のダイジェスト再生動作（静止画マニュアル選択の場合）
４−５．画像処理装置のダイジェスト再生動作（静止画自動選択の場合）
４−６．画像処理装置のダイジェスト再生からのチャプタ再生動作

＜１．画像記録装置の構成＞
図１は、画像記録装置の構成を示している。

画像記録装置（ビデオカメラ）１０の撮像部１０１は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を用いて構成されている。撮像部１０１は、光電変換を行い、撮像素子上に結像された被写体画像の撮像データを生成する。また、撮像部１０１は、制御部１０８からの制御信号に基づき、動画記録が開始されたときは、生成した撮像データを撮像データ格納部１０２へ転送する処理を行い、動画記録が終了されたとき撮像データの転送を終了する。

撮像データ格納部１０２は、半導体メモリなどで構成されている。撮像データ格納部１０２は、撮像部１０１から入力される撮像データを複数画像分（複数フレーム分）、一時記憶する。

収音部１０３は、マイクロフォン等を用いて構成されている。収音部１０３は、制御部１０８からの制御信号に基づき、動画記録が開始されたときは周囲の音声の収音を行ってアナログ音声信号を生成する。また、収音部１０３は、生成したアナログ音声信号をＡ／Ｄ変換によってデジタルの音声データに変換して、この音声データを収音データ格納部１０４へ転送する。さらに、収音部１０３は、制御部１０８からの制御信号に基づき、動画記録が終了されたとき収音データ格納部１０４への音声データの転送を終了する。

収音データ格納部１０４は、半導体メモリなどで構成されている。収音データ格納部１０４は、収音部１０３から供給された音声データを一定時間分、一時記憶する。

ＧＰＳ部１０５は、全地球測位システム（Global Positioning System）で用いられているＧＰＳ衛星からの電波を受信して、現在の位置や日時等を示す属性情報を生成するものである。ＧＰＳ部１０５は、制御部１０８からの制御信号に基づき、動画記録が開始されたときはＧＰＳ衛星からの電波を受信することにより得られた属性情報をＧＰＳデータ格納部１０６へ転送する。また、ＧＰＳ部１０５は、制御部１０８からの制御信号に基づき、動画記録が終了されたとき、ＧＰＳデータ格納部１０６への属性情報の転送を終了する。

ＧＰＳデータ格納部１０６は、半導体メモリなどで構成されている。ＧＰＳデータ格納部１０６は、ＧＰＳ部１０５から供給される属性情報を一定時間分、一時記憶する。

入力部１０７は、ユーザからの指示入力を受けて、受け付けた指示内容をデコードし、各種命令を制御部１０８へ転送する。この入力部１０７には、動作モードを設定するためにユーザが操作するモードスイッチ、動画記録を開始または終了するときにユーザが操作する録画ボタン、静止画記録を行うときにユーザが操作するシャッターボタン等が設けられている。

制御部１０８は、入力部１０７から入力される各種命令に基づき、画像記録装置１０の動作が命令に対応した動作となるように制御信号を生成して各部の動作を制御する。

動画データ信号処理部１０９は、撮像データ格納部１０２から受信した撮像データに対して、データ転送先に適した各種動画データ処理を行う。例えば、動画データ信号処理部１０９は、補正処理、外部表示器で動画表示を行う場合に最適な動画データ処理や解像度変換、表示部１２５で動画表示を行う場合に最適な動画データ処理等を行う。また、動画データ信号処理部１０９は、処理後の動画データを、動画データ格納部１１０、画像データ格納部１２２、画像データ格納部１２３へ転送する。また、動画データ信号処理部１０９は、サムネイルの生成を行う。サムネイルは、例えばチャプタの先頭の画像を示すものとする。なお、チャプタとは、例えば１つのタイトル内を前半と後半、あるいは１幕目、２幕目などのように分けた場合の各部分を指すものである。

動画データ格納部１１０は、半導体メモリなどで構成されている。動画データ格納部１１０は、動画データ信号処理部１０９から供給された動画データを複数フレーム分、一時記憶することができるものである。

動画データエンコード部１１１は、動画データ格納部１１０に格納された動画データをＭＰＥＧビデオなどの動画フォーマットに圧縮符号化して、多重化部１１５へ転送する。 音声データ信号処理部１１２は、収音データ格納部１０４から受信したデータに対して、ノイズ除去やデータ転送先に適した音声データ処理を行う。例えば、音声データ信号処理部１１２は、音声出力器で音声出力を行う場合に最適な音声データ処理、内蔵スピーカ部１２９で音声出力を行う場合に最適な音声データ処理等を行う。また、音声データ信号処理部１１２は、音声信号処理後の音声データを、音声データ格納部１１３、音声データ格納部１２６、音声データ格納部１２７へ転送する。

音声データ格納部１１３は、半導体メモリなどで構成されている。音声データ格納部１１３は、音声データ信号処理部１１２から入力された音声データを数秒分、一時記憶することができるものである。

音声データエンコード部１１４は、音声データ格納部１１３に格納された音声データをＭＰＥＧオーディオなどの音声フォーマットに圧縮符号化して、多重化部１１５へ転送する。

多重化部１１５は、動画データエンコード部１１１で圧縮符号化された動画データに、サムネイルと音声データエンコード部１１４で圧縮符号化された音声データ、およびＧＰＳデータ格納部１０６に格納されている位置データ・日時データ等の属性情報を多重化する処理を行う。また、多重化部１１５は、多重化処理後の動画データを動画データ記録部１１６へ転送する。

動画データ記録部１１６は、多重化部１１５より転送された動画データの記録を行うものある。動画データ記録部１１６は、記録メディア例えばＤＶＤ(Digital Versatile Disc)やＢｌｕ−ｒａｙ Ｄｉｓｃ（商標）などの光ディスクや、ハードディスクなどの磁気ディスク、半導体メモリなどの比較的容量の大きい記録メディアに対して、動画データの記録を行う。また、画像記録装置１０は、有線、無線のネットワークインターフェースを備えて、外部サーバ上のディスクに対して動画データ記録部１１６により記録を行ってもよい。

静止画データ取得部１１７は、制御部１０８からの制御信号に基づき、静止画取得命令を受信すると、撮像データ格納部１０２に格納されている撮像データから１フレーム分の撮像データを静止画データとして抜き出し、静止画データ信号処理部１１８へ転送する。

静止画データ信号処理部１１８は、静止画データ取得部１１７から受信した静止画データに対して、補正処理などのデータ転送先に適した各種データ処理を行い、静止画データエンコード部１１９へ転送する。また、静止画データ取得部１１７は、サムネイルを生成する。

静止画データエンコード部１１９は、静止画データ信号処理部１１８より取得した静止画データをＪＰＥＧなどのフォーマットに圧縮符号化して、メタデータ埋込部１２０へ転送する。

メタデータ埋込部１２０は、静止画データエンコード部１１９よって圧縮符号化された静止画データに対して、サムネイルやＧＰＳデータ格納部１０６より取得した位置データ・日時データ等の属性情報の埋め込み処理を行う。メタデータ埋込部１２０は、例えばサムネイルや属性情報をＥｘｉｆデータとして静止画データに埋め込む。

静止画データ記録部１２１は、メタデータ埋込部１２０で位置データ・日時データ等の属性情報の埋め込みが行われた静止画データの記録を行うものである。静止画データ記録部１２１は、記録メディア例えばＤＶＤ(Digital Versatile Disc)やＢｌｕ−ｒａｙ Ｄｉｓｃ（商標）などの光ディスクや、ハードディスクなどの磁気ディスク、半導体メモリなどの比較的容量の大きい記録メディアに対して、静止画データの記録を行う。また、画像記録装置１０は、有線、無線のネットワークインターフェースを備えて、外部サーバ上のディスクに対して静止画データ記録部１２１により記録を行ってもよい。また、静止画データ記録部１２１により書き込みを行う記録メディアは、動画データ記録部１１６にて書き込みを行う記録メディアを兼ねるものとしてもよい。

画像データ格納部１２２は、外部表示器で動画表示を行う場合に最適な動画データ処理が行われた動画データを動画データ信号処理部１０９より受信して、一時記憶することができるものである。

画像データ格納部１２３は、表示部１２５で動画表示を行う場合に最適な動画データ処理が行われた動画データを動画データ信号処理部１０９より受信して、一時記憶することができるものである。

画像データ外部出力部１２４は、ＨＤＭＩなどのインターフェースを含み、テレビジョンなどの外部表示器に対して、画像データ格納部１２２より受信した動画データを送信する。

表示部１２５は、液晶パネルなど画像記録装置１０に内蔵された表示機器であり、画像データ格納部１２３より受信した動画データに基づいて画像表示を行う。

音声データ格納部１２６は、音声出力器で音声出力を行う場合に最適な音声信号処理が行われた音声データを音声データ信号処理部１１２より受信して、一時記憶することができるものである。

音声データ格納部１２７は、内蔵スピーカ部１２９で音声出力を行う場合に最適な音声信号処理が行われた音声データを音声データ信号処理部１１２より受信して、一時記憶することができるものである。

音声データ外部出力部１２８は、ピンジャックや光出力端子を備え、スピーカシステムなどの音声出力器に対して、音声データ格納部１２６より受信した音声データを送信する。

内蔵スピーカ部１２９は、本機器に内蔵されたスピーカで、音声データ格納部１２７より受信した音声データに基づいた音声出力を行う。

＜２．画像記録装置の動作＞
次に、画像記録装置の動作について、図２〜図４，図６のフローチャートを用いて説明する。図２のフローチャートは、画像記録装置の動作概要を示している。

ステップＳ１２０１において、画像記録装置は記録モードを開始する。画像記録装置は、入力部１０７で記録モード開始命令が発行されたことを判別したとき、動作モードを記録モードに設定する。また、画像記録装置は、動作モードを記録モードに設定したとき、ステップＳ１２０２，Ｓ１２０３，Ｓ１２０５へ移行する。

ステップＳ１２０２において、画像記録装置は表示動作を行う。画像記録装置は、各部の動作を制御して後述する表示動作を行ったのちステップＳ１２０７へ移行する。

ステップＳ１２０３において、画像記録装置は動画記録開始であるか否か判別する。画像記録装置は、入力部１０７で動画記録開始命令が発行されていると判別したときステップＳ１２０４へ移行し、動画記録開始命令が発行されていないと判別したときステップＳ１２０７へ移行する。

ステップＳ１２０４において、画像記録装置は動画記録動作を行う。画像記録装置は、各部の動作を制御して後述する動画記録動作を行ったのちステップＳ１２０７へ移行する。

ステップＳ１２０５において、画像記録装置は静止画記録開始であるか否か判別する。画像記録装置は、入力部１０７で静止画記録命令が発行されていると判別したときステップＳ１２０６へ移行し、静止画記録命令が発行されていないと判別したときステップＳ１２０７へ移行する。

ステップＳ１２０６において、画像記録装置は静止画記録動作を行う。画像記録装置は、各部の動作を制御して後述する静止画記録動作を行ったのちステップＳ１２０７へ移行する。

ステップＳ１２０７において、画像記録装置は記録モードの終了であるか否か判別する。画像記録装置は、入力部１０７で記録モード終了命令が発行されていると判別したときステップＳ１２０８へ移行し記録モードを終了し、記録モード終了命令が発行されていないと判別したときステップＳ１２０２，Ｓ１２０３，Ｓ１２０５へ移行する。

次に、図２のフローチャートの具体的動作について例示する。なお、以下の説明では、画像記録装置１０がビデオカメラであり、記録メディアとしてハードディスク装置（以下「ＨＤＤ」という）)を用いるものとする。

ビデオカメラ１０は、電源スイッチがオン状態とされて、モードスイッチが動画記録モードに切り替えられたとき、記録モードを開始する（Ｓ１２０１）。

ビデオカメラ１０は、表示動作を行い、撮像部１０１で撮像した被写体の画像を例えば表示部１２５に表示する（Ｓ１２０２）。

ビデオカメラ１０は、録画開始操作が行われたとき、動画記録を開始してＨＤＤに動画を記録する（Ｓ１２０３→Ｓ１２０４）。

ビデオカメラ１０は、シャッター操作が行われたとき、静止画記録を開始してＨＤＤに静止画を記録する（Ｓ１２０５→Ｓ１２０６）。なお、静止画記録は動画記録の最中にも行うことを可能とすることで、現在の場面を動画と写真の両方で残すことができるようになる。

ビデオカメラ１０は、モードスイッチが動画記録モード以外、例えば再生モードに切り替えられたとき、またはビデオカメラ１０の電源スイッチがオフ状態とされたとき、記録モードを終了させる（Ｓ１２０７→Ｓ１２０８）。

＜２−１．画像記録装置の表示動作＞
図３は、画像記録装置における表示動作のフローチャートを示している。

ステップＳ１３０１において、画像記録装置は表示動作を開始させて、ステップＳ１３０２からの動画データの処理とＳ１３０７からの音声データの処理へ移行する。

ステップＳ１３０２において、画像記録装置は撮像データの取得を行う。撮像部１０１は、被写体画像を示す撮像データを生成して撮像データ格納部１０２に供給する。撮像データ格納部１０２は、複数フレーム分の撮像データを一時記憶してステップＳ１３０３へ移行する。

ステップＳ１３０３において、画像記録装置は動画データ信号処理を行う。動画データ信号処理部１０９は、撮像データ格納部１０２で一時記憶されている撮像データに対して、上述のようにデータ転送先に適した各種動画データ処理を行う。さらに、動画データ信号処理部１０９は、外部表示器に表示する動画の動画データを画像データ格納部１２２、表示部１２５に表示する動画の動画データを画像データ格納部１２３へ転送したのちステップＳ１３０４，Ｓ１３０５へ移行する。

ステップＳ１３０４において、画像記録装置は動画表示を行う。表示部１２５は、画像データ格納部１２３に転送された動画データを用いて動画表示を行いステップＳ１３１２へ移行する。

ステップＳ１３０５において、画像記録装置は外部表示器の接続を判別する。画像データ外部出力部１２４は、外部表示器が接続されていると判別したときステップＳ１３０６へ移行し、外部表示器が接続されていないと判別したときステップＳ１３１２へ移行する。

ステップＳ１３０６において、画像記録装置は動画データ出力を行う。画像データ外部出力部１２４は、画像データ格納部１２２に転送された動画データを外部表示器に出力する処理を行い、出力処理終了後にステップＳ１３１２へ移行する。

ステップＳ１３０７において、画像記録装置は音声データの取得を行う。収音部１０３は、周囲の音声を収音して音声データの生成を行い、生成した音声データを収音データ格納部１０４に供給する。収音データ格納部１０４は、一定時間分の音声データを一時記憶してステップＳ１３０８へ移行する。

ステップＳ１３０８において、画像記録装置は音声データ信号処理を行う。音声データ信号処理部１１２は、上述のように、ＨＤＤの駆動音などをはじめとした各種ノイズ除去などの処理を行う。さらに、音声データ信号処理部１１２は、音声出力器から出力する音声の音声データを音声データ格納部１２６、内蔵スピーカ部１２９から出力する音声の音声データを音声データ格納部１２７へ転送したのちステップＳ１３０９，Ｓ１３１０へ移行する。

ステップＳ１３０９において、画像記録装置は音声出力を行う。内蔵スピーカ部１２９は、音声データ格納部１２７に転送された音声データを用いて音声出力を行いステップＳ１３１２へ移行する。

ステップＳ１３１０において、画像記録装置は音声出力器の接続を判別する。音声データ外部出力部１２８は、音声出力器が接続されていると判別したときステップＳ１３１１へ移行し、音声出力器が接続されていないと判別したときステップＳ１３１２へ移行する。

ステップＳ１３１１において、画像記録装置は音声データ出力を行う。音声データ外部出力部１２８は、音声データ格納部１２６に転送された音声データを音声出力器に出力する処理を行い、出力処理終了後にステップＳ１３１２へ移行する。

ステップＳ１３１２において、画像記録装置は表示動作を終了する。例えば、表示部１２５は動画表示、画像データ外部出力部１２４は動画データ出力、内蔵スピーカ部１２９は音声出力、音声データ外部出力部１２８は音声データ出力をそれぞれ終了する。

次に、図３のフローチャートの具体的動作について例示する。表示動作を開始すると（Ｓ１３０１）、ビデオカメラ１０は、撮像部１０１で生成した撮像データを、例えばＳＲＡＭ(Static Random Access Memory)などを用いて構成した撮像データ格納部１０２に、一時的に数フレーム分記憶する（Ｓ１３０２）。

ビデオカメラ１０は、撮像データ格納部１０２に記憶されている動画データを、動画データ信号処理部１０９で信号処理する。ビデオカメラ１０の動画データ信号処理部１０９は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成されており、補正などの処理や後段の表示部や外部表示器にあわせた解像度とする変換処理を行う。例えば内蔵される表示部１２５の液晶パネルが「６４０×４８０」の解像度であり、外部表示器であるＨＤＴＶが「１９２０×１０８０」などの解像度である場合、それぞれの解像度の動画データとする変換処理を行う（Ｓ１３０３）。

ビデオカメラ１０は、内蔵している液晶パネルで、被写体の撮像画像を表示する（Ｓ１３０４）。また、ビデオカメラ１０の例えばＨＤＭＩ（商標）端子にＨＤＭＩケーブルでテレビジョン装置が接続されているとき、ビデオカメラ１０は、動画データの出力を行い、被写体の撮像画像をテレビジョン装置に表示させる（Ｓ１３０５→Ｓ１３０６）。

また、ビデオカメラ１０は、収音部１０３で周囲の音声を取得して生成した音声データを、例えばＳＲＡＭ(Static Random Access Memory)などを用いて構成した収音データ格納部１０４に、一時的に一定時間分記憶させる（Ｓ１３０７）。

ビデオカメラ１０は、収音データ格納部１０４に記憶されている音声データを、音声データ信号処理部１１２で信号処理する。ビデオカメラ１０の音声データ信号処理部１１２は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成されており、ノイズ除去などの処理や、後段の音声出力器にあわせた変換処理を行う。例えば内蔵スピーカ部１２９に対しては、Ｄ／Ａ変換を行って得られたアナログ信号の音声信号を転送する。また、外部の音声出力器とＳＰＤＩＦ(Sony Philips Digital Interface)で接続される場合、ＳＰＤＩＦフォーマットにあわせた変換を行う（Ｓ１３０８）。

ビデオカメラ１０は、収音した周囲の音を内蔵スピーカ部１２９から出力する（Ｓ１３０９）。また、ビデオカメラ１０の例えばＨＤＭＩ（商標）端子にＨＤＭＩケーブルでテレビジョン装置が接続されているとき、ビデオカメラ１０は、収音した周囲の音をテレビジョン装置から出力させる（Ｓ１３１０→Ｓ１３１１）。

＜２−２．画像記録装置の動画記録動作＞
図４は、画像記録装置における動画記録動作のフローチャートを示している。

ステップＳ１４０１において、画像記録装置は動画記録動作を開始させて、ステップＳ１４０２からの動画データの処理とステップＳ１４０５からの音声データの処理とステップＳ１４０８からのＧＰＳデータの処理へ移行する。

ステップＳ１４０２において、画像記録装置は撮像データの取得を行う。撮像部１０１は、被写体画像を示す撮像データを生成して撮像データ格納部１０２に供給する。撮像データ格納部１０２は、複数フレーム分の撮像データを一時記憶してステップＳ１４０３へ移行する。

ステップＳ１４０３において、画像記録装置は動画データ信号処理を行う。動画データ信号処理部１０９は、撮像データ格納部１０２で一時記憶されている撮像データに対して補正などの各種動画データ処理を行う。また、動画データ信号処理部１０９は、処理後の動画データを動画データ格納部１１０へ転送してステップＳ１４０４へ移行する。さらに、動画データ信号処理部１０９は動画データ処理としてサムネイルの生成を行い、生成したサムネイルを動画データ格納部１１０へ転送する。

ステップＳ１４０４において、画像記録装置は動画データエンコードを行う。動画データエンコード部１１１は、動画データ格納部１１０に一時記憶されている動画データの圧縮符号化を行う。また、動画データエンコード部１１１は、圧縮符号化後の動画データを多重化部１１５へ転送してステップＳ１４０９へ移行する。

ステップＳ１４０５において、画像記録装置は音声データの取得を行う。収音部１０３は、周囲の音声を収音して音声データの生成を行い、生成した音声データを収音データ格納部１０４に供給する。収音データ格納部１０４は、一定時間分の音声データを一時記憶してステップＳ１４０６へ移行する。

ステップＳ１４０６において、画像記録装置は音声データ信号処理を行う。音声データ信号処理部１１２は、上述のように、ＨＤＤの駆動音などをはじめとした各種ノイズ除去などの処理を行う。さらに、音声データ信号処理部１１２は、信号処理後の音声データを音声データ格納部１１３へ転送したのちステップＳ１４０７へ移行する。

ステップＳ１４０７において、画像記録装置は音声データエンコードを行う。音声データエンコード部１１４は、音声データ格納部１１３に一時記憶されている音声データの圧縮符号化を行う。また、音声データエンコード部１１４は、圧縮符号化後の音声データを多重化部１１５へ転送してステップＳ１４０９へ移行する。

ステップＳ１４０８において、画像記録装置はＧＰＳデータの取得を行う。ＧＰＳ部１０５は、複数の衛星からの電波を受信し、受信した電波から得られた情報を用いて測位を行い、日時データや位置データを示す属性情報を生成してＧＰＳデータ格納部１０６に供給する。ＧＰＳデータ格納部１０６は、属性情報を一定時間記録してステップＳ１４０９へ移行する。

ステップＳ１４０９において、画像記録装置は多重化処理を行う。多重化部１１５は、ステップＳ１４０４により得られた動画データに、サムネイルやステップＳ１４０７により得られた音声データ、ステップＳ１４０８により得られた属性情報を多重化する。ステップＳ１４０８により得られた属性情報は、例えば動画データのフレーム毎にあるいはＧＯＰ(Group of Picture)毎に得られるように多重化する。また、多重化部１１５は、多重化後の動画データを動画データ記録部１１６へ転送してステップＳ１４１０へ移行する。ここで、ステップＳ１４０８により得られた属性情報は、Ｔ
ステップＳ１４１０において、画像記録装置は記録処理を行う。動画データ記録部１１６は、多重化後の動画データを動画データ記録メディアに記録したのちステップＳ１４１１へ移行する。

ステップＳ１４１１において、画像記録装置は、動画記録動作終了であるか否か判別する。制御部１０８は、入力部１０７で動画記録終了命令が発行されていると判別したときステップＳ１４１２へ移行し、動画記録終了命令が発行されていないと判別したときステップＳ１４０２，Ｓ１４０５，Ｓ１４０８へ移行して、引き続き動画記録を行う。

ステップＳ１４１２において、画像記録装置は動画記録動作を終了する。例えば、動画データや音声データの圧縮符号化やＧＰＳデータの取得、多重化等の処理をそれぞれ終了する。

次に、図４のフローチャートの具体的動作について例示する。録画ボタンが操作されて動画記録動作を開始すると（Ｓ１４０１）、ビデオカメラ１０は、撮像部１０１で生成した撮像データを、例えばＳＲＡＭ(Static Random Access Memory)などを用いて構成した撮像データ格納部１０２に、数フレーム分記憶する（Ｓ１４０２）。
ビデオカメラ１０は、撮像データ格納部１０２に記憶されている動画データを、動画データ信号処理部１０９で信号処理して、動画データ格納部１１０へ転送する。動画データ信号処理部１０９は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成して、補正などの処理を行う（Ｓ１４０３）。

ビデオカメラ１０は、動画データ格納部１１０に記憶されている動画データを、動画データエンコード部１１１で圧縮符号化して多重化部１１５へ転送する。動画データエンコード部１１１は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成して、動画データをＨ．２６４／ＡＶＣ等の規格に対応したフォーマットに圧縮符号化する（Ｓ１４０４）。

また、ビデオカメラ１０は、収音部１０３で周囲の音声を取得して生成した音声データを、例えばＳＲＡＭ(Static Random Access Memory)などを用いて構成した収音データ格納部１０４に、一時的に一定時間分記憶させる（Ｓ１４０５）。

ビデオカメラ１０は、収音データ格納部１０４に記憶されている音声データを、音声データ信号処理部１１２で信号処理して、音声データ格納部１１３へ転送する。ビデオカメラ１０の音声データ信号処理部１１２は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成されており、ノイズ除去などの処理を行う（Ｓ１４０６）。

ビデオカメラ１０は、音声データ格納部１１３に記憶されている音声データを、音声データエンコード部１１４で圧縮符号化して多重化部１１５へ転送する。音声データエンコード部１１４は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成して、音声データをＡＣ−３等のフォーマットに圧縮符号化する（Ｓ１４０７）。

ビデオカメラ１０は、ＧＰＳ部１０５で属性情報を生成して、ＧＰＳデータ格納部１０６に格納させる（Ｓ１４０８）。

また、ビデオカメラ１０は、多重化部１１５で動画データや音声データおよび属性情報の多重化を行う。例えば、多重化部１１５は、圧縮符号化された動画データと音声データおよび位置データや日時データをそれぞれＰＥＳ（Packetized Elementary Stream）パケット化する。さらに、多重化部１１５は、各ＰＥＳパケットを固定長のパケットに分割して多重化してＭＰＥＧ２−ＴＳのストリームを生成する（Ｓ１４０９）。

ビデオカメラ１０は、多重化後の動画データを動画データ記録部１１６で記録メディアに記録させる。例えば動画データ記録部１１６は、ＡＶＣＨＤ形式でハードディスクに記録する（Ｓ１４１０）。

その後、ビデオカメラ１０は、動画記録終了命令が発行されたとき、例えば録画ボタンが再度操作されたとき動画記録動作を終了する（Ｓ１４１１→Ｓ１４１２）。

図５はＡＶＣＨＤ形式のファイルの基本構造を示している。ファイルは、ディレクトリ構造により階層的に管理される。記録メディア上には、１つのディレクトリ（図５の例ではルート(root)ディレクトリ）が作成される。ルートディレクトリの下に、ディレクトリ"BDMV"が置かれる。さらに必要に応じて、ルートディレクトリの下にディレクトリ"AVCHDTN"が置かれる。ディレクトリ"AVCHDTN"には、チャプタの先頭等を示す画像を所定サイズに縮小したサムネイルが置かれる。ディレクトリ"BDMV"の下には、ファイル"index.bdmv"およびファイル"MovieObject.bdmv"、ディレクトリ"PLAYLIST"、ディレクトリ"CLIPINF"、ディレクトリ"STREAM"およびディレクトリ"BACKUP"が置かれる。

ファイル"index.bdmv"は、ディレクトリ"BDMV"の内容について記述される。すなわち、このファイル"index.bdmv"がインデックスレイヤにおけるインデックステーブルに対応する。また、ファイル"MovieObject.bdmv"は、１つ以上の動画の情報が格納される。

ディレクトリ"PLAYLIST"は、プレイリストのデータベースが置かれるディレクトリである。すなわち、ディレクトリ"PLAYLIST"は、プレイリストに関するファイルであるファイル"xxxxx.mpls"を含む。このプレイリストに関するファイルでは、チャプタ単位での再生等を行うことができるように、チャプタの位置が記述される。

ディレクトリ"CLIPINF"は、クリップのデータベースが置かれるディレクトリである。すなわち、ディレクトリ"CLIPINF"は、クリップＡＶストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル"zzzzz.clpi"を含む。

ディレクトリ"STREAM"は、動画データや音声データのストリームファイルが置かれるディレクトリである。ストリームファイルは、ＭＰＥＧ２(Moving Pictures Experts Group 2)のトランスポートストリーム（以下、ＭＰＥＧ２ ＴＳと略称する））からなる。ディレクトリ"BACKUP"は、各ディレクトリおよびファイルのバックアップが格納される。

なお、動画データの多重化はＭＰＥＧ−ＴＳに限られるものではなく、他の形式で多重化を行うものといてもよい。また、動画データのファイル形式もＡＶＣＨＤ形式に限られるものではなく、他の形式例えばＤＶＤ−Ｖｉｄｅｏ規格を用いるものとしてもよい。

＜２−３．画像記録装置の静止画記録動作＞
図６は、画像記録装置における静止画記録動作のフローチャートを示している。

ステップＳ１５０１において、画像記録装置は静止画記録動作を開始させて、ステップＳ１５０２からの静止画データの処理とステップＳ１５０５からのＧＰＳデータの処理へ移行する。

ステップＳ１５０２において、画像記録装置は静止画データの取得を行う。撮像部１０１は、被写体画像を示す撮像データを生成して撮像データ格納部１０２に供給する。撮像データ格納部１０２は、撮像データを一時記憶する。静止画データ取得部１１７は、撮像データ格納部１０２から１フレームの撮像データを静止画データとして抜き出してステップＳ１５０３へ移行する。

ステップＳ１５０３において、画像記録装置は静止画データ信号処理を行う。静止画データ信号処理部１１８は、静止画データ取得部１１７で抜き出された静止画データに対して補正などの各種データ処理を行う。さらに、静止画データ信号処理部１１８は、処理後の静止画データを静止画データエンコード部１１９へ転送してステップＳ１５０４へ移行する。また、静止画データ信号処理部１１８はサムネイルを生成する。

ステップＳ１５０４において、画像記録装置は静止画データエンコードを行う。静止画データエンコード部１１９は、静止画データ信号処理部１１８で処理された静止画データの圧縮符号化を行う。また、静止画データエンコード部１１９は、圧縮符号化後の静止画データをメタデータ埋込部１２０へ転送してステップＳ１５０６へ移行する。

ステップＳ１５０５において、画像記録装置はＧＰＳデータの取得を行う。ＧＰＳ部１０５は、複数の衛星からの電波を受信し、受信した電波から得られた情報を用いて測位を行い、日時データや位置データを示す属性情報を生成してＧＰＳデータ格納部１０６に供給する。ＧＰＳデータ格納部１０６は、日時データや位置データを一定時間記録してステップＳ１５０６へ移行する。

ステップＳ１５０６において、画像記録装置はメタデータ埋め込み処理を行う。メタデータ埋込部１２０は、静止画データエンコード部より転送された静止画データに対して、サムネイルやＧＰＳデータ格納部１０６より転送された属性情報をメタデータとして埋め込む。また、メタデータ埋込部１２０は、メタデータの埋め込みが完了した静止画データを静止画データ記録部１２１へ転送してステップＳ１５０７へ移行する。

ステップＳ１５０７において、画像記録装置は記録処理を行う。静止画データ記録部１２１は、メタデータが埋め込まれた静止画データを静止画データ記録メディアに記録したのちステップＳ１５０８へ移行する。

ステップＳ１５０８において、画像記録装置は静止画記録動作を終了する。例えば、静止画データの取得やＧＰＳデータの取得、メタデータの埋め込み等の処理をそれぞれ終了する。

次に、図６のフローチャートの具体的動作について例示する。静止画記録動作を開始する（Ｓ１５０１）と、ビデオカメラ１０は、撮像部１０１で生成した撮像データを、例えばＳＲＡＭ(Static Random Access Memory)などを用いて構成した撮像データ格納部１０２に記憶する。また、静止画データ取得部１１７で、静止画記録命令が発行された瞬間、すなわちシャッターボタンが操作された瞬間のフレーム画像を示す撮像データを撮像データ格納部１０２から抜き出して静止画データとする（Ｓ１５０２）。

ビデオカメラ１０は、静止画データ取得部１１７で取得した静止画データを、静止画データ信号処理部１１８で信号処理して、静止画データエンコード部１１９へ転送する。静止画データ信号処理部１１８は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成して、補正などの処理やサムネイルの生成を行う（Ｓ１５０３）。

ビデオカメラ１０は、補正などの処理が行われた静止画データを、静止画データエンコード部１１９で圧縮符号化してメタデータ埋込部１２０へ転送する。静止画データエンコード部１１９は、ＤＳＰ(Digital Signal Processor)などの信号処理用集積回路を用いて構成して、静止画データをＪＰＥＧ等のフォーマットに圧縮符号化する（Ｓ１５０４）。

また、ビデオカメラ１０は、ＧＰＳ部１０５で生成した属性情報をＧＰＳデータ格納部１０６に格納させる（Ｓ１５０５）。

ビデオカメラ１０は、メタデータ埋込部１２０で静止画データにサムネイルや位置データと日時データを埋め込む処理を行う。例えば、メタデータ埋込部１２０はＥｘｉｆ規格を用いるものとして、位置データと日時データを属性情報として、この属性情報やサムネイルを静止画データに埋め込む（Ｓ１５０６）。

ビデオカメラ１０は、メタデータ埋め込み後の静止画データを、静止画データ記録部１２１で記録メディアに記録させる。例えば静止画データ記録部１２１は、メタデータが埋め込まれた静止画データのファイルをディスクに記録する（Ｓ１５０７）。

静止画データを記録する際のファイル形式としては、例えば日本電子情報技術産業協会（ＪＥＩＴＡ）によってＥｘｉｆ規格が定められている。このＥｘｉｆ規格では、静止画データとして圧縮タイプのＪＰＥＧデータをＥｘｉｆ規格のファイルに含めることが規定されている。

図７は、圧縮符号化処理された静止画データのファイル基本構造を例示している。Ｅｘｉｆ規格のファイルは、マーカセグメントＳＯＩ，ＡＰＰ１，ＡＰＰ２，ＤＱＴ，ＤＨＴ，ＤＲＩ，ＳＯＦ，ＳＯＳ，ＥＯＩと、画像データ格納領域ＧＤを含んでいる。マーカセグメントＳＯＩは圧縮データの先頭を示すものである。マーカセグメントＡＰＰ１はＥｘｉｆの付属情報を格納する領域である。マーカセグメントＡＰＰ２はＥｘｉｆ拡張データを格納する領域である。マーカセグメントＤＱＴは量子化テーブルを定義するものである。マーカセグメントＤＨＴはハフマンテーブルを定義するものである。マーカセグメントＤＲＩは、リスタートマーカの挿入間隔を定義するものである。マーカセグメントＳＯＦはフレームに関する各種パラメータを示すものである。マーカセグメントＳＯＳはスキャンに関する各種パラメータを示すものである。マーカセグメントＥＯＩは圧縮データの終了を示すものである。

マーカセグメントＡＰＰ１は、ＡＰＰ１マーカや、Ｅｘｉｆ識別コード、ＴＩＦＦヘッダおよびその他の付属情報、サムネイルを格納している。付属情報は、圧縮符号化された静止画データに関する付属情報を格納する０th ＩＦＤと、撮像日時の日時データや撮像情報ＰＩや音声情報をはじめとするＥｘｉｆ固有の付属情報を格納するＥｘｉｆ ＩＦＤと、ＧＰＳの情報を格納するＧＰＳ Ｉｎｆｏ ＩＦＤ、サムネイル画像に関する付属情報を格納する１st ＩＦＤとを含んでいる。

撮像情報ＰＩでは、露出時間やレンズＦ値、ＩＳＯ感度、シャッタースピード、絞り値、露出プログラム、露出時間、レンズ焦点距離等のデータが含まれる。ＧＰＳ ＩｎｆｏＩＦＤに格納される情報には、撮像時における緯度や経度といった地理的位置を表す位置データ等が含まれる。なお、静止画データのファイル形式は、Ｅｘｉｆ規格以外の形式を用いるものとしてもよい。

＜３．本発明の画像処理装置の構成＞
次に、本願発明の画像処理装置の概略構成について図８を用いて説明する。この画像処理装置は、動画データから静止画データと一致するフレーム位置を検出する検出部と、検出部で検出されたフレーム位置を基準として動画データから所定期間分の動画データを読み出す動画データ読出部と、動画データ読出部で読み出された所定期間分の動画データをダイジェストのデータとして用いるダイジェスト生成部とを備えるものである。なお、以下の説明では、動画データから静止画データと一致するフレーム位置を検出する検出部において、動画データと静止画データのそれぞれに埋め込まれている属性情報を比較して、比較結果に基づき動画データから静止画データと一致するフレーム位置を検出する構成を例示している。

画像処理装置（ビデオカメラ）２０の入力部２０１は、ユーザからの指示入力を受けて、受けた指示内容をデコードし、各種命令を制御部２０２へ転送する。この入力部１０７には、動作モードを設定するためにユーザが操作するモードスイッチ、記録されている動画や静止画を再生する再生ボタン、一覧表示されたサムネイルからユーザの所望するサムネイルを選択するためのサムネイル選択ボタン、動画のダイジェストの生成や提示を行うためのダイジェスト開始ボタン、チャプタ再生を行うためのチャプタ再生ボタン等が設けられている。

制御部２０２は、入力部２０１から入力される各種命令に基づき、画像処理装置２０の動作が命令に対応する動作となるように制御信号を生成して各部の動作を制御する。

動画データ読出部２０３は、制御部２０２、動画データ選択部２０８、属性情報比較部２３０のいずれかより、動画データ読出命令を受け取ると、動画データが記録された記録メディアから、サムネイルや指定の動画の動画データを読み出して、読み出した動画データをデータ分離部２０４へ転送する。

データ分離部２０４は、動画データ読出部２０３からの多重化されている動画データのデータ分離を行う。データ分離部２０４は、分離後の動画データやサムネイルを動画データデコード部２０５、分離した音声データを音声データデコード部２０９、分離した属性情報を動画属性情報抽出部２２９へ転送する。

動画データデコード部２０５は、データ分離部２０４により分離した動画データの伸張復号化を行う。動画データデコード部２０５は、伸張復号化を行うことにより得られた動画データを動画データ格納部２０６へ転送する。

動画データ格納部２０６は、動画データデコード部２０５より入力される動画データを複数フレーム分、一時記憶する。また、動画データ格納部２０６はデータ分離部２０４により分離したサムネイルを一時記憶する。

動画一覧生成部２０７は、動画データ格納部２０６に記憶されているサムネイルのデータを取り出して組み合わせ、動画選択画面の画像データを生成して、後述する画像セレクタ等を介して表示部２１５に動画選択画面を表示させる。

動画データ選択部２０８は、制御部２０２からの制御信号に基づき、動画一覧生成部２０７により生成された動画一覧の画像から、ユーザがいずれの動画を選択したか判別して、判別した動画の情報と共に、動画データ読出命令を動画データ読出部２０３へ転送する。また、動画データ選択部２０８は、判別した動画の情報を撮像日時抽出部２４０へ転送する。

音声データデコード部２０９は、データ分離部２０４で分離された音声データの伸張復号化を行う。音声データデコード部２０９は、伸張復号化を行うことにより得られた音声データを音声セレクタ２１６へ転送する。

画像セレクタ２１０は、動画データや動画一覧の画像データ、後述する静止画データ格納部２２５から転送された静止画データや、静止画一覧生成部２２６から転送された画像データを受信し、現在の再生モードにあわせたデータを選択して画像データ信号処理部２１１へ転送する。

画像データ信号処理部２１１は、画像セレクタ２１０から受信した画像データに対して、解像度変換や補正処理などのデータ転送先に適した各種画像データ処理を行う。例えば、画像データ信号処理部２１１は、補正処理、外部表示器で最適な画像表示を行うための画像データ処理や解像度変換処理、表示部２１５で最適な画像表示を行うための画像データ処理等を行う。また、画像データ信号処理部２１１は、処理後の画像データを、画像データ格納部２１２、画像データ格納部２１４へ転送する。

画像データ格納部２１２は、半導体メモリなどで構成されている。画像データ格納部２１２は、外部表示器で最適な画像表示を行うための画像データ処理が行われた画像データを受信して一時記憶する。

画像データ外部出力部２１３は、ＨＤＭＩなどのインターフェースを含み、テレビジョンなどの外部表示器に対して、画像データ格納部２１２より受信した画像データを送信する。

画像データ格納部２１４は、半導体メモリなどで構成されている。画像データ格納部２１４は、表示部２１５で最適な画像表示を行うための画像データ処理が行われている画像データを受信して一時記憶する。

表示部２１５は、液晶パネルなど画像処理装置２０に内蔵された表示機器であり、画像データ格納部２１４より受信した画像データに基づいて表示を行う。

音声セレクタ２１６は、各種モード時の音声データを受信し、現在の再生モードにあわせた音声を音声データ信号処理部２１７へ転送する。

音声データ信号処理部２１７は、音声セレクタ２１６から受信したデータに対して、ノイズ除去やデータ転送先に適した音声データ処理を行う。例えば、音声データ信号処理部２１７は、音声出力器で音声出力を行う場合に最適な音声データ処理、内蔵スピーカ部２２１で音声出力を行う場合に最適な音声データ処理等を行う。また、音声データ信号処理部２１７は、音声信号処理後の音声データを、音声データ格納部２１８、音声データ格納部２２０へ転送する。

音声データ格納部２１８は、半導体メモリなどで構成されている。音声データ格納部２１８は、音声出力器で音声出力を行う場合に最適な音声信号処理が行われた音声データを音声データ信号処理部２１７より受信して、一時記憶する。

音声データ外部出力部２１９は、ピンジャックや光出力端子を備え、スピーカシステムなどの音声出力器に対して、音声データ格納部２１８より受信した音声データを送信する。

音声データ格納部２２０は、半導体メモリなどで構成されている。音声データ格納部２２０は、内蔵スピーカ部２２１で音声出力を行う場合に最適な音声データ処理が行われた音声データを音声データ信号処理部２１７より受信して、一時記憶する。

内蔵スピーカ部２２１は、画像処理装置２０に内蔵されたスピーカで、音声データ格納部２２０より受信した音声データに基づいて音声出力を行う。

静止画データ読出部２２２は、制御部２０２、静止画データ選択部２２７のいずれかより、静止画データ読出命令を受け取ると、静止画データが記録された記録メディアより、サムネイルや所定の静止画の静止画データを読み出して、読み出した静止画データを静止画データ格納部２２３へ転送する。なお、静止画データ記録メディアは動画データ記録メディアを兼ねる場合もある。

静止画データ格納部２２３は、半導体メモリなどで構成されている。静止画データ格納部２２３は、静止画データ読出部２２２より読み出した静止画データを複数、一時記憶する。静止画データ格納部２２３は、静止画データ読出部２２２より読み出したサムネイルを一時記憶する。

静止画データデコード部２２４は、静止画データ格納部２２３より読み出した静止画データの伸張復号化を行い、伸張復号化を行うことにより得られた静止画データを静止画データ格納部２２５へ転送する。

静止画データ格納部２２５は、半導体メモリなどで構成されている。静止画データ格納部２２５は、静止画データデコード部２２４より転送されたデータを複数、一時記憶する。また、静止画データ格納部２２５は、静止画データ格納部２２３より読み出したサムネイルを一時記憶する。

静止画一覧生成部２２６は、静止画データ格納部２２５に記憶されているサムネイルを取り出して組み合わせ、静止画選択画面の画像データを生成して、画像セレクタ等を介して表示部２１５に静止画選択画面を表示させる。

静止画データ選択部２２７は、制御部２０２からの制御信号に基づき、静止画一覧生成部２２６により生成された静止画選択画面から、ユーザがいずれの静止画を選択したか判別して、判別した静止画の情報と共に、静止画データ読出命令を静止画データ読出部２２２へ転送する。

静止画属性情報抽出部２２８は、静止画データに含まれるＥｘｉｆなどのメタデータを解析し、写真を撮った位置を示す位置データ、写真を撮った日時を示す日時データ等の属性情報を取り出し属性情報比較部２３０と重み付け処理部２４４へ転送する。なお、静止画属性情報抽出部２２８と、後述する動画属性情報抽出部２２９および属性情報比較部２３０は検出部を構成するものである。

動画属性情報抽出部２２９は、データ分離部２０４により分離された属性情報より、位置データ、日時データを取り出して、属性情報比較部２３０へ転送する。

属性情報比較部２３０は、静止画属性情報抽出部２２８と動画属性情報抽出部２２９より転送された位置データ、日時データの比較を行い、同じデータであれば、動画データ読出部２０３に、このフレーム前後の動画をダイジェストの素材として用いるため、動画データ読出命令を発行する。また、属性情報比較部２３０は、静止画属性情報抽出部２２８と動画属性情報抽出部２２９からの日時データが異なる場合、動画データ読出部２０３に対して静止画属性情報抽出部２２８から転送された日時データに近いフレームを読み出すように動画データ読出命令を発行する。さらに、属性情報比較部２３０は、静止画属性情報抽出部２２８と動画属性情報抽出部２２９からの日時データが同じで位置データが異なる場合、静止画に付加された日時・位置データを持っている動画は動画データ記録メディア上に存在しないと判断して、動画データ読出部２０３に動画データ読出終了命令を発行する。

音声データ読出部２３１は、制御部２０２から音声データ読出命令が発行されると、音声データが記録された音声データ記録メディアより音声データを読み出して音声データ格納部２３２へ転送する。

音声データ格納部２３２は、半導体メモリなどで構成されている。音声データ格納部２３２は、音声データ読出部２３１から転送されたデータの一時記憶を行う。

ダイジェスト生成部２３３は、動画データ格納部２０６に一時記憶された複数の動画から、ダイジェストの生成を行う。生成されたダイジェストは動画データエンコード部２３４へ転送される。

動画データエンコード部２３４は、ダイジェスト生成部２３３より転送された動画データを、ＭＰＥＧビデオなどの動画フォーマットに圧縮符号化して多重化部２３６へ転送する。

音声データエンコード部２３５は、音声データ格納部２３２に格納された音声データをＭＰＥＧオーディオなどの音声フォーマットに圧縮符号化して多重化部２３６へ転送する。

多重化部２３６は、動画データエンコード部２３４にて圧縮符号化された動画データと、音声データエンコード部２３５にて圧縮符号化された音声データの多重化処理を行い、音声データが多重化された動画データを動画データ記録部２３７へ転送する。

動画データ記録部２３７は、多重化部２３６より転送されたダイジェストの記録を行うものである。動画データ記録部２３７は、記録メディア例えばＤＶＤ(Digital Versatile Disc)やＢｌｕ−ｒａｙ Ｄｉｓｃ（商標）などの光ディスクや、ハードディスクなどの磁気ディスク、半導体メモリなどの比較的容量の大きい記録メディアに対して、動画データの記録を行う。また、画像処理装置２０は、有線、無線のネットワークインターフェースを備えて、外部サーバ上のディスクに対して動画データ記録部２３７により記録を行ってもよい。

撮像日時抽出部２４０は、動画データ読出部２０３で読み出した動画データから日時データを抽出して静止画データ読出部２２２に供給する。

音楽再生時間算出部２４１は、音声データ格納部２３２に記憶されている音声データの音楽再生時間を算出して、ダイジェスト時間比較部２４３に供給する。

ダイジェスト時間算出部２４２は、１つの静止画に対するダイジェストの再生時間と静止画データ格納部２２３に記憶されている静止画の枚数から、ダイジェスト再生時間を算出してダイジェスト時間比較部２４３に供給する。

ダイジェスト時間比較部２４３は、音楽再生時間とダイジェスト再生時間を比較して、ダイジェスト再生時間が音楽再生時間よりも長いとき、静止画データ格納部２２３に対して削減する静止画を通知する。

重み付け処理部２４４は、静止画データ格納部２２３に記憶されている静止画に対して日時データや位置データ等に基づいた重み付けを行い、重み付け結果を静止画データ格納部２２３に供給して、重要度の低い静止画データの削除を静止画データ格納部２２３で行わせる。

＜４．本発明の画像処理装置の動作＞
次に、画像処理装置２０の動作について、図９〜図１６のフローチャートを用いて説明する。図９のフローチャートは、画像処理装置２０の動作概要を示している。

ステップＳ２１０１において、画像処理装置は再生モードを開始する。画像処理装置は、入力部２０１で再生モード設定命令が発行されたことを判別したとき、動作モードを再生モードに設定する。また、画像処理装置は、動作モードを再生モードに設定したとき、ステップＳ２１０２へ移行する。

ステップＳ２１０２において、画像処理装置は表示形式の選択を行う。画像処理装置は、再生モード設定命令として動画再生モード開始命令が発行されている場合にステップＳ２１０３、静止画表示モード開始命令が発行されている場合にＳ２１０６、ダイジェスト再生モード開始命令が発行されている場合にＳ２１０９へ移行する。

ステップＳ２１０３において、画像処理装置は動画一覧表示動作を行う。画像処理装置は、各部の動作を制御して後述する動画一覧表示動作を行ったのちステップＳ２１０４へ移行する。

ステップＳ２１０４において、画像処理装置は動画再生動作を行う。画像処理装置は、各部の動作を制御して後述する動画再生動作を行ったのちステップＳ２１０５へ移行する。

ステップＳ２１０５において、画像処理装置は動画再生モード終了であるか否か判別する。画像処理装置は、入力部２０１で動画再生モード終了命令が発行されていないときはステップＳ２１０３へ移行し、動画再生モード終了命令が発行されたときはステップＳ２１１２へ移行する。

ステップＳ２１０６において、画像処理装置は静止画一覧表示動作を行う。画像処理装置は、各部の動作を制御して後述する静止画一覧表示動作を行ったのちステップＳ２１０７へ移行する。

ステップＳ２１０７において、画像処理装置は静止画表示動作を行う。画像処理装置は、各部の動作を制御して後述する静止画表示動作を行ったのちステップＳ２１０８へ移行する。

ステップＳ２１０８において、画像処理装置は静止画表示モード終了であるか否か判別する。画像処理装置は、入力部２０１で静止画表示モード終了命令が発行されていないときはステップＳ２１０６へ移行し、静止画表示モード終了命令が発行されたときはステップＳ２１１２へ移行する。

ステップＳ２１０９において、画像処理装置は静止画一覧表示動作を行う。画像処理装置は、各部の動作を制御して後述する静止画一覧表示動作を行ったのちステップＳ２１１０へ移行する。

ステップＳ２１１０において、画像処理装置はダイジェスト再生動作を行う。画像処理装置は、各部の動作を制御して後述するダイジェスト再生動作を行ったのちステップＳ２１１１へ移行する。

ステップＳ２１１１において、画像処理装置はダイジェスト再生モード終了であるか否か判別する。画像処理装置は、入力部２０１でダイジェスト再生モード終了命令が発行されていないときはステップＳ２１０９へ移行し、ダイジェスト再生モード終了命令が発行されたときはステップＳ２１１２へ移行する。

ステップＳ２１１２において、画像処理装置は、入力部２０１で再生モード終了命令が発行されたか否か判別する。画像処理装置は、再生モード終了命令が発行されていないと判別したときステップＳ２１０２へ移行し、再生モード終了命令が発行されたと判別したときはステップＳ２１１３へ移行し再生モードを終了する。

次に、図９のフローチャートの具体的動作について例示する。なお、以下の説明では、画像処理装置２０がビデオカメラであり、記録メディアとしてハードディスク装置（以下「ＨＤＤ」という）)を用いるものとする。

ビデオカメラ２０は、電源スイッチがオン状態とされて、モードスイッチが再生モードに切り替えられたとき、再生モードを開始する（Ｓ２１０１）。

ビデオカメラ２０の再生モードとしては、動画を再生するモード、静止画を表示するモード、ダイジェストを再生するモードが設けられている。ビデオカメラ２０は、ユーザによって選択されたモードで再生を行う（Ｓ２１０２）。

例えば動画を再生するモードが選択されたとき、ビデオカメラ２０は、内蔵している表示部２１５や画像データ外部出力部２１３に接続されている外部表示器に、動画のサムネイルの一覧を表示する（Ｓ２１０３）。また、動画のサムネイルがユーザによって選択されると、ビデオカメラ２０は、選択されたサムネイルに対応する動画の再生を行う（Ｓ２１０４）。

動画再生中に静止画を表示するモードが選択されると（Ｓ２１０５→Ｓ２１１２→Ｓ２１０２→Ｓ２１０６）、ビデオカメラ２０は、内蔵している表示部２１５や画像データ外部出力部２１３に接続されている外部表示器に、静止画のサムネイルの一覧を表示する（Ｓ２１０６）。また、静止画のサムネイルがユーザによって選択されると、ビデオカメラ２０は、選択されたサムネイルに対応する静止画の表示を行う（Ｓ２１０４）。

静止画表示中にダイジェストを表示するモードが選択されると（Ｓ２１０８→Ｓ２１１２→Ｓ２１０２→Ｓ２１０９）、ビデオカメラ２０は、内蔵している表示部２１５や画像データ外部出力部２１３に接続されている外部表示器に、静止画のサムネイルの一覧を表示する（Ｓ２１０９）。また、何れかまたは全ての静止画のサムネイルを選択してダイジェスト再生を実行するユーザ操作が行われると、ビデオカメラ２０は、選択された静止画に埋め込まれたメタデータから日時データ・位置データを抜き出す。さらに、ビデオカメラ２０は、抜き出した日時データ・位置データと同じ日時データ・位置データであるフレームを含む動画データがＨＤＤ内に保存されているかの検索を行う。ビデオカメラ２０は、フレームが見つかった場合、そのフレームを基準として所定期間分（例えば前後あわせて３秒程度）の動画を抜き出してダイジェストを生成して再生する（Ｓ２１１０）。

また、ビデオカメラ２０は、モードスイッチが再生モードから例えば撮影モードに切り替えられると、再生モードを終了する（Ｓ２１１２→Ｓ２１１３）。

＜４−１．画像処理装置の動画一覧表示動作＞
図１０は、画像処理装置における動画一覧表示動作のフローチャートを示している。

ステップＳ２３０１において、画像処理装置は動画一覧表示動作を開始させてステップＳ２３０２へ移行する。

ステップＳ２３０２において、画像処理装置は動画データの読み出しを行う。動画データ読出部２０３は、動画データ記録メディアに書かれた動画データの読み出しを行う。動画データ読出部２０３は、動画データ記録メディアに書かれた動画データを読み出してデータ分離部２０４に供給する。

ステップＳ２３０３において、画像処理装置はサムネイルデコードを行う。データ分離部２０４は、動画データ読出部２０３によって読み出された動画データに多重化されているデータを分離する。また、データ分離部２０４は、分離したサムネイルを動画データ格納部２０６に一時記憶させてＳ２３０４へ移行する。

ステップＳ２３０４において、画像処理装置は動画に関したサムネイルの読み出しが完了したか否か判別する。制御部２０２は、動画データ記録メディアに書かれた全ての動画に関したサムネイルの取得が完了したと判別したときにはステップＳ２３０５へ移行し、読み出されていないサムネイルが残っているときはステップＳ２３０２へ移行し、次のサムネイルの読み出しを行う。

ステップＳ２３０５において、画像処理装置は動画一覧の生成を行う。動画一覧生成部２０７は、動画データ格納部２０６に一時記憶された複数のサムネイルを使用して動画のサムネイルを一覧表示とした動画一覧の画像を生成してステップＳ２３０６へ移行する。

ステップＳ２３０６において、画像処理装置は動画一覧の表示を行う。制御部２０２は、動画一覧生成部２０７で生成された動画一覧の画像を画像セレクタ２１０で選択させることにより、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、動画一覧を表示させたのちステップＳ２３０７へ移行し、動画一覧表示動作を終了する。

次に、図１０のフローチャートの具体的動作について例示する。ビデオカメラ２０は、電源スイッチがオン状態とされて、動画を再生するモード（動作再生モード）が選択されたとき、動画一覧表示動作を開始する。ビデオカメラ２０は、ＨＤＤから最新のチャプタの動画データを読み出す（Ｓ２３０２）。

ビデオカメラ２０は、読み出された動画データを分離してサムネイルを取り出す（Ｓ２３０３）。

ここで、動画一覧表示では６つのチャプタのサムネイルを１つの画面に表示するものとした場合、ビデオカメラ２０は、動画データの読み出しやサムネイルの取り出しを繰り返すことで、１つ前から５つ前のチャプタのサムネイルを取得する。なお６つ以下のチャプタしかＨＤＤに記録されていない場合は、チャプタが記録されている数だけ、サムネイルの取り出しを行う（Ｓ２３０４）。

ビデオカメラ２０は、読み出したサムネイルから、動画のサムネイルを一覧表示とした動画一覧の画像を生成する（Ｓ２３０５）。さらに、ビデオカメラ２０は、表示部２１５や外部表示器で動画一覧を表示させる（Ｓ２３０６）。

＜４−２．画像処理装置の動画再生動作＞
図１１は、画像処理装置における動画再生動作のフローチャートを示している。

ステップＳ２４０１において、画像処理装置は動画再生動作を開始させてステップＳ２４０２へ移行する。制御部２０２は、動画一覧からユーザによってサムネイルが選択されたとき、動画再生動作を開始させる。また、制御部２０２は、動画再生動作を開始させたとき、動画データ選択部２０８によって、動画一覧からユーザによって選択されたサムネイルに対応する動画データを、動画データ記録メディアから読み出すように、動画データ読出部２０３に対して動画データ読出命令を供給する。

ステップＳ２４０２において、画像処理装置は動画データの読み出しを行う。動画データ読出部２０３は、動画データ選択部２０８からの動画データ読出命令に基づき、ユーザが選択したサムネイルに対応する動画データの読み出しを行い、複数フレーム分の動画データの読み出しが完了するとＳ２４０３へ移行する。

ステップＳ２４０３において、画像処理装置は動画データ分離化処理を行う。データ分離部２０４は、動画データに多重化されているデータを分離して、分離が完了したのちステップＳ２４０４からの動画データの処理とＳ２４０６からの音声データの処理へ移行する。

ステップＳ２４０４において、画像処理装置は動画データデコードを行う。動画データデコード部２０５は、データ分離部２０４で分離された動画データの伸張復号化を行い、伸張復号化後の複数フレームの動画データを動画データ格納部２０６に記憶させたのちステップＳ２４０５へ移行する。

ステップＳ２４０５において、画像処理装置は動画表示を行う。制御部２０２は、動画データ格納部２０６に格納されている動画データを画像セレクタ２１０で選択させることにより、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、動画表示を行わせたのちステップＳ２４０８へ移行し、動画再生動作を終了する。

ステップＳ２４０６において、画像処理装置は音声データデコードを行う。音声データデコード部２０９は、データ分離部２０４で分離された音声データの伸張復号化を行い、伸張復号化後の音声データを音声セレクタ２１６に供給してステップＳ２４０５へ移行する。

ステップＳ２４０７において、画像処理装置は音声再生を行う。制御部２０２は、音声データデコード部２０９から供給された音声データを音声セレクタ２１６で選択させることにより、内蔵スピーカ部２２１や音声データ外部出力部２１９に接続された音声出力器で、音声再生を行わせたのちステップＳ２４０８へ移行し、動画再生動作を終了する。
次に、図１１のフローチャートの具体的動作について例示する。ビデオカメラ２０は、動画を再生するモードが選択されたことにより動画一覧が表示されて、表示された動画一覧からサムネイル選択ボタンによってサムネイルの選択するユーザ操作、および選択したサムネイルに対応する動画の再生が再生ボタンのユーザ操作によって指示されたとき動画再生動作を開始する（Ｓ２４０１）。

ビデオカメラ２０は、ＨＤＤ内の動画データから選択されたサムネイルに対応する動画データを読み出す（Ｓ２４０２）。

ビデオカメラ２０は、読み出された動画データは記録時に多重化処理をされているため、読み出された動画データの分離化処理を行い、多重化されている各種データの取り出しを行う（Ｓ２４０３）。

ビデオカメラ２０は、分離化処理によって取得された動画データの伸張復号化を行い、伸張復号化後の動画データに基づき、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で動画表示を行わせる（Ｓ２４０４→Ｓ２４０５）。

また、ビデオカメラ２０は、分離化処理によって取得された音声データの伸張復号化を行い、伸張復号化後の音声データに基づき、内蔵スピーカ部２２１や音声データ外部出力部２１９に接続された音声出力器で音声再生を行わせる（Ｓ２４０６→Ｓ２４０７）。

＜４−３．画像処理装置の静止画一覧表示動作＞
図１２は、画像処理装置における静止画一覧表示動作のフローチャートを示している。

ステップＳ２５０１において、画像処理装置は静止画一覧表示動作を開始させてステップＳ２３０２へ移行する。

ステップＳ２５０２において、画像処理装置は静止画データの読み出しを行う。静止画データ読出部２２２は、静止画データ記録メディアに書かれた静止画データを読み出して静止画データ格納部２２３に一時記憶させてステップＳ２５０３へ移行する。なお、読み出す静止画データは、制御部２０２によって指示される。

ステップＳ２５０３において、画像処理装置は静止画データデコードを行う。静止画データデコード部２２４は、静止画データ格納部２２３に記憶されている静止画データの伸張復号化を行い、伸張復号化後の静止画データを静止画データ格納部２２５に記憶させる。なお、画像フォーマットがサムネイル画像をヘッダなどに持つものであれば、静止画データ読出部２２２は、サムネイル画像のデータのみを読み出し、静止画データデコード部２２４は、サムネイル画像のデータのみを伸張復号化するものとしてもよい。

ステップＳ２５０４において、画像処理装置は静止画データのサムネイルの読み出し完了を判別する。制御部２０２は、静止画データ記録メディアに書かれた静止画を示すサムネイルの取得が完了したと判別したときステップＳ２５０５へ移行し、読み出されていないサムネイルが残っているときステップＳ２５０２へ移行し、次のサムネイルの読み出しを行う。

ステップＳ２５０５において、画像処理装置は静止画一覧の生成を行う。静止画一覧生成部２２６は、静止画データ格納部２２５に一時記憶された複数のサムネイルを使用して静止画のサムネイルを一覧表示とした静止画一覧の画像を生成してステップＳ２５０６へ移行する。

ステップＳ２５０６において、画像処理装置は静止画一覧の表示を行う。制御部２０２は、静止画一覧生成部２２６で生成された静止画一覧の画像を画像セレクタ２１０で選択させることにより、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、静止画一覧を表示させたのちステップＳ２５０７へ移行し、静止画一覧表示動作を終了する。

次に、図１２のフローチャートの具体的動作について例示する。ビデオカメラ２０は、電源スイッチがオン状態とされて、静止画を表示するモード（静止画表示モード）が選択されたとき、静止画一覧表示動作を開始する（Ｓ２５０１）。ビデオカメラ２０は、ＨＤＤから最新の静止画データの読み出しを行う（Ｓ２５０２）。

ビデオカメラ２０は、読み出された静止画データからサムネイルを取り出す（Ｓ２５０３）。ここで、静止画一覧表示では６つのサムネイルを１つの画面に表示するものとした場合、ビデオカメラ２０は、静止画データの読み出しやサムネイルの取り出しを繰り返すことで、１つ前から５つ前に撮像した静止画のサムネイルを取得する。なお６つ以下の静止画しかＨＤＤに記録されていない場合は、記録されている静止画の数だけ、サムネイルの取り出しを行う（Ｓ２５０４）。

ビデオカメラ２０は、読み出したサムネイルから、静止画のサムネイルを一覧表示とした静止画一覧の画像を生成する（Ｓ２５０５）。さらに、ビデオカメラ２０は、表示部２１５や外部表示器で静止画一覧を表示させる（Ｓ２５０６）。

＜４−４．画像処理装置の静止画表示動作＞
図１３は、画像処理装置における静止画表示動作のフローチャートを示している。

ステップＳ２６０１において、画像処理装置は静止画表示動作を開始させてステップＳ２６０２へ移行する。制御部２０２は、静止画一覧からユーザによってサムネイルが選択されたとき、静止画表示動作を開始させる。また、制御部２０２は、静止画表示動作を開始させたとき、静止画データ選択部２２７によって、静止画一覧からユーザによって選択されたサムネイルに対応する静止画データを、静止画データ記録メディアから読み出すように、静止画データ読出部２２２に対して静止画データ読出命令を供給する。

ステップＳ２６０２において、画像処理装置は静止画データの読み出しを行う。静止画データ読出部２２２は、静止画データ選択部２２７からの静止画データ読出命令に基づき、ユーザが選択したサムネイルに対応する静止画データの読み出して静止画データ格納部２２３に記憶させてＳ２６０３へ移行する。

ステップＳ２６０３において、画像処理装置は静止画データデコードを行う。静止画データデコード部２２４は、静止画データ格納部２２３に記憶されている静止画データの伸張復号化を行い、伸張復号化後の静止画動画データを静止画データ格納部２２５に記憶させたのちステップＳ２６０４へ移行する。

ステップＳ２６０４において、画像処理装置は静止画表示を行う。制御部２０２は、静止画データ格納部２２５に格納されている静止画データを画像セレクタ２１０で選択させることにより、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、静止画表示を行わせたのちステップＳ２６０５へ移行し、静止画表示動作を終了する。
次に、図１３のフローチャートの具体的動作について例示する。ビデオカメラ２０は、静止画を再生するモードが選択されたことにより静止画一覧が表示されて、表示された静止画一覧からサムネイル選択ボタンによってサムネイルを選択するユーザ操作、選択したサムネイルに対応する静止画の表示が再生ボタンのユーザ操作によって指示されたとき動画再生動作を開始する（Ｓ２６０１）。

ビデオカメラ２０は、ＨＤＤ内の静止画データから選択されたサムネイルに対応する静止画データを読み出す（Ｓ２６０２）。

ビデオカメラ２０は、読み出された静止画データの伸張復号化を行い、伸張復号化後の静止画データに基づき、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で動画表示を行わせる（Ｓ２６０３→Ｓ２６０４）。

＜４−５．画像処理装置のダイジェスト再生動作（静止画マニュアル選択の場合）＞
図１４，図１５は、画像処理装置におけるダイジェスト再生動作のフローチャートを示している。

ステップＳ２７０１において、画像処理装置はダイジェスト再生動作を開始させてステップＳ２７０２へ移行する。制御部２０２は、静止画一覧表示動作終了後、ダイジェスト再生動作を開始させる。

ステップＳ２７０２において、画像処理装置は静止画データの選択を行う。静止画データ選択部２２７は、入力部２０１に対するユーザからの指示入力に基づき静止画一覧からユーザによって選択されたサムネイルを判別してステップＳ２７０３へ移行する。また、静止画一覧にユーザが所望する静止画が含まれておらず、ユーザによって静止画一覧の更新操作が行われたことを、入力部２０１に対する指示入力に基づき判別したとき、静止画データ選択部２２７は、静止画データ読出部２２２に静止画データ読出命令を発行して、上述の静止画一覧表示動作を再び行うことで、新たな静止画一覧を表示させる。また、静止画データ選択部２２７は、選択された静止画に関する情報を静止画選択リストとして記憶する。

ステップＳ２７０３において、画像処理装置は静止画の選択終了であるか判別する。静止画データ選択部２２７は、静止画選択が終了していないときステップＳ２７０２へ移行し、静止画データをさらに選択できるようにし、静止画選択が終了しているときはステップＳ２７０４へ移行する。

ステップＳ２７０４において、画像処理装置は静止画データを１つ選択する。静止画データ選択部２２７は、記憶している静止画選択リストから１つの静止画を選択する。さらに、静止画データ選択部２２７は、選択した１つの静止画データを静止画記録メディアから読み出す静止画読出命令を生成して静止画データ読出部２２２へ発行する。静止画データ読出部２２２は、静止画読出命令に基づき静止画データを読み出して静止画データ格納部２２３に格納する。静止画属性情報抽出部２２８は、静止画データ格納部２２３に格納された静止画データに埋め込まれているメタデータを読み出して、位置データと日時データを属性情報比較部２３０に供給してステップＳ２７０５へ移行する。

ステップＳ２７０５において、画像処理装置は動画データのチャプタが静止画の日時と近いものを読み出す。属性情報比較部２３０は、静止画属性情報抽出部２２８から供給された日時データと同じ日時のフレームが含まれていると想定できるチャプタの動画データを読み出す動画データ読出命令を生成して、この動画データ読出命令を動画データ読出部２０３に供給する。動画データ読出部２０３は、属性情報比較部２３０からの動画データ読出命令に基づき動画データの読み出してステップＳ２７０６へ移行する。

例えば、静止画データから取り出した日時データが２００８年７月４日 １６時２７分１５秒であった場合、チャプタ先頭の動画データの日時データを検索して、検索結果に基づき、静止画データから取り出した日時を示すフレームを含むチャプタを検出する。ここで、チャプタ５が２００８年７月４日 １５時５４分４３秒、チャプタ６が２００８年７月４日 １６時２４分１５秒、チャプタ７が２００８年７月４日 １７時００分５４秒の場合、チャプタ６に静止画と同じ日時のフレームが含まれていると想定し、チャプタ６の動画データを読み出す動画データ読出命令を生成する。

ステップＳ２７０６において、画像処理装置は１つのフレームの位置データと日時データの取得を行う。データ分離部２０４は、動画データ読出部２０３で読み出された動画データの分離処理を行い、動画データに多重化されている属性情報を分離して動画属性情報抽出部２２９に供給する。動画属性情報抽出部２２９は属性情報から１つのフレームの位置データと日時データを抽出して属性情報比較部２３０に供給してステップＳ２７０７へ移行する。

ステップＳ２７０７において、画像処理装置は日時が同じか判別する。属性情報比較部２３０は、動画属性情報抽出部２２９から供給された日時データが、静止画データから取り出した日時データと同じでないときステップＳ２７０８へ移行し、同じであるときステップＳ２７０９へ移行する。

ステップＳ２７０８において、画像処理装置はチャプタのフレームを全て検索したか判別する。属性情報比較部２３０は、読み出したチャプタの全てのフレームについて、日時データの比較が完了していないときにはステップＳ２７０６へ移行し、次のフレームの日時データを用いて比較を行う。また、属性情報比較部２３０は、読み出したチャプタの全てのフレームについて、日時データの比較が完了しているときステップＳ２７１１へ移行する。

日時データが一致するフレームの検索方法としては、１フレームずつ比較処理を行ってもよいし、チャプタの先頭フレームと最終フレームの日時データを見て、静止画データと同じ日時データを含むか判断して、計算によりそのフレームを算出してもよい。例えば静止画データから読み出された日時データが２００８年７月４日 １６時２７分１５秒、読み出すチャプタ６の先頭フレームが２００８年７月４日 １６時２４分１５秒で最終フレームが２００８年７月４日 １６時２５分１５秒ならば、このチャプタ６に静止画と同じ日時データを含むフレームは存在しないと判断できる。これに対して、チャプタ６の最終フレームが２００８年７月４日 １６時２９分１５秒ならば、このチャプタに静止画と同じ日時データを含むフレームが存在すると判断でき、そのフレーム位置も例えばフレームレートが３０フレーム／秒ならば、「静止画データの日時データ[秒]」からチャプタ先頭フレームの日時データ[秒]を減算して、この減算値にフレームレートを乗算することでチャプタ先頭フレームからの位置を検索することができる。

ステップＳ２７０９において、画像処理装置は位置が同じか判別する。属性情報比較部２３０は、日時データが静止画と一致するフレームについて位置データも一致するか否かの判別を行い、位置データが一致するときはステップＳ２７１０へ移行する。また、属性情報比較部２３０は、位置データが一致しないとき、選択された静止画データに関連する動画は動画データ記録メディアに記録されていないと判断して、この静止画データに対する動画データの検索を終了して、ステップＳ２７１１へ移行する。

ステップＳ２７１０において、画像処理装置は動画データの読み出しを行う。属性情報比較部２３０は、位置データと日時データが一致するフレーム位置を基準とする。動画データ読出部２０３は、この基準とするフレーム位置を含む所定期間分の動画データを動画データ記録メディアから読み出す。例えば、位置データと日時データが一致するフレーム位置を基準として前後３秒程度の動画データを読み出す。この所定期間分の動画データは、ダイジェスト再生で再生される動画のデータである。なお、所定期間はユーザが自由に設定できるようにしてもよいし、他の固定値を埋め込んでもよい。また動画の中から特徴を抽出し、読み出す時間を可変にしてもよい。

動画データ読出部２０３によって動画データが読み出されると、データ分離部２０４は、読み出された動画データの分離化処理を行う。動画データデコード部２０５は、分離化後の動画データの伸張復号化を行い、伸張復号化後の動画データを動画データ格納部２０６に格納し、所定期間分の動画データの格納が終了されるとステップＳ２７１１へ移行する。

ステップＳ２７１１において、画像処理装置は選択した静止画全ての処理を終了したか判断する。属性情報比較部２３０は、対応する動画データの検索が行われていない静止画が残っているときステップＳ２７０４へ移行し、選択された全ての静止画に対して検索が完了しているときはステップＳ２７１２へ移行する。この判断は、例えば静止画データ選択部２２７に記憶されている静止画選択リストに含まれている全ての静止画について、静止画属性情報抽出部２２８から各静止画の位置データと日時データを属性情報比較部２３０に供給すれば、容易に行うことができる。すなわち、属性情報比較部２３０は、少なくとも供給された日時データを全て用いて検索を行ったか否かを判別すれば、選択された全ての静止画に対して検索が完了しているか否か判断できる。

ステップＳ２７１２において、画像処理装置は音声データの読み出しを行う。音楽記録メディアにはダイジェスト再生に重ねる音声データが記録されており、音声データ読出部２３１は、音楽記録メディアに記録されている音声データを読み出して、音声データ格納部２３２に記憶させてステップＳ２７１３へ移行する。この音声データはダイジェスト再生に用いる動画データから想定して、再生時間が想定される長さに自動編集を行ったり、この時間情報を動画データ読出部２０３などに渡す方法をつくって、Ｓ２７１０において読み出す動画の長さを調整するものとしてもよい。

ステップＳ２７１３において、画像処理装置はダイジェストの生成を行う。ダイジェスト生成部２３３は、ステップＳ２７１０において動画データ格納部２０６に記憶させた動画データを用いてダイジェストの動画データを生成してステップＳ２７１４へ移行する。このダイジェストの動画データは、動画データ格納部２０６に記憶させた所定期間分毎の動画データを撮像時刻順につなぎ合わせて、必要に応じてエフェクト処理なども行うことで生成する。

ステップＳ２７１４において、画像処理装置はダイジェストの生成が完了か判別する。ダイジェスト生成部２３３は、動画データ格納部２０６に動画データが記憶されていない場合、ダイジェストの生成に失敗したと判断して、ステップＳ２７１７へ移行しダイジェスト再生動作を終了する。また、ダイジェスト生成部２３３は、ダイジェストの生成が完了したときステップＳ２７１５へ移行し、ダイジェストの再生を行う。またステップＳ２７１６へ移行し、生成したダイジェストの記録を行ってもよい。

ステップＳ２７１５において、画像処理装置はダイジェスト再生を行う。制御部２０２は、ダイジェスト生成部２３３で生成されたダイジェストの動画データを画像セレクタ２１０で選択させることにより、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、ダイジェストの動画を表示させる。また、制御部２０２は、音声データ格納部２３２に記憶された音声データを音声セレクタ２１６で選択させることにより、内蔵スピーカ部２２１や音声データ外部出力部２１９に接続された音声出力器で音声を出力させる。このように、制御部２０２は、ダイジェストの動画の表示と音声の出力を行わせたのちステップＳ２７１７へ移行し、ダイジェスト再生動作を終了する。

ステップＳ２７１６において、画像処理装置はダイジェスト記録を行う。この場合、制御部２０２は、ダイジェスト生成部２３３で生成されたダイジェストの動画データを動画データエンコード部２３４に供給させる。また、制御部２０２は、音声データ格納部２３２に記憶された音声データを音声データエンコード部２３５に供給させる。動画データエンコード部２３４は、ダイジェストの動画データの圧縮符号化を行い、圧縮符号化後の動画データを多重化部２３６に供給する。音声データエンコード部２３５は、音声データ格納部２３２からの音声データの圧縮符号化を行い、圧縮符号化後の音声データを多重化部２３６に供給する。多重化部２３６は、供給された動画データに音声データを多重化して、多重化後の動画データを動画データ記録部２３７に供給する。動画データ記録部２３７は多重化後の動画データを動画データ記録メディアに記録したのちステップＳ２７１７へ移行し、ダイジェスト再生動作を終了する。

なお、図１４，図１５に示す処理では、説明を簡略化するため、ダイジェストに用いる動画データを動画データ格納部２０６へ、音声データを音声データ格納部２３２に全て格納した状態でダイジェストを生成する場合について説明したが、実際にはこのような処理の方法であると動画データ格納部２０６の記憶容量を大きくする必要がある。そこで、動画データ読出部２０３内に一時記憶部を設けて、属性情報比較部２３０にてステップＳ２７１０で読み出すと決定された動画フレームを読み出す位置、秒数の情報のみを一時記憶させる。また、全ての静止画に関して比較処理を終了し、ダイジェスト生成の準備が完了した場合に、動画データ読出部２０３から、動画データ読出部２０３内に設けた一時記憶部に記憶された情報をもとにして動画データを読み出し、順次ダイジェスト生成部２３３でダイジェストを生成しながら、後段に出力する方法も考えられる。この場合は音声データ読出部２３１からもこの動作に協調して、音声データの読み出しや音声データの出力処理を行う。このようにすれば、動画データ格納部２０６、音声データ格納部２３２の記憶容量を必要最低限の大きさにすることが可能となる。

次に、図１４，１５のフローチャートの具体的動作について例示する。ビデオカメラ２０の電源スイッチをオン状態として、再生モードをダイジェスト再生モードとすると、ビデオカメラ２０は、最近記録された静止画順にサムネイルを一覧として表示部２１５や外部表示器に表示する。ここで、ユーザがビデオカメラ２０のサムネイル選択ボタンを操作して、複数のお気に入りの静止画を選択して、ダイジェスト開始ボタンを押すと（Ｓ２７０２→Ｓ２７０３）、ビデオカメラ２０は、選択された静止画データの１つについてＥｘｉｆに書かれた位置データと日時データの読み出しを行う（Ｓ２７０４）。

ビデオカメラ２０は、静止画から読み出した日時データに近いチャプタを動画データ記録メディアから選択し、そのチャプタについて、静止画から取得した日時データと同じ日時データを含むフレームがあるかの検索を行う（Ｓ２７０７→Ｓ２７０８）。

ビデオカメラ２０は、同じ日時データを含むフレームが見つかった場合、そのフレームの位置データと選択された静止画データより取得した位置データが一致するかの判断を行う（Ｓ２７０９）。また、ビデオカメラ２０は、日時データ・位置データの両方のデータが一致した場合、そのフレームの前後数秒の動画データをダイジェストの候補として記憶する（Ｓ２７１０）。

ビデオカメラ２０は、同じ日時、位置のデータが見つからなかった場合、選択された静止画データから取得された日時データと同じ日時データを含む動画データは動画データ記録メディアに記録されていないと判断し、選択した他の静止画データについて同様の処理を行う（Ｓ２７１１）。

ビデオカメラ２０は、ダイジェストの生成準備ができたので、音声データ記録メディア例えばコンパクトディスク等から予めビデオカメラ２０に取り込んだ音声データを選択する（Ｓ２７１２）。

ビデオカメラ２０は、ダイジェストの動画データと選択された音声データを用いてダイジェストを生成する（Ｓ２７１３）。ビデオカメラ２０は、ダイジェストを再生して表示部２１５や外部表示器で動画のダイジェストの表示、および内蔵スピーカ部２２１や音声出力器で音声出力を行う。（Ｓ２７１５）。またビデオカメラ２０は、生成したダイジェストをＨＤＤに記録する（Ｓ２７１６）。

このように、ビデオカメラにＧＰＳを内蔵することで、ＧＰＳ情報により動画と静止画を関連付ける。ＧＰＳから取得した位置、日時、必要によっては衛星からの電波強度などの情報を一定時間間隔で取得して属性情報として、動画や静止画に埋め込む。このＧＰＳデータが日時も位置も動画データと静止画データで、全く同じになるという状況は、１台のカメラで動画撮影中に静止画撮影した場合か、動画再生中に静止画切り出しをした動画と静止画でしかありえない。ユーザがこのようなビデオカメラで静止画取得を行う場合はユーザが気に入った場面を撮像していることが多い。したがって、上述のダイジェスト再生モードを設けることにより、静止画の切り出しを行った周辺の動画を用いたダイジェストが生成されるので、ユーザは動画内の自分の好みである部分を探して編集を行わなくとも、静止画よりもそのときの情報がわかりやすく、かつユーザの興味に沿ったダイジェストを自動的に生成することができる。

また、記録装置は、静止画および動画の両方に位置データと日時データを埋め込むことができればよく、ダイジェストの再生に関する特別な機能を設ける必要がない。さらに、記録装置にブックマークの挿入機能等を設ける必要がないので、従来の記録装置で記録された動画と静止画に日時データと位置データが埋め込まれていれば、動画のダイジェストを自動的に生成できる。

さらに、携帯電話などではＧＰＳ機能が設けられており、写真を撮影すると自動的に位置データが埋め込まれる。また、携帯電話などで動画の撮像を行ったときに位置データを埋め込み、地図上に写真、動画を埋め込むアプリケーションも想定されている。このような場合、再生側で上述のようなダイジェスト再生機能を設けるものとすれば、手軽にユーザの望むダイジェストを生成できるようになる。

なお、属性情報は、日時データや位置データだけでなく、受信した電波を送信した衛星、電波の強度等を用いるものとしてもよい。また、撮像時の他の情報を属性情報として用いるものとしてもよい。

＜４−６．画像処理装置のダイジェスト再生動作（静止画自動選択の場合）＞
図１６は、画像処理装置におけるダイジェスト再生動作（静止画自動選択の場合）のフローチャートを示している。

ステップＳ２８０１において、画像処理装置はダイジェスト再生動作を開始させてステップＳ２８０２へ移行する。画像処理装置は、静止画一覧表示動作終了後、ダイジェスト再生動作を開始させる。

ステップＳ２８０２において、画像処理装置は動画ディレクトリの選択を行う。動画データ記録メディアに記録されている動画データは、撮影日時をもとに例えば旅行や運動会などディレクトリに分類して整理されている。ここで、入力部２０１に対して、動画データのディレクトリ情報と、そのディレクトリに格納されている１つのチャプタの動画データ読み出し命令が発行されると、制御部２０２は、動画データ読出部２０３により、動画データ記録メディアから動画データのディレクトリ情報と、そのディレクトリに格納されている１つのチャプタの動画データ読み出しを行う。データ分離部２０４は、読み出された動画データの分離処理を行う。動画データ格納部２０６は、データ分離部２０４で分離されたディレクトリ情報とサムネイルを記憶する。また、入力部２０１に対して、動画データのディレクトリ情報と、そのディレクトリに格納されている１つのチャプタの動画データ読み出し命令を１画面に同時出力したい数だけ繰り返すと、動画データ格納部２０６には、１画面に同時出力したい数のディレクトリ情報とサムネイルが記憶されることになる。動画一覧生成部２０７は、動画データ格納部２０６に記憶されているディレクトリ情報とサムネイルを用いて動画ディレクトリ一覧の生成を行う。制御部２０２は、画像セレクタ２１０を制御して、動画一覧生成部２０７で生成された動画ディレクトリ一覧の画像データを選択して画像データ信号処理部２１１に供給させることで、表示部２１５や画像データ外部出力部２１３に接続された外部表示器で、動画ディレクトリ一覧を表示させる。表示された動画ディレクトリ一覧からユーザによっていずれかの動画ディレクトリが選択されたとき、動画データ選択部２０８は、制御部２０２からの制御信号に基づき、ユーザが選択して動画ディレクトリの情報を選択する。

ステップＳ２８０３において、画像処理装置は対応する静止画の検索を行う。動画データ読出部２０３は、動画データ選択部２０８で選択された動画ディレクトリの情報に基づき、選択された動画ディレクトリ内に格納された全チャプタを動画データ記録メディアから読み出す。撮像日時抽出部２４０は、読み出された全チャプタの撮像開始日時と、撮像終了日時を抽出して静止画データ読出部２２２に供給する。静止画データ読出部２２２は、撮像期間内に生成された静止画データを静止画データ記録メディアから読み出して静止画データ格納部２２３に記憶させてステップＳ２８０４へ移行する。

ステップＳ２８０４において、画像処理装置はダイジェスト再生時間を算出する。ダイジェスト時間算出部２４２は、静止画データ格納部２２３に記憶されている静止画の枚数からダイジェストの再生時間を算出してステップＳ２８０５へ移行する。例えば前後３秒分の動画データを抜き出してダイジェストにする場合、再生時間は３秒×静止画枚数となる。

ステップＳ２８０５において、画像処理装置は音楽データの再生時間を算出する。音楽再生時間算出部２４１は、音声データの再生時間を算出する。音声データ記録メディアに記録された音声データは、音声データ読出部２３１によって読み出されて音声データ格納部２３２へ転送される。音声データ格納部２３２は、読み出された音声データを音楽再生時間算出部２４１へ転送する。音楽再生時間算出部２４１は、音声データ格納部２３２から供給された音声データの再生時間を算出してＳ２８０６へ移行する。

ステップＳ２８０６において、画像処理装置はダイジェスト再生時間と音楽再生時間を比較する。ダイジェスト時間比較部２４３は、ダイジェスト時間算出部２４２で算出されたダイジェスト再生時間が、所定再生時間すなわち音楽再生時間算出部２４１で算出された音楽再生時間よりも長いか否か判別する。ここで、ダイジェスト時間比較部２４３は、ダイジェスト再生時間が所定再生時間である音楽再生時間よりも長くないときステップＳ２８１１へ移行する。また、ダイジェスト時間比較部２４３は、ダイジェスト再生時間が音楽再生時間よりも長いと判別したとき、静止画データ格納部２２３に対して、何枚静止画を削ればよいかの静止画削除情報と静止画データを重み付けするポイント算出命令を送信してステップＳ２８０７へ移行する。

ステップＳ２８０７において、画像処理装置は日時データでポイント計算を行う。ダイジェスト時間比較部２４３から静止画データ格納部２２３にポイント算出命令が発行されると、静止画データ格納部２２３は記憶している静止画データを静止画データデコード部２２４、静止画属性情報抽出部２２８へ順次転送する。静止画データデコード部２２４は、静止画データの伸張復号化を行って重み付け処理部２４４へ転送する。静止画属性情報抽出部２２８は、メタデータを抽出して重み付け処理部２４４へ転送する。重み付け処理部２４４は、各静止画データに対して重み付けを行う。なお、これらの処理はダイジェスト時間が長いことが判別されたときに行うものとしたが、撮像時やアイドル状態などのときに行ってもかまわない。

ここで、重み付け処理について例示する。重み付け処理では、静止画データの重要度をポイントとして示すものとして、ポイントは例えば以下のように設定する。
２ポイント：１つ前に撮影した写真と日時が近い
２ポイント：１つ後に撮影した写真と日時が近い
１ポイント：前後の写真と日時が近い
３ポイント：前後の写真と日時が近くない
なお、ポイントの設定では、重みの付けかたをさらに細かくして、撮影間隔が大きいものはよりポイントを高く、撮影間隔が小さいものはよりポイントを低くとしてもよい。重み付け処理部２４４は、全ての静止画データについて日時データでポイント計算を行い、計算が終了したときＳ２８０８へ移行する。

ステップＳ２８０８において、画像処理装置は位置データでポイント計算を行う。重み付け処理部２４４は、日時順に並べた静止画データにおいて、画像処理装置は前後の静止画データと位置が近い場合は少ないポイント、位置が遠い場合は多いポイントを静止画に対して与える。また、重み付け処理部２４４は、Ｓ２８０７にてポイントが少ないものを抽出し、その中で撮影前後の静止画で移動距離が少ないものに少ないポイント、移動距離の多いものに多いポイントを与える。重み付け処理部２４４は、位置データによるポイント算出が終了するとＳ２８０９へ移行する。

ステップＳ２８０９において、画像処理装置は顔情報でポイント計算を行う。重み付け処理部２４４は、ユーザが設定画面などで顔優先モードに設定したとき、顔の数が多いほどポイントを高くして、風景優先モードに設定した場合は顔の数が少ないほどポイントを高くする。なお、顔の検出は重み付け処理部２４４内に顔検出部を持ち検出するか、撮像時に静止画内に顔が幾つ存在するかの情報を付加情報に設けるものとして、ポイント算出時に読み出してもよい。重み付け処理部２４４は、顔情報によるポイント算出が終了すると、これまでに取得したポイントを静止画データ格納部２２３へ転送して静止画データと関連付けたのちＳ２８１０へ移行する。

ステップＳ２８１０において、画像処理装置はポイントで静止画を選別する。静止画データ格納部２２３は、ダイジェスト時間比較部２４３から供給された静止画削除情報によって示された数の静止画データを削除するとき、重要度の低い静止画データすなわちポイントが少ない静止画データをダイジェスト対象静止画から削除してステップＳ２８１１へ移行する。

ステップＳ２８１１は、図１４のステップＳ２７０４に対応するものであり、画像処理装置は、静止画データ格納部２２３に格納された静止画データから静止画データを１つ選択する。さらに、静止画属性情報抽出部２２８は、静止画データ格納部２２３に格納された静止画データに埋め込まれているメタデータを読み出して、位置データと日時データを属性情報比較部２３０に供給する。その後、図１４のステップＳ２７０５からの処理を行う。

このようにすれば、ユーザが静止画を個々に選択しなくとも、ダイジェストの再生をしたい動画グループを選択するだけで、動画グループに含まれる静止画に基づいて自動的にダイジェストを画像処理装置で生成できる。また、動画グループに含まれる静止画の数が多くともダイジェスト再生時間が所定再生時間以下となるように重要度の低い静止画が削減されて、ダイジェストが生成される。したがって、ダイジェストの再生時に例えば音声がなくなってしまうことも防止できる。なお、所定再生時間は、音楽再生時間に限られるものではなく、ユーザによって指定された時間であってもよい。この場合、再生時間が所望の時間となるダイジェストを自動的に生成できるようになる。

＜４−７．画像処理装置のダイジェスト再生からのチャプタ再生動作＞
次に、ダイジェスト再生からのチャプタ再生動作について説明する。この場合、図１４、図１５のステップＳ２７０１〜Ｓ２７１２の処理を行う。なお、ステップＳ２７１０では、動画データを動画データ読出部２０３により読み出した際に、どのチャプタから読み出したかの情報も動画データに関係付けておく。

次に、ステップＳ２７１３において、画像処理装置はダイジェストの生成を行う。ダイジェスト生成部２３３は、ステップＳ２７１０において動画データ格納部２０６に記憶させた動画データをつなぎ合わせて、必要に応じてエフェクト処理なども行い、ダイジェストの動画データを生成する。また、生成したダイジェストにフレーム単位、またはＧＯＰ単位でチャプタ情報の埋め込みを行う。ダイジェストの生成が終了するとＳ２７１４へ移行する。

ステップＳ２７１４において、画像処理装置はダイジェストの生成が完了したか否か判別する。ダイジェスト生成部２３３は、動画データ格納部２０６に動画データが記憶されていない場合、ダイジェストの生成に失敗したと判断して、ステップＳ２７１７へ移行しダイジェスト再生動作を終了する。また、ダイジェスト生成部２３３は、ダイジェストの生成が完了したときステップＳ２７１５へ移行し、ダイジェストの再生を行う。またステップＳ２７１６へ移行し、生成したダイジェストの記録を行ってもよい。

ステップＳ２７１５において、画像処理装置はダイジェストの再生を行う。制御部２０２は、ダイジェスト再生中にチャプタ再生ボタンが操作されて入力部２０１でチャプタ再生命令が発行されると、制御部２０２はダイジェスト生成部２３３に対して、チャプタ再生命令を発行する。ダイジェスト生成部２３３は、チャプタ再生命令を受信したとき、現在再生中の動画データに含まれたチャプタ情報の抽出を行い、対象チャプタの読み出し命令を動画データ読出部２０３へ発行する。動画データ読出部は指定のチャプタを読み出し、ステップＳ２７１７へ移行し、ダイジェスト再生動作を終了して、図１１に示すような動画再生動作を行う。また、チャプタ再生ボタンが操作されない場合は、ダイジェストを最後まで再生してステップＳ２７１７へ移行し、ダイジェスト再生動作を終了する。

なお、ＧＯＰ単位でチャプタ情報を付加する場合に限らず、ＧＯＰ単位で日時データを埋め込み、その日時データをもとにしてチャプタを検索する手法をとってもかまわない。

このようにすれば、ダイジェスト再生中に所望の画像が表示されたタイミングで、チャプタ再生ボタンをユーザが操作すれば、所望の画像が含まれているチャプタの動画再生が行われるので、ダイジェストを有効利用して所望の動画部分の再生を効率良く行えるようになる。

以上の実施の形態では、動画記録動作と動画再生動作について、動画撮影/再生中に静止画記録が可能なＧＰＳ内蔵のビデオカメラを用いて説明を行った。しかし、動画の記録再生を行う機器はビデオカメラに限られるものではない。例えば、画像処理装置は、メディアサーバやレコーダであってもよい。この場合、動画と静止画の記録後にメディアサーバやレコーダに動画と静止画をともに転送する。メディアサーバやレコーダは、静止画や動画のサムネイルを一覧として表示装置に表示させて、表示されたサムネイルから所望のサムネイルをユーザに選択させる。メディアサーバやレコーダは、サムネイルが選択されたとき、選択されたサムネイルに基づき、上述のようにして動画のダイジェストを生成する。このようにすれば、余計な付加情報例えば特殊なブックマークなどを設けなくとも、容易にユーザの意図に近い動画のダイジェストを生成できる。

また、動画と静止画の記録後に、Ｗｅｂ上の動画共有サイトに動画を転送し、静止画はＷｅｂ上の静止画管理サービスまたはパソコンに保存するものとしてもよい。この場合、後ほどＷｅｂ上の静止画管理サービス、またはパソコンから好みの静止画が選択されてダイジェスト開始ボタンが操作されたとき、上述のように処理して、動画共有サイトにアップロードされた動画データから、選択した静止画に対応する動画を探し、組み合わせ、ダイジェストを自動生成することができる。すなわち、お気に入りの静止画を静止画管理サービスまたはパソコンに保存おけば、動画共有サイトにアップロードした動画から、簡単に自分の好みの動画を組み合わせたダイジェストの生成や提示を行うことができる。

さらに、写真印刷の際にＥｘｉｆに書かれた日時・位置データを２次元コードなどで写真に埋め込んだ上で印刷し、アルバムに整理する。その２次元コードをビデオカメラで読み取り、ダイジェスト開始ボタンを操作する。この場合、ビデオカメラは２次元コードのデータを用いて上述のように処理を行うことで、ビデオカメラ内の動画から、２次元コードを読み取った静止画に対応した動画を探し出し、自動でダイジェストの生成や提示を行うこともできる。

また、動画を動画共有サイトにアップロードしてから、２次元コードを携帯電話やＰＣ内蔵のカメラで読み取っていき、ダイジェスト開始ボタンを押すと、アルバムから写真を選ぶだけで、２次元コードを読み取った写真に対応する動画共有サイト上の動画を読み出し、自動でダイジェストの生成や提示を行うこともできる。

また、２次元コードをリモコンに内蔵された２次元コードリーダーで読み取っていき、ダイジェスト開始ボタンを押すと、アルバムから写真を選ぶだけで、２次元コードを読み取った写真に対応されているメディアプレイヤ内に保存されている動画を読み出し、自動でダイジェストの生成や提示を行うこともできる。

このように、動画の記録時間が長くなると自分の好みの場面を見つけるのは困難だが、静止画という選びやすい画像を利用することで、ユーザはストレスなくダイジェストの生成を行うことが可能になる。

なお、上述の実施の形態では、動画データと静止画データのそれぞれに埋め込まれている属性情報を比較して、動画データから静止画データと一致するフレーム位置を検出するものとしたが、他の情報あるいは画像を用いて動画データから静止画データと一致するフレーム位置の検出を行うものとしてもよい。

また、上述の一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したコンピュータ・プログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにコンピュータ・プログラムをインストールして実行させることが可能である。

例えば、コンピュータ・プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、コンピュータ・プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

コンピュータ・プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送するものとしてもよい。この場合、コンピュータでは、そのようにして転送されてくるコンピュータ・プログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

以上、実施の形態について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施の形態の修正や代用をなし得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明では、動画データから静止画データと一致するフレーム位置が検出されて、このフレーム位置を基準として動画データから所定期間分の動画データが読み出される。また、読み出された所定期間分の動画データがダイジェストのデータとして用いられる。このため、記録メディア等に記録されている動画データの管理や再生等を行う画像処理装置に好適である。

画像記録装置の構成を示す図である。 画像記録装置の動作概要を示すフローチャートである。 表示動作のフローチャートである。 動画記録動作のフローチャートである。 ＡＶＣＨＤ形式のファイルの基本構造を示す図である。 静止画記録動作のフローチャートである。 静止画データのファイル基本構造を示す図である。 画像処理装置の概略構成を示す図である。 画像処理装置の動作概要を示すフローチャートである。 動画一覧表示動作のフローチャートである。 動画再生動作のフローチャートである。 静止画一覧表示動作のフローチャートである。 静止画表示動作のフローチャートである。 ダイジェスト再生動作（静止画自動選択の場合）のフローチャート（１／２）である。 ダイジェスト再生動作（静止画自動選択の場合）のフローチャート（２／２）である。 ダイジェスト再生動作（静止画自動選択の場合）のフローチャートである。

符号の説明

１０・・・画像記録装置（例えばビデオカメラ）、２０・・・画像処理装置（例えばビデオカメラ）、１０１・・・撮像部、１０２・・・撮像データ格納部、１０３・・・収音部、１０４・・・収音データ格納部、１０５・・・ＧＰＳ部、１０６・・・ＧＰＳデータ格納部、１０７，２０１・・・入力部、１０８，２０２・・・制御部、１０９・・・動画データ信号処理部、１１０，２０６・・・動画データ格納部、１１１，２３４・・・動画データエンコード部、１１２・・・音声データ信号処理部、１１３，１２６，１２７，２１８，２２０，２３２・・・音声データ格納部、１１４，２３５・・・音声データエンコード部、１１５，２３６・・・多重化部、１１６・・・動画データ記録部、１１７・・・静止画データ取得部、１１８・・・静止画データ信号処理部、１１９・・・静止画データエンコード部、１２０・・・メタデータ埋込部、１２１・・・静止画データ記録部、１２２，１２３，２１２，２１４・・・画像データ格納部、１２４，２１３・・・画像データ外部出力部、１２５，２１５・・・表示部、１２８，２１９・・・音声データ外部出力部、１２９，２２１・・・内蔵スピーカ部、２０３・・・動画データ読出部、２０４・・・データ分離部、２０５・・・動画データデコード部、２０７・・・動画一覧生成部、２０８・・・動画データ選択部、２０９・・・音声データデコード部、２１０・・・画像セレクタ、２１１・・・画像データ信号処理部、２１６・・・音声セレクタ、２１７・・・音声データ信号処理部、２２２・・・静止画データ読出部、２２３，２２５・・・静止画データ格納部、２２４・・・静止画データデコード部、２２６・・・静止画一覧生成部、２２７・・・静止画データ選択部、２２８・・・静止画属性情報抽出部、２２９・・・動画属性情報抽出部、２３０・・・属性情報比較部、２３１・・・音声データ読出部、２３３・・・ダイジェスト生成部、２３７・・・動画データ記録部、２４０・・・撮像日時抽出部、２４１・・・音楽再生時間算出部、２４２・・・ダイジェスト時間算出部、２４３・・・ダイジェスト時間比較部、２４４・・・重み付け処理部

Claims (12)

1. 静止画データが示す静止画の一覧を生成する静止画一覧生成部と、
   前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出部と、
   前記検出部で検出されたフレーム位置を基準として前記動画データから所定期間分の動画データを読み出す動画データ読出部と、
   前記動画データ読出部で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成部と
   を備える画像処理装置。
2. 前記検出部は、
   前記動画データから属性情報を抽出する動画属性情報抽出部と、
   静止画データから属性情報を抽出する静止画属性情報抽出部と、
   前記動画属性情報抽出部と前記静止画属性情報抽出部で抽出した属性情報を比較して、前記動画データから前記静止画データと一致するフレーム位置を検出する属性情報比較部
   とを備える請求項１記載の画像処理装置。
3. 前記属性情報は、撮像時の日時データと位置データを含み、
   前記属性情報比較部は、前記動画データから前記静止画データと日時データおよび位置データが一致するフレーム位置を検出する
   請求項２記載の画像処理装置。
4. 前記静止画一覧生成部で生成された一覧から、ユーザによって選択された静止画データを判別して、該静止画データの読み出しを指示する静止画データ選択部を有し、
   前記静止画属性情報抽出部は、前記静止画データ選択部で選択された静止画データから属性情報を抽出する
   請求項２記載の画像処理装置。
5. 前記ダイジェストの表示中に再生指示がなされたとき、前記動画データ読出部は、前記表示中のダイジェストに埋め込まれている前記チャプタ情報に基づき、前記表示中のダイジェストを含むチャプタの動画データの読み出しを行う
   請求項１記載の画像処理装置。
6. 動画データを生成したときの撮像期間内に含まれる静止画データを読み出す静止画データ読出部と、
   前記撮像期間内に含まれる静止画データに対して重み付けを行い、重要度の低い静止画の静止画データを削除する重み付け処理部とを有し、
   前記重み付け処理部は、前記ダイジェスト生成部で生成されるダイジェストの再生時間が所定再生時間よりも長くなるとき、前記重要度の低い静止画の静止画データを削除して前記検出部で用いる静止画データのデータ数を削減することにより、前記ダイジェストの再生時間を前記所定再生時間以下とする
   請求項１記載の画像処理装置。
7. 前記重み付け処理部は、撮像時の日時データと位置データに基づいて前記重み付けを行う請求項６記載の画像処理装置。
8. 前記重み付け処理部は、前後の静止画データと日時が近いとき重要度を低くする
   請求項７記載の画像処理装置。
9. 前記重み付け処理部は、前後の静止画データと位置が近いとき重要度を低くする
   請求項７記載の画像処理装置。
10. 静止画一覧生成部によって、静止画データが示す静止画の一覧を生成するステップと、
    検出部によって、前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出するステップと、
    動画データ読出部によって、前記検出部で検出されたフレーム位置を基準として前記動画データから所定期間分の動画データを読み出すステップと、
    ダイジェスト生成部によって、前記動画データ読出部で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うステップと
    を具備する画像処理方法。
11. 撮像データを生成する撮像部と、
    前記撮像データを処理して動画データとする動画データ信号処理部と、
    前記撮像データから抽出したデータを処理して静止画データとする静止画データ信号処理部と、
    前記動画データを記録メディアに記録する動画データ記録部と、
    前記静止画データを記録メディアに記録する静止画データ記録部と、
    静止画データが示す静止画の一覧を生成する静止画一覧生成部と、
    前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出部と、
    前記動画データから前記静止画データと一致するフレーム位置を検出する検出部と、
    前記検出部で検出されたフレーム位置を基準として前記記録メディアに記録された動画データから所定期間分の動画データを読み出す動画データ読出部と、
    前記動画データ読出部で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成部と
    を備える撮像装置。
12. コンピュータを、
    静止画データが示す静止画の一覧を生成する静止画一覧生成機能手段と、
    前記静止画の一覧から選択された静止画データと一致するフレーム位置を、動画データから検出する検出機能手段と、
    前記検出機能手段で検出されたフレーム位置を基準として前記動画データから所定期間分の動画データを読み出す動画データ読出機能手段と、
    前記動画データ読出機能手段で読み出された所定期間分の動画データを、前記選択された静止画の撮像時刻順にダイジェストのデータとして用い、前記ダイジェストのデータにフレーム単位またはＧＯＰ単位で前記動画データのチャプタ情報の埋め込みを行うダイジェスト生成機能手段
    として機能させるためのコンピュータ・プログラム。

Images