JP5146503B2 - 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム - Google Patents

Description

本発明は、動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラムに関する。

デジタルビデオカメラ等に代表されるように、動画と音声を同時に記録することができる撮影装置が普及している。このような撮影装置においては、動画と音声との再生タイミングを合わせるため、圧縮符号化及びパケット化された音声データを動画データと多重化し、この音声データのヘッダ情報に同期情報を埋め込んだ形でファイル化するものがある。また、動画撮影中にフレームレートを任意に変更することができ、この変更されたフレームレートに合わせて録音された音声のサンプルレートを変更させ、再生の際には音声の再生に違和感が生じないようにする技術が提案されている（例えば、特許文献１参照）。

特開２００４−１８０２８９号公報

しかしながら上記の従来技術では、変更されたフレームレートに合わせて音声のサンプルレートを変更するため、高フレームレート（例えば６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ））で記録した音声付き動画を、通常のフレームレート（例えば３０ｆｐｓ）で再生すると、１／２倍速のスロー再生になり、音声が聞き取りづらくなってしまう。近年市場に出ている１２０ｆｐｓで動画撮影をすることも可能な機種では対応が一層困難になる。

そこで、通常のフレームレート（例えば３０ｆｐｓ）で記録する時のみに音声を付加し、１２０ｆｐｓなどの高速撮影を行う場合には、音声を付加しない技術も提案されている。しかし、このような技術では、高速撮影された部分のフレームを間引くなどして通常のフレームレートで再生するような場合でも無音の動画が再生されてしまい、ユーザにとって退屈な動画となる。

本発明の目的は、動画のフレームを間引いて再生する場合であっても、動画と同期のとれた音声を適切に再生させることにある。

本発明の第１の態様によると、撮影により連続した複数の画像フレームからなる動画データを得る撮影手段と、
前記撮影手段によって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加手段と、
を備え、
前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とする動画処理装置が提供される。

本発明の第２の態様によると、撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置であって、
再生モードを決定する決定手段と、
前記決定手段によって決定された前記再生モードに対応する音声データを特定する音声データ特定手段と、
前記決定手段によって決定された前記再生モードに従って、前記動画データを前記音声データ特定手段によって特定された音声データとともに再生する動画再生手段と、
を備えることを特徴とする動画再生装置が提供される。

本発明の第３の態様によると、撮影により連続した複数の画像フレームからなる動画データを得る撮影ステップと、
前記撮影ステップによって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加ステップと、
を含む動画処理方法であって、
前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とする動画処理方法が提供される。

本発明の第４の態様によると、撮影により連続した複数の画像フレームからなる動画の動画データを得る撮影手段を備えた動画処理装置が備えるコンピュータを、
前記撮影手段によって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加手段、
として機能させることを特徴とするプログラムであって、
前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とするプログラムが提供される。

本発明の第５の態様によると、撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置の動画再生方法であって、
再生モードを決定する決定ステップと、
前記決定ステップによって決定された前記再生モードに対応する音声データを特定する音声データ特定ステップと、
前記決定ステップによって決定された前記再生モードに従って、前記動画データを前記音声データ特定ステップによって特定された音声データとともに再生する動画再生ステップと、
を含むことを特徴とする動画再生方法が提供される。

本発明の第６の態様によると、撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置が備えるコンピュータを、
再生モードを決定する決定手段、
前記決定手段によって決定された前記再生モードに対応する音声データを特定する音声データ特定手段、
前記決定手段によって決定された前記再生モードに従って、前記動画データを前記音声データ特定手段によって特定された音声データとともに再生する動画再生手段、
として機能させることを特徴とするプログラムが提供される。

本発明によれば、高フレームレートで音声と共に記録された動画を、フレームを間引いて通常速度で再生する場合であっても、動画と同期のとれた音声を適切に再生することができる。

本発明の一実施形態に係わる動画処理装置の機能を備えたデジタルカメラの回路構成を示すブロック図である。 Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成された一般的なＡＶＩファイルの概要を説明する図である。 図１のデジタルカメラによって撮影された動画ファイルに含まれる画像データと実音声データ、及びダミー音声データとの関係を示す説明図である。 図１のデジタルカメラによって高フレームレートで撮影された動画ファイルを間引かずに再生する場合と、通常のフレームレートに間引いて再生する場合の画像データと実音声データ、及びダミー音声データとの関係を示す説明図である。 図１のデジタルカメラによって実行される、動画撮影のフローを説明するフローチャートである。 図１のデジタルカメラによって実行される、動画再生のフローを説明するフローチャートである。

以下、本発明を実施するための形態について、図面に基づいて説明する。
図１は、本発明の一実施形態に係る動画処理装置として機能するデジタルカメラ１００の回路構成を示す図である。

本実施形態のデジタルカメラ１００は動画の撮影及び再生を行う。撮影した動画を構成する複数の静止画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。したがって、デジタルカメラ１００は基本となる動作モードとして、動画を撮影するための撮影モードと、撮影した動画を再生するための再生モードとを備える。このうち、動画を撮影するための撮影モードは、通常の動画撮影モードのほか、ハイスピード動画撮影モードを備える。このハイスピード動画撮影モードの一つとして、動画撮影中にフレームレートを３０ｆｐｓ（通常のフレームレート）と１２０ｆｐｓ（高フレームレート）との間で変更可能な動画撮影モードが設定されている。本実施形態は、この動画撮影モードによる動画撮影中において、フレームレートが３０ｆｐｓ−１２０ｆｐｓの間で変更された場合であっても、画像と音声の同期を保ち、聞き取りづらい音声が再生されないようにするものである。

さらに、本実施形態では、動画を再生するための再生モードとして、通常再生のほか、スロー再生を備える。ここで再生モードとは、撮影フレームレートに対する再生フレームレートとの関係であって、撮影フレームレートと再生フレームレートとが等しい場合、または動画の画像フレームを間引いて再生フレームレートと等しくした場合は通常再生モード、再生フレームレートが撮影フレームレートを下回る場合はスロー再生モードとする。本実施形態のデジタルカメラ１００は、再生フレームレートを３０ｆｐｓのフレームレートとしているため、３０ｆｐｓの撮影フレームレートの動画を再生する場合は、通常再生となる。一方で、例えば、１２０ｆｐｓの撮影フレームレートで撮影された動画を再生する場合は、スロー再生となる。本実施形態のデジタルカメラ１００が実行する通常再生とスロー再生の詳細については後述する。

デジタルカメラ１００は、図１に示すように、光学系１と、撮影部２と、記録／再生データ作成部３と、音声入出力部４と、動画一時メモリ５と、音声一時メモリ６と、メモリカード７と、液晶表示装置８と、撮影開始／停止ボタン９と、フレームレート切り替えボタン１０と、再生ボタン１１と、再生モード変更ボタン１２と、各種操作部１３と、制御部１４と、を備える。

光学系１は、入射した被写体の光を後述の撮影部２に光学像として結像するための光学レンズであり、フォーカスレンズ、ズームレンズ等で構成される。

撮影部２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサからなり、光学系１の光軸上に配置されている。撮影部２は、光学系１により収束された撮影光を受光するとともに、受光面に結像された被写体の光学像を光電変換し、アナログの撮影信号として出力する。撮影部２は、動画撮影時に所定のフレームレートで画像を撮影する。後述するように、本実施形態の動画撮影モードでは、３０ｆｐｓ又は１２０ｆｐｓのフレームレートで画像が撮影される。

また、撮影部２は、上記イメージセンサから出力されたアナログの撮影信号をデジタルの画像データに変換するＡ／Ｄ変換、ガンマ補正、ホワイトバランス補正、輪郭強調等の画像処理を行い、デジタルの画像データとして出力する、図示しない前処理部を備える。この前処理部で処理された画像データは、記録／再生データ作成部３及び制御部１４を経て動画一時メモリ５に一時的に記憶される。本実施形態における光学系１及び撮影部２は、本発明の撮影手段として機能する。

記録／再生データ作成部３は、撮影部２から出力された画像データや、後述する音声入出力部４で集音された音声データを符号化する回路である。具体的には、例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式で採用された予測符号化方式を用いた圧縮符号化処理により符号化を行う。後述する動画一時メモリ５に記憶された画像データ及び音声一時メモリ６に記憶された音声データは、例えば３０ｆｐｓの通常のフレームレートのデータとして、撮影された順に圧縮符号化され、メモリカード７に逐次記憶される。

音声入出力部４は、動画撮影中に周囲の音声を集音するマイクや、音声データを音声として出力するスピーカ等から構成される。動画撮影時に音声入出力部４により集音された音声は、制御部１４において所定の信号処理が施され、音声データとして音声一時メモリ６に記憶される。本実施形態では、実音声の音声データを動画データに付加しない期間においても、音声データを音声一時メモリ６に記憶し続けるため、動画撮影中は常にマイクがオン状態となっている。

動画一時メモリ５は、撮影部２から出力される動画データをフレーム毎に逐次記憶する画像記録手段である。また、音声一時メモリ６は、音声入出力部４で集音された音声データを逐次記憶する音声記録手段である。

本実施形態では、まず、動画一時メモリ５にフレーム毎に動画データが記憶され、音声一時メモリ６に音声データが記憶される。そして、動画撮影時のフレームレートが３０ｆｐｓである間は、動画一時メモリ５に記憶された動画データに、音声一時メモリ６に記憶された音声データが付加されて動画ファイルとしてメモリカード７に記憶されていく。

一方で、動画撮影時のフレームレートが１２０ｆｐｓである場合は、動画一時メモリ５に記憶される動画データに、音声入出力部４で集音された実音声の実音声データとともにダミー音声（疑似音声）のダミー音声データ（以下、「ダミー音声データ」と呼ぶ）が付加されてメモリカード７に記憶される。ダミー音声としては、無音でもよいし、又は、所定の音声、例えば、「ピッピッピッ」などの効果音、「スロー再生です」などのメッセージ、あるいは音楽等でもよい。あるいは、ダミー音声として、動画に関連する情報、複数種類の効果音やＢＧＭ（楽曲）等の音声データをダミー音声データとして予め用意して、音声一時メモリ６、メモリカード７又は他の再生装置で再生可能に準備しておき、これらを適宜選択又は組み合わせて録音してもよい。

メモリカード７は、上述した動画データ及び音声データが記憶される記録媒体である。メモリカード７に記憶された動画データ及び音声データは、撮影終了が指示されると、所定のヘッダ情報が付加され、動画ファイルとしてファイル化される。

液晶表示装置８は、図示しないＶＲＡＭ、液晶モニタ、及びその駆動回路等を備える。液晶表示装置８には、撮影待機中又は撮影中におけるスルー画像や、メモリカード７に記憶されている動画等が表示される。撮影部２において動画撮影時に用いられる３０ｆｐｓのフレームレートは、液晶表示装置８の再生フレームレートでもある。

撮影開始／停止ボタン９は、ユーザからの撮影開始及び撮影終了の指示を入力する部分である。フレームレート切替えボタン１０は、ユーザからの動画撮影中のフレームレート変更の指示を取得する部分である。再生ボタン１１は、ユーザからの動画等の再生の指示を入力する部分である。

再生モード変更ボタン１２は、動画再生時の再生モードを通常再生とスロー再生と変更する部分である。また、本実施形態における再生モード変更ボタン１２は、本発明の再生モード決定手段として機能する。

各種操作部１３は、ユーザからのデジタルカメラ１００に対する種々の操作指示を入力する部分である。なお、各種操作部１３としては、例えば、撮影モードや再生モードを設定するためのモード設定ボタン、電源スイッチ、ズームキーのほか、デジタルカメラ１００の各種機能や動作内容の設定／変更に際してユーザが操作する操作部材でよい。

制御部１４は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、及びその周辺回路により構成され、動画撮影や再生表示等を含むデジタルカメラ１００の全体的な動作を制御している。なお、ＲＯＭには、後述する本実施形態に係る動画撮影や動画再生及び表示等を含む制御を行うためのプログラムが記憶されている。ＲＡＭは、各種制御や演算処理を行う際に一時記憶領域として使用される。本実施形態における制御部１４は、本発明の音声データ付加手段、再生情報付加手段、及び、音声データ特定手段として機能する。なお、制御部１４の判断手段及び記録制御手段としての処理内容については、後にフローチャートを参照しながら説明する。

本実施形態において記録／再生データ作成部３は、Ｍｏｔｉｏｎ−ＪＰＥＧ方式のデータ圧縮処理を行い、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）形式でファイル化し、メモリカード７に記憶させる。即ち、動画の画像データと音声データとを含む画像ファイルがＡＶＩ形式の動画ファイル、即ち、ＡＶＩファイルとして生成され、メモリカード７に記憶される。

図２に、Ｍｏｔｉｏｎ―ＪＰＥＧ形式で形成された一般的なＡＶＩファイルの概要を示す。

ＡＶＩファイルは、図２に示すように、ヘッダ部１０１と、データ部１０２と、インデックス部１０３と、を含む。

ヘッダ部１０１には、動画データの撮影フレームレートと動画データを構成するフレームの総数などの基本情報が記録される。データ部１０２には、動画データを構成する画像フレームと、音声データとが保存される。インデックス部１０３には、データ部１０２に保存された画像フレームと音声データの位置を指定するインデックスデータが再生される順番に並べられている。

図３は、本実施形態に係る動画処理装置の機能を備えたデジタルカメラ１００によって撮影された動画を構成する画像フレームと実音声データ、及びダミー音声データとの関係を示す説明図である。

図３（Ａ）は、通常の３０ｆｐｓで撮影された動画の画像フレームと音声データとの関係を示している。データ部１０２には、動画を構成する画像フレームＶと、実音声の実音声データＡＲとが含まれており、インデックス部１０３には、画像データＶの位置を指定する画像インデックスデータＶＩと実音声の実音声データＡＲの位置を指定する音声インデックスデータＡＩとが再生順に保存されている。

制御部１４は、動画データが３０ｆｐｓで撮影された動画であることを、ヘッダ部１０１（図３参照）から判定する。続いて制御部１４は、インデックス部１０３に保存された画像インデックスデータＶＩと音声インデックスデータＡＩが示す順番に従って、データ部１０２の画像フレームＶと実音声の実音声データＡＲとの再生を行い、液晶表示装置８及び音声入出力部４を介して出力していく。

図３（Ｂ）は、高フレームレートの１２０ｆｐｓの動画を構成する画像フレームを間引かずに再生する場合の、画像フレームと音声データとの関係を示している。データ部１０２には、動画を構成する画像フレームＶと、実音声の実音声データＡＲと、無音又は所定の音声を表すダミー音声のダミー音声データＡＤとが含まれており、インデックス部１０３には、それぞれ、画像フレームＶの位置を指定する画像インデックスデータＶＩと実音声の実音声データＡＲ又はダミー音声のダミー音声データＡＤの位置を指定する音声インデックスデータＡＩが再生順に保存されている。

制御部１４は、動画データが高フレームレートの１２０ｆｐｓで撮影された動画であることを、ヘッダ部１０１（図３参照）から判定する。続いて、制御部１４は、再生モードに応じて、音声インデックスデータＡＩの対応先を実音声の実音声データＡＲとするか、又はダミー音声のダミー音声データＡＤとするかを決定する。

本実施形態では、高フレームレートの１２０ｆｐｓで撮影された動画の画像フレームを間引かずに再生する場合、音声インデックスデータＡＩの対応先はダミー音声のダミー音声データＡＤとなる。したがって、図３（Ｂ）に示すように、音声インデックスデータＡＩは何れもダミー音声のダミー音声データＡＤの位置を指定し、実音声の実音声データＡＲの位置は指定されない。このため、高フレームレートの１２０ｆｐｓで撮影された動画の画像フレームを間引かずに再生する場合、ダミー音声のダミー音声データＡＤは再生されるが、実音声の実音声データＡＲは再生されない。高フレームレートの１２０ｆｐｓの動画の画像フレームを間引かずに通常のフレームレートの３０ｆｐｓで再生する場合、スロー再生となる。ダミー音声としては、無音でもよいし、所定の音声、例えば、「ピッピッピッ」という効果音、「スロー再生です」というメッセージ、あるいは音楽等でもよい。又は、ダミー音声は、動画に関連する情報、複数種類の効果音やＢＧＭ（楽曲）等の音声データをダミー音声データとして予め用意しておき、これらを適宜選択又は組み合わせ録音しておいてもよい。ダミー音声として、効果音、音楽、画像に関連する情報やメッセージなどを用いることによって、映像がスローモーションの長い時間流れるスロー再生時であっても、ユーザは退屈せずに、時間を有効に過ごすことも可能となる。

一方で、本実施形態では、高フレームレートの１２０ｆｐｓで撮影された動画の画像フレームを間引いて四分の一に間引いて通常フレームレートの３０ｆｐｓで再生する場合、音声インデックスデータＡＩの対応先は実音声の実音声データＡＲとなる。この場合について、図４を参照して説明する。

図４は、図１のデジタルカメラ１００によって高フレームレートで撮影された動画の画像フレームを間引かずに再生するスロー再生モードの場合と、通常の再生速度になるように動画を構成する画像フレームを間引いて再生する通常再生モードの場合の画像データ（画像フレーム）と実音声データ、及びダミー音声データとの関係を示す説明図である。

図４（Ａ）に示すように、スロー再生モードの場合、データ部１０２の画像データＶの位置は全て、インデックス部１０３の画像インデックスデータＶＩにより指定され、ダミー音声のダミー音声データＡＤの位置は全て、インデックス部１０３の音声インデックスデータＡＩによって指定される。一方で、実音声の実音声データＡＲの位置は何れの音声インデックスデータＡＩによっても指定されない。このため、高フレームレートの１２０ｆｐｓの動画を間引かずに再生する場合、ダミー音声のダミー音声データＡＤは再生されるが、実音声の実音声データＡＲは再生されない。

図４（Ｂ）は、高フレームレートの１２０ｆｐｓで撮影された動画を四分の一に間引いて通常の３０ｆｐｓで再生する通常再生モードの場合の、画像データと実音声データ、及びダミー音声データとの関係を示す説明図である。

制御部１４は、動画データが１２０ｆｐｓで撮影された動画であることを、ヘッダ部１０１（図３参照）から判定する。再生モード変更ボタン１２を操作するユーザにより、通常再生モードが指定された場合、制御部１４は、再生する画像データの位置を指定する画像インデックスデータＶＩの数を四分の一に間引き、音声データの位置を指定するインデックスデータＡＩは、ダミー音声データである音声データＡＤではなく、実音声の実音声データＡＲの位置を指定するようにする。このため、高フレームレートの１２０ｆｐｓで撮影された動画は間引かれて通常の速度で再生されることになる。動画データを構成するフレームは四分の一に間引かれて再生され、実音声の実音声データＡＲは再生されるが、ダミー音声のダミー音声データＡＤは再生されない。

これによって、本実施形態では、高フレームレート（１２０ｆｐｓ）で記録された動画ファイルを、録音したダミー音声のダミー音声データ又は実音声の音声データとの同期を保ちながら、画像フレームを間引かずにスロー再生を行うことも、画像フレームを４分の一程度に間引いて通常の速度で再生を行うこともできる。

なお、実音声の音声データは、通常の３０ｆｐｓで撮影する場合でも、高フレームレートの１２０ｆｐｓで撮影する場合でも音声一時メモリ６に継続して記憶される。あるいは、実音声の音声データ又はダミー音声のダミー音声データの少なくとも一方を、音声入出力部４を用いてリアルタイムに音声を集音するようにしてもよい。また、この音声データは、所定時間が経過すると順次削除され、音声一時メモリ６には、常に一定量の最新の音声データのみが記憶される。これは、ダミー音声データを動画データに付加する処理を行っている間に蓄積された実音声の音声データにより音声一時メモリ６が溢れてしまうことを防ぐためである。そのため、ダミー音声データを動画データに付加する間も、実音声の音声データを音声一時メモリ６に記憶する処理を継続しながら、所定時間が経過すると記憶した実音声の音声データを古いものから順次削除する処理を行うようにしている（ただし図４では、実音声の音声データが継続して記憶される様子のみを示している）。また、このような処理を行うことにより、フレームレート切替え直後における音声データの整合性を保つことができる。

次に、本実施形態のデジタルカメラ１００における、動画撮影時における制御部１４の処理内容を図５のフローチャートを参照して説明する。図５は、本実施形態のデジタルカメラ１００によって実行される、動画撮影のフローを説明するフローチャートである。以下の処理は、図１に示す制御部１４が各部を制御することにより実行される。また、本フローチャートの処理は、ユーザが撮影開始／停止ボタン９を操作して、動画撮影を開始することによりスタートする。

まず、ステップＳ１０１において、制御部１４は、撮影部２で集音された動画データを動画一時メモリ５に逐次記憶し、また音声入出力部４から出力された音声データを音声一時メモリ６に逐次記憶する処理を開始する。ステップＳ１０２において、制御部１４は、現在設定されている撮影のフレームレートが３０ｆｐｓか否かを判定する。撮影中にフレームレート切替えボタン１０が操作されなければ、撮影フレームレートは変更されない。撮影フレームレートが３０ｆｐｓである場合はステップＳ１０３へ進む（ステップＳ１０２：ＹＥＳ）。フレームレート切替えボタン１０が操作されるなどして、撮影フレームレートが３０ｆｐｓから変更されている場合は、ステップＳ１０７へ進む（ステップＳ１０２：ＮＯ）。

ステップＳ１０３において、制御部１４は、記録／再生データ作成部３を制御して、動画一時メモリ５及び音声一時メモリ６に逐次記憶される動画データ及び実音声の音声データを３０ｆｐｓのフレームレートのデータとして順に圧縮符号化するとともに、動画データに実音声の音声データを付加して、メモリカード７に逐次記憶する。

ステップＳ１０４において、制御部１４は、撮影終了の指示を検出したか否かを判定する。ここでは、制御部１４が撮影開始／停止ボタン９の操作による撮影終了の指示を検出しなければ、処理はステップＳ１０５へ進み（ステップＳ１０４：ＮＯ）、制御部１４が撮影終了の指示を検出したときは、ステップＳ１１１へ進む（ステップＳ１０４：ＹＥＳ）。

ステップＳ１０５において、制御部１４は、フレームレートの変更指示を検出したか否かを判定する。ここでは、制御部１４がフレームレート切替えボタン１０の操作によるフレームレートの変更指示を検出していないと判定すると、ステップＳ１０３へ戻り（ステップＳ１０５：ＮＯ）、動画データに実音声の音声データを付加してメモリカード７に逐次記憶する処理を繰り返す。一方、フレームレートの変更指示を検出したと判定すると、ステップＳ１０６へ進む（ステップＳ１０５：ＹＥＳ）。ステップＳ１０６において、制御部１４は、フレームレートを１２０ｆｐｓに変更して、ステップＳ１０２へ戻る。

また、ステップＳ１０４の判定でＹＥＳであれば、処理はステップＳ１１１へ進み、制御部１４は、それまでの間にメモリカード７に記憶した動画データ及び音声データについて、ファイル名、撮影日時、フレームレート等の情報を含むヘッダ情報を付加し、メモリカード７内に動画ファイルとしてファイル化する。

一方、ステップＳ１０２の判定でＮＯであれば、ステップＳ１０７において、制御部１４は、記録／再生データ作成部３を制御して、動画一時メモリ５に逐次記憶される動画データを１２０ｆｐｓのフレームレートのデータとして順に圧縮符号化するとともに、動画データに実音声の音声データとともにダミー音声データを付加して、メモリカード７に逐次記憶する。ダミー音声データを付加するタイミングは、実音声の音声データを付加する直前でもよいし、実音声の音声データを付加した直後でもよい。ダミー音声としては、無音でもよいし、又は、所定の音声、例えば、「ピッピッピッ」という効果音、「スロー再生です」というメッセージ、あるいは音楽等でもよい。又は、ダミー音声は、動画に関連する情報、複数種類の効果音やＢＧＭ（楽曲）等の音声データをダミー音声データとして予め用意しておき、これらを適宜選択又は組み合わせ録音してもよい。

続く、ステップＳ１０８において、制御部１４は、撮影終了の指示を検出したか否かを判定する。ここでは、制御部１４が撮影開始／停止ボタン９の操作による撮影終了の指示を検出しなければ、処理はステップＳ１０９へ進む（ステップＳ１０８：ＮＯ）。一方で、制御部１４が撮影終了の指示を検出したときは、処理はステップＳ１１１へ進む（ステップＳ１０８：ＹＥＳ）。先のステップＳ１０７において、動画データにダミー音声データも付加してメモリカード７に逐次記憶した場合、ステップＳ１１１では、それまでの間にメモリカード７に記憶した動画データと実音声データ及びダミー音声データについて、ファイル名、撮影日時、フレームレート等の情報を含むヘッダ情報を付加し、メモリカード７内に動画ファイルとしてファイル化する。

ステップＳ１０９において、制御部１４は、フレームレートの変更指示を検出したか否かを判定する。ここでは、フレームレート切替えボタン１０の操作によるフレームレートの変更指示を検出しなければ、処理はステップＳ１０７へ戻り（ステップＳ１０９：ＮＯ）、動画データに実音声の音声データとダミー音声データを付加してメモリカード７に逐次記憶する処理を繰り返す。一方、フレームレートの変更指示を検出していれば、処理はステップＳ１１０へ進む（ステップＳ１０９：ＹＥＳ）。ステップＳ１１０において、制御部１４は、フレームレートを指定されたフレームレート、即ち、３０ｆｐｓに変更して、ステップＳ１０２へ戻る。

次に、このようにして生成された動画ファイルの再生時における制御部１４の処理内容を図６のフローチャートを参照して説明する。図６は、本実施形態のデジタルカメラ１００によって実行される、動画再生のフローを説明するフローチャートである。なお、以下の処理は、図１に示す制御部１４が各部を制御することにより実行される。また、メモリカード７には、既に図５のフローチャートを参照して説明した撮影処理によって生成された、本実施形態に係る動画ファイルが記憶されているものとする。本フローチャートの処理は、ユーザが再生ボタン１１を操作して、メモリカード７に記憶された動画ファイルの再生を開始することによりスタートする。ここでは説明を簡略化するため、図５のフローチャートを参照して説明した撮影処理によって生成された動画ファイルの高フレームレートの１２０ｆｐｓで撮影された部分の再生について記載する。

まず、ステップＳ２０１において、制御部１４は、現在設定されている再生モードが通常再生モードであるか否かを判定する。再生中に再生モード変更ボタン１２が操作されなければ、再生モードは変更されない。再生モードが通常再生モードである場合はステップＳ２０２へ進む（ステップＳ２０１：ＹＥＳ）。再生モード変更ボタン１２が操作されるなどして、再生モードが通常再生モードから変更されている場合は、ステップＳ２０６へ進む（ステップＳ２０１：ＮＯ）。

ステップＳ２０２において、制御部１４は、記録／再生データ作成部３を制御して、メモリカード７に記憶された１２０ｆｐｓで撮影された動画の画像フレームを間引いて３０ｆｐｓで通常再生し、動画とともに実音声を再生する。具体的には、図４（Ｂ）に示すように、制御部１４は、記録／再生データ作成部３を制御して、動画ファイルの画像インデックスデータＶＩを編集して、画像データの位置を示す画像インデックスデータＶＩの数を四分の一に削減する。さらに、制御部１４は、記録／再生データ作成部３を制御して、音声インデックスデータＡＩが実音声の実音声データＡＲの位置を指定するようにする。このようにして、制御部１４は、１２０ｆｐｓで撮影された動画の画像フレームを間引いて３０ｆｐｓのフレームレートで再生する。即ち、制御部１４は、図４（Ｂ）に示すように、画像インデックスデータＶＩと音声インデックスデータＡＩが指定する順に、画像データＶと実音声データＡＲを通常の再生モードで再生し、音声入出力部４と液晶表示装置８から出力する。

ステップＳ２０３において、制御部１４は、再生終了の指示を検出したか否かを判定する。ここでは、制御部１４が再生開始／停止ボタン９の操作による再生終了の指示を検出しなければ、処理はステップＳ２０４へ進み（ステップＳ２０３：ＮＯ）、制御部１４が再生終了の指示を検出したときは、本再生処理を終了する（ステップＳ２０３：ＹＥＳ）。

ステップＳ２０４において、制御部１４は、再生モードの変更指示を検出したか否かを判定する。ここでは、再生モード変更ボタン１２の操作による再生モードの変更指示を検出していないと判定すると、ステップＳ２０２へ戻り（ステップＳ２０４：ＮＯ）、動画ファイルを通常再生モードで再生する処理を繰り返す。一方、再生モードの変更指示を検出したと判定すると、ステップＳ２０５へ進む（ステップＳ２０４：ＹＥＳ）。ステップＳ２０５において、制御部１４は、再生モードをスロー再生モードに変更して、ステップＳ２０１へ戻る。

一方、ステップＳ２０１の判定でＮＯであれば、ステップＳ２０６において、制御部１４は、記録／再生データ作成部３を制御して、メモリカードに記憶された１２０ｆｐｓで撮影された動画の画像フレームを間引かずに３０ｆｐｓでスロー再生し、動画とともにダミー音声を再生する。具体的には、図３（Ｂ）又は図４（Ａ）に示すように、制御部１４は、記録／再生データ作成部３を制御して、音声インデックスデータＡＩがダミー音声のダミー音声データＡＤの位置を指定するようにする。画像インデックスデータＶＩと音声インデックスデータＡＩが指定する順に、画像データＶとダミー音声データＡＤを再生し、音声入出力部４と液晶表示装置８から出力する。このようにして、制御部１４は、１２０ｆｐｓで撮影された動画の画像フレームを間引かずに３０ｆｐｓのフレームレートで再生する。即ち、制御部１４は、図３（Ｂ）又は図４（Ａ）に示すように、画像インデックスデータＶＩと音声インデックスデータＡＩが指定する順に、画像データＶとダミー音声データＡＤをスロー再生し、音声入出力部４と液晶表示装置８から出力する。

続く、ステップＳ２０７において、制御部１４は、再生終了の指示を検出したか否かを判定する。ここでは、制御部１４が再生開始／停止ボタン９の操作による再生終了の指示を検出しなければ、処理はステップＳ２０８へ進み（ステップＳ２０７：ＮＯ）、制御部１４が再生終了の指示を検出したときは、本再生処理を終了する（ステップＳ２０７：ＹＥＳ）。

ステップＳ２０８において、制御部１４は、再生モードの変更指示を検出したか否かを判定する。ここでは、再生モード変更ボタン１２の操作による再生モードの変更指示を検出しなければ、処理はステップＳ２０６へ戻り（ステップＳ２０８：ＮＯ）、再生処理を繰り返す。一方、再生モードの変更指示を検出していれば、処理はステップＳ２０９へ進む（ステップＳ２０８：ＹＥＳ）。ステップＳ２０９において、制御部１４は、再生モードを通常再生モードに変更して、ステップＳ２０１へ戻る。

このように本実施形態に係る動画処理装置として機能するデジタルカメラ１００によれば、制御部１４は、フレームレート切替えボタン１０によって指定された撮影フレームレートに応じて、動画一時メモリ５に記憶された動画データに、音声一時メモリ６に記憶された実音声の実音声データ及びダミー音声のダミー音声データの２種類の音声データを付加して、動画の撮影フレームレートを記したヘッダ部１０１と、動画の画像データと実音声データ及びダミー音声データを有するデータ部１０２と、動画の画像データと、実音声データ及びダミー音声データの何れかを指し示すインデックスデータを有するインデックス部１０３とを含む動画ファイルを生成する。

制御部１４は、インデックス部１０３の音声インデックスデータＡＩを用いて、実音声データ及びダミー音声データの２種類の音声データに対して、対応する再生モードを示す再生情報を付加する。再生モードとは、撮影フレームレートに対する再生フレームレートとの関係を表し、該再生モードは、撮影フレームレートと再生フレームレートとが等しい場合、または動画の画像フレームを間引いて再生フレームレートと等しくした場合の通常再生モードと、再生フレームレートが撮影フレームレートを下回る場合のスロー再生モードとを含む。

さらに、動画データに、実音声の実音声データとダミー音声のダミー音声データの二種類を付加する場合について説明したが、本発明はこれに限定されるものではない。動画データに２種類以上の音声データを付加してもよい。さらに、動画とともに再生される音声を、再生モードに応じて、多様にしてもよい。動画データに２種類以上の音声データを付加する場合は、音声インデックスデータＡＩを用いて再生モードごとに適宜、再生する音声データを指定できるようにすればよい。

例えば、高フレームレートで撮影された音声については、例えば、実音声の音声データに加えて、効果音、音楽、動画に関連する情報など、２種類以上の音声データを付加し、動画が超スローで再生される場合には、動画に関連する情報が再生され、ややスローで再生される場合には、音楽が再生され、早めに再生される場合には、効果音が再生されるように、音声インデックスデータＡＩを用いて再生モードごとに適宜、再生する種類の音声データを指定するようにすればよい。これは、制御部１４が、再生モードに応じて、画像インデックスデータＶＩの間引きを行うことに伴い、音声インデックスデータＡＩが指定する音声データの位置を、適宜変更することによって容易に実現することができる。

したがって、本実施形態に係る動画処理装置として機能するデジタルカメラ１００によれば、制御部１４は、動画データに２種類以上の音声データを付加する音声データ付加手段として機能するとともに、動画ファイルに、２種類以上の音声データの各々に対する再生モードを示す再生情報を付加する再生情報付加手段として機能する。被写体を撮影して動画の画像データを生成する撮影部２は、撮影時に撮影フレームレートを変更可能であり、音声データ付加手段として機能する制御部１４は、所定の撮影フレームレート以外の時に、２以上の種類の音声データを付加することができる。

このため、本実施形態に係るデジタルカメラ１００によれば、動画ファイルに付加した２種類以上の音声データから、音声インデックスデータＡＩを用いて適切な種類の音声を選択的に再生できるので、高速撮影された動画の画像フレームを間引いて通常再生の再生フレームレートに変更して再生する場合であっても、簡単な構成で適切に音声を再生することができる。

また、本実施形態に係るデジタルカメラ１００は、撮影部２による撮影中に音声を集音する集音手段として機能する音声入出力部４をさらに含み、音声データ付加手段として機能する制御部１４は、所定の撮影フレームレート以外、特に、高速の撮影フレームレートの時に、２以上の種類の音声データとして、音声入出力部４により集音された実音声の実音声データと、実音声の代わりとなるダミー音声のダミー音声データとを付加することができる。さらに、制御部１４は、実音声の実音声データには通常の再生を、ダミー音声のダミー音声データにはスロー再生を、対応する再生モードとして示す再生情報を付加することができる。

本実施形態に係るデジタルカメラ１００は、動画の画像データと、２種類以上の音声データと、２種類以上の音声データの各々に対する再生モードを示す再生情報であるヘッダ部１０１とを含む動画ファイルを再生する動画再生装置としても機能する。かかる動画再生装置として機能するデジタルカメラ１００は、通常再生モードとスロー再生モードとを含む再生モードを決定する決定手段として機能する再生モード変更ボタン１２と、ヘッダ部１０１を参照して、再生モード変更ボタン１２によって決定された再生モードに対応する種類の音声データを特定する音声データ特定手段として機能するとともに、再生モード変更ボタン１２によって決定された再生モードに従って、動画ファイルに含まれる動画の画像データを、音声データ特定手段によって特定された種類の音声データとともに再生する動画再生手段として機能する制御部１４とを含む。

このように構成された本実施形態のデジタルカメラ１００は、少なくとも以下のような効果を有する。
（１）再生フレームレート（３０ｆｐｓ）と等しい通常のフレームレート（３０ｆｐｓ）での撮影時には動画データに実音声の音声データを付加し、再生フレームレート（３０ｆｐｓ）より高い高フレームレート（１２０ｆｐｓ）での撮影時には動画データに実音声の音声データとともにダミー音声データを付加するようにしたので、通常のフレームレート（３０ｆｐｓ）で撮影した動画を通常再生する、又は、高フレームレート（１２０ｆｐｓ）で撮影した動画を間引いて通常再生する場合には、実音声が再生され、高フレームレート（１２０ｆｐｓ）で撮影した動画を間引かずにスロー再生するときには、ダミー音声が再生される。したがって、通常のフレームレート（３０ｆｐｓ）の動画を通常の再生フレームレート（３０ｆｐｓ）で通常再生する、又は、高フレームレート（１２０ｆｐｓ）の動画を間引いて通常再生する場合であっても、高フレームレート（１２０ｆｐｓ）の動画を間引かずに通常のフレームレート（３０ｆｐｓ）でスロー再生する場合であっても、実音声又はダミー音声が再生されるので、聞き取りづらい音声が再生されないようにすることができる。
（２）動画撮影中における音声の符号化処理は、フレームレートの切替えのタイミングで止めたり、再開したりする必要がなく、通常の動画撮影時と同じでよいため、ＣＰＵの処理負担を軽減することができる。
（３）通常の再生フレームレートでの撮影時のみならず高フレームレートでの撮影時においても、動画データに実音声の音声データを付加するようにしたので、再生フレームレートに応じて、無音声とする場合に比べて、より臨場感のある動画再生が可能となる。
（４）さらに、高フレームレートでの撮影時には、「ピッピッピッ」という効果音や、「スロー再生です」というメッセージや動画に関連する情報、音楽などとして出力されるダミー音声を付加するようにしたので、スロー再生時にはスローモーションの映像を無音で長い時間観賞するだけだったユーザに、映像とともに一層の刺激又は有益な情報を提供することも可能になる。
（５）また、３０ｆｐｓから１２０ｆｐｓ、１２０ｆｐｓから３０ｆｐｓと、撮影フレームレートを変更している間も実音声を継続して録音している。したがって、異なる撮影フレームレートの動画データに動画データが切り替わる直前直後を再生する場合であっても、音声データの整合性を保つこともできる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。すなわち、以下に示すような、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

本実施形態において、動画撮影中にフレームレートを変更可能な動画撮影モードとして、フレームレート３０ｆｐｓ−１２０ｆｐｓの間で変更可能とした例について説明したが、本発明はこれに限らず、さらに高フレームレートに変更可能な動画撮影モードにも適用することもでき、さらに、撮影又は再生フレームレートとして３０ｆｐｓ、１２０ｆｐｓ以外のフレームレートを用いてもよい。また、動画撮影中にフレームレートを変更しない場合であっても、高フレームレートで撮影する場合には、本実施形態のように実音声とダミー音声の音声データを付加するようにしてもよい。

なお、本実施形態では、動画撮影処理のステップＳ１０１において、撮影部２から出力された動画データを動画一時メモリ５に逐次記憶して、音声入出力部４で集音された音声データを音声一時メモリ６に逐次記憶して、動画データに音声データを付加するものとして説明したが、本発明はこれに限定されない。

例えば、撮影部２によって撮影された動画データ以外の動画データに対して同様の処理を行ってもよいし、あるいは、音声入出力部４で集音された音声データ以外の音声データに対して同様の処理を行ってもよい。具体的には、処理する対象の動画データ又は音声データを、図示せぬ、通信部を制御して、無線通信ネットワークを介して入手してもよく、メモリカード７などのリムーバブル記録媒体を介して入手してもよい。

さらに、ステップＳ２０２において、制御部１４は、記録／再生データ作成部３を制御して、メモリカード７に記憶された動画ファイルを再生する。即ち、制御部１４は動画とともに実音声を再生する。具体的には、図４（Ｂ）に示すように、制御部１４は、記録／再生データ作成部３を制御して、インデックス部１０３を編集して、結果として、再生する画像フレームを四分の一に間引き、実音声データを再生するようにするものとして説明したが、本発明はこれに限定されない。例えば、制御部１４は、記録／再生データ作成部３を制御して、データ部１０２を編集して、再生する画像フレームＶを四分の一に削減し、さらにダミー音声データＡＤを削除し、四分の一に間引かれた画像データＶと実音声データＡＲを再生するようにしてもよい。

本発明は、デジタルビデオカメラ又はデジタルカメラに限らず、動画の撮影及び再生機能を備えた電子機器一般に適用することができる。具体的には例えば、デジタルスチルカメラやカメラ付き携帯電話機、ビデオカメラ、ポータブルゲーム機等にも適用することができる。また、撮影された動画の再生のみが可能な他の装置、例えば一般的な構成を備えた汎用のパーソナルコンピュータについても、本発明に係わる撮影プログラムを搭載することにより適用可能である。

上述した制御部１４の機能の一部又はすべてについて、制御部１４と並列に動作する他の制御部を、本発明に係わる撮影プログラムに従って動作させることにより実現するようにしてもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるメモリカードなどのリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１の制御部１４が有する図示しないＲＯＭ、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

１ 光学系
２ 撮影部
３ 記録／再生データ作成部
４ 音声入出力部
５ 動画一時メモリ
６ 音声一時メモリ
７ メモリカード
８ 液晶表示装置
９ 撮影開始／停止ボタン
１０ フレームレート切替えボタン
１１ 再生ボタン
１２ 再生モード変更ボタン（再生モード決定部）
１３ 各種操作部
１４ 制御部 （音声データ付加手段、再生情報付加手段、音声データ特定手段）
１００ デジタルカメラ

Claims (10)

1. 撮影により連続した複数の画像フレームからなる動画データを得る撮影手段と、
   前記撮影手段によって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加手段と、
   を備え、
   前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
   前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とする動画処理装置。
2. 前記音声データ付加手段は、所定の撮影フレームレートよりも高いフレームレートで撮影された動画データのみに対して、前記２種類以上の音声データを付加することを特徴とする請求項１記載の動画処理装置。
3. 前記撮影手段による撮影中に音声を集音する集音手段をさらに備え、
   前記音声データ付加手段は、前記所定の撮影フレームレートよりも高いフレームレートで撮影された動画データのみに対して、前記２種類以上の音声データとして、前記集音手段により集音された実音声データと、前記実音声データの代わりとなる疑似音声データとを付加し、
   前記第１の再生モード及び前記第２の再生モードでは、前記所定の撮影フレームレートと同じフレームレートで前記動画データが再生されることを特徴とする請求項２記載の動画処理装置。
4. 撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置であって、
   再生モードを決定する決定手段と、
   前記決定手段によって決定された前記再生モードに対応する音声データを特定する音声データ特定手段と、
   前記決定手段によって決定された前記再生モードに従って、前記動画データを前記音声データ特定手段によって特定された音声データとともに再生する動画再生手段と、
   を備えることを特徴とする動画再生装置。
5. 前記再生モードは、前記動画データの画像フレームを間引いて再生する第１の再生モードと、前記動画データの画像フレームを間引かずに再生する第２の再生モードを含み、
   前記音声データは、前記撮影の最中に集音した実音声データと、前記実音声データの代わりとなる擬似音声データとを含み、
   前記音声データ特定手段は、前記決定手段によって前記第１の再生モードに決定された場合は前記実音声データを特定し、前記決定手段によって前記第２の再生モードに決定された場合は前記擬似音声データを特定することを特徴とする請求項４記載の動画再生装置。
6. 前記動画データは、前記撮影の最中に撮影フレームレートが切り替えられた動画データであり、所定の撮影フレームレートよりも高いフレームレートに切り替えて撮影された期間の動画データのみに対して、前記２種類以上の音声データが付加されており、
   前記動画再生手段は、前記所定の撮影フレームレートと同じフレームレートで前記動画データを再生することを特徴とする請求項４または５に記載の動画再生装置。
7. 撮影により連続した複数の画像フレームからなる動画データを得る撮影ステップと、
   前記撮影ステップによって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加ステップと、
   を含む動画処理方法であって、
   前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
   前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とする動画処理方法。
8. 撮影により連続した複数の画像フレームからなる動画の動画データを得る撮影手段を備えた動画処理装置が備えるコンピュータを、
   前記撮影手段によって得られた前記動画データに対して、少なくとも２種類以上の再生モードにそれぞれ対応する音声データを付加する音声データ付加手段、
   として機能させることを特徴とするプログラムであって、
   前記再生モードは、前記画像フレームを間引いて再生する第１の再生モードと、前記画像フレームを間引かずに再生する第２の再生モードとを含み、
   前記音声データは、前記再生モードに基づいて再生される前記動画データと併せて再生されるものであることを特徴とするプログラム。
9. 撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置の動画再生方法であって、
   再生モードを決定する決定ステップと、
   前記決定ステップによって決定された前記再生モードに対応する音声データを特定する音声データ特定ステップと、
   前記決定ステップによって決定された前記再生モードに従って、前記動画データを前記音声データ特定ステップによって特定された音声データとともに再生する動画再生ステップと、
   を含むことを特徴とする動画再生方法。
10. 撮影により得られた連続した複数の画像フレームからなる動画データと、前記動画データを少なくとも２種類以上の異なる態様で再生する再生モードにそれぞれ対応する音声データとを含む動画ファイルを再生する動画再生装置が備えるコンピュータを、
    再生モードを決定する決定手段、
    前記決定手段によって決定された前記再生モードに対応する音声データを特定する音声データ特定手段、
    前記決定手段によって決定された前記再生モードに従って、前記動画データを前記音声データ特定手段によって特定された音声データとともに再生する動画再生手段、
    として機能させることを特徴とするプログラム。

Images