JP4985766B2 - 動画記録方法および情報処理装置 - Google Patents

Description

本発明は動画記録方法および情報処理装置に関する。

カメラによる撮影およびマイクを介した録音によって得た動画情報をデジタル化して記録する場合の記録フォーマットとして例えばＭＰ４がある。

ＭＰ４によれば映像および音声のデジタル化データが時刻順に記録されるとともに、対応する時間情報が同じく時刻順に記録される。

ここで時間情報とは、記録された映像情報および音声情報がそれぞれ記録された時刻を示す時刻情報、およびその時刻に記録された情報のデータサイズを示す情報とよりなる。

このようなフォーマットにしたがってデジタル化して動画を記録する場合、カメラからの映像入力を所定の時間の経過ごとに区切り、その時間間隔ごとに、対応する時間情報を伴う映像データとして得る。又マイクからの音声入力を所定の時間の経過ごとに区切り、その時間間隔ごとに、対応する時間情報を伴う音声データとして得る。

これらは一旦映像バッファ部および音声バッファ部にそれぞれ格納され，その後これらが読み出され、時間同期処理およびフォーマット変換処理を介して上記ＭＰ４のフォーマットによる１つの映像／音声／時間ファイルとして記録される。

この映像／音声／時間ファイルから動画を再生する場合、時間の経過に伴って、まず時刻ごとの時間情報に含まれる映像データ、音声データのデータサイズの情報が、動画再生の際の制御情報として読み取られる。そしてこのように読み出された制御情報にしたがって、指定されたデータサイズ分、映像データおよび音声データがそれぞれ順次読み出され再生される。その結果当初撮影および録音により同時刻に取得された動画の映像データと音声データとが同期して順次再生される。

しかしながら上記時間同期処理およびフォーマット変換処理は一定の処理時間を要する。このため高速且つ高品質の映像入力或いは音声入力を処理するような場合、上記同期処理およびフォーマット変換処理が追いつかず、結果的に許容処理量を超える入力データを破棄せざるを得ない状況が想定される。

特に携帯電話機等の小型軽量化が要求される情報処理装置においてはデータ処理能力を高めることに限界があるため、このような状況が生ずる可能性が高いと考えられる。
特開平７−９５５２２号公報

本発明はこのような状況に鑑みてなされたものであり、たとえデータ処理量が多いような場合でも入力データを破棄する必要が無く確実に動画を記録可能な動画記録方法および同方法を実行する情報処理装置を提供することを目的とする。

この目的の達成のため本発明では、それぞれが撮影および録音により得られた映像情報および音声情報をそれぞれデジタル化し、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを得、前記時間情報を伴うデジタル化映像データを一旦その時間情報とデジタル化映像データとに分けて格納し、前記時間情報を伴うデジタル化音声データを一旦その時間情報とデジタル化音声データとに分けて格納し、このようにそれぞれに分けて格納された時間情報およびデジタル化映像データと、それぞれに分けて格納された時間情報およびデジタル化音声データとを互いに同期をとりながら組み合わせ、所定のフォーマットで格納するようにした。

本発明によればデータ処理量が多い場合でも入力データを破棄することなく確実に記録を行うことが可能な構成を提供し得る。

本発明の実施例による動画記録方法を実施する情報処理装置の機能ブロック図である。 本発明の実施例による動画記録方法による処理の流れを説明するための図（その１）である。 本発明の実施例による動画記録方法による処理の流れを説明するための図（その２）である。 本発明の実施例による動画記録方法による処理の流れを説明するための図（その３）である。 本発明の実施例による動画記録方法において、個別に記録されたデジタル化映像データおよびこれに対応する時間情報並びにデジタル化音声データおよびこれに対応する時間情報が、時間同期処理およびフォーマット変換処理によって合成され１つの映像／音声／時間ファイルとして記録される様子を示す図である。 本発明の実施例による動画記録方法においてデジタル化映像データおよびこれに対応する時間情報が個別に記録された状態を示す図である。 本発明の実施例による動画記録方法においてデジタル化音声データおよびこれに対応する時間情報が個別に記録された状態を示す図である。 本発明の実施例による動画記録方法における時間同期処理の流れを説明するための動作フローチャートである。 図１に示された情報処理装置におけるモード遷移に係る動作の流れを説明するための動作フローチャートである。： 図１に示された情報処理装置におけるモード遷移について説明するため図である。 図１に示された情報処理装置の低負荷モード時の動作を説明するための図である。 図１に示された情報処理装置の高負荷モード時の動作を説明するための図である。 図１に示された情報処理装置の復帰モード時の動作を説明するための図である。 図１に示された情報処理装置における処理負荷の変化に伴うモード遷移について説明するためのグラフである。 図１に示された情報処理装置をコンピュータで実現する場合における当該コンピュータのハードウェアブロック図である。

符号の説明

１１ カメラ
１２ 映像デジタル化部
１３ 映像バッファ部
１４ 映像一時バッファ部
１４ａ 映像用時間情報ファイル
１４ｂ 映像データファイル
２１ マイク
２２ 音声デジタル化部
２３ 音声バッファ部
２４ 音声一時バッファ部
２４ａ 音声用時間情報ファイル
２４ｂ 音声データファイル
２５ 合成部
２６ 映像／音声／時間ファイル
２６Ａ 映像／音声／時間ファイル格納部

以下に図とともに本発明の実施例につき詳細に説明する。

図１は上記本発明の実施例による動画記録方法を実行する構成を有する情報処理装置、例えば携帯電話機の機能ブロック図である。

同情報処理装置は映像入力装置としてのカメラ１１と、音声入力装置としてのマイク２１と、カメラ１１から出力された映像情報をデジタル化する映像デジタル化部１２と、マイク２１から出力された音声情報をデジタル化する音声デジタル化部２２と、映像バッファ部１３と、音声バッファ部２３と、映像用時間情報ファイル１４ａおよび映像データファイル１４ｂを格納する映像一時バッファ部１４と、音声用時間情報ファイル２４ａおよび音声データファイル２４ｂを格納する音声一時バッファ部２４と、時間同期処理部１５およびフォーマット変換処理部１６を含む（図２Ａ，２Ｃ参照）合成部２５と、映像／音声／時間ファイル２６を格納する映像／音声／時間ファイル格納部２６Ａとを有する。

映像デジタル化部１２および音声デジタル化部２２は、カメラ１１による撮影およびマイク２１を介した録音によって得た動画情報を例えばデジタル化して出力する。

映像バッファ部１３および音声バッファ部２３は映像デジタル化部１２および音声デジタル化部２２から出力されたデジタル化映像データおよびデジタル化音声データをそれぞれ格納する。

合成部２５は映像バッファ部１３および音声バッファ部２３からデジタル化映像データおよびデジタル化音声データを読み出し、これらに対し時間同期処理部１５にて時間同期処理を行いデータフォーマット処理部１６にてデータフォーマット処理を行うことにより、映像／音声／時間ファイル２６を生成し、これを記録媒体である映像／音声／時間ファイル格納部２６Ａに格納する。

映像一時バッファ部１４および音声一時バッファ部２４は、後述する高負荷モード時にデジタル化映像データおよびデジタル化音声データを一時的に格納する。

図２Ａは図１とともに上述した情報処理部において、後述する低負荷モード時における動作を説明するための図である。

本発明の実施例によれば、図２Ａに示す如く、カメラ１１からの映像入力を所定の時間の経過ごとに区切り、その時間間隔ごとに、対応する時間情報を伴う映像データとして得る。又マイク２１からの音声入力を所定の時間の経過ごとに区切り、その時間間隔ごとに、対応する時間情報を伴う音声データとして得る。そしてこれらが一旦映像バッファ部１３および音声バッファ部２３にそれぞれ格納され，その後これらが読み出され、合成部２５の時間同期処理部１５およびフォーマット変換処理部１６を介して上記ＭＰ４のフォーマットによる１つの映像／音声／時間ファイル２６として記録される。

この映像／音声／時間ファイル２６は図３の右側に示されるデータ構造を有し、動画を再生する場合、時間の経過に伴って、まず上段の時間情報部２６ａに格納された時刻ごとの時間情報、すなわち映像データ、音声データの時刻情報およびデータサイズの情報が、動画再生の際の制御情報として読み取られる。そしてこのように読み出された制御情報にしたがって、指定されたサイズ分、下段の映像／音声データ部２６ｂの映像データおよび音声データがそれぞれ順次読み出され再生される。その結果当初撮影および録音により同時刻に取得された動画の映像データと音声データとが同期して順次再生される。

しかしながら上記時間同期処理部１５およびフォーマット変換処理部１６によるそれぞれの時間同期処理およびフォーマット変換処理には一定の処理時間を要する。このため高速且つ高品質の映像入力或いは音声入力を処理するような場合、上記同期処理１５およびフォーマット変換処理部１６による処理が追いつかず、結果的に許容処理量を超える入力データを破棄せざるを得ない状況が想定される。

特に携帯電話機等の小型軽量化が要求される情報処理装置においてはデータ処理能力を高めることに限界があるため、このような状況が生ずる可能性が高いと考えられる。

そこで本発明の実施例では高負荷モード時、図２Ｂに示す如く、撮影および録音によって得られた映像情報および音声情報がデジタル化された後、上記時間同期処理部１５およびデータフォーマット部１６による処理を行うことなく、それぞれ時間情報（１４ａ）とデジタル化映像データ（１４ｂ）とに分離して映像一時バッファ部１４に記録され、同様に時間情報（２４ａ）とデジタル化音声データ（２４ｂ）とに分離して音声一時バッファ部２４に記録される。

ここでの処理は時間同期処理およびデータフォーマット処理を含まず、単にデジタル化データを時間情報と映像データ又は音声データとに分離してそのまま記録するだけの処理であるためデータ処理量が少なくてすむ。したがって入力データを破棄する必要が無く確実に記録することが可能となる。

そして後述する復帰モードにおいて図２Ｃに示される如く、このようにして個別に記録されたデジタル化映像情報１４ｂおよびこれに対応する時間情報１４ａ、並びにデジタル化音声情報２４ｂおよびこれに対応する時間情報２４ａを順次時刻順に読み出して時間同期処理部１５およびフォーマット変換処理部１６による処理を実行する。その結果図３の右側に示す如くのデータ構造の映像／音声／時間ファイル２６が得られる。

本発明の実施例ではこのように、動画記録において、高負荷モード時にデジタル化映像データ、デジタル化音声データおよびそれらの時間情報を分離してそれぞれ個別に一時的に保存し、このように一時的に保存されたデータを読み出して時系列に並べ直し、所定のフォーマットにフォーマット変換する。この構成によれば従来技術では高負荷時に許容処理量を超えて入力データを破棄するような場合でも、入力データを破棄することなく確実に保存することが可能となる。

すなわち従来技術では例えば携帯電話機でカメラとマイクを使って動画を記録するような場合、映像と音声との同期再生を実現するためデジタル化映像データ、デジタル化音声データおよびそれぞれの時間情報を一つのファイルとして所定のフォーマット（たとえばＭＰ４のフォーマット）に変換して記録していた。

このようは従来技術の場合、携帯電話機のように比較的処理能力が低い情報処理装置では高品質の映像を大量に処理する場合上記時間同期処理およびフォーマット変換処理に時間を要し、その結果入力データの処理が追いつかず、もってオーバーフローするデータを破棄せざるを得ない状況が想定された。

本発明の実施例ではこのような状況に鑑み、図２Ａに示す如く、低負荷モード時の動画記録の際は上述の従来技術同様、カメラ１１から出力された映像情報とマイク２１から出力された音声情報とを映像デジタル化部１２および音声デジタル化部２２でデジタル化した後、映像バッファ部１３又は音声バッファ部２３の格納率が８０％を超えていないと判定され，現在のデータ保存先が映像一時バッファ部１４および音声一時バッファ部２４でない場合には、デジタル化映像データ／音声データをそれぞれ映像データを一時格納する映像バッファ部１３および音声データを一時格納する音声バッファ部２３でバッファリングする。そしてこのように映像バッファ部１３および音声バッファ部２３に格納されたデジタル化映像データ、デジタル化音声データおよびそれぞれの時間情報を一定のフォーマット（ＭＰ４フォーマット等）に変換して１つの映像／音声／時間ファイル２６として映像／音声／時間ファイブ格納部２６Ａに保存する。

ここで上記低負荷モードは、カメラ１１およびマイク２１並びにそれぞれ映像デジタル化部１２および音声デジタル化部２２を介して入力される映像情報および音声情報のデータ量が、合成部２５による同期処理およびフォーマット変換処理能力を超え結果的に入力データを破棄せざるを得ない状況に陥る程度には至っていない状態、すなわち低負荷時のためのモードである。

そしてカメラ１１から出力されるデジタル化映像データ或いはマイク２１から出力されるデジタル化音声データの単位時間当たりのデータ量、すなわちフレームレート、ビットレート等が一定値を超えた場合、当該情報処理装置は上記高負荷モードに移行する。

ここで、カメラ１１から出力されるデジタル化映像データ、或いはマイク２１から出力されるデジタル化音声データの単位時間当たりのデータ量が一定値を超えたことを検出する方法として、映像バッファ部１３或いは音声バッファ部２３に格納されたデータ量で判別する方法が考えられる。例えば、上記映像バッファ部１３或いは音声バッファ部２３を構成するバッファメモリの格納データ量がその格納容量の８０％に達した場合に、カメラ１１から出力されるデジタル化映像データ、或いはマイク２１から出力されるデジタル化音声データの単位時間当たりのデータ量が一定値を超えたものと判断することができる。

この高負荷モードにおける動画記録は図２Ｂに示す如く、カメラ１１から出力された映像情報およびマイク２１から出力された音声情報をそれぞれの映像デジタル化部１２および音声デジタル化部２２にてデジタル化した後にそれぞれ映像一時バッファ１４および音声一時バッファ部２４に個別に保存する。すなわち上記映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａおよび音声データファイル２４ｂとして個別に記録する。

これら映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａおよび音声データファイル２４ｂについて以下に説明する。

映像用時間情報ファイル１４ａには映像データが記録された時刻およびその時刻に記録された映像データのデータサイズが格納され、映像データファイル１４ｂにはその映像データ自体が格納される。又音声用時間情報ファイル２４ａには音声データが記録された時刻およびその時刻に記録された音声データのデータサイズが格納され、音声データファイル２４ｂにはその音声データ自体が格納される。

ここで、カメラ１１から出力された映像情報およびマイク２１から出力された音声情報がそれぞれデジタル化されたデジタル化映像データおよびデジタル化音声データには、所定の時間間隔のデータ単位で、それぞれの時間情報、すなわちその情報が記録された時刻を示す情報、すなわち時刻情報およびそのデータサイズを示す情報が付与される。

本発明の実施例では上記高負荷モード時、前記デジタル化映像データからその時間情報を分離し、図４Ａに示すごとく、デジタル化映像データとこれに対応する時間情報とを、それぞれ個別に時刻順（すなわち時刻０，１，２，...，Ｎ）に映像データファイル１４ｂおよび映像用時間情報ファイル１４ａとして一時バッファ１４に記録する。

同様に前記所定の時間間隔ごとのデジタル化音声データからその時間情報を分離し、デジタル化音声データとこれに対応する時間情報とを、図４Ｂに示す如く、それぞれ個別に時刻順（すなわち時刻０，１，２，...，Ｎ）に一時バッファ２４に記録する（音声データファイル２４ｂおよび音声用時間情報ファイル２４ａ）。

又この高負荷モード時、上記の如く入力データを映像一時バッファ部１４および音声一時バッファ部２４に記録する間、図２Ａとともに上述の如く、映像バッファ部１３および音声バッファ部２３からは順次格納データが読み出され、時間同期処理部１５およびフォーマット変換処理部１６による処理が実行され、映像／音声／時間ファイル２６として記録されてゆく。

そしてこのように映像バッファ部１３および音声バッファ部２３から格納データが読み出され時間同期処理およびフォーマット変換処理がなされた結果として、上記の如く一旦その格納容量の８０％を超えたバッファメモリの格納データ量が一定値未満に減ったことが検出された場合、復帰モードに移行する。

ここで復帰モードとは、上記の高負荷モードにて映像一時バッファ部１４および音声一時バッファ部２４に格納されたデジタル化映像／音声データに対し合成部２５の時間同期処理部１５およびフォーマット変換処理１６による処理を行って映像／音声／時間ファイル２６として映像／音声／時間ファイル格納部２６Ａに格納することによって映像一時バッファ部１４および音声一時バッファ部２４の格納データを処理するモードをいう。

ここで上記映像バッファ部１３および音声バッファ部２３の格納データ量が一定値未満に減ったことが検出された場合とは、具体的に、たとえば映像バッファ部１３および音声バッファ部２３を構成する各バッファメモリの格納データ量がその格納容量の８０％未満となった場合、或いは映像バッファ部１３および音声バッファ部２３の各々格納データが全て処理された場合等とすることが可能である。

この復帰モードでは図２Ｃに示す如く、映像データファイル１４ｂに記録されたデジタル化映像データ、映像用時間情報ファイル１４ａに記録された上記デジタル化映像データに対応する時間情報、音声データファイル２４ｂに記録されたデジタル化音声データおよび音声用時間情報ファイル２４ａに記録された上記デジタル化音声データに対応する時間情報の時間同期処理およびフォーマット変換処理が、それぞれ時間同期処理部１５およびフォーマット変換処理部１６によって開始される。

この時間同期処理部１５およびフォーマット変換処理部１６による処理では、上記デジタル化映像データとこれに対応する時間情報とがそれぞれ個別に時刻順に記録された映像データファイル１４ｂおよび映像用時間情報ファイル１４ａ、並びにデジタル化音声データとこれに対応する時間情報とがそれぞれ個別に時刻順に記録された音声データファイル２４ｂおよび音声用時間情報ファイル２４ａを時系列に記録し直して上記映像／音声／時間ファイル２６を生成する。

この処理につき、以下図３とともに説明する。

図３は上記映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａおよび音声データファイル２４ｂのそれぞれの記録情報、並びにこれらに対し時間同期処理およびフォーマット変換処理を施すことによって得られる映像／音声／時間ファイル２６の記録情報をそれぞれ示す図である。

図３に示す如く、映像用時間情報ファイル１４ａには映像データが記録された時刻を示す時刻情報およびその時刻に記録された映像データのデータサイズが格納され、映像データファイル１４ｂには対応する映像データ自体が時刻順に格納されている。

同様に音声用時間情報ファイル２４ａには音声データが記録された時刻を示す時刻情報およびその時刻に取得された音声データのデータサイズが格納され、音声データファイル２４ｂには対応する音声データ自体が時刻順に格納される。

映像／音声／時間情報ファイル２６の前段部の時間情報部２６ａには、映像データおよび音声データが記録された時刻を示す時刻情報、その時刻に記録された映像データおよび音声データのそれぞれのデータサイズが時刻順に格納され、後段の映像／音声データ部２６ｂには、対応する映像データ自体および音声データ自体が交互に時刻順に格納される。

上記時間同期処理およびフォーマット変換処理により、図３に示す如く、それぞれ個別に時刻順（すなわち時刻０，１，２，...，Ｎ）に記録された映像データファイル１４ｂおよび映像用時間情報ファイル１４ａ、並びにそれぞれ個別に時刻順（すなわち時刻０，１，２，...，Ｎ）に記録された音声データファイル２４ｂおよび音声用時間情報ファイル２４ａのうち、映像データファイル１４ｂおよび音声データファイル２４ｂに格納された同時刻の映像データおよび音声データが、それぞれ時刻順に交互に映像／音声／時間ファイル２６の映像／音声データ部２６ｂに格納される。すなわち映像／音声／時間ファイル２６の映像／音声データ部２６ｂには、時刻０のデジタル化映像データ、時刻０のデジタル化音声データ、時刻１のデジタル化映像データ、時刻１のデジタル化音声データ、...、時刻Ｎのデジタル化映像データ、時刻Ｎのデジタル化音声データの順に記録される。

同様に映像／音声／時間ファイル２６の時間情報部２６ａには、映像用時間情報ファイル１４ａおよび音声用時間情報ファイル２４ａに格納された同時刻の時間情報が、それぞれ時刻順に交互に記録される。すなわち時刻０の時間情報としての時刻０の時刻情報、映像データのデータサイズおよび音声データのデータサイズ、時刻１の時間情報としての時刻１の時刻情報、映像データのデータサイズおよび音声データのデータサイズ、...、時刻Ｎの時間情報としての時刻Ｎの時刻情報、映像データのデータサイズおよび音声データのデータサイズの順に記録される。

このようにして生成された映像／音声／時間ファイル２６から実際に動画を再生する場合、以下の処理がなされる。

すなわち、映像／音声／時間ファイル２６の時間情報部２６ａの先頭から順次時刻ごとに時刻情報、その時刻の映像データサイズおよび音声データサイズが読み出される。そしてこれら映像データサイズおよび音声データサイズで指定されたサイズ分、映像／音声／時間ファイル２６の映像／音声データ部２６ｂから対応する時刻の映像データおよび音声データが読み出される。映像／音声データ部２６ｂにおいて時刻ごとに映像データおよび音声データが交互に時刻順に格納されているため、時間情報部２６ａに格納された各時刻の映像データサイズおよび音声データサイズにしたがって映像／音声データ部２６ｂから対応するデータ量のデータを順次読み出す動作により、対応する時刻の映像データおよび音声データが順次交互に読み出され、再生される。

このように本発明の実施例では高負荷モード時、各データ記録当初は、デジタル化映像データおよびデジタル化音声データの時間同期処理およびフォーマット変換処理を行うことなく、一旦所定時間間隔ごとのデジタル化映像データおよびデジタル化音声データの各々から時間情報を分離した後、それらをそのまま個別に記録する（映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａ，音声データファイル２４ｂ）。そして復帰モード時にこれら映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａ，音声データファイル２４ｂに対し時間同期処理およびフォーマット変換処理を行って合成し映像／音声／時間ファイル２６を生成する。すなわち入力データ量が時間同期処理およびフォーマット変換処理に係る情報処理装置の処理能力を超えるような場合には高負荷モードに移行し、入力データに対する時間同期処理およびフォーマット変換処理を後回しにしてとりあえずこれを一時的に格納する。

このため時間同期処理およびフォーマット変換処理に係る情報処理装置の処理能力を超えてオーバーフローした入力データを破棄する状況は生じず、入力データを確実に記録可能となる。

ここでこれらのデジタル化映像データおよびデジタル化音声データは、それぞれの単位時間当たりのデータ量、すなわちビットレート、フレームレート等が異なる。このため、これらが保存された映像バッファ部１３および音声バッファ部２３から一定の読み出し速度で各データを順次読み出した場合、読み出されるデータはデジタル化映像データとデジタル化音声データとの間で必ずしも同期がとれていない状態となる。したがってデジタル化映像データとデジタル化音声データとの間で同期をとる時間同期処理が必要となる。

図５は上記本発明の実施例による時間同期処理部１５による時間同期処理の動作の手順を説明するための図である。尚ここでは映像バッファ部１３および音声バッファ部２３から格納データを読み出す際の時間同期処理と、映像一時バッファ部１４および音声一時バッファ部２４から格納データを読み出す際の時間同期処理とを、順に説明する。

まず映像バッファ部１３および音声バッファ部２３から格納データを読み出す際の時間同期処理について説明する。

この場合最初にステップＳ５１にて上記映像バッファ部１３から時刻ｉ（ｉ＝０〜Ｎ）のデジタル化映像データをこれに伴っている時間情報とともに読み出す。

次にステップＳ５２にて上記音声バッファ部２３から、映像バッファ部１３から取得された映像データと同じ時刻ｉを示す時間情報を有するデジタル化音声データを検索する。

カメラ１１により得た映像情報およびマイク２１により得た音声情報はその単位時間当たりのデータ量が互いに相違し、特に映像情報に比して音声情報の方が単位時間当たりのデータ量が少ないことが多い。このため全ての時刻のデジタル化映像データに対し、対応するデジタル化音声データが全て存在するとは限らない。これは音声情報の単位時間当たりのデータ量が比較的小さい場合、デジタル化の段階でデジタル化音声データの生成頻度がデジタル化映像データの生成頻度に比して小さくなる場合があるからである。したがって、ある時刻のデジタル化映像データに対応するデジタル化音声データが存在しない場合があり、そのような場合にはステップＳ５２の判断はＮｏとなる。

ステップＳ５２の判断がＮｏの場合、ステップＳ５３にて、ステップＳ５１にて読み出したデジタル化映像データおよびその時間情報を映像／音声／時間ファイル２６に書き込む（すなわち図３の右側のデータ構造中、時刻ｉの時刻情報、映像データサイズおよび映像データ）。

ステップＳ５２で、対応する時刻ｉのデジタル化音声データが見いだされた場合（Ｙｅｓ），ステップＳ５４にて当該デジタル化音声データをこれに伴っている時間情報とともに音声バッファ部２３から読み出し、ステップＳ５５にてこれらを映像／音声／時間ファイル２６に書き込む（すなわち図３の右側のデータ構造中、時刻ｉの音声データサイズおよび音声データ）。

ステップＳ５６にて映像データファイル１４ｂの全てのデジタル化映像データが処理済みか否か（すなわちｉ＝Ｎとなったか否か）を判断する。

処理済みであれば（Ｙｅｓ）当該時間同期処理を終了する。そうでない場合（Ｎｏ），ステップＳ５７で時刻変数ｉに１を加え、ステップＳ５１に戻り、上記処理を繰り返す。このようにして映像／音声／時間ファイル２６が生成される。

次に映像一時バッファ部１４および音声一時バッファ部２４から格納データを読み出す際の時間同期処理について説明する。

この場合、ステップＳ５１にて映像一時バッファ部１４に格納された映像データファイル１４ｂから時刻ｉ（ｉ＝０〜Ｎ）のデジタル化映像データを読み出すとともに映像用時間情報ファイル１４ａから同じ時刻ｉの映像用時間情報である時刻情報および映像データサイズを読み出す。

次にステップＳ５２にて音声一時バッファ部２４に格納された音声用時間情報ファイル２４ａ或いは音声データファイル２４ｂから、同じ時刻ｉの音声用時間情報又はデジタル化音声データを検索する。

検索の結果時刻ｉの音声用時間情報又はデジタル化音声データが見いだされなかった場合（ステップＳ５２のＮｏ），ステップＳ５１にて取得されたデジタル化映像データおよび時間情報を映像／音声／時間ファイル２６に書き込む（すなわち図３の右側のデータ構造中、時刻ｉの時刻情報、映像データサイズおよび映像データ）。

検索の結果時刻ｉの音声用時間情報又はデジタル化音声データが見いだされた場合（ステップＳ５２のＹｅｓ），ステップＳ５４にて対応する音声用時間情報およびデジタル化音声データを音声一時バッファ部２４に格納された音声用時間情報ファイル２４ａおよび音声データファイル２４ｂからそれぞれ読み出し、ステップＳ５５にてこれら映像／音声／時間ファイル２６に書き込む（すなわち図３の右側のデータ構造中、時刻ｉの時刻情報、音声データサイズおよび音声データ）。

ステップＳ５６にて映像一時バッファ部１４に格納された映像用時間情報ファイル１４ａおよび映像データファイル１４ｂの全ての時間情報およびデジタル化映像データを処理済みか否か（すなわちｉ＝Ｎとなったか否か）を判断する。

処理済みであれば（Ｙｅｓ）当該時間同期処理を終了する。そうでない場合（Ｎｏ），ステップＳ５７で時刻変数ｉに１を加え、ステップＳ５１に戻り、上記処理を繰り返す。このようにして映像／音声／時間ファイル２６が生成される。

以下図１および図６〜図１１とともに、この情報処理装置における動画記録動作の流れ，特に上記低負荷モード、高負荷モードおよび復帰モードの間のモード遷移の動作について説明する。

図６はこの情報処理装置における動画記録動作の流れ，特に上記モード遷移動作に着目した動作フローチャートである。

動画記録、すなわちユーザによる撮影および録音操作が開始されると、カメラ１１およびマイク２１から映像情報および音声用時間情報が出力され、これらがそれぞれ映像デジタル化部１２および音声デジタル化部２２によりデジタル化され、それぞれが時間情報を伴うデジタル化映像データおよびデジタル化音声データが生成される。

ステップＳ２では映像バッファ部１３或いは音声バッファ部２３の格納データ量が、その格納容量の８０％を超えているか否かを判定する。

超えていなかった場合（Ｎｏ），次にステップＳ３にて現在のデジタル化映像データおよびデジタル化音声データの格納先が映像一時バッファ部１４および音声一時バッファ２４か否かを判定する。

その結果格納先が映像一時バッファ部１４および音声一時バッファ２４でない場合（Ｎｏ）、すなわち格納先が映像バッファ部１３および音声バッファ部２３であった場合、引き続き映像バッファ部１３および音声バッファ部２３にデジタル化映像データおよびデジタル化音声データを、それぞれ対応する時間情報を伴った状態で格納する（ステップＳ４）。

ステップＳ５にて映像バッファ部１３或いは音声バッファ部２３の格納データ量がその格納容量の８０％を超えたか判定する。

超えていない場合（Ｎｏ），合成部２５の時間同期処理部１５およびデータフォーマット処理部１６により、映像バッファ部１３および音声バッファ部２３に格納されている、それぞれが時間情報を伴うデジタル化映像データおよびデジタル化音声データの時間同期処理およびフォーマット変換処理が実行され、映像／音声／時間ファイル２６が生成される（ステップＳ６）。

以後、ステップＳ２或いはステップＳ５にて映像バッファ部１３或いは音声バッファ部２３の格納データ量がその格納容量の８０％を超えたと判定される迄、上記ステップＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６によるループが繰り返される。

この状態が上記低負荷モードである。

この低負荷モードでは図７および図８に示す如く、映像バッファ部１３および音声バッファ部２３に対し、それぞれが時間情報を伴うデジタル化映像データおよびデジタル化音声データがそれぞれ蓄積される。又同時に映像バッファ部１３および音声バッファ部２３に対する時間情報を伴うデジタル化映像データおよびデジタル化音声データの蓄積と並行して、映像バッファ部１３および音声バッファ部２３に格納されたデジタル化映像データおよびデジタル化音声データに対し、合成部２５の時間同期処理部１５およびフォーマット変換処理部による処理が実施され、映像／音声／時間ファイル２６が生成され、映像／音声／時間ファイル格納部２６Ａに格納される。

ここで図７は低負荷モードから高負荷モード、さらには復帰モードへとモードが遷移する際、映像デジタル化部１２および音声デジタル化部２２から出力されたデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３と映像一時バッファ部１４および音声一時バッファ部２４との間で遷移する様子を示す。又そのようにして格納されたデジタル化映像データおよびデジタル化音声データが蓄積合成部２５にて処理される際の処理対象のデータの格納場所が、映像バッファ部１３および音声バッファ部２３と映像一時バッファ部１４および音声一時バッファ部２４との間で遷移する様子を示す。

又図８は低負荷モードにおける、図１とともに上述した情報処理装置の動作を説明するための図である。

この間図１１の時間ｔ１〜ｔ４の如く、処理負荷、すなわち映像デジタル化部１２および音声デジタル化部２２から供給されるデジタル化映像データおよびデジタル化音声データの単位時間当たりのデータ量が漸増した場合、合成部２５の時間同期処理部１５およびフォーマット変換処理部１６による処理が追いつかなくなり、その結果映像バッファ部１３および音声バッファ部２３の格納データ量が漸増する。

ここで図９は高負荷モードにおける図１に示された情報処理装置における動作を説明するための図であり、図１１は図１に示された情報処理装置における処理負荷の変化に伴う低負荷モード、高負荷モードおよび復帰モード間のモード遷移について説明するための図である。

そして映像バッファ部１３或いは音声バッファ部２３の格納データ量がその格納容量の８０％を超えると（図１１中、時間ｔ４）、図６のステップＳ２がＹｅｓとなり、ステップＳ８にてデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３から、映像一時バッファ部１４および音声一時バッファ２４に切り替えられる。

或いはこれとは別の動作の流れとして、図６のステップＳ５がＹｅｓとなり、ステップＳ７にてデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３から、映像一時バッファ部１４および音声一時バッファ２４に切り替えられるとともに、ステップＳ６にて、既に映像バッファ部１３および音声バッファ部２３に記録されている、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データの時間同期処理およびフォーマット変換処理が、引き続き合成部２５の時間同期処理部１５およびデータフォーマット処理部１６により実行される。

すなわち当該情報処理装置は、図６のステップＳ２或いはＳ５にてＹｅｓと判定された場合に、上記高負荷モードに移行する。

この高負荷モードでは、図７および図９に示す如く、映像デジタル化部１２および音声デジタル化部２２から供給される、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データは一旦映像一時バッファ部１４および音声一時バッファ２４に格納される。

その際は上記の如く、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データから、それぞれ時間情報が分離され、映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａ，音声データファイル２４ｂとして個別に記録される（図２Ｂ，図４Ａ，４Ｂ参照）。

その間これと並列して、既に映像バッファ部１３および音声バッファ部２３に格納されている、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データに対し、引き続き合成部２５により時間同期処理およびフォーマット変換処理が実行される。

このようにしてデジタル化映像データおよびデジタル化音声データ並びにそれぞれに対応する時間情報は、上記の低負荷モードの場合と同様に、映像／音声／時間ファイル２６として映像／音声／時間ファイル格納部２６Ａに保存される。

このように高負荷モードでは図７，図９に示される如く、デジタル化映像データおよびデジタル化音声データの格納先が映像バッファ部１３および音声バッファ部２３から映像一時バッファ部１４および音声一時バッファ部２４にそれぞれ切り替わるため、映像バッファ部１３および音声バッファ部２３の格納データはそれ以降増加することが無く、合成部２５による処理によって映像バッファ部１３および音声バッファ部２３に格納されたデータが次第に減らされる（図１１中、時間ｔ４〜ｔ７）。

図６の説明に戻り、上記の如くステップＳ２がＹｅｓとなりステップＳ８にてデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３から、映像一時バッファ部１４および音声一時バッファ２４に切り替えられた場合、次にステップＳ９にて、映像バッファ部１３および音声バッファ部２３の格納データが全て処理済みか否かが判定される。

上記の如く高負荷モードではデジタル化映像データおよびデジタル化音声データ並びにそれらの対応する時間情報が映像一時バッファ部１４および音声一時バッファ部２４に格納されるのと並行して、既に映像バッファ部１３および音声バッファ部２３に格納済みの、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データの時間同期処理およびフォーマット変換処理が合成部２５によって実行される。このように映像バッファ部１３および音声バッファ部２３の格納データが順次処理されてゆくことにより、図１１の時間ｔ４〜ｔ７に示される如く、これら映像バッファ部１３および音声バッファ部２３の格納データ量（すなわちバッファ使用率）は漸減する。その結果映像バッファ部１３および音声バッファ部２３の格納データ量が全て処理済みとなった場合ステップＳ９の判定結果がＹｅｓとなる。

なおここで、ステップＳ９の判定基準は上記の如く「映像バッファ部１３および音声バッファ部２３の格納データ量が全て処理済みとなった場合」に限られず、「映像バッファ部１３および音声バッファ部２３の各々の格納データ量が所定の閾値（例えば各々の格納容量の８０％）まで減った場合」とすることも可能である。

ステップＳ９の判定結果がＮｏの場合、すなわち未だ映像バッファ部１３および音声バッファ部２３に格納データが残存している場合、ステップＳ１に戻り、以降ステップＳ９の判定結果がＹｅｓに切り替わるまで、ステップＳ１，Ｓ２，Ｓ８，Ｓ９のループが繰り返される。

又上記高負荷モードに移行する上記別の動作の流れとして、上記低負荷モードにおいて上記の如くステップＳ５がＹｅｓとなりステップＳ７にてデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３から、映像一時バッファ部１４および音声一時バッファ２４に切り替えられるとともに、ステップＳ６にて既に映像バッファ部１３および音声バッファ部２３に記録されている、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データの時間同期処理およびフォーマット変換処理が引き続き合成部２５により実行される。

この場合、ステップＳ１に戻り、上記の場合同様に次のステップＳ２の判定がＹｅｓとなりステップＳ８にてデジタル化映像データおよびデジタル化音声データの格納先が、映像バッファ部１３および音声バッファ部２３から、映像一時バッファ部１４および音声一時バッファ２４に切り替えられる。それ以降の処理は上記の場合と同様であり、以降、ステップＳ９の判定結果がＹｅｓに切り替わるまで、ステップＳ１，Ｓ２，Ｓ８，Ｓ９のループが繰り返される。

他方ステップＳ９の判定がＹｅｓとなった場合、すなわち映像バッファ部１３および音声バッファ部２３の格納データが全て合成部２５により処理された場合、すなわち図１１の時間ｔ８の状態となった場合、ステップＳ１０にて映像デジタル化部１２および音声デジタル化部２２から出力された、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データは、それぞれの時間情報を伴った状態のまま映像バッファ部１３および音声バッファ部２３に格納される状態となる。

更にステップＳ１１にて、上記の如く映像一時バッファ部１４および音声一時バッファ部２４に個々に蓄積された映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａ，音声データファイル２４ｂの時間同期処理およびフォーマット変換処理が合成部２５により実行される状態となる。

この状態が図２Ｃとともに上述の復帰モードである。

図１０はこの復帰モードにおけるデータの処理の流れを示す。

この復帰モードでは上記の低負荷モードの場合同様に、映像デジタル化部１２および音声デジタル化部２２から出力された、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データがそれぞれの時間情報を伴った状態のまま映像バッファ部１３および音声バッファ部２３に格納され、これと並行して映像一時バッファ部１４および音声一時バッファ部２４に個々に蓄積された映像用時間情報ファイル１４ａ、映像データファイル１４ｂ、音声用時間情報ファイル２４ａ，音声データファイル２４ｂの時間同期処理およびフォーマット変換処理が合成部２５により実行される（図７参照）。

この復帰モードでは映像デジタル化部１２および音声デジタル化部２２から出力されたデジタル化映像データおよびデジタル化音声データの格納先が映像バッファ部１３および音声バッファ部２３に切り替わるため、図１１の時間ｔ８，ｔ９に示す如く、映像一時バッファ部１４および音声一時バッファ部２４の格納データ量は、合成部２５による映像一時バッファ部１４および音声一時バッファ部２４の格納データの処理により漸減する。

その間映像バッファ部１３および音声バッファ部２３の格納データ量は、上記の如く映像デジタル化部１２および音声デジタル化部２２から出力される、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データが記録されることにより漸増する。

図６の説明に戻り、ステップＳ１２にて、映像一時バッファ部１４および音声一時バッファ部２４の格納データが全て合成部２５により処理されたか否かが判定される。

上記の如く映像一時バッファ部１４および音声一時バッファ部２４の格納データ量は合成部２５による映像一時バッファ部１４および音声一時バッファ部２４の格納データの処理により漸減し、その結果映像一時バッファ部１４および音声一時バッファ部２４の格納データ量がゼロになるとステップＳ１２の判定結果がＹｅｓとなる。

なおここで、ステップＳ１２の判定基準は上記の如く「映像一時バッファ部１４および音声一時バッファ部２４の格納データ量がゼロとなる」場合に限られず、「映像一時バッファ部１４および音声一時バッファ部２４の格納データ量が所定の閾値（例えば各々の格納容量の８０％）まで減った場合」等とすることも可能である。

このように映像一時バッファ部１４および音声一時バッファ部２４の格納データ量がゼロとなりステップＳ１２の判定結果がＹｅｓとなるまで、ステップＳ１１，Ｓ１２のループが繰り返され、復帰モードが維持される。

映像一時バッファ部１４および音声一時バッファ部２４の格納データ量がゼロとなりステップＳ１２の判定結果がＹｅｓとなるとステップＳ６に移行し、図７に示す如く、合成部２５による時間同期処理およびフォーマット変換処理の処理対象が、上記の如く既に映像バッファ部１３および音声バッファ部２３に格納された、各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データに切り替えられる。

その結果、図８とともに上述の低負荷モードに戻る。

ここで図１１に示す如く、時間ｔ１〜ｔ９の高負荷モードおよびそれに続く復帰モードの間に処理負荷、すなわち映像デジタル化部１２および音声デジタル化部２２から出力される単位時間当たりのデータ量が減少した場合、上記の如く図８に示される低負荷モードに戻った後、再び処理負荷が増加することによってステップＳ２又はステップＳ５の判定結果がＹｅｓとなる迄上述の如く低負荷モードが維持される。

他方時間ｔ１〜ｔ９の高負荷モードおよびそれに続く復帰モードの間に処理負荷、すなわち映像デジタル化部１２および音声デジタル化部２２から出力される単位時間当たりのデータ量が減少せずに高水準が維持された場合、上記の如く図８に示される低負荷モードに戻った後、合成部２５による映像バッファ部１３および音声バッファ部２３の格納データ量の処理が追いつかないことによって映像バッファ部１３および音声バッファ部２３の格納データ量が８０％を超えてステップＳ２又はステップＳ５の判定結果がＹｅｓとなり、図９の高負荷モードに切り替わり、その後処理負荷が低減するまで、図７に示す如く、高負荷モード→復帰モード→低負荷モード→高負荷モード→...のループが繰り返される。

このような本発明の実施例によれば、以下の効果が得られる。

すなわち映像、音声および時間情報を記録する際、デジタル化映像データおよびデジタル化音声データを同時に一つのファイルに記録する際、同じ時刻のデジタル化映像データおよびデジタル化音声データを検索することにより両者間の同期をとる時間同期処理およびフォーマット変換処理を行って記録する必要がある。この場合、記録する映像や音声の品質の向上にしたがい、上記時間同期処理およびフォーマット変換処理に時間が要され、処理能力に限界が生じる場合が想定された。

本発明の実施例によれば高負荷時にはデジタル化映像データおよびデジタル化音声データをそれぞれ個別に異なるファイルへ格納するとともに、その時間情報も別のファイルに格納するようにした。すなわちデジタル化映像データとデジタル化音声データとの間の同期をとる時間同期処理を経ずに逐次記録していくようにした。

その結果記録する映像、音声の品質が向上したような場合であっても、時間同期処理に係る装置の処理能力によらず、入力データを確実に記録することが可能となる。

又本発明の実施例では、このように高負荷時に個別に記録したデジタル化映像データおよびデジタル化音声データをその後読み出して時間同期処理およびフォーマット変換処理を実行する。その結果決められたフォーマットの映像／音声／時間ファイルを記録媒体に保存することが可能となる。

図１２は上述の本発明の実施例における情報処理装置をコンピュータで実現する場合について説明するための、コンピュータの構成例を示すブロック図である。

図１２に示すごとく、同コンピュータ５００は、与えられたプログラムを構成する命令を実行することによって様々な動作を実行するためのＣＰＵ５０１と、キーボード、マウス等よりなりユーザが操作内容又はデータを入力するための操作部５０２と、ユーザにＣＰＵ１０１による処理経過、処理結果等を表示するＣＲＴ、液晶表示器等よりなる表示部５０３と、ＲＯＭ、ＲＡＭ等よりなりＣＰＵ５０４が実行するプログラム、データ等を記憶したり作業領域として使用されるメモリ５０４と，プログラム、データ等を格納するハードディスク装置５０５と、ＣＤ−ＲＯＭ５０７を媒介として外部からプログラムをロードしたりデータをロードするためのＣＤ−ＲＯＭドライブ５０６と、インターネット、ＬＡＮ等の通信網５０９を介して外部サーバからプログラムをダウンロード等するためのモデム５０８とを有する。

更にこのコンピュータ５００は、前記カメラ１１およびマイク１２並びにそれぞれから出力された映像情報および音声情報をデジタル化してデジタル化映像データおよびデジタル化音声データを生成する映像デジタル化部１２および音声デジタル化部２２を有する。

同コンピュータ５００はＣＤ−ＲＯＭ５０７を媒介として、あるいは通信ネットワーク５０９を媒介として、上述の本発明の実施例による情報処理装置が実行する処理をＣＰＵ５０１に実行させるための命令よりなるプログラムをロードあるいはダウンロードする。そしてこれをハードディスク装置５０５にインストールし、適宜メモリ５０４にロードしてＣＰＵ５０１が実行する。その結果、同コンピュータ５００により本発明の実施例による情報処理装置が実現される。

Claims (10)

1. 撮影により得られた映像情報および録音により得られた音声情報をそれぞれデジタル化し、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを得るデジタル化段階と、
   前記時間情報を伴うデジタル化映像データを、前記時間情報と前記デジタル化映像データとに分けて格納する映像データ一時格納段階と、
   前記時間情報を伴うデジタル化音声データを、前記時間情報と前記デジタル化音声データとに分けて格納する音声データ一時格納段階と、
   前記映像データ一時格納段階にて分けて格納された時間情報およびデジタル化映像データと、前記音声データ一時格納段階にて分けて格納された時間情報およびデジタル化音声データとを、互いの時間情報に基づいて互いに同期をとりながら組み合わせ、所定のフォーマットで格納する時間情報分離後フォーマット変換段階とを有する動画記録方法。
2. 第１のモードでは、前記デジタル化段階で得られた、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを、互いに同期をとりながら組み合わせ、所定のフォーマットで格納する時間情報非分離フォーマット変換段階を実行し、
   第２のモードでは、前記デジタル化段階で得られた、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを、前記映像データ一時格納段階にて時間情報とデジタル化映像データとに分けて格納し、音声データ一時格納段階にて時間情報とデジタル化音声データとに分けて格納し、
   第３のモードでは、前記時間情報分離後フォーマット変換段階にて、映像データ一時格納段階において分けて格納された時間情報およびデジタル化映像データと音声データ一時格納段階において分けて格納された時間情報およびデジタル化音声データとを、互いに同期をとりながら組み合わせて格納する、請求項１に記載の動画記録方法。
3. 前記デジタル化段階では、前記撮影および録音にて得られた映像情報および音声情報を、所定の時間間隔ごとに区切り、当該所定の時間間隔ごとのデジタル化映像データおよびデジタル化音声データを生成し、前記時間情報はそれぞれ前記所定の時間間隔ごとの、対応するデジタル化映像データおよびデジタル化音声データのデータサイズの情報を有し、
   前記映像データ一時格納段階では、前記所定の時間間隔ごとのデジタル化映像データを時刻順に記録するとともに、対応する時間情報を時刻順に記録し、
   前記音声データ一時格納段階では、前記所定の時間間隔ごとのデジタル化音声データを時刻順に記録するとともに、対応する時間情報を時刻順に記録し、
   前記時間情報分離後フォーマット変換段階では、前記映像データ一時格納段階および前記音声データ一時格納段階で一旦格納された前記所定の時間間隔ごとのデジタル化映像データおよび前記所定の時間間隔ごとのデジタル化音声データを、対応する時間間隔ごとに順次交互に記録するとともに、それらに対応する時間情報も、対応する時間間隔ごとに順次交互に記録する、請求項１又は２に記載の動画記録方法。
4. 前記デジタル化段階で得られた各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データを一旦格納するバッファを設け、前記第１のモードでは、当該バッファに格納された各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データを読み出して互いに同期をとりながら組み合わせ所定のフォーマットで格納する時間情報非分離フォーマット変換段階を実行し、
   前記第１のモードでは前記バッファのデータ格納量が第１の所定値に至った場合に前記第２のモードに移行し、
   前記第２のモードでは、前記時間情報非分離フォーマット変換段階による処理によって前記バッファのデータ格納量が前記第１の所定値より小さい第２の所定値に至った場合に前記第３のモードに移行し、
   前記第３のモードでは、前記時間情報分離後フォーマット変換段階による処理によって前記映像データ一時格納段階および前記音声データ一時格納段階の各々による格納量が第３の所定値に至った場合には前記第１のモードに移行する、請求項２に記載の動画記録方法。
5. 前記第１のモードでは、前記バッファから各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データを読み出し互いに同期をとりながら組み合わせ所定のフォーマットで格納する前記時間情報非分離フォーマット変換段階を、撮影および録音にて得られた映像情報および音声情報をデジタル化し各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データを得る前記デジタル化段階と並行して実行し、
   前記第２のモードでは、前記バッファから各々が時間情報を伴うデジタル化映像データおよびデジタル化音声データを読み出し互いに同期をとりながら組み合わせ所定のフォーマットで格納する前記時間情報非分離フォーマット変換段階を、撮影および録音にて得られた映像情報および音声情報をデジタル化し、当該デジタル化映像データおよびデジタル化音声データを、時間情報とデジタル化映像データとに分けて格納する前記映像データ一時格納段階および時間情報とデジタル化音声データとに分けて格納する音声データ一時格納段階と並行して実行し、
   前記第３のモードでは、前記映像データ一時格納段階において分けて格納された時間情報およびデジタル化映像データと前記音声データ一時格納段階において分けて格納された時間情報およびデジタル化音声データとを互いに同期をとりながら組み合わせて格納する時間情報分離後フォーマット変換段階を、撮影および録音にて得られた映像情報および音声情報をデジタル化してデジタル化映像データおよびデジタル化音声データを得るデジタル化段階と並行して実行する、請求項２に記載の動画記録方法。
6. それぞれが撮影および録音により得られた映像情報および音声情報をそれぞれデジタル化し、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを得るデジタル化手段と、
   前記時間情報を伴うデジタル化映像データを、一旦その時間情報とデジタル化映像データとに分けて格納する映像データ一時格納手段と、
   前記時間情報を伴うデジタル化音声データを、一旦その時間情報とデジタル化音声データとに分けて格納する音声データ一時格納手段と、
   前記映像データ一時格納手段にて分けて格納された時間情報およびデジタル化映像データと、前記音声データ一時格納手段にて分けて格納された時間情報およびデジタル化音声データとを、互いに同期をとりながら組み合わせ、所定のフォーマットで格納する時間情報分離後フォーマット変換手段とを有する情報処理装置。
7. 前記デジタル化手段で得られた、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを、互いに同期をとりながら組み合わせ、所定のフォーマットで格納する時間情報非分離フォーマット変換手段を設け、
   第１のモードでは前記時間情報非分離フォーマット変換手段が前記デジタル化手段で得られた、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを互いに同期をとりながら組み合わせ所定のフォーマットで格納し、
   第２のモードでは前記デジタル化手段で得られた、各々が時間情報を伴うデジタル化映像データとデジタル化音声データとを、一旦前記映像データ格納手段が時間情報とデジタル化映像データとに分けて格納し、音声データ格納手段が時間情報とデジタル化音声データとに分けて格納し、
   第３のモードでは、前記時間情報分離後フォーマット変換手段が、映像データ格納手段において分けて格納された時間情報およびデジタル化映像データと音声データ格納手段において分けて格納された時間情報およびデジタル化音声データとを互いに同期をとりながら組み合わせて格納する、請求項６に記載の情報処理装置。
8. 前記デジタル化手段は、前記撮影および録音にて得られた映像情報および音声情報を、所定の時間間隔ごとに区切り、当該所定の時間間隔ごとのデジタル化映像データおよびデジタル化音声データを生成し、前記時間情報はそれぞれ前記所定の時間間隔ごとの、対応するデジタル化映像データおよびデジタル化音声データのデータサイズの情報を有し、
   前記映像データ一時格納手段は、前記所定の時間間隔ごとのデジタル化映像データを時刻順に記録するとともに、対応する時間情報を時刻順に記録し、
   前記音声データ一時格納手段は、前記所定の時間間隔ごとのデジタル化音声データを時刻順に記録するとともに、対応する時間情報を時刻順に記録し、
   前記時間情報分離後フォーマット変換手段は、前記映像データ一時格納手段および前記音声データ一時格納手段で一旦格納された前記所定の時間間隔ごとのデジタル化映像データおよび前記所定の時間間隔ごとのデジタル化音声データを、対応する時間間隔ごとに順次交互に記録するとともに、対応する時間情報も、対応する時間間隔ごとに順次交互に記録する、請求項６又は７に記載の情報処理装置。
9. 撮像手段により撮像された、撮像に伴う第一の時間情報が付加された映像情報を格納する第一の記憶手段と、
   音声入力手段により取得された、音声取得に伴う第二の時間情報が付加された音声情報を格納する第二の記憶手段と、
   前記第一の時間情報および前記第二の時間情報に基づいて、前記映像情報と前記音声情報との同期を取る同期手段と、
   前記同期手段により同期が取られた映像情報と音声情報とを格納する第三の記憶手段と、
   前記撮像手段から入力する映像情報あるいは前記音声入力手段から入力する音声情報の情報量が所定値を超えているか否かを判別する判別手段と、
   前記判別手段により、前記映像情報あるいは前記音声情報の情報量が所定値を超えていると判別された場合、前記映像情報から前記第一の時間情報を分離すると共に、前記音声情報から前記第二の時間情報を分離する処理手段と、
   前記処理手段により分離された、前記第一の時間情報、前記第一の時間情報が分離された前記映像情報、前記第二の時間情報および前記第二の時間情報が分離された音声情報を、前記第一の記憶手段および前記第二の記憶手段に代替して格納する第四の記憶手段と、を備える情報処理装置。
10. 撮像手段により撮像された、撮像に伴う第一の時間情報が付加された映像情報から、前記第一の時間情報と前記映像情報とを分離する第一の分離手段と、
    音声入力手段により取得された、音声取得に伴う第二の時間情報が付加された音声情報から、前記第二の時間情報と前記音声情報とを分離する第二の分離手段と、
    前記映像情報を格納する映像記憶手段と、
    前記第一の時間情報を格納する映像用時間記憶手段と、
    前記音声情報を格納する音声記憶手段と、
    前記第二の時間情報を格納する音声用時間記憶手段と、
    前記第一の時間情報および前記第二の時間情報に基づいて、前記映像情報と前記音声情報との同期を取る同期手段と、
    前記同期手段により同期された前記映像情報と前記音声情報とを格納する第三の記憶手段と、
    前記第一の時間情報が分離される前の映像情報が格納される第一の記憶手段と、
    前記第二の時間情報が分離される前の音声情報が格納される第二の記憶手段と、
    前記情報処理装置における負荷量を判別する判別手段と、
    前記判別手段による判別結果に基づいて、情報の格納先を前記映像記憶手段、前記映像用時間記憶手段、前記音声記憶手段および前記音声用時間記憶手段か、前記第一の記憶手段および前記第二の記憶手段かのいずれかに選択する処理手段と、を備える情報処理装置。

Images