JP4958758B2 - 記録装置、再生装置、記録方法、再生方法及びプログラム - Google Patents

Description

本発明は、記録装置、再生装置、記録方法、再生方法及びプログラムに関する。

動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子の各画素から出力された信号に所定の画像処理（現像処理）を行った後、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧ等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に画像データの記録を行っている。

ここで、上記の画像処理とは、例えばホワイトバランス制御、露出制御などである。また、動画撮影が可能な撮像装置では、フレームレートをＴＶの規格におけるフレームレートよりも高速にして撮影できるものがある。この撮像装置を用いて記録された動画を通常のディスプレイで再生する場合、ディスプレイのフレームレートに適合するようにフレーム画像を選択することで表示可能となる。

例えば、特許文献１では、撮影時に撮像装置が高速で撮影すると共に、表示部には一定の周期で発生させた同期信号に合致する画像のみを出力することによって、通常のディスプレイで表示可能な撮像装置を構成する技術が開示されている。また、特許文献２では、撮影時にフレームレートを変更して撮影をした場合、フレーム毎に時間情報を記録する技術が開示されている。

特開２００１−１０３３５６号公報 特開２００２−３２０２０３号公報

通常、画像処理をした後、圧縮処理が施されることによって、画像の記録再生品質は、圧縮処理が施される前のデータに比べて低下する。そのため、静止画を記録するデジタルカメラ等の撮像装置には、圧縮処理を行わずに撮像素子から出力された信号をＲＡＷ形式として直接記録するものがある。しかしながら、動画像を記録するカムコーダ等の撮像装置では、ＲＡＷ形式として記録する際に処理量が大きくなるため、縮小画像を保存して、縮小画像を現像作業などの作業時や撮像装置での再生時に利用する場合が多かった。

一方、ＲＡＷ画像データを動画像のデータとして記録する場合に、ＲＡＷ画像データを再生するため現像処理が必要となる。そして、通常より高速な撮影を行った場合、全てのフレームを現像しようとすると処理量が膨大になるという問題があった。また、音声データは、高速撮影時のフレームレートで記録すると、通常再生する際のフレームレートで再生する場合、フレーム間引きによって通常再生するフレームレートとするため、全ての音声データが読み出されず、音声が分断されてしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画撮影時に相異なるフレームレートで同時に画像を記録した場合、一方のフレームレートの画像データについて音声データと共に容易に再生することが可能な、新規かつ改良された記録装置、再生装置、記録方法、再生方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、フレームレートが可変の第１の同期信号を生成する第１の同期信号生成部と、フレームレートが固定の第２の同期信号を生成する第２の同期信号生成部と、第１の同期信号のうち第２の同期信号と同一に又は最も近くで生成される第１の同期信号のフレームタイミングを検出するタイミング検出部と、撮像素子から第１の同期信号に基づいた第１のフレームレートにてフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理し、第２の同期信号に基づいた第２のフレームレートでフレーム単位の処理済画像データを生成する画像処理部と、第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、タイミング検出部が検出したフレームタイミングのフレーム間のフレーム数を取得するフレーム数取得部と、第１のフレームレートでフレーム単位のＲＡＷ画像データを順次記録媒体に記録し、タイミング検出部が検出したフレームタイミングでフレーム単位の処理済画像データと音声データとフレーム数とを記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フレームレートが可変の第１の同期信号を生成する第１の同期信号生成部と、フレームレートが固定の第２の同期信号を生成する第２の同期信号生成部と、第１の同期信号のうち第２の同期信号と同一に又は最も近くで生成される第１の同期信号のフレームタイミングを検出するタイミング検出部と、第１の同期信号に基づいた第１のフレームレートでフレーム単位の第１の画像データを生成する第１の画像処理部と、第２の同期信号に基づいた第２のフレームレートでフレーム単位の第２の画像データを生成する第２の画像処理部と、第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、タイミング検出部が検出したフレームタイミングのフレーム間のフレーム数を取得するフレーム数取得部と、第１のフレームレートでフレーム単位の第１の画像データを順次記録媒体に記録し、タイミング検出部が検出したフレームタイミングでフレーム単位の第２の画像データと音声データとフレーム数とを記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位のＲＡＷ画像データが順次記録され、ＲＡＷ画像データを再生可能に画像処理した、第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される第１の同期信号のフレームタイミングによるフレーム単位の処理済画像データと、フレームタイミングによるフレーム単位の音声データと、フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ、各音声データ及び各フレーム数のうち少なくともいずれかを読み出すデータ読出部と、ＲＡＷ画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、音声データを読み込んで音声処理をする音声処理部とを備えることを特徴とする再生装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位の第１の画像データが順次記録され、第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される第１の同期信号のフレームタイミングによるフレーム単位の第２の画像データと、フレームタイミングによるフレーム単位の音声データと、フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各第１の画像データ、各第２の画像データ、各音声データ及び各フレーム数のうち少なくともいずれかを読み出すデータ読出部と、第１の画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、音声データを読み込んで音声処理をする音声処理部とを備えることを特徴とする再生装置が提供される。

本発明によれば、動画撮影時に相異なるフレームレートで同時に画像を記録した場合、一方のフレームレートの画像データについて音声データと共に容易に再生することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、図１を参照して、本発明の一実施形態に係る動画像記録装置１００について説明する。図１は、本実施形態に係る動画像記録装置１００の構成を示すブロック図である。

動画像記録装置１００は、図１に示すように、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、フレームレート設定部１３０、第１同期信号生成部１３２、第２同期信号生成部１３４、フレーム番号演算部１３６、ファイル化処理部１４０、メディア記録部１５０、マイクロフォン１６０、音声信号処理部１６２、フォーマット処理部１６４を有して構成されている。

カメラ信号処理部１０４は、カメラ１０２の撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサー）から出力された１フレーム毎の動画像データが入力される。カメラ信号処理部１０４は、入力された信号をＡＤ変換するＡＤコンバータを含んでいる。カメラ信号処理部１０４から出力されたデジタル映像信号は、フォーマット処理部１１０と現像処理部１２０との双方へ送られる。

フォーマット処理部１１０では、撮像素子の画素配列（例えばベイヤー配列、３板ＣＣＤなど）に応じて、デジタル変換されたＲ，Ｇ，Ｂの各信号を並び換える処理をする。また、フォーマット処理部１１０では、フレーム内で可逆的な圧縮処理を動画像データに対して施す。可逆な圧縮方式による圧縮処理によって、画質などを低下させずに画像データを記録、再生することができる。可逆な圧縮方式には、例えば、ハフマン符号を用いたエントロピー符号化等がある。なお、可逆な圧縮方式は、厳密な「可逆」に限定されない。このように、フォーマット処理部１１０によるフォーマット処理では、ＲＡＷ画像データとしての画質を維持するため、画質を損なうような圧縮処理は施されない。一方、ＲＡＷ画像データは非常に大きなファイルサイズとなるため、冗長度の少ないデータに処理する。フォーマット処理部１１０でフォーマット処理された動画像データは、そのままＲＡＷ画像データとしてファイル化処理部１４０へ入力される。なお、ＲＡＷ画像データは、第１同期信号生成部１３２からの第１の同期信号に基づいたフレームレートでフレームが生成される。

現像処理部１２０では、入力された映像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理が行われる。現像処理部１２０で現像処理が行われたデータは、サイズ処理部１２２へ送られる。

サイズ処理部１２２は、動画像データのサイズを縮小又は拡大する処理を行う。サイズ処理部１２２から出力されたデータは、ＪＰＥＧエンコーダ１２４へ送られる。また、サイズ処理部１２２では、必要に応じて、ＥＶＦ（Electronic View Finder）（図示せず。）、ＬＣＤ（Liquid Crystal Display）（図示せず。）などの表示装置の画面サイズに合わせて、動画像データのサイズを縮小する処理を行う。サイズ処理部１２２から出力されたデータは、ＥＶＦ、ＬＣＤに送られて、画面上に表示される。これにより、ユーザは、カメラ１０２で撮影された映像をリアルタイムで認識することができる。

ＪＰＥＧエンコーダ１２４は、入力されたデータに対してＪＰＥＧの圧縮符号化処理を施し、ファイル化処理部１４０へ圧縮画像データ（処理済画像データ）を送る。圧縮画像データは、第２同期信号生成部１３４からの第２の同期信号に基づいたフレームレートでフレームが生成される。

フレームレート設定部１３０は、カメラ１０２におけるフレームレートや、ＲＡＷ画像データ、圧縮画像データ、音声データそれぞれを生成する際のフレームレートを設定する。設定されたフレームレートに関するデータは、例えば第１同期信号生成部１３２やフレーム番号演算部１３６に送られる。

第１同期信号生成部１３２は、フレームレート設定部１３０から送られたデータに基づいて、カメラ１０２の撮像素子の第１の同期信号を生成する。生成された第１の同期信号は、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０に送られる。また、第１同期信号生成部１３２は、設定された第１の同期信号に関するデータを第２同期信号生成部１３４、フレーム番号演算部１３６に送る。

第２同期信号生成部１３４は、第１同期信号生成部１３２を介してフレームレート設定部１３０から送られたデータに基づいて、圧縮画像データを生成する際に基準となる第２の同期信号を生成する。第２同期信号生成部１３４が生成する第２の同期信号は、例えば、ＮＴＳＣ規格の５９．９４Ｈｚなどである。生成された第２の同期信号は、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、音声に関するフォーマット処理部１６４に送られる。また、第２同期信号生成部１３４は、設定された第２の同期信号に関するデータをフレーム番号演算部１３６に送る。

カメラ１０２が通常のフレームレートよりも高速な撮影を行う場合、撮像素子を第２同期信号生成部１３４が動作する周波数よりも高い周波数で動作させる。例えば、第２の同期信号が５９．９４Ｈｚである場合、第１同期信号生成部１３２は５９．９４Ｈｚ以上の同期信号を生成する。

フレーム番号演算部１３６は、タイミング検出部及びフレーム数取得部の一例であり、フレームレート設定部１３０が設定した値や、第１同期信号生成部１３２からの第１の同期信号に関するデータ、第２同期信号生成部１３４からの第２の同期信号に関するデータを受けて、第１の同期信号のうち第２の同期信号と同一に又は最も近くで生成される第１の同期信号のフレームタイミングを検出する。フレーム番号演算部１３６は、検出されたフレームタイミングで記録される音声データのフレームの位置が分かるように、音声データが記録されるフレームまでのフレーム数（または、フレームタイミングのフレーム間のフレーム数）を算出する。そして、例えばフレーム毎に音声データが記録された次のフレームまでのフレーム数をフォーマット処理し、そのデータをファイル化処理部１４０に送る。

ファイル化処理部１４０は、フォーマット処理部１１０から送られた第１の同期信号に基づいた、例えば高速撮影の第１のフレームレートを有するＲＡＷ画像データや、ＪＰＥＧエンコーダ１２４で圧縮処理された第２の同期信号に基づいた、通常の再生モードの第２のフレームレートを有する圧縮画像データや、フォーマット処理部１６４から送られた第２のフレームレートを有する音声データを一時的に蓄積する。ファイル化処理部１４０に蓄積された圧縮画像データ、ＲＡＷ画像データ及び音声データは、メディア記録部１５０へ送られ、記録メディアの記録フォーマットに従い記録メディアに記録される。また、ファイル化処理部１４０は、フレーム番号演算部１３６から送られたフレーム毎のフレーム数に関するデータを一時的に蓄積し、ＲＡＷ画像データ、圧縮画像データ、音声データと共に記録メディアに記録される。記録メディアとしては、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などが挙げられる。

また、マイクロフォン１６０は、カメラ１０２による動画撮影と同時に被写体の音声を取得し、音声信号処理部１６２へ送る。音声信号処理部１６２は、入力された音声のアナログ信号をＡＤ変換するＡＤコンバータを含んでいる。音声信号処理部１６２から出力されたデジタル音声信号は、フォーマット処理部１６４へ送られる。フォーマット処理部１６４では、非圧縮のＰＣＭ方式、またはＡＤＰＣＭ方式、ＡＡＣ方式、ＡＣ３方式、ＭＰ３方式などの圧縮処理により、音声データをフォーマットする。フォーマット処理部１６４でフォーマットされた音声データは、ファイル化処理部１４０へ入力される。ファイル化処理部１４０は、音声データを一時的に蓄積する。なお、音声データは、第２同期信号生成部１３４からの第２の同期信号に基づいたフレームレートでデータが生成される。

なお、図示しないが、動画像記録装置１００は、ホストＣＰＵが設けられる。ホストＣＰＵは、ファイル化処理部１４０からメディア記録部１５０へのデータ送信、及びメディア記録部１５０による記録メディアへのデータの記録を制御する。ホストＣＰＵは、ファイル化処理部１４０に蓄積されている圧縮画像データ、ＲＡＷ画像データ、音声データ及びフレーム番号演算部１３６が算出したフレーム数に関するデータを所定量毎（例えば、１フレームのデータ量毎）にメディア記録部１５０へ送り、記録メディアに順次に記録するように、ファイル化処理部１４０及びメディア記録部１５０を制御する。ホストＣＰＵは、圧縮画像データ、ＲＡＷ画像データ、音声データ及び上記フレーム数に関するデータを所定の順番で記録メディアに記録する。

なお、動画像記録装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

以上のように構成された本実施形態の動画像記録装置１００では、カメラ１０２の撮像素子から出力されてＡＤ変換された映像デジタルデータが、フォーマット処理部１１０に送られ、ＲＡＷ画像データのまま記録メディアに記録される。従って、記録メディアには、高画質のＲＡＷ画像データが記録され、ＲＡＷ画像データを読み出して表示することで、圧縮された映像データに比べて、高画質の映像を再生することが可能となる。

一方、ＲＡＷ画像データはデータ量が多いため、ＲＡＷ画像データのままではＥＶＦ、ＬＣＤへのリアルタイム画面表示を行うことはできず、またＪＰＥＧ等の圧縮処理を直接行うことができない。本実施形態の動画像記録装置１００では、ＲＡＷ画像データの記録とともに、動画像データの現像処理、縮小処理、圧縮処理を行うため、撮影と同時にＥＶＦ、ＬＣＤへのリアルタイム表示を行うことができ、表示画面をモニタしながら撮影を行うことができる。また、記録メディアにはＲＡＷ画像データとともに圧縮処理された圧縮画像データが記録されるため、再生時には、圧縮画像データにより映像の検索、サムネイル表示等を行うことが可能である。これにより、映像中の重要な部分についてはＲＡＷ画像データによる高画質再生が可能となり、映像中で比較的重要度の低い部分については、圧縮画像データを高速に読み出すことで簡易的な再生が可能となる。

また、本実施形態の動画像記録装置１００は、高速撮影されたＲＡＷ画像データはそのまま第１の同期信号に基づいたフレームレートで保存し、音声データは、フレーム番号演算部１３６で検出された第１の同期信号のうち第２の同期信号と同一に又は最も近くで生成される第１の同期信号のフレームタイミングで記録される。音声データが、ＲＡＷ画像データと同一のフレームレートにてフレーム単位で記録されるのではなく、間欠的にほぼ一定のフレームレートとなるように記録されるため、ＮＴＳＣ規格のような通常の再生モードとして、容易に画像及び音声の再生を行うことができる。

また、記録メディアにはＲＡＷ画像データとともに音声データが記録されるフレーム間のフレーム数に関するデータが記録されるため、再生時にＲＡＷ画像データを現像処理する際、上記フレーム数データを読み出して現像処理することができる。その結果、音声データが記録されたフレームを容易に抽出でき、ＲＡＷ画像データに基づいて、通常の再生モードによる動画再生用のフレームを現像処理して生成し、再生することができる。

次に、記録メディアにおける記録フォーマットについて説明する。図２は、動画像記録装置１００による、記録メディアへの記録のフォーマットを示す模式図である。撮像素子が例えばベイヤー配列の単板の場合には、出力されるデータはＲ：Ｇ：Ｂ＝１：２：１のベイヤー配列された画素の順番で出力される。動画像記録装置１００は、このベイヤー配列データについて画質を損なうことなく記録するため、フォーマット処理部１１０によりＲＧＢの順に並び替え、画質を損なうような圧縮処理を施すことなく記録する。

図２（Ａ）は、映像の記録開始（録画スタート）から記録停止（録画停止）までの間の１つの動画ファイルを示している。また、図２（Ｂ）は、図２（Ａ）の記録データのうち、１フレーム分のデータを示している。

ベイヤー配列のＲＧＢデータは、フォーマット処理部１１０により並べ替えられ、記録メディアのデータ領域に記録される。また、ＪＰＥＧエンコーダ１２４によりエンコードされた圧縮画像データ、及びフォーマット処理部１６４でフォーマットされた音声データも記録メディアのデータ領域に記録される。図２（Ａ）に示すように、記録フォーマットの先頭には、ヘッダー（Header）が記録される。ヘッダーには、撮影日時、カメラ１０２の撮像素子の情報、動画像記録装置１００のセット名称、オーディオのチャンネル数、ビット数、記録メディアの記録フォーマット情報、カメラ１０２のレンズの仕様データ等の全体的な情報が記録される。ヘッダーに続いて、映像の１フレーム毎にデータが記録される。

１フレーム毎のデータは、フレームヘッダー（Frame Header ０，１，・・・，ｎ）とフレーム毎のデータ（Ｆ０， Ｆ１，・・・，Ｆｎ）から構成される。図２（Ｂ）に示すように、フレーム毎のデータは、音声データ（Audio）、圧縮画像データ（Compressed Image）、ＲＡＷ画像データ（Ｇ，Ｂ，Ｒ）の順で、フレーム単位で繰り返し記録される。そして、最後のフレームＦｎのデータに続いて、フッター（Footer）が記録される。

各フレームのフレームヘッダーには、例えば、各フレームの音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録される。また、各フレームのフレームヘッダーには、フレーム番号演算部１３６が算出した音声データが記録される次のフレームまでのフレーム数に関するデータが記録される。

次に、図３を参照して、音声データが記録されるデータ及びデータの再生について説明する。図３は、動画像記録装置１００による、記録メディアへの記録のフォーマット及びデータ再生例を示す模式図である。

図２を用いて説明したように、記録フォーマットは、フレームヘッダーに続いて、音声データ、圧縮画像データ、ＲＡＷ画像データの順で記録される。そして、本実施形態の動画像記録装置１００によって、データの記録を行った場合、音声データは、フレーム番号演算部１３６で検出された第１の同期信号のうち第２の同期信号と同一に又は最も近くで生成される第１の同期信号のフレームタイミングで記録される。そのため、音声データはフレームによっては存在しない場合がある。そのため、フレームヘッダーには、音声データが存在するフレームまでのフレーム数が記録される。図３に示す例では、フレームヘッダー０にはフレーム数が２として記録される場合を示している。このようにフレーム数が記録されることで、次に音声データを読込む必要があるフレームが明らかになるため、音声データの再生がスムーズになる。

次に、図４を参照して、図１の動画像記録装置１００で記録された動画像データを再生する動画像再生装置２００について説明する。図４は、本発明の一実施形態に係る動画像再生装置２００の構成を示すブロック図である。図４に示すように、動画像再生装置２００は、ホストＣＰＵ２０２、メディア読出部２１０、De-Multiplex２１２、フレームタイムスタンプ情報抽出部２２０、音声信号処理部２３０、オーディオ出力部２３２、ＪＰＥＧデコード部２４０、現像処理部２５２、サイズ処理部２５４、フレームレート変換部２５６、ＭＵＸ２６０、第１ビデオ出力部２６２、第２ビデオ出力部２６４を有して構成されている。

メディア読出部２１０は、ホストＣＰＵ２０２からの指令により、記録メディアからデータを読み出す。De-Multiplex２１２は、メディア読出部２１０から読み出したデータを一時的に溜め、音声信号処理部２３０、ＪＰＥＧデコード部２４０、領域切出部２５０のそれぞれに送る。

フレームタイムスタンプ情報抽出部２２０は、フレームヘッダーに記録された音声データが記録される次のフレームまでのフレーム数に関するデータを抽出し、ホストＣＰＵ２０２に送る。

ホストＣＰＵ２０２は、フレームタイムスタンプ情報抽出部２２０から送られたフレーム数に基づいて、フレームレート変換部２５６における画像処理を制御する。これにより、記録メディアからフレーム数が読み出された場合、そのデータに従って、フレームレート変換処理が行われるため、ＲＡＷ画像データの現像処理において、音声データのフレームレートに基づいたフレームレートで現像処理を行うことができ、音声データに適合した動画再生を行うことができる。

音声信号処理部２３０は、音声データをデフォーマットし、デフォーマットされた信号をＤＡ変換し、オーディオ出力部２３２に送る。オーディオ出力部２３２は、アナログ変換されたオーディオ信号を外部に出力する。

また、ＪＰＥＧデコード部２４０は、圧縮画像データをデコードし、デコードされた映像データを縮小または拡大し、ＭＵＸ２６０へ送る。

現像処理部２５２は、ＲＡＷ画像データをベイヤーデフォーマットし、ベイヤー配列に並べ替えてサイズ処理部２５４へ送る。現像処理部２５２は、デフォーマットされたＲＡＷ画像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理を行う。サイズ処理部２５４は、現像処理が行われたＲＡＷ画像データのサイズを縮小する処理を行う。サイズ処理部２５４は、処理したデータをフレームレート変換部２５６又は第２ビデオ出力部２６４に送る。フレームレート変換部２５６は、フレームタイムスタンプ情報抽出部２２０が抽出したフレーム数に基づいてＲＡＷ画像データから現像処理されたデータをＭＵＸ２６０へ送る。

ＭＵＸ２６０は、ＪＰＥＧデコード部２４０又はサイズ処理部２５４から送られた映像データを、第１ビデオ出力部２６２へ送る。第１ビデオ出力部２６２では、送られたデータをＤＡ変換し、アナログ信号データを外部に出力する。その結果、第１ビデオ出力部２６２では、音声データのフレームレートと適合した映像データが出力される。

第２ビデオ出力部２６４は、サイズ処理部２５４から出力されたデータそのままの映像データが送られてくる。その結果、第２ビデオ出力部２６４では、ＲＡＷ画像データが記録されたときの第１のフレームレートで映像データが出力される。

なお、動画像再生装置２００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

以上のように構成された本実施形態の動画像再生装置２００では、メディア読出部２１０から読み出したファイルの中の各フレームヘッダーに記録された音声データが記録されたフレームまでのフレーム数を用いてフレームレート変換処理を行う。そして、通常、ＲＡＷ画像データが記録された高速撮影のフレームレートによる全てのＲＡＷ画像データを再生すると処理量が莫大となるが、動画像再生装置２００によれば、上記フレーム数をもとにＲＡＷ画像データの現像処理をすることで、音声データと共に適正な動画の再生をすることができる。また、ＲＡＷ画像データが記録された高速撮影のフレームレートで音声データを記録すると、通常の再生モードで動画の再生をする場合、別途音声データについて複雑な処理が必要となるが、本実施形態によれば記録時に音声データが通常の再生モードとほぼ同じフレームレートで記録されるため、再生時に音声データに関して別段の処理が不要となる。

ＲＡＷ画像データの再生時には、記録メディアからＧ、Ｂ、Ｒの各ＲＡＷ画像データを読み出し、そのデータを現像処理することによって、ＲＡＷ画像データが映像信号化される。この信号は、所定の画像サイズに縮小処理されて、第１ビデオ出力部２６２にビデオ出力される。これにより、動画像再生装置２００によって、高画質な再生が可能となる。

圧縮画像データを再生する場合は、記録メディアからフレーム単位に圧縮画像データを順次に読み出すことで、圧縮画像データを再生することができる。この場合、読み出されるデータサイズはＲＡＷ画像データに比べて極めて小さい。ＪＰＥＧデコードされた映像信号を所定の画像サイズに縮小処理、または拡大処理して出力することで、ＲＡＷ画像データの再生に比べて軽い処理で再生を行うことが可能となる。このように、圧縮画像データによる簡易再生モードを活用することにより、動画像再生装置２００のハードウェア構成を大幅に削減できるとともに、消費電力を大幅に低減できる。

また、特殊再生モードとして、高速再生モードについても、ＪＰＥＧデータを用いることで、負荷の少ない処理が可能となる。この場合、再生の倍速率に合わせてフレームヘッダーのみをサーチしながら、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズ情報から必要なフレームだけを飛び越し走査して圧縮画像データを読み出し、ＪＰＥＧデコードして読み出せばよい。逆転方向の再生も同様の方法を用いることで容易に実現可能である。

また、圧縮画像データを用いて、ファイルの中の撮影画像の一覧をサムネイル表示することも可能である。この場合、例えば複数の動画ファイルのそれぞれについて、１フレームの画像をサムネイル表示してもよいし、各動画ファイルを動画としてサムネイル表示してもよい。

以上説明したように本実施形態によれば、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置１００、および動画像再生装置２００を提供することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ＲＡＷ画像データと圧縮画像データが図２に示すような記録フォーマットで記録媒体に記録される場合について説明したが、本発明はかかる例に限定されない。例えば、第１のフレームレートを有する第１の画像データと、第１のフレームレートとは異なる第２のフレームレートを有する第２の画像データ及び第２のフレームレートを有する音声データが、図２に示すような記録フォーマットで記録媒体に記録される場合についても、本発明を適用することかできる。これにより、フレームヘッダーに記録された音声データが記録された次のフレームまでのフレーム数を参照することで、第２のフレームレートを有する音声データを容易に参照することができる。

本発明の一実施形態に係る動画像記録装置の構成を示すブロック図である。 動画像記録装置による、記録メディアへの記録のフォーマットを示す模式図である。 動画像記録装置による、記録メディアへの記録のフォーマット及びデータ再生例を示す模式図である。 同実施形態に係る動画像再生装置の構成を示すブロック図である。

符号の説明

１００ 動画像記録装置
１０２ カメラ
１０４ カメラ信号処理部
１１０、１６４ フォーマット処理部
１２０ 現像処理部
１２２ サイズ処理部
１２４ ＪＰＥＧエンコーダ
１３０ フレームレート設定部
１３２ 第１同期信号生成部
１３４ 第２同期信号生成部
１３６ フレーム番号演算部
１４０ ファイル化処理部
１５０ メディア記録部
１６０ マイクロフォン
１６２ 音声信号処理部
２００ 動画像再生装置
２０２ ホストＣＰＵ
２１０ メディア読出部
２１２ De-Multiplex
２２０ フレームタイムスタンプ情報抽出部
２３０ 音声信号処理部
２３２ オーディオ出力部
２４０ ＪＰＥＧデコード部
２５２ 現像処理部
２５４ サイズ処理部
２５６ フレームレート変換部
２６０ ＭＵＸ
２６２ 第１ビデオ出力部
２６４ 第２ビデオ出力部

Claims (12)

1. フレームレートが可変の第１の同期信号を生成する第１の同期信号生成部と、
   フレームレートが固定の第２の同期信号を生成する第２の同期信号生成部と、
   前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出するタイミング検出部と、
   撮像素子から前記第１の同期信号に基づいた第１のフレームレートにてフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理し、前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の処理済画像データを生成する画像処理部と、
   前記第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、
   前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得するフレーム数取得部と、
   前記第１のフレームレートでフレーム単位の前記ＲＡＷ画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記処理済画像データと前記音声データと前記フレーム数とを前記記録媒体に記録する媒体記録部と
   を備えることを特徴とする、記録装置。
2. フレームレートが可変の第１の同期信号を生成する第１の同期信号生成部と、
   フレームレートが固定の第２の同期信号を生成する第２の同期信号生成部と、
   前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出するタイミング検出部と、
   前記第１の同期信号に基づいた第１のフレームレートでフレーム単位の第１の画像データを生成する第１の画像処理部と、
   前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の第２の画像データを生成する第２の画像処理部と、
   前記第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、
   前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得するフレーム数取得部と、
   前記第１のフレームレートでフレーム単位の前記第１の画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記第２の画像データと前記音声データと前記フレーム数とを前記記録媒体に記録する媒体記録部と
   を備えることを特徴とする、記録装置。
3. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位のＲＡＷ画像データが順次記録され、前記ＲＡＷ画像データを再生可能に画像処理した、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の処理済画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出すデータ読出部と、
   前記ＲＡＷ画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をする音声処理部と
   を備えることを特徴とする、再生装置。
4. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位の第１の画像データが順次記録され、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の第２の画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記第１の画像データ、各前記第２の画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出すデータ読出部と、
   前記第１の画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をする音声処理部と
   を備えることを特徴とする、再生装置。
5. フレームレートが可変の第１の同期信号を生成するステップと、
   フレームレートが固定の第２の同期信号を生成するステップと、
   前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出するステップと、
   撮像素子から前記第１の同期信号に基づいた第１のフレームレートにてフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理し、前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の処理済画像データを生成するステップと、
   前記第２のフレームレートでフレーム単位の音声データを生成するステップと、
   前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得するステップと、
   前記第１のフレームレートでフレーム単位の前記ＲＡＷ画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記処理済画像データと前記音声データと前記フレーム数とを前記記録媒体に記録するステップと
   を備えることを特徴とする、記録方法。
6. フレームレートが可変の第１の同期信号を生成するステップと、
   フレームレートが固定の第２の同期信号を生成するステップと、
   前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出するステップと、
   前記第１の同期信号に基づいた第１のフレームレートでフレーム単位の第１の画像データを生成するステップと、
   前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の第２の画像データを生成するステップと、
   前記第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、
   前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得するステップと、
   前記第１のフレームレートでフレーム単位の前記第１の画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記第２の画像データと前記音声データと前記フレーム数とを前記記録媒体に記録するステップと
   を備えることを特徴とする、記録方法。
7. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位のＲＡＷ画像データが順次記録され、前記ＲＡＷ画像データを再生可能に画像処理した、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の処理済画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出すステップと、
   前記ＲＡＷ画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をするステップと
   を備えることを特徴とする、再生方法。
8. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位の第１の画像データが順次記録され、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の第２の画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記第１の画像データ、各前記第２の画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出すステップと、
   前記第１の画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をするステップと
   を備えることを特徴とする、再生方法。
9. フレームレートが可変の第１の同期信号を生成する手段、
   フレームレートが固定の第２の同期信号を生成する手段、
   前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出する手段、
   撮像素子から前記第１の同期信号に基づいた第１のフレームレートにてフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理し、前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の処理済画像データを生成する手段、
   前記第２のフレームレートでフレーム単位の音声データを生成する手段、
   前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得する手段、
   前記第１のフレームレートでフレーム単位の前記ＲＡＷ画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記処理済画像データと前記音声データと前記フレーム数とを前記記録媒体に記録する手段
   をコンピュータに実行させるためのプログラム。
10. フレームレートが可変の第１の同期信号を生成する手段、
    フレームレートが固定の第２の同期信号を生成する手段、
    前記第１の同期信号のうち前記第２の同期信号と同一に又は最も近くで生成される前記第１の同期信号のフレームタイミングを検出する手段、
    前記第１の同期信号に基づいた第１のフレームレートでフレーム単位の第１の画像データを生成する手段、
    前記第２の同期信号に基づいた第２のフレームレートでフレーム単位の第２の画像データを生成する手段、
    前記第２のフレームレートでフレーム単位の音声データを生成する音声処理部と、
    前記タイミング検出部が検出した前記フレームタイミングのフレーム間のフレーム数を取得する手段、
    前記第１のフレームレートでフレーム単位の前記第１の画像データを順次記録媒体に記録し、前記タイミング検出部が検出した前記フレームタイミングでフレーム単位の前記第２の画像データと前記音声データと前記フレーム数とを前記記録媒体に記録する手段
    をコンピュータに実行させるためのプログラム。
11. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位のＲＡＷ画像データが順次記録され、前記ＲＡＷ画像データを再生可能に画像処理した、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の処理済画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出す手段、
    前記ＲＡＷ画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をする手段
    をコンピュータに実行させるためのプログラム。
12. フレームレートが可変の第１の同期信号に基づいた第１のフレームレートを有するフレーム単位の第１の画像データが順次記録され、前記第１の同期信号のうちフレームレートが固定の第２の同期信号と同一又は最も近くで生成される前記第１の同期信号のフレームタイミングによるフレーム単位の第２の画像データと、前記フレームタイミングによるフレーム単位の音声データと、前記フレームタイミングによるフレーム間のフレーム数とが記録された記録媒体から、各前記第１の画像データ、各前記第２の画像データ、各前記音声データ及び各前記フレーム数のうち少なくともいずれかを読み出す手段、
    前記第１の画像データをフレーム毎に順次再生する際、当該読み出したフレーム数に基づいて、前記音声データを読み込んで音声処理をする手段
    をコンピュータに実行させるためのプログラム。

Images