JP4901673B2 - 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム - Google Patents

Description

本発明は、撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラムに関する。

動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子から出力された信号に所定の画像処理を行った後、ＭＰＥＧ−２等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に記録を行っている。

画像処理には、例えばホワイトバランス制御、露出制御がある。特許文献１には、動画の一部を静止画として記録する際、画像処理によって得られたホワイトバランスに関する情報を画像に関する画像データと共に画像ファイルに記録する技術が開示されている。

通常、圧縮処理が施されることによって、画像の記録再生品質は、圧縮処理が施される前のデータに比べて低下する。そのため、静止画を記録するデジタルカメラ等の撮像装置には、圧縮処理を行わずに撮像素子から出力された信号をＲＡＷ形式として直接記録するものがある。特許文献２〜４には、画像信号の記録時に、ＪＰＥＧ等の圧縮形式か、直接信号を記録するＲＡＷ形式かを選択して記録する技術が開示されている。

特開２００６−８０８９２号公報 特開平１１−２６１９３３号公報 特開２００１−６０８７６号公報 特開２００１−６１０６７号公報

ところで、撮像素子からの信号を直接記録媒体に記録する場合、高画質で画像を記録することができるが、データ容量が増加するため動画の記録では行われてこなかった。

また、静止画を表示する際、まずＲＡＷ形式で記録した画像データを読み込んで画像表示に最適なパラメータを算出する。そして、そのパラメータを使用して画像処理を施し、画像を表示させる。ここで、パラメータとは、ホワイトバランスを制御するホワイトバランス補正値や、輝度を補正する輝度補正値などである。

一方、撮像素子から直接記録された信号を用いて動画を再生しようとする際、静止画の表示と異なり、高速かつ連続した画像処理が必要となる。そのため、動画を構成する１つずつのフレーム画像について、ＲＡＷ形式の静止画と同様に、画像データの読み込み、パラメータの算出、パラメータを用いた画像処理を行うとすると、一連の処理に時間がかかるため、動画の再生処理が困難であるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像素子からフレーム単位で順次出力されたＲＡＷ画像データを再生する際、画像処理を迅速かつ正確に行うことが可能な、新規かつ改良された撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出するパラメータ算出部と、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録する媒体記録部とを備える記録系と、記録媒体に記録されている各ＲＡＷ画像データ及びパラメータファイルを読み出すデータ読出部と、読み出したパラメータファイルからフレーム単位でＲＡＷ画像データを順次再生するために必要なパラメータを取得するパラメータファイル処理部と、各パラメータに基づいて、対応するＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする画像処理部とを備える再生系とを有することを特徴とする撮像装置が提供される。

かかる構成により、パラメータ算出部は、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出し、媒体記録部は、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録する。また、データ読出部は、記録媒体に記録されている各ＲＡＷ画像データ及びパラメータファイルを読み出し、パラメータファイル処理部は、読み出したパラメータファイルからフレーム単位でＲＡＷ画像データを順次再生するために必要なパラメータを取得し、画像処理部は、各パラメータに基づいて、対応するＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする。その結果、予めＲＡＷ画像データを再生する際の画像処理に必要なパラメータがフレーム毎に算出されており、ＲＡＷ画像データを再生する際、予め算出されたパラメータに基づいてＲＡＷ画像データが再生されるため、再生時の画像処理を迅速かつ正確に行うことができる。

上記再生系において、パラメータファイル処理部は、所望の一連のシーンに相当する複数フレーム分のＲＡＷ画像データについて、各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定するものであってもよい。かかる構成により、一連のシーンにおけるパラメータのばらつきを予め抑制することができ、滑らかな再生が可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出するパラメータ算出部と、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、各ＲＡＷ画像データを再生する際の画像処理に必要なパラメータからなるパラメータファイルとが記録された記録媒体から、各ＲＡＷ画像データ及びパラメータファイルを読み出すデータ読出部と、読み出したパラメータファイルからフレーム単位でＲＡＷ画像データを順次再生するために必要なパラメータを取得するパラメータファイル処理部と、各パラメータに基づいて、対応するＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする画像処理部とを備えることを特徴とする再生装置が提供される。

上記パラメータファイル処理部は、所望の一連のシーンに相当する複数フレーム分のＲＡＷ画像データについて、各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定するものであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出した後、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録する記録処理ステップと、記録媒体に記録されている各ＲＡＷ画像データ及びパラメータファイルを読み出し、読み出したパラメータファイルからフレーム単位でＲＡＷ画像データを順次再生するために必要なパラメータを取得した後、各パラメータに基づいて、対応するＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする再生処理ステップとを有することを特徴とする撮像方法が提供される。

上記再生処理ステップにおいて、画像処理の前段階で、所望の一連のシーンに相当する複数フレーム分のＲＡＷ画像データについて、各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定するものであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出した後、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録することを特徴とする記録方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、各ＲＡＷ画像データを再生する際の画像処理に必要なパラメータからなるパラメータファイルとが記録された記録媒体から、各ＲＡＷ画像データ及びパラメータファイルを読み出した後、読み出したパラメータファイルからフレーム単位でＲＡＷ画像データを順次再生するために必要なパラメータを取得し、続いて各パラメータに基づいて、対応するＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をすることを特徴とする再生方法が提供される。

上記画像処理の前段階で、所望の一連のシーンに相当する複数フレーム分のＲＡＷ画像データについて、各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定するものであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、ＲＡＷ画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出する第１のステップと、算出された各フレームに対応するパラメータを、ＲＡＷ画像データとは別のパラメータファイルとして各ＲＡＷ画像データと共に記録媒体に記録する第２のステップとをコンピュータに実行させるためのプログラムが提供される。

本発明によれば、撮像素子からフレーム単位で順次出力されたＲＡＷ画像データを再生する際、画像処理を迅速かつ正確に行うことができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態の構成）
本発明の第１の実施形態に係る撮像装置の構成について説明する。本実施形態の撮像装置は、画像、音声の記録を行う記録装置１００（記録系）と、画像、音声の再生を行う再生装置２００（再生系）からなる。なお、記録装置１００と、再生装置２００は、一体的に構成されてもよいし、それぞれ独立した装置として別体で構成されてもよい。

以下、記録装置１００及び再生装置２００の構成についてそれぞれ説明する。まず、図１を参照して、本発明の第１の実施形態に係る記録装置１００について説明する。図１は、本実施形態に係る記録装置１００を示すブロック図である。

記録装置１００は、例えば、レンズ等の光学系１０２や撮像素子１０４を有して、動画を撮影、記録可能なビデオカメラ、カムコーダ等である。記録装置１００は、例えば、光学系１０２と、ドライバ１１０と、撮像素子１０４と、マイク１１２と、Ａ／Ｄ変換部１０６、１１４と画像信号圧縮部１０８と、音声信号圧縮部１１６と、パラメータ算出部１２０と、データファイル生成部１２２と、パラメータファイル生成部１２４と、ＣＰＵ（Central Processing Unit）１３０と、画像信号処理部１４０と、Ｄ／Ａ変換部１４２と、表示制御部１４４と、表示部１４６と、記録媒体制御部１５０と、記録媒体１５２と、メモリ１６０と、ＶＲＡＭ１６２と、操作部１７０などから構成される。

光学系１０２は、詳しく図示しないが、例えば、フォーカスレンズ、ズームレンズ、絞りなどを有している。光学系１０２は、被写体からの光を透過させて撮像素子１０４上に被写体の像を結像させる。フォーカスレンズは、撮像素子１０４上に被写体が合焦するように調節される。ズームレンズは、焦点距離が変化するように調節される。絞りは、撮像素子１０４に入射する光量が変化するように調節される。

ドライバ１１０は、光学系１０２のフォーカスレンズ、ズームレンズ、絞りなどを駆動する。ドライバ１１０は、ＣＰＵ１３０におけるフォーカス制御、露出制御に基づいて光学系１０２の各構成要素を駆動する。

撮像素子１０４は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等のイメージセンサーであり、撮像素子１０４上で結像した光情報を光電変換によって電気信号（画像信号）に変換し、Ａ／Ｄ変換部１０６に１フレーム毎の電気信号を出力する。

Ａ／Ｄ変換部１０６は、撮像素子１０４からフレーム単位で順次出力された電気信号を、デジタル変換によってデジタルデータ（ＲＡＷ画像データ）に変換する。なお、撮像素子１０４とＡ／Ｄ変換部１０６との間にＣＤＳやアンプなどの回路を備えて、撮像素子１０４から出力された電気信号に含まれるノイズを除去したり、増幅したりしてもよい。Ａ／Ｄ変換部１０６は、デジタル変換によって得られた画像データを画像信号圧縮部１０８とパラメータ算出部１２０にフレーム単位で順次出力する。Ａ／Ｄ変換部１０６から出力される画像データは、ホワイトバランス制御、露出制御等の画像処理や、ＪＰＥＧ形式等の不可逆圧縮処理を施さずに、ＲＡＷ形式で扱われる。

画像信号圧縮部１０８は、Ａ／Ｄ変換部１０６から出力された画像データを可逆な圧縮方式によって圧縮処理し、圧縮された画像データをデータファイル生成部１２２に出力する。可逆な圧縮方式による圧縮処理によって、画像データのデータ量の削減を行うことができ、更に画質などを低下させずに画像データを記録、再生することができる。可逆な圧縮方式には、例えば、ハフマン符号を用いたエントロピー符号化等がある。なお、可逆な圧縮方式は、厳密な「可逆」に限定されない。

マイク１１２は、音声入力部の一例であり、外部からの音声を収音して電気信号に変換し、電気信号をＡ／Ｄ変換部１１４に出力する。Ａ／Ｄ変換部１１４は、マイク１１２から出力された電気信号を、デジタル変換によって音声に関するデジタルデータ（音声データ）に変換する。Ａ／Ｄ変換部１１４は、デジタル変換によって得られた音声データを音声信号圧縮部１１６に出力する。

音声信号圧縮部１１６は、Ａ／Ｄ変換部１１４から出力された音声データを圧縮処理し、圧縮された音声データをデータファイル生成部１２２に出力する。音声信号圧縮部１１６による圧縮方式は、例えばＭＰ３、ＡＡＣ等である。

パラメータ算出部１２０は、Ａ／Ｄ変換部１０６から出力されたＲＡＷ形式の画像データに基づいて、ＲＡＷ形式の画像データを再生する際の画像処理に必要なパラメータをフレーム毎に算出する。ここで、パラメータとは、ホワイトバランスを制御するためのホワイトバランス補正値（ＷＢ値）や露出を制御するための露出補正値（ＥＥ値）等である。パラメータ算出部１２０によるパラメータの算出は、画像データの記録と同時に行ってもよいし、一連の画像データの記録が完了した後に記録された画像データに基づいて行ってもよい。パラメータ算出部１２０によって算出されたパラメータは、パラメータファイル生成部１２４に出力される。

データファイル生成部１２２は、画像信号圧縮部１０８から出力されたＲＡＷ形式の画像データと音声信号圧縮部１１６から出力された音声データに基づいて、データファイルを生成する。データファイル生成部１２２は、生成したデータファイルを記録媒体制御部１５０に出力し、データファイルは、記録媒体１５２に記録される。

パラメータファイル生成部１２４は、パラメータ算出部１２０から出力されたパラメータに基づいて、一連の画像データにおける複数のフレームのパラメータを有するパラメータファイルを生成する。パラメータファイル生成部１２４は、生成したパラメータファイルを記録媒体制御部１５０に出力し、パラメータファイルは、記録媒体１５２に記録される。

ＣＰＵ１３０は、プログラムによって演算処理装置及び制御装置として機能し、記録装置１００内に設けられた各構成要素の処理を制御することができる。ＣＰＵ１３０は、例えば、フォーカス制御や露出制御に基づいてドライバ１１０に信号を出力して光学系１０２を駆動させる。また、ＣＰＵ１３０は、操作部１７０からの信号に基づいて記録装置１００の各構成要素を制御する。なお、本実施形態においては、ＣＰＵ１３０が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

画像信号処理部１４０は、Ａ／Ｄ変換部１０６から出力された画像データについて、表示部１４６においてフレーム単位でライブビュー画像を再生する際に必要な画像処理を行う。例えば、画像データは、画像信号処理部１４０においてホワイトバランス制御、露出制御等が行われる。

画像信号処理部１４０は、ＹＣ変換部１４１を備える。撮像素子１０４からＡ／Ｄ変換部１０６を介して直接出力された画像データはＲＡＷ形式であり、ＹＣ変換部１４１は、ＲＡＷ形式の画像データに対してＹＣ変換処理を行う。ＹＣ変換部１４１は、ＲＡＷ形式の画像データを輝度信号及び色差信号に変換し、輝度信号及び色差信号を取得することができる。ＹＣ変換によって輝度信号及び色差信号が取得されることによって、表示部１４６に画像の表示が可能となる。画像信号処理部１４０で取得された輝度信号及び色差信号は、Ｄ／Ａ変換部１４２に出力される。

Ｄ／Ａ変換部１４２は、画像信号処理部１４０から出力されたデジタルデータである輝度信号及び色差信号を、アナログ変換によってアナログ信号に変換する。Ｄ／Ａ変換部１４２は、表示制御部１４４にアナログ信号を出力する。

表示制御部１４４は、表示部１４６を駆動し、表示部１４６の出力を制御する。表示部１４６は、例えばＬＣＤ（Liquid Crystal Display）等の表示手段から構成される。表示部１４６は、ＶＲＡＭ１６２から読み出された撮像操作を行う前のライブビュー表示や、記録装置１００の各種設定画面や、撮像して記録された画像の表示などを行う。

記録媒体制御部１５０は、媒体記録部の一例であり、記録媒体１５２への画像データの書き込み、又は記録媒体１５２に記録された画像データや設定情報などの読み出しを制御する。記録媒体１５２は、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などであり、撮影された画像データを記録する。記録媒体制御部１５０、記録媒体１５２は、記録装置１００から着脱可能に構成されてもよい。

メモリ１６０は、例えばＳＤＲＡＭ（synchronous DRAM）等の半導体記憶素子から構成され、撮像した画像を一時的に記憶するものである。メモリ１６０は、画像データにおける複数のフレームを記憶できるだけの記憶容量を有している。また、メモリ１６０には、ＣＰＵ１３０の動作プログラムが保存される。

ＶＲＡＭ１６２は、画像表示用のメモリであり、表示画像の書き込みと表示部１４６への表示を同時に実行できるように、複数のチャネルを有するメモリから構成される。ＶＲＡＭ１６２は、記録時の表示部１４６におけるライブビュー表示や、再生時の表示部１４６における表示において画像信号を一時記憶する。

操作部１７０は、電源スイッチ、モード切替手段及び録画開始ボタン、録画停止ボタン等から構成され、ユーザーが記録装置１００の動作、各種設定などを行うために使用される。録画開始ボタン、録画停止ボタンは、撮影操作を行うためのボタンである。

次に、図２を参照して、本発明の第１の実施形態に係る再生装置２００の構成について説明する。図２は、本実施形態に係る再生装置２００を示すブロック図である。

再生装置２００は、本実施形態に係る記録装置１００で記録されたデータファイルとパラメータファイルに基づいて、画像データと音声データを再生することができる。再生装置２００は、例えば、記録媒体制御部２０２と、記録媒体２０４と、ＣＰＵ２１０と、ドライバ２１２と、操作部２２０と、データファイル処理部２３０と、パラメータファイル処理部２３２と、画像信号伸張部２４０と、音声信号伸張部２６０と、画像信号処理部２４２と、Ｄ／Ａ変換部２４４、２６２と、表示制御部２５０と、表示部２５２と、スピーカ２６４などからなる。

記録媒体制御部２０２は、データ読出部の一例であり、記録媒体２０４に記録された画像データや設定情報などの読み出しを制御する。記録媒体２０４は、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などであり、撮影された画像データ、録音された音声データが記録されている。記録媒体制御部２０２、記録媒体２０４は、再生装置２００から着脱可能に構成されてもよい。記録媒体２０４に記録装置１００で生成、記録されたデータファイル及びパラメータファイルが記録されている場合、記録媒体制御部２０２によってデータファイル及びパラメータファイルが読み出される。データファイルはデータファイル処理部２３０に出力され、パラメータファイルはパラメータファイル処理部２３２に出力される。

ＣＰＵ２１０は、プログラムによって演算処理装置及び制御装置として機能し、再生装置２００内に設けられた各構成要素の処理を制御することができる。ＣＰＵ２１０は、例えば、操作部２２０の操作に基づいてドライバ２１２に信号を出力して記録媒体制御部２０２を駆動させる。また、ＣＰＵ２１０は、操作部２２０からの信号に基づいて再生装置２００の各構成要素を制御する。なお、本実施形態においては、ＣＰＵ２１０が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

ドライバ２１２は、記録媒体制御部２０２を駆動する。ドライバ２１２は、ＣＰＵ２１０における記録媒体２０４の再生制御等に基づいて記録媒体制御部２０２を駆動する。

操作部２２０は、電源スイッチ、再生動作ボタン及び各種設定キー等から構成され、ユーザーが再生装置２００の動作、各種設定などを行うために使用される。例えば、再生動作ボタンは、画像データの再生開始のためのボタンである。

データファイル処理部２３０は、記録媒体制御部２０２から出力されたデータファイルについて、圧縮されたＲＡＷ形式の画像データと、圧縮された音声データに分解する。データファイル処理部２３０は、画像データを画像信号伸張部２４０に出力し、音声データを音声信号伸張部２６０に出力する。

パラメータファイル処理部２３２は、記録媒体制御部２０２から出力されたパラメータファイルからパラメータを取得し、パラメータを画像信号処理部２４２に出力する。

画像信号伸張部２４０は、データファイル処理部２３０から出力された、圧縮処理された画像データを取得する。画像データが記録装置１００の画像信号圧縮部１０８によって可逆圧縮処理がされている場合、画像信号伸張部２４０は、圧縮された画像データを伸張処理し、もとの画像データを取得する。もとの画像データは、記録装置１００においてＡ／Ｄ変換部１０６から出力された可逆圧縮処理前の画像データと同じになる。画像信号伸張部２４０は、取得された画像データを画像信号処理部２４２に出力する。

画像信号処理部２４２は、画像処理部の一例であり、パラメータファイル処理部２３２から出力されたパラメータに基づいて、画像信号伸張部２４０から出力された画像データについてフレーム単位で再生する際に必要な画像処理を行う。例えば、画像データは、パラメータに基づいて、ホワイトバランス制御、露出制御等が行われる。

画像信号処理部２４２は、ＹＣ変換部２４３を備える。例えば、画像データが、撮像素子１０４からＡ／Ｄ変換部１０６を介して直接出力されたＲＡＷ形式である場合、ＹＣ変換部２４３は、ＲＡＷ形式の画像データに対してＹＣ変換処理を行う。ＹＣ変換部２４３は、ＲＡＷ形式の画像データを輝度信号及び色差信号に変換し、輝度信号及び色差信号を取得することができる。ＲＡＷ形式の画像データではモニター等の表示部２５２に表示を行うことができないが、ＹＣ変換によって輝度信号及び色差信号が取得されることによって、表示部２５２に画像の表示が可能となる。画像信号処理部２４２で取得された輝度信号及び色差信号は、Ｄ／Ａ変換部２４４に出力される。

Ｄ／Ａ変換部２４４は、画像信号処理部２４２から出力されたデジタルデータである輝度信号及び色差信号を、アナログ変換によってアナログ信号に変換する。Ｄ／Ａ変換部２４４は、表示制御部２５０にアナログ信号を出力する。

表示制御部２５０は、表示部２５２を駆動し、表示部２５２の出力を制御する。表示部２５２は、例えばＬＣＤ（Liquid Crystal Display）等の表示手段から構成される。表示部２５２は、再生装置２００の各種設定画面や、記録媒体２０４から読み出された画像の表示などを行う。なお、上述では、表示制御部２５０及び表示部２５２は、再生装置２００に一体的に設けられる場合について説明したが、本発明はかかる例に限定されない。例えば、Ｄ／Ａ変換部２４４からの画像信号がテレビモニターなどの外部の表示装置に出力される構成であるとしてもよい。

音声信号伸張部２６０には、データファイル処理部２３０から出力された、圧縮処理された音声データが入力される。そして、音声信号伸張部２６０は、圧縮された音声データを伸張処理し、伸張処理された音声信号を取得する。音声信号伸張部２６０は、取得された音声信号をＤ／Ａ変換部２６２に出力する。

Ｄ／Ａ変換部２６２は、音声信号伸張部２６０から出力された音声信号を、アナログ変換によってアナログ信号に変換する。Ｄ／Ａ変換部２６２は、アナログ信号をスピーカ２６４に出力する。

スピーカ２６４は、Ｄ／Ａ変換部２６２から出力されたアナログ信号に基づいて音声を出力する。

（データファイル及びパラメータファイルのデータ構造）
次に、図３を参照して、データファイル及びパラメータファイルのデータ構造について説明する。図３は、本実施形態に係るデータファイル及びパラメータファイルのデータ構造を示す説明図である。

データファイルは、１フレーム分の画像に関する画像データと、当該画像の１フレーム分に対応した期間の音声データとが交互に記録されて構成される。データファイルは、画像データと音声データが１フレーム単位で対応付けられ時系列順に配列される。例えば、第１フレームから第ＮフレームまでＮ個のフレームがある場合は、図３に示すように各データが配列される。

このように、フレーム毎に画像データと音声データが配列されることで、データファイルをフレーム単位で切断したり接続したりすることができる。また、本実施形態では、時間軸方向の圧縮処理がされていないＲＡＷ形式の画像データを扱う。そのため、本実施形態のデータファイルによれば、フレーム単位の映像編集を容易に行うことができる。

パラメータファイルは、画像データ及び音声データに関する各種パラメータが記録される。パラメータファイルには、例えば、画像データの画素構造、画素サイズ、画像データ圧縮形式、総フレーム数等の基本情報が記録され、音声データのビット数やサンプリング周波数、サンプル数、データ圧縮形式等の基本情報が記録される。

また、パラメータファイルには、各フレームの画像データ及び音声データのデータファイルにおける記録バイト位置が記録される。更に、各フレーム画像の画像処理に必要なパラメータ算出部１２０で算出されたパラメータが記録される。図３には、パラメータの例としてホワイトバランス補正値（ＷＢ値）、露出補正値（ＥＥ値）を示し、パラメータファイルにはデータ位置、ＷＢ値、ＥＥ値がフレーム単位毎に時系列順に配列されている。

パラメータファイルがデータファイル再生時より前に生成され記録されているので、データファイルを再生する際に、パラメータファイルを読み込むことで、ホワイトバランス制御や露出制御のためにあらためて各種パラメータを算出する必要がない。そのため、データファイルの再生処理が迅速かつ容易となる。

また、パラメータファイルをデータファイルとは別に単独で読み出すことも可能であるため、パラメータファイル処理部２３２は、所望の一連のシーンに相当する複数フレーム分のＲＡＷ画像データについて、各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定することができる。例えば、一連のシーンの再生時におけるホワイトバランスや輝度補正などの変化を抑えるために、パラメータの変動を平均化する計算を予め行うこともできる。その結果、一連のシーン内での色や輝度のばらつきを抑制でき、滑らかな再生が可能となる。

（第１の実施形態の動作）
次に、本発明の第１の実施形態に係る記録装置１００のパラメータファイル生成処理について説明する。図４は、本実施形態に係る記録装置１００のパラメータファイルの生成処理を示すフローチャートである。

まず、画像データがＡ／Ｄ変換部１０６を介してパラメータ算出部１２０に読み込まれる（ステップＳ１０１）。また、パラメータファイル生成部１２４は、パラメータが書込み可能な初期化されたパラメータファイルを生成する（ステップＳ１０２）。その際、パラメータファイルには、例えば、画像データの画素構造、画素サイズ、画像データ圧縮形式、総フレーム数等の基本情報と、音声データのビット数やサンプリング周波数、サンプル数、データ圧縮形式等の基本情報とが記録される。

そして、パラメータ算出部１２０は、録画された最初のフレームである第１フレームから順次各フレームの画像処理に必要なパラメータを算出する（ステップＳ１０３〜ステップＳ１０７）。

例えば、まずｎ＝０が設定されて（ステップＳ１０３）、次にｎ＝ｎ＋１が演算される（ステップＳ１０４）。初めにｎ＝１となるため、第１フレームのパラメータが算出される（ステップＳ１０５）。次に、算出された第１フレームのパラメータは、パラメータファイルのデータとして記録される（ステップＳ１０６）。そして、録画が停止されたか否かが判断される（ステップＳ１０７）。例えばユーザーによって録画停止ボタンが押されることで録画が停止されるまで、ステップＳ１０４〜ステップＳ１０７が繰り返される。

録画が停止された場合、画像データ及び音声データの基本情報と、第１フレームから録画された最後のフレームである第Ｎフレームまでのパラメータを有するパラメータファイルの生成が完了し、生成されたパラメータファイルは、例えば記録媒体１５２に記録される（ステップＳ１０８）。以上のパラメータファイルの生成は、画像データ、音声データの記録と同時に行ってもよいし、全ての記録が完了した後に行ってもよい。

次に、本発明の第１の実施形態に係る記録装置１００のデータファイル生成処理について説明する。図５は、本実施形態に係る記録装置１００のデータファイルの生成処理を示すフローチャートである。

まず、記録装置１００において、撮像素子１０４を介して画像データの読込みがされ、マイクを介して音声データの読込みがされる（ステップＳ２０１）。そして、画像データについては画像信号圧縮部１０８で圧縮処理がされ、音声データについては音声信号圧縮部１１６で圧縮処理がされる（ステップＳ２０２）。

また、データファイル生成部１２２は、画像データ及び音声データが書込み可能な初期化されたデータファイルを生成する（ステップＳ２０３）。そして、データファイル生成部１２２は、録画された最初のフレームである第１フレームから順次各フレームの画像データ及び音声データをデータファイルのデータとして記録する（ステップＳ２０４〜ステップＳ２０８）。

例えば、まずｎ＝０が設定されて（ステップＳ２０４）、次にｎ＝ｎ＋１が演算される（ステップＳ２０５）。初めにｎ＝１となるため、第１フレームの画像データが記録され（ステップＳ２０６）、当該画像データと同一フレームである第１フレームの音声データが記録される（ステップＳ２０７）。そして、録画が停止されたか否かが判断される（ステップＳ２０８）。例えばユーザーによって録画停止ボタンが押されることで録画が停止されるまで、ステップＳ２０５〜ステップＳ２０８が繰り返される。

録画が停止された場合、第１フレームから録画された最後のフレームである第Ｎフレームまでのフレーム毎の画像データ及び音声データを有するデータファイルの生成が完了し、生成されたデータファイルは例えば記録媒体１５２に記録される（ステップＳ２０９）。

次に、本発明の第１の実施形態に係る再生装置２００の再生処理について説明する。図６は、本実施形態に係る再生装置２００の再生処理を示すフローチャートである。

まず、記録媒体制御部２０２は、記録媒体２０４に記録されたデータファイルとパラメータファイルを読み出す（ステップＳ３０１）。また、パラメータファイル処理部２３２は、パラメータファイルが入力され、パラメータファイルからパラメータを取得する（ステップＳ３０２）。そして、パラメータファイル処理部２３２は、取得したパラメータを画像信号処理部２４２に出力する。

そして、データファイル処理部２３０は、データファイルを取得し、データファイルについて画像データと音声データにそれぞれ分解する（ステップＳ３０３）。データファイル処理部２３０は、画像データを画像信号伸張部２４０に出力し、音声データを音声信号伸張部２６０に出力する。

更に、画像信号伸張部２４０は、圧縮された画像データを伸張処理し、音声信号伸張部２６０は、圧縮された音声データを伸張処理する（ステップＳ３０４）。伸張処理された画像データは、画像信号処理部２４２に出力され、伸張処理された音声データは、Ｄ／Ａ変換部２６２に出力される。

そして、画像信号処理部２４２は、画像信号伸張部２４０から画像データを取得し、パラメータファイル処理部２３２からパラメータを取得した後、パラメータに基づいて画像データについてフレーム毎に再生に必要な画像処理を行う（ステップＳ３０５）。また、画像信号処理部２４２のＹＣ変換部２４３は、画像データについて輝度信号と色差信号からなる画像信号に変換する（ステップＳ３０６）。

そして、画像信号はＤ／Ａ変換部２４４を介して表示制御部２５０へ出力され、表示部２５２によって画像が表示される。また、音声信号は、Ｄ／Ａ変換部２６２からスピーカ２６４へ出力され、表示部２５２に表示された画像に合わせて、スピーカ２６４から音声が出力される（ステップＳ３０７）。

本実施形態によれば、記録装置１００では、各フレームの画像に対応する再生時の画像処理に必要なパラメータが予め算出される。そして、画像データ、音声データを含むデータファイルとは別のパラメータファイルとして、パラメータが記録される。画像データ、音声データを再生装置２００で再生する際、パラメータファイルから各フレームの画像に対応するパラメータが取得され、各フレームの画像の画像処理にパラメータが使用される。その結果、再生時にパラメータ演算に必要な手順が省略できるため、動画像処理に必要な時間が短縮され、動画像処理が容易になる。

ＣＣＤやＣＭＯＳといった撮像素子１０４では、カラー撮影のために市松模様のカラーフィルターが画素毎に設けられる場合がある。従来の記録装置では、この市松模様のカラーフィルターパターンから所定の画像処理を行って、輝度信号および色信号を生成し、これら信号を画像圧縮することにより映像の記録を行っている。そして、再生時には、記録されている圧縮画像情報を伸張し、輝度信号および色信号を復元してモニター等の表示装置に表示している。

一方、本実施形態に係る記録装置１００では、上記カラーフィルターパターンに画像処理を行わず、カラーフィルターパターンを直接データ化して圧縮し、記録媒体１５２に記録する（ＲＡＷ形式の画像データの記録）。そして、再生装置２００では、記録媒体１５２上から画像データを読み出してデータ伸張し、カラーフィルターパターンを得る。再生時に、このカラーフィルターパターンに対して所定の画像処理を行って、輝度信号および色差信号を生成し、モニター等の表示部２５２又は表示装置に画像を表示する。

即ち、本実施形態に係る記録再生方法では、カラーフィルターパターンを直接データとして記録している（撮像素子１０４からの信号をそのまま記録している）ので、画質劣化が無く、高画質で記録できる。また、再生装置２００側に画像信号処理部２４２が設けられているので、データファイルを記録する際には、画像処理の必要がなくなる。そのため、記録装置１００に設けられる回路が非常に簡単になり、消費電力も低減できる。

また、カラーフィルターパターンから輝度信号と色差信号を生成する画像処理においては、各カラーフィルターパターンからホワイトバランス情報および輝度補正情報を算出する。動画では、これらの値が急激に変化することは望ましくないため、従来の記録装置では、各記録画像から計算したホワイトバランス値および輝度補正値が緩やかに変化するように制御を行っている。従来の記録装置では、これらの値を使って画像処理を行った後、処理済みの画像データを記録媒体に記録するため、後から画像データに対して別途ホワイトバランスや輝度の調整を行うことができなかった。

一方、本実施形態に係る記録再生装置では、上記ホワイトバランス情報および輝度補正情報をデータとして各フレームの画像毎にパラメータファイルに記録している。そして、再生時には、これらの情報を用いて画像処理を行い、ホワイトバランスや輝度の調整を行う。このとき、画像データは、ホワイトバランス情報および輝度補正情報とは独立してデータファイルに記録されているので、再生時にこれらの値を変化させることにより画質調整を行うことができる。なお、これらの調整は利用者が行うこともできる。また、これらパラメータを書き換えても画像データには影響しないので、調整後の値でパラメータファイル書き換えても何ら問題が生じることはなく、利用者が設定した画質で再生処理を行うことが可能となる。また、ホワイトバランス、輝度レベルのみならず、色収差などを撮影後に補正することが可能である。

また、パーソナルコンピュータ等を用いて再生することにより、書換えが困難なハードウェアデコーダよりも、技術進歩に応じたソフトウェアデコーダを利用することができ、高画質な再生が可能となる。更に、記録時に画像処理を行わず、再生時に画像処理を行うため、ＲＡＷ形式データの現像ソフトなどの画像処理技術の進歩に応じて、記録済みの画像データをより高画質な画像処理で再生することが可能となる。

また、記録されたデータファイルは、表示を行うモニター等の表示装置と独立して記録されたＲＡＷ形式のデータを有しており、再生時に任意の映像信号（ＮＴＳＣ／ＨＤＴＶなど）に変換して出力することが可能である。更に、色空間なども再生時に任意に設定が可能である。

また、本実施形態のデータファイルのデータ構造によれば、フレーム単位で映像と音声を合わせて記録しているので、映像と音声の同期が容易で、編集もしやすい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、記録装置１００において画像信号圧縮部１０８、音声信号圧縮部１１６が設けられたが、画像信号圧縮部１０８、音声信号圧縮部１１６がない構成であってもよい。このとき、データファイルには、圧縮処理がされない画像データ、音声データが記録される。なお、データファイルに圧縮処理がされない画像データ、音声データが記録されている場合は、再生装置２００において、画像信号伸張部２４０、音声信号伸張部２６０における画像データ、音声データの伸張処理が不要となる。

また、上記実施形態では、再生装置２００において、記録装置１００で記録されたパラメータを読み出して、パラメータをそのまま画像処理に使用する場合について説明したが、本発明はかかる例に限定されない。例えば、画像処理に使用するパラメータは、記録装置１００で取得されたパラメータファイル上のパラメータを補正し、任意に設定したものであってもよい。本実施形態によれば、データファイルにはＲＡＷ形式で画像データが記録され、パラメータがデータファイルとは別のパラメータファイルに記録されているため、利用者が再生を希望する画像の処理が容易である。

また、上記実施形態では、ＹＣ変換部２４３は、再生装置２００の画像信号処理部２４２に設けられるとしたが、本発明はかかる例に限定されない。例えば、記録装置１００のＡ／Ｄ変換部１０６の後にＹＣ変換部が設けられ、ＹＣ変換された画像信号を可逆圧縮処理し、圧縮されたＹＣ変換後の画像信号をデータファイルに、フレーム毎に記録するとしてもよい。また、このとき、ＹＣ変換された画像信号に基づいて画像処理に必要なパラメータが算出され、算出されたパラメータによってパラメータファイルが生成される。

このように、ＹＣ変換後の画像信号を有するデータファイルが生成された場合、再生装置２００では、ＹＣ変換処理が不要となる。そして、再生装置２００の画像信号処理部２４２は、データファイルからＹＣ変換後の画像信号を取得し、上記ＹＣ変換された画像信号に基づいて算出されたパラメータに基づいて画像処理を行う。

本発明の第１の実施形態に係る記録装置を示すブロック図である。 同実施形態に係る再生装置を示すブロック図である。 同実施形態に係るデータファイル及びパラメータファイルの構成を示す説明図である。 同実施形態に係る記録装置のパラメータファイルの生成処理を示すフローチャートである。 同実施形態に係る記録装置のデータファイルの生成処理を示すフローチャートである。 同実施形態に係る再生装置の再生処理を示すフローチャートである。

符号の説明

１００ 記録装置
１０２ 光学系
１０４ 撮像素子
１０６、１１４ Ａ／Ｄ変換部
１０８ 画像信号圧縮部
１１０、２１２ ドライバ
１１２ マイク
１１６ 音声信号圧縮部
１２０ パラメータ算出部
１２２ データファイル生成部
１２４ パラメータファイル生成部
１３０ ＣＰＵ
１４０、２４２ 画像信号処理部
１４１、２４３ ＹＣ変換部
１４２、２４４、２６２ Ｄ／Ａ変換部
１４４、２５０ 表示制御部
１４６、２５２ 表示部
１５０、２０２ 記録媒体制御部
１５２、２０４ 記録媒体
１６０ メモリ
１６２ ＶＲＡＭ
１７０、２２０ 操作部
２００ 再生装置
２１０ ＣＰＵ
２１２ ドライバ
２３０ データファイル処理部
２３２ パラメータファイル処理部
２４０ 画像信号伸張部
２６０ 音声信号伸張部
２６４ スピーカ

Claims (11)

1. 撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、当該ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータをフレーム毎に算出するパラメータ算出部と、当該算出された各フレームに対応するパラメータを、前記ＲＡＷ画像データとは別のパラメータファイルとして当該各ＲＡＷ画像データと共に記録媒体に記録する媒体記録部とを備える記録系と、
   前記記録媒体に記録されている各前記ＲＡＷ画像データ及び前記パラメータファイルを読み出すデータ読出部と、当該読み出したパラメータファイルからフレーム単位で前記ＲＡＷ画像データを順次再生するために必要なパラメータを取得するパラメータファイル処理部と、当該各パラメータに基づいて、対応する前記ＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする画像処理部とを備える再生系と
   を有することを特徴とする撮像装置。
2. 前記再生系において、
   前記パラメータファイル処理部は、所望の一連のシーンに相当する複数フレーム分の前記ＲＡＷ画像データについて、当該各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、当該ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータをフレーム毎に算出するパラメータ算出部と、
   当該算出された各フレームに対応するパラメータを、前記ＲＡＷ画像データとは別のパラメータファイルとして当該各ＲＡＷ画像データと共に記録媒体に記録する媒体記録部と
   を備えることを特徴とする記録装置。
4. フレーム単位のＲＡＷ画像データと、当該各ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータからなるパラメータファイルとが記録された記録媒体から、各前記ＲＡＷ画像データ及び前記パラメータファイルを読み出すデータ読出部と、
   当該読み出したパラメータファイルからフレーム単位で前記ＲＡＷ画像データを順次再生するために必要なパラメータを取得するパラメータファイル処理部と、
   当該各パラメータに基づいて、対応する前記ＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする画像処理部と
   を備えることを特徴とする再生装置。
5. 前記パラメータファイル処理部は、所望の一連のシーンに相当する複数フレーム分の前記ＲＡＷ画像データについて、当該各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定する
   ことを特徴とする請求項４に記載の再生装置。
6. 撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、当該ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータをフレーム毎に算出した後、当該算出された各フレームに対応するパラメータを、前記ＲＡＷ画像データとは別のパラメータファイルとして当該各ＲＡＷ画像データと共に記録媒体に記録する記録処理ステップと、
   前記記録媒体に記録されている各前記ＲＡＷ画像データ及び前記パラメータファイルを読み出し、当該読み出したパラメータファイルからフレーム単位で前記ＲＡＷ画像データを順次再生するために必要なパラメータを取得した後、当該各パラメータに基づいて、対応する前記ＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする再生処理ステップと
   を有することを特徴とする撮像方法。
7. 前記再生処理ステップにおいて、
   前記画像処理の前段階で、所望の一連のシーンに相当する複数フレーム分の前記ＲＡＷ画像データについて、当該各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定する
   ことを特徴とする請求項６に記載の撮像方法。
8. 撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、当該ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータをフレーム毎に算出した後、当該算出された各フレームに対応するパラメータを、前記ＲＡＷ画像データとは別のパラメータファイルとして当該各ＲＡＷ画像データと共に記録媒体に記録する
   ことを特徴とする記録方法。
9. フレーム単位のＲＡＷ画像データと、当該各ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータからなるパラメータファイルとが記録された記録媒体から、各前記ＲＡＷ画像データ及び前記パラメータファイルを読み出した後、当該読み出したパラメータファイルからフレーム単位で前記ＲＡＷ画像データを順次再生するために必要なパラメータを取得し、続いて当該各パラメータに基づいて、対応する前記ＲＡＷ画像データについてフレーム毎に再生に必要な画像処理をする
   ことを特徴とする再生方法。
10. 前記画像処理の前段階で、所望の一連のシーンに相当する複数フレーム分の前記ＲＡＷ画像データについて、当該各ＲＡＷ画像データに対応するパラメータを、指定された値に一律に設定する
    ことを特徴とする請求項９に記載の再生方法。
11. 撮像素子からフレーム単位で順次出力されるＲＡＷ画像データに基づいて、当該ＲＡＷ画像データを再生する際の画像処理に必要な画像データと音声データに関するパラメータをフレーム毎に算出する第１のステップと、当該算出された各フレームに対応するパラメータを、前記ＲＡＷ画像データとは別のパラメータファイルとして当該各ＲＡＷ画像データと共に記録媒体に記録する第２のステップと
    をコンピュータに実行させるためのプログラム。

Images