JP4281778B2 - 撮像装置および撮像画像記録方法 - Google Patents

Description

本発明は、固体撮像素子を用いて撮像された動画像をストリームデータとして記録媒体に記録する撮像装置および撮像画像記録方法に関し、特に、一定フレーム数の連続した画像からなる画像群を単位として画像データを符号化する方式が採用された撮像装置および撮像画像記録方法に関する。

近年、固体撮像素子を利用して動画像を撮像し、その動画像をデジタルデータとして記録可能な撮像装置（デジタルビデオカメラ）が急速に普及している。デジタルビデオカメラでは、記録媒体として磁気テープを用い、ＤＶ（Digital Video）と言われる符号化方式によって動画像が記録されるものが多かったが、最近ではＭＰＥＧ（Moving Picture Experts Group）方式を用いて記録を行うものも多くなっている。また、ＭＰＥＧ方式を用いたデジタルビデオカメラでは、記録媒体として磁気テープの他に、ＤＶＤ（Digital Versatile Disk）などの光ディスク、ＨＤＤ（Hard Disk Drive）などを用いたものも多くなっている。例えば、記録媒体としてＤＶＤを用いた撮像装置としては、ＤＶＤのファイナライズ処理の際に、記録された動画像データのチャプター情報に基づき、各チャプターを再生させるための表示領域を含んだトップメニューを生成するようにして、ユーザの利便性を向上させたものがあった（例えば、特許文献１参照）。

ＭＰＥＧ方式で符号化された画像データは、フレーム内符号化画像であるＩピクチャと、時間的に先行する画像を用いて予測符号化されるＰピクチャと、時間的に前後両方向の画像を用いて予測符号化されるＢピクチャとから構成される。ＭＰＥＧ方式では、このようなフレーム間の予測符号化が行われることで、圧縮効率が高められている。また、ＭＰＥＧ−２方式では、複数のピクチャからなるＧＯＰ（Group Of Pictures）と呼ばれる単位が規定されている。ＧＯＰには少なくとも１つのＩピクチャが含まれ、これにより、ランダムアクセスや早送り・巻き戻しなどの特殊再生時のアクセスを容易にしている。
特開２００５−７９８２３号公報（段落番号〔０１１３〕〜〔０１２０〕、図１６）

ところで、ＭＰＥＧ−２方式を用いて画像記録を行う多くのデジタルビデオカメラでは、処理を簡略化するために、１つのＧＯＰを構成するフレーム数を固定値としていることが多い。例えば、ＤＶＤ−Ｖｉｄｅｏ規格の光ディスクを用いたデジタルビデオカメラにおいては、ＧＯＰは通常、ＮＴＳＣ（National Television Standards Committee）の場合には１５フレーム、ＰＡＬ（Phase Alternation by Line）の場合には１２フレームで構成される。しかし、撮像画像の記録動作の停止タイミングは必ずＧＯＰの境界でなければならないため、ＧＯＰを構成するフレーム数を固定値とした場合には、ユーザが記録停止を要求したタイミングで必ずしも記録動作が停止しないという問題があった。

図７は、従来のデジタルビデオカメラにおける記録停止タイミングを説明するための図である。
この図７において、タイミングＴ１０２は、撮像画像の各フレームにおけるＧＯＰの境界となっている。ここで、撮像画像の記録媒体への記録動作中に、このタイミングＴ１０２より前のＧＯＰの途中に相当するタイミングＴ１０１において、ユーザ操作によって記録動作の停止要求が行われた場合には、そのタイミングＴ１０１での撮像画像を最終の記録画像とすることはできない。そこで、従来のデジタルビデオカメラでは、記録停止が要求されたタイミングＴ１０１の後、その時点でのＧＯＰの最後のフレームに相当する撮像画像までを記録媒体に記録し、記録停止要求後に最初に到来するＧＯＰ境界のタイミングＴ１０２まで、実際の記録停止タイミングを遅延させていた。このため、ユーザ操作に対するレスポンスが低下してユーザの操作感を損なうという問題や、以下で説明するように、ユーザの意図しない画像が記録されてしまうといった問題があった。

図８は、画像の記録停止時におけるユーザの撮像動作の一例を示す図である。
図８（Ａ）は通常の撮像時の状態を示しており、撮影者１１０は、デジタルビデオカメラ１２０を手に持ち、そのビューファインダや外装面のモニタなどを視認しながら、撮像面を被写体側に向ける。一方、図８（Ｂ）は、撮影者１１０が記録停止を要求する操作入力を行った直後の状態の例を示している。この（Ｂ）に示すように、撮影者１１０は記録停止操作を行うとすぐに、ビューファインダなどから目を離し、デジタルビデオカメラ１２０を持った手を下方に下ろすことが多い。

しかし、記録停止操作を行っても実際の記録動作が停止していない場合、デジタルビデオカメラ１２０を持った手を下方に下ろしたことでその撮像方向が変化した状態の撮像画像も記録されてしまう。このため、記録された画像を再生すると、その終了直前の期間には、地面などの撮影者が意図しない画像が映ってしまうことになり、画像コンテンツの品質を著しく劣化させてしまう。また、撮像者が記録停止操作を行ったことを察知した被写体の人物も、記録が終わったものとして振る舞うので、本来記録する必要のなかった人物の余計な動きの映像まで記録されてしまう。

３０フレーム／秒のＮＴＳＣ方式の場合、ＧＯＰのフレーム数を１５とすると、上記制御により記録停止要求から実際の記録停止まで、最大で０．５秒近く遅延してしまうことになり、記録停止直前のこのような期間に意図しない画像が映ってしまうことは、画像コンテンツの品質劣化要因として無視できないものとなっていた。

本発明はこのような点に鑑みてなされたものであり、記録動作の終了直前における画像の品質劣化を防止した撮像装置および撮像画像記録方法を提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子を用いて撮像された動画像をストリームデータとして記録媒体に記録する撮像装置において、撮像により得られた画像データを、一定フレーム数の連続した画像からなる画像群を単位として符号化する画像符号化部と、ユーザからの操作入力に応じて、前記画像符号化部によって符号化された動画像データを含む前記ストリームデータの前記記録媒体に対する記録停止要求を検出する入力検出部と、前記入力検出部によって前記記録停止要求が検出されると、その時点での撮像画像が前記画像群の中のどの位置に対応するかを判定し、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から所定の最大フレーム数以下の位置にある場合には、当該画像群の直前における前記画像群を前記ストリームデータ中の最終の前記画像群とし、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から前記最大フレーム数を超える位置にある場合には、当該撮像画像が属する前記画像群の最終撮像画像までが前記記録媒体に記録されるように、前記記録媒体に対する前記ストリームデータの記録動作を制御する記録制御部と、を有し、前記最大フレーム数を、前記一定フレーム数の略中間値としたことを特徴とする撮像装置が提供される。

このような撮像装置では、撮像により得られた画像データは、画像符号化部により、一定フレーム数の連続した画像からなる画像群を単位として符号化され、符号化された動画像データはストリームデータとして記録媒体に記録される。また、入力検出部は、ユーザからの操作入力に応じて、ストリームデータの記録媒体に対する記録停止要求を検出する。そして、記録制御部は、入力検出部によって記録停止要求が検出されると、その時点での撮像画像が画像群の中のどの位置に対応するかを判定し、その判定結果に応じて、記録媒体に対するストリームデータの記録動作を制御する。記録停止要求の検出時点での撮像画像が画像群の先頭から所定の最大フレーム数以下の位置にある場合には、この画像群の直前における画像群をストリームデータ中の最終の画像群とするように制御する。一方、記録停止要求の検出時点での撮像画像が画像群の先頭から最大フレーム数を超える位置にある場合には、この時点での撮像画像が属する画像群の最終撮像画像までが記録媒体に記録されるように制御する。さらに、この判定に用いる最大フレーム数としては、各画像群に含まれるフレーム数の略中間値とされる。

本発明の撮像装置によれば、ユーザ操作によりストリームデータの記録停止が要求されると、その時点での撮像画像が画像群の中のどの位置に対応するかが判定され、その判定結果に応じて、その画像群あるいはその直前の画像群のいずれかがストリームデータ中の最終の画像群となるように記録動作が停止される。これにより、ユーザ操作により記録停止が要求されてから実際に記録動作が停止されるまでの時間差が短縮される。これととともに、ユーザが意図しない画像が記録されにくくなり、記録した画像の品質劣化を防止できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、動画像を撮像し、その撮像画像をデジタルデータとして記録媒体に記録する、いわゆるデジタルビデオカメラである。この撮像装置は、光学ブロック１１、撮像素子１２、カメラＤＳＰ（Digital Signal Processor）１３、ビデオＣＯＤＥＣ（Coder／Decoder）１４、表示処理回路１５、ＬＣＤ（Liquid Crystal Display）１６、マイクロフォン１７、Ａ／Ｄコンバータ１８、フェーダ１９、オーディオＣＯＤＥＣ２０、Ｄ／Ａ（デジタル／アナログ）コンバータ・アンプ２１、スピーカ２２、ＭＵＸ／ＤＥＭＵＸ（Multiplexer／Demultiplexer）２３、記録装置２４、マイクロコンピュータ３１、入力部３２、およびビデオ／オーディオメモリ４０を具備する。

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを備えている。撮像素子１２は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、光学ブロック１１により集光された光を電気信号に変換する。

カメラＤＳＰ１３は、撮像素子１２からの画像信号に対するＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理などの各種アナログ信号処理や、Ａ／Ｄ（アナログ／デジタル）変換、撮像動作制御用の検波処理や画質補正処理などの各種デジタル信号処理を、マイクロコンピュータ３１の制御の下で実行する。

ビデオＣＯＤＥＣ１４は、マイクロコンピュータ３１による制御の下で、カメラＤＳＰ１３から出力された画像データを圧縮符号化し、ビデオＥＳ（Elementary Stream）としてＭＵＸ／ＤＥＭＵＸ２３に供給する。また、ＭＵＸ／ＤＥＭＵＸ２３により分離されたビデオＥＳを伸張復号化する。本実施の形態では、ビデオＣＯＤＥＣ１４は、ＭＰＥＧ−２方式に従って圧縮符号化・伸張復号化処理を行うものとする。

表示処理回路１５は、カメラＤＳＰ１３からの画像データ、あるいはビデオＣＯＤＥＣ１４で伸張復号化された画像データを、画面表示のための信号に変換する。ＬＣＤ１６は、表示処理回路１５から画像信号の供給を受け、撮影中の画像や記録装置２４に記録されたデータの再生画像を表示する。

マイクロフォン１７は、音声信号を収音する。Ａ／Ｄコンバータ１８は、マイクロフォン１７により収音された音声信号を所定のサンプリングレートでデジタル変換し、オーディオＰＣＭ（Pulse Code Modulation）データを生成する。フェーダ１９は、マイクロコンピュータ３１からの制御の下で、Ａ／Ｄコンバータ１８からのオーディオＰＣＭデータを加工して、その音声レベルを徐々に低下させるフェードアウト処理を施す。

オーディオＣＯＤＥＣ２０は、マイクロコンピュータ３１による制御の下で、フェーダ１９を介して供給されるオーディオＰＣＭデータを例えばＭＰＥＧ方式などの所定の圧縮符号化方式に従って符号化し、オーディオＥＳとしてＭＵＸ／ＤＥＭＵＸ２３に供給する。また、ＭＵＸ／ＤＥＭＵＸ２３により分離されたオーディオＥＳを伸張復号化する。

Ｄ／Ａコンバータ・アンプ２１は、オーディオＣＯＤＥＣ２０により伸張復号化された音声データをアナログ信号に変換する。また、変換した音声信号を増幅し、スピーカ２２に出力して音声を再生出力させる。

ＭＵＸ／ＤＥＭＵＸ２３は、マイクロコンピュータ３１による制御の下で、ビデオＣＯＤＥＣ１４およびオーディオＣＯＤＥＣ２０からのビデオＥＳおよびオーディオＥＳをパケット化し、それらのパケットを多重化してＰＳ（Program Stream）を生成して、記録装置２４に出力する。また、記録装置２４から読み出されたＰＳからビデオＥＳおよびオーディオＥＳを分離し、それぞれビデオＣＯＤＥＣ１４およびオーディオＣＯＤＥＣ２０に出力する。

記録装置２４は、ＭＵＸ／ＤＥＭＵＸ２３で生成されたビデオ／オーディオのストリームデータ（ＰＳ）を記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤなどとして実現される。また、記録装置２４に記録されたＰＳを読み出して、ＭＵＸ／ＤＥＭＵＸ２３に供給することもできる。

マイクロコンピュータ３１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備え、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。入力部３２は、図示しない入力キーなどに対するユーザによる操作入力に応じた制御信号を、マイクロコンピュータ３１に出力する。

ビデオ／オーディオメモリ４０は、画像データ、音声データの記録処理時や再生処理時に、これらのデータのバッファ領域として共用される。このビデオ／オーディオメモリ４０としては、例えばＳＤＲＡＭ（Synchronous Dynamic ＲＡＭ）などが利用される。

このような撮像装置において、画像・音声データの記録が行われる場合は、カメラＤＳＰ１３で処理された撮像画像のデータが、表示処理回路１５に出力され、撮像中の画像がＬＣＤ１６に表示されるとともに、その撮像画像のデータがビデオＣＯＤＥＣ１４にも供給され、圧縮符号化処理（エンコード処理）が実行されて、ビデオＥＳが生成される。また、オーディオＣＯＤＥＣ２０は、収音された音声のデータをエンコードし、オーディオＥＳを生成する。ＭＵＸ／ＤＥＭＵＸ２３は、生成されたビデオＥＳおよびオーディオＥＳを多重化してＰＳを生成し、そのＰＳがデータファイルとして記録装置２４に記録される。

一方、記録装置２４に記録されたＰＳを再生する場合には、記録装置２４から読み出されたＰＳがＭＵＸ／ＤＥＭＵＸ２３により分離され、分離されたビデオＥＳがビデオＣＯＤＥＣ１４により伸張復号化（デコード）される。デコードされた画像データは表示処理回路１５に供給され、これにより再生画像がＬＣＤ１６に表示される。また、ＭＵＸ／ＤＥＭＵＸ２３で分離されたオーディオＥＳは、オーディオＣＯＤＥＣ２０によりデコードされ、デコードされた音声データはＤ／Ａコンバータ・アンプ２１に供給される。これにより、スピーカ２２から音声が出力される。

次に、この撮像装置における画像・音声データの記録停止時の処理について説明する。この撮像装置において、画像・音声データはＭＰＥＧ−２方式のストリームデータ（ＰＳ）として記録装置２４に記録される。このとき、画像データは複数フレーム分のピクチャからなるＧＯＰ単位で符号化されるが、このＧＯＰに含まれるフレーム数は常に一定である。本実施の形態では、３０フレーム／秒のＮＴＳＣ方式で画像を記録し、ＧＯＰのフレーム数を１５とする。

このように、ＧＯＰのフレーム数が一定であるため、画像データ（ビデオＥＳ）の記録停止タイミングは必ずＧＯＰの終端となり、音声データの記録もＧＯＰ終端の画像データに対応するデータ（オーディオフレーム）で停止される。本実施の形態の撮像装置では、基本的に、入力部３２に対してユーザから記録停止要求の操作入力が行われると、そのときに撮像されている画像を基準として、その直前のＧＯＰ境界を画像データの記録停止タイミングとして決定する。これにより、ユーザが記録停止を要求してから、実際に画像データの記録が停止されるまでの期間に、ユーザが意図しない画像が記録される事態を防止することができる。

さらに、以下で説明するように、ユーザからの記録停止要求を受けると、その時点で撮像中の画像がＧＯＰ内のどの位置であるかを判別して、実際のデータ記録停止タイミングを、そのＧＯＰの終端、あるいはその直前のＧＯＰの終端のいずれかとすることもできる。これにより、記録停止要求から実際のデータ記録停止までの時間差をできるだけ短縮し、ユーザの操作感を向上させることができる。

図２は、画像データの記録停止時における処理手順を示すフローチャートである。このフローチャートに示す処理は、撮像により得られた画像データを記録装置２４に記録している場合に実行される。

〔ステップＳ１〕マイクロコンピュータ３１は、入力部３２からの記録停止を要求する制御コマンド（記録停止コマンド）を検出することで、ユーザから記録停止要求が行われたか否かを判定し、行われたと判定した場合に、次のステップＳ２の処理を実行する。

〔ステップＳ２〕マイクロコンピュータ３１は、現在撮像中の画像のＧＯＰ内の位置情報を取得し、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎに代入する。この位置情報は、具体的には、撮像素子１２から出力される画像データが、ＧＯＰ内の先頭からどの位置にあるかを示すフレーム数であり、例えば撮像素子１２やカメラＤＳＰ１３を駆動するための同期信号などを基に取得される。

〔ステップＳ３〕マイクロコンピュータ３１は、直前のＧＯＰ境界でデータ記録を停止するための最大フレーム数を取得し、ｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅに代入する。この最大フレーム数は、ＧＯＰを構成するフレーム数の中間値とされることが望ましく、ここでは例として“７”とする。

〔ステップＳ４〕マイクロコンピュータ３１は、ｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値とｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値とを比較する。ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値以下である場合は、次にステップＳ５の処理を実行する。また、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値の方が大きい場合には、次にステップＳ６の処理を実行する。

〔ステップＳ５〕マイクロコンピュータ３１は、直前のＧＯＰの境界をデータ記録の停止タイミングとするように制御する。
〔ステップＳ６〕マイクロコンピュータ３１は、次のＧＯＰの境界をデータ記録の停止タイミングとするように制御する。

図３は、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値以下である場合の記録停止動作を説明するための図である。
この図３において、タイミングＴ１１がＧＯＰの境界に対応しており、このタイミングＴ１１に撮像された画像に対応するｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎは“１”にリセットされる。ここで、タイミングＴ１１から開始されるＧＯＰの撮像期間において、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎが“７”以下となるタイミングＴ１２にユーザからの記録停止要求が行われた場合には、その直前のＧＯＰの終端であるタイミングＴ１１をデータ記録の停止タイミングとする。すなわち、タイミングＴ１１までに撮像された画像のデータを記録装置２４に記録し、それ以降に撮像され、撮像装置内で処理中の画像データについてこれを破棄する。このような動作により、ユーザによる記録停止要求の後に、意図しない画像が記録されることが防止される。

図４は、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値より大きい場合の記録停止動作を説明するための図である。
この図４において、タイミングＴ２１がＧＯＰの境界に対応し、タイミングＴ２３がその次のＧＯＰの境界に対応している。ここで、タイミングＴ２１から開始されるＧＯＰの撮像期間において、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎが「８」以上となるタイミングＴ２２にユーザからの記録停止要求が行われた場合には、その時点で記録中のＧＯＰの終端であるタイミングＴ２３をデータ記録の停止タイミングとする。すなわち、タイミングＴ２２を過ぎた後も、タイミングＴ２３までに撮像された画像のデータを記録装置２４に記録し続ける。

このような動作により、ユーザによる記録停止要求から実際にデータ記録が停止されるまでのタイムラグを、最大で従来の約１／２である１／４秒程度に抑えることができる。従って、ユーザの操作感が向上するとともに、記録停止要求後にユーザが意図しない画像が記録される確率を低くすることができる。

なお、上記の処理例では、ｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値を固定値としたが、この値をユーザ操作により、ＧＯＰのフレーム数を最大とした範囲内で任意に変更できるようにしてもよい。

次に、上記のようなデータ記録停止時における動作手順を、画像データだけでなく音声データの記録停止手順を含めてさらに詳しく説明する。まず、図５は、画像データおよび音声データの記録系における機能の構成を示すブロック図である。

この図５に示すように、撮像素子１２による撮像によって得られ、カメラＤＳＰ１３により処理された画像データ（ビデオベースバンドデータ）は、ビデオフレームバッファ４１に一旦格納された後、ビデオＣＯＤＥＣ１４に読み出されてエンコードされる。また、ビデオＣＯＤＥＣ１４により生成されたビデオＥＳは、ビデオＥＳバッファ４２に一旦格納された後、ＭＵＸ／ＤＥＭＵＸ２３に読み出されてＰＳに多重化される。

一方、マイクロフォン１７によって収音された音声は、Ａ／Ｄコンバータ１８によりデジタル音声データ（オーディオＰＣＭデータ）に変換された後、オーディオＰＣＭバッファ４３に一旦格納され、その後にフェーダ１９を介してオーディオＣＯＤＥＣ２０に読み出される。ここで、フェーダ１９は、音声データの記録停止直前において、音声レベルを徐々に低下させる処理を行う。また、オーディオＣＯＤＥＣ２０により圧縮符号化されて生成されたオーディオＥＳは、オーディオＥＳバッファ４４に一旦格納された後、ＭＵＸ／ＤＥＭＵＸ２３に読み出されてＰＳに多重化される。

なお、本実施の形態において、ビデオフレームバッファ４１、ビデオＥＳバッファ４２、オーディオＰＣＭバッファ４３、およびオーディオＥＳバッファ４４にそれぞれ対応するメモリ領域は、ビデオ／オーディオメモリ４０の中に割り当てられるが、これらのメモリ領域をそれぞれ個別のメモリ装置に割り当ててもよい。また、実際にはＭＵＸ／ＤＥＭＵＸ２３にも、入力されたビデオＥＳおよびオーディオＥＳを蓄積するバッファが設けられており、ＭＵＸ／ＤＥＭＵＸ２３は、そのバッファ内に必要なデータが揃った時点で各ＥＳのＭＵＸを開始することにより、画像データと音声データとを同期させてＰＳを生成できる。

このような構成において、図２〜図４で説明したデータ記録停止動作を実現する場合を考える。上記のデータ記録停止動作では、記録停止要求が行われたとき、実際に記録される最終の画像を、それ以前にすでに撮像された画像とする場合がある。このため、画像データ、音声データともに、ＰＳとして多重化されるまでの記録系の途中においてデータをバッファリングし、多重化処理を遅延させる必要がある。

画像データについては、記録する最終画像を決定するためのタイミング調整を、ビデオＥＳバッファ４２でのビデオＥＳの書き込み・読み出しを制御することで行う。すなわち、実際に記録される最終画像が時間を遡った位置となった場合にも、その最終位置までの画像データを確実にＰＳに多重化できるように、必要な量の画像データ（ビデオＥＳ）をビデオＥＳバッファ４２に蓄積しておく。このように、圧縮符号化後の画像データの蓄積量により記録停止位置を決定することで、圧縮符号化前の画像データの蓄積量を用いた場合よりバッファの必要容量を小さくすることができる。

本実施の形態では、マイクロコンピュータ３１がビデオＥＳバッファ４２に保持しておくべきビデオＥＳのデータ量を常に管理し、記録停止コマンドを検出したときに、その検出時における撮像画像のＧＯＰ内の位置に応じてビデオＥＳバッファ４２における必要データ量を調整することで、上記動作を実現する。ここでは、ビデオＥＳバッファ４２において保持すべきデータ量を、ビデオフレームを単位としたデータ保持数として表す。

一方、音声データについては、上述したように、データ記録の停止直前にフェードアウト処理を施すようにしており、これにより記録される音声データの品質を高めている。しかし、このようなフェードアウト処理は、オーディオＣＯＤＥＣ２０により圧縮符号化される前の音声データに対して施す必要がある。このため、音声データの記録停止位置を画像データに同期させるためのタイミング調整を、オーディオＰＣＭバッファ４３での音声データ（オーディオＰＣＭデータ）の書き込み・読み出しを制御することで行う。

本実施の形態では、マイクロコンピュータ３１がオーディオＰＣＭバッファ４３に保持しておくべき音声データのデータ量を常に管理し、記録停止コマンドを検出したときに、その検出時における撮像画像のＧＯＰ内の位置に応じてオーディオＰＣＭバッファ４３における必要データ量を調整する。ここでは、その必要データ量を、オーディオフレームを単位としたデータ保持数として表す。

図６は、記録停止要求が行われたときの画像・音声データの記録停止動作を示すタイムチャートである。
この図６では、撮像により得られた画像データに対して、先頭から撮像順にフレーム番号を付与して示している。また、音声データについては、ビデオベースバンドデータに対応するフレーム番号をオーディオフレーム単位で付与している。また、図中のビデオベースバンドデータは、例えば、カメラＤＳＰ１３の内部においてＡ／Ｄ変換されて出力される画像データとする。そして、図中のオーディオＰＣＭデータは、画像データのＡ／Ｄ変換タイミングに同期してＡ／Ｄコンバータ１８から出力される音声データをオーディオフレーム単位で示しているものとする。

この図６において、フレーム番号“３１”〜“４５”、フレーム番号“４６”〜“６０”、フレーム番号“６１”〜“７５”（図示せず）の画像データが、符号化後にそれぞれＧＯＰを構成するように制御されるものとする。従って、ここでは、フレーム番号“４６”および“６１”の画像データがそれぞれ出力されるタイミングＴ３１およびＴ３３が、撮像画像上のＧＯＰの境界タイミングとなる。なお、ここでは例として、ビデオＥＳにおけるピクチャ順は、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ……となるものとする。例えば、フレーム番号“４８”“４６”“４７”の画像データは、それぞれＩ，Ｂ，Ｂのピクチャとして符号化される。

また、上記のビデオベースバンドデータがビデオフレームバッファ４１を介してビデオＣＯＤＥＣ１４に供給され、圧縮符号化が施されてビデオＥＳとして出力されるとき、その出力タイミングは例として４フレーム分遅延するものとする。さらに、ビデオＥＳバッファ４２では、通常の記録動作中においては、ビデオＣＯＤＥＣ１４により生成されたビデオＥＳを、例として常に１３フレーム分（ただし、現在書き込み中および読み出し中のビデオフレームを含む）だけ保持するように、マイクロコンピュータ３１によってそのデータ保持数が管理されている。従って、ビデオＥＳバッファ４２への入力画像データと、このバッファからの出力画像データとでは、さらに１２フレーム分の遅延が生じることになる。

ここで、フレーム番号“５２”の画像データが出力されるタイミングＴ３２において、ユーザ操作により記録停止要求が行われたものとする。このとき、フレーム番号“５２”はＧＯＰの先頭から７フレーム目であり、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値（“７”）がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値（“７”）以下となるので、記録装置２４に記録すべき画像データの終端位置は、直前のＧＯＰの最終フレームであるフレーム番号“４５”の画像データとなる。

マイクロコンピュータ３１は、上記のように記録する画像の終端位置を決定すると、ビデオＣＯＤＥＣ１４での圧縮符号化処理を停止させるとともに、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値に応じてビデオＥＳバッファ４２におけるデータ保持数を変更する。図６の例では、ビデオＥＳバッファ４２には、記録の必要がないフレーム番号“４８”“４６”“４７”に対応するビデオＥＳが書き込み済みまたは書き込み途中の状態となっているので、これらのビデオＥＳをビデオＥＳバッファ４２から破棄するために、データ保持数を“３”だけ減算して“１０”とする。そして、以後、１フレーム分のビデオＥＳがビデオＥＳバッファ４２から出力されるたびに、データ保持数を順次カウントダウンしていく。これにより、ビデオベースバンドデータにおけるフレーム番号“４５”の画像を、記録される最終画像とすることができる。

なお、この例のようにビデオＥＳの出力遅延が４フレーム分存在する場合、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値が“４”以下であれば、ビデオＥＳバッファ４２には破棄すべきビデオＥＳが存在しないことになる。従ってこの場合には、マイクロコンピュータ３１はビデオＥＳバッファ４２に書き込まれる画像データのＧＯＰ境界を監視し、ＧＯＰ境界を越えた時点（この例では、ビデオＥＳバッファ４２に対してフレーム番号“４８”の画像データの書き込みが開始された時点）で、ビデオＥＳバッファ４２のデータ保持数のカウントダウンを開始するようにする。

また、ここでは例として、ビデオＥＳバッファ４２で通常保持するフレーム数を“１３”としている。しかし、ｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値が“７”である場合、ビデオベースバンドデータにおけるＧＯＰ境界からのフレーム数が“８”を超えるまでの期間では記録する画像の終端位置を決定できないので、その時点までに生成されるビデオＥＳを最低限ビデオＥＳバッファ４２に保持しておく必要がある。このため、ビデオＥＳの出力遅延がないと考えれば、ビデオＥＳバッファ４２では常に最小で７フレーム分のビデオＥＳを保持しておく必要があるが、ビデオＥＳの出力遅延がある場合には、その遅延するフレーム分だけビデオＥＳバッファ４２の必要データ保持数を小さくすることができる。

なお、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値より大きくなった場合には、マイクロコンピュータ３１は、ビデオＥＳバッファ４２に書き込まれる画像データのＧＯＰ境界を監視し、次のＧＯＰ境界を越えた時点（この例では、ビデオＥＳバッファ４２に対してＩピクチャであるフレーム番号“６３”の画像データの書き込みが開始された時点）で、ビデオＥＳバッファ４２のデータ保持数のカウントダウンを開始すればよい。

次に、音声データの記録停止動作について説明する。上述したように、音声データについては、その記録停止位置を画像データに同期させるためのタイミング調整を、オーディオＰＣＭバッファ４３でのオーディオＰＣＭデータの書き込み・読み出しを制御することで行う。

図６の例において、オーディオＰＣＭバッファ４３では、通常の記録動作中においては、Ａ／Ｄコンバータ１８から出力されるオーディオＰＣＭデータを、例として常に２１フレーム分（ただし、現在書き込み中および読み出し中のオーディオフレームを含む）だけ保持するように、マイクロコンピュータ３１によってそのデータ保持数が管理されている。従って、オーディオＰＣＭバッファ４３への入力画像データと、このバッファからの出力画像データとでは、２０フレーム分の遅延が生じることになる。

ここで、タイミングＴ３２において記録停止要求が行われると、記録装置２４に記録すべき音声データの終端位置は、画像データと同様にフレーム番号“４５”の音声データとなる。マイクロコンピュータ３１は、記録する音声データの終端位置を決定すると、Ａ／Ｄコンバータ１８の動作を停止させるとともに、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値だけ、オーディオＰＣＭバッファ４３におけるデータ保持数を減算して、以後、１オーディオフレーム分のオーディオＰＣＭデータがオーディオＰＣＭバッファ４３から出力されるたびに、データ保持数を順次カウントダウンしていく。すなわち、タイミングＴ３２の直後の時点で、オーディオＰＣＭバッファ４３においては、記録の必要がなくなったフレーム番号“４６”〜“５２”の音声データがすでに書き込み済み、または書き込み途中の状態となっているため、上記のようにデータ保持数を変更することで、これらの余分な音声データを破棄することが可能になる。

さらに、マイクロコンピュータ３１は、オーディオＰＣＭバッファ４３のデータ保持数が“１”となったとき、所定のタイミングからフェーダ１９の出力音量を徐々に低下させ、対応するオーディオフレームの出力終了時に音量が“０”となるように制御する。これにより、フェードアウト処理が施された音声データをオーディオＣＯＤＥＣ２０において圧縮符号化できるようになり、高品質な音声データが記録された映像ストリームを生成できる。

なお、ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値より大きくなった場合には、マイクロコンピュータ３１は、例えば、ＧＯＰ内のフレーム数（“７”）からｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値を減算した値を、オーディオＰＣＭバッファ４３のデータ保持数にセットし、以後、１オーディオフレーム分のオーディオＰＣＭデータのオーディオＰＣＭバッファ４３からの出力ごとに、データ保持数を順次カウントダウンしていけばよい。また、記録停止直前のフェードアウト処理については、上記と同様に、オーディオＰＣＭバッファ４３のデータ保持数が“１”となったときに実行すればよい。

なお、以上の実施の形態では、本発明をデジタルビデオカメラに適用した場合について説明したが、同様な動画像および音声の記録機能を備えたデジタルスチルカメラ、携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 画像データの記録停止時における処理手順を示すフローチャートである。 ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値以下である場合の記録停止動作を説明するための図である。 ｃｕｒｒｅｎｔ＿ｐｏｓｉｔｉｏｎの値がｓｔｏｐ＿ｍａｘ＿ｐｉｃｔｕｒｅの値より大きい場合の記録停止動作を説明するための図である。 画像データおよび音声データの記録系における機能の構成を示すブロック図である。 記録停止要求が行われたときの画像・音声データの記録停止動作を示すタイムチャートである。 従来のデジタルビデオカメラにおける記録停止タイミングを説明するための図である。 画像の記録停止時におけるユーザの撮像動作の一例を示す図である。

符号の説明

１１……光学ブロック、１２……撮像素子、１３……カメラＤＳＰ、１４……ビデオＣＯＤＥＣ、１５……表示処理回路、１６……ＬＣＤ、１７……マイクロフォン、１８……Ａ／Ｄコンバータ、１９……フェーダ、２０……オーディオＣＯＤＥＣ、２１……Ｄ／Ａコンバータ・アンプ、２２……スピーカ、２３……ＭＵＸ／ＤＥＭＵＸ、２４……記録装置、３１……マイクロコンピュータ、３２……入力部、４０……ビデオ／オーディオメモリ、４１……ビデオフレームバッファ、４２……ビデオＥＳバッファ、４３……オーディオＰＣＭバッファ、４４……オーディオＥＳバッファ

Claims (7)

1. 固体撮像素子を用いて撮像された動画像をストリームデータとして記録媒体に記録する撮像装置において、
   撮像により得られた画像データを、一定フレーム数の連続した画像からなる画像群を単位として符号化する画像符号化部と、
   ユーザからの操作入力に応じて、前記画像符号化部によって符号化された動画像データを含む前記ストリームデータの前記記録媒体に対する記録停止要求を検出する入力検出部と、
   前記入力検出部によって前記記録停止要求が検出されると、その時点での撮像画像が前記画像群の中のどの位置に対応するかを判定し、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から所定の最大フレーム数以下の位置にある場合には、当該画像群の直前における前記画像群を前記ストリームデータ中の最終の前記画像群とし、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から前記最大フレーム数を超える位置にある場合には、当該撮像画像が属する前記画像群の最終撮像画像までが前記記録媒体に記録されるように、前記記録媒体に対する前記ストリームデータの記録動作を制御する記録制御部と、
   を有し、
   前記最大フレーム数を、前記一定フレーム数の略中間値としたことを特徴とする撮像装置。
2. 前記最大フレーム数を、前記一定フレーム数の略中間値から前記一定フレーム数までの範囲内で、ユーザ操作に応じて任意に設定可能としたことを特徴とする請求項１記載の撮像装置。
3. 前記画像符号化部は、フレーム間予測符号化が可能な圧縮符号化方式を採り、１つの前記画像群に１フレーム以上のフレーム内符号化画像を含むように圧縮符号化処理を行うことを特徴とする請求項１記載の撮像装置。
4. 音声を収音する収音部と、
   収音された音声信号をデジタルデータ化する音声デジタル変換部と、
   前記音声デジタル変換部からの音声データを変換してその音量レベルを変化させる音量調整部と、
   をさらに有し、
   前記記録制御部は、前記音量調整部を介して供給される音声データを、前記画像符号化部によって符号化された対応する動画像データとともに前記ストリームデータ中に多重化して前記記録媒体に記録するように制御し、前記入力検出部によって前記記録停止要求が検出されると、前記ストリームデータ中の最終の前記画像群に対応する音声データを、当該画像群の終端位置の直前から音量レベルが徐々に低下して当該終端位置で０となるように、前記音量調整部に変換させることを特徴とする請求項１記載の撮像装置。
5. 前記音声デジタル変換部からの音声データを一時的に記憶する音声バッファをさらに有し、
   前記記録制御部は、前記入力検出部によって前記記録停止要求が検出されると、その時点での撮像画像が含まれる前記画像群に対応する音声データを前記音声バッファから破棄することを特徴とする請求項４記載の撮像装置。
6. 前記音声バッファから前記音量調整部を介して供給される音声データを圧縮符号化する音声符号化部をさらに有し、
   前記記録制御部は、前記音声符号化部によって圧縮符号化された音声データを前記画像符号化部によって符号化された対応する動画像データとともに前記ストリームデータ中に多重化するように制御することを特徴とする請求項５記載の撮像装置。
7. 固体撮像素子を用いて撮像された動画像をストリームデータとして記録媒体に記録するための撮像画像記録方法において、
   画像符号化部が、撮像により得られた画像データを、一定フレーム数の連続した画像からなる画像群を単位として符号化し、
   入力検出部が、ユーザからの操作入力に応じて、前記画像符号化部によって符号化された動画像データを含む前記ストリームデータの前記記録媒体に対する記録停止要求を検出し、
   記録制御部が、前記入力検出部によって前記記録停止要求が検出された時点での撮像画像が前記画像群の中のどの位置に対応するかを判定し、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から所定の最大フレーム数以下の位置にある場合には、当該画像群の直前における前記画像群を前記ストリームデータ中の最終の前記画像群とし、前記記録停止要求の検出時点での撮像画像が前記画像群の先頭から前記最大フレーム数を超える位置にある場合には、当該撮像画像が属する前記画像群の最終撮像画像までが前記記録媒体に記録されるように、前記記録媒体に対する前記ストリームデータの記録動作を制御する、
   処理を含み、前記最大フレーム数を、前記一定フレーム数の略中間値としたことを特徴とする撮像画像記録方法。

Images