JP4770581B2 - 動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法 - Google Patents

Description

本発明は、動画像データを処理する動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法に関し、特に、画面レートを切り替え可能な動画像データを処理できる動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法に関する。

近年、動画像を撮像してデジタルデータとして記録可能な撮像装置（デジタルビデオカメラ）が急速に普及している。このような撮像装置の中には、ビデオデータ・オーディオデータを多重化したストリームの中に、撮像時刻の情報も記録しておき、再生時にその情報を読み出し、画面上に撮像時刻を表示できるようにしたものがあった。その例として、ビデオパックやオーディオパックとともに、撮像時刻情報を含む追加記録情報パックを多重化した多重化ストリームを生成するものがあった（例えば、特許文献１参照）。

また、このように多重化ストリーム内に記録する撮像時刻情報は、撮像画像の記録媒体への記録開始時に、撮像装置に内蔵された時計から記録開始時刻を読み込み、その記録開始時刻に対して、画像フレームの出力周期ごとに、その周期に対応する一定時間を加算することによって生成していた。この方法によれば、内蔵時計が十分な精度を持たない場合でも、多重化ストリームの生成時に、画像フレームの出力周期に合わせて正確な時刻情報を記録することが可能であった。

一方、上記のような撮像装置においては、撮像素子の性能や信号処理技術の進歩に伴い、現状のＴＶ放送規格の表示周期より短い周期で撮像画像を出力できるようになってきており、このような高速撮像機能を搭載した撮像装置が考えられている。例えば、標準の数倍の画面レートで撮像して記録したビデオデータを、標準の画面レートで再生・表示することで、スロー再生を可能にした撮像装置が考えられている。
特開２００５−７９８２３号公報（段落番号〔００４７〕〜〔００５０〕、図８）

ところで、上述した撮像時刻情報の生成方法、すなわち、画像の記録開始時刻に、画像フレームの出力ごとに一定時間を加算する方法は、撮像時の画面レートが一定の場合には、正確な時刻情報を生成することができた。しかし、この方法を、高速撮像により記録したビデオデータをスロー再生できるようにした撮像装置に適用した場合には、記録時と再生時とで時間の進み方が異なるため、スロー再生時には表示される撮像時刻が徐々にずれていき、正確な時刻が表示されないという問題があった。

本発明はこのような課題に鑑みてなされたものであり、動画像データの入力を受けて、その動画像データを入力時とは異なる速度で再生したときに、撮像時刻を正確に取得できるようにした動画像データ処理装置および方法を提供することを目的とする。

また、本発明の他の目的は、動画像データの入力を受けて、その動画像データを入力時とは異なる速度で再生したときに、撮像時刻を正確に取得できるようにしたストリーム生成装置を提供することである。

さらに、本発明の他の目的は、撮像して得た動画像データを撮像時とは異なる速度で再生したときに、撮像時刻を正確に取得できるようにした撮像装置を提供することである。

本発明では上記課題を解決するために、動画像データに対して時刻情報を付加して出力する動画像データ処理装置において、基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データの入力を受ける動画像入力部と、前記動画像入力部に入力された動画像データに、当該動画像データにおける所定の画像フレームについての前記動画像入力部に対する入力時刻情報を付加する時刻情報付加処理部と、時刻をカウントする計時部と、前記動画像入力部における動画像データの入力開始時刻を前記計時部から取得する入力開始時刻取得部と、前記時刻情報付加処理部に入力される動画像データの前記画面レートに応じた、画像フレームの表示間隔に対応する時間情報を、前記入力開始時刻に対して積算することで、前記入力時刻情報を算出する入力時刻情報生成部と、前記入力時刻情報が付加された動画像データの各画像フレームを前記基準画面レートで再生する動画像再生部と、前記動画像再生部の再生動作に同期して、動画像データから前記入力時刻情報を抽出する時刻情報抽出部とを有することを特徴とする動画像データ処理装置が提供される。

このような動画像データ処理装置において、動画像入力部は、基準画面レートと、その基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データの入力を受ける。時刻情報付加処理部は、動画像入力部に入力された動画像データに、当該動画像データにおける所定の画像フレームについての動画像入力部に対する入力時刻情報を付加する。計時部は、時刻をカウントする。入力開始時刻取得部は、動画像入力部における動画像データの入力開始時刻を計時部から取得する。入力時刻情報生成部は、時刻情報付加処理部に入力される動画像データの画面レートに応じた、画像フレームの表示間隔に対応する時間情報を、入力開始時刻に対して積算することで、入力時刻情報を算出して時刻情報付加処理部に供給する。動画像再生部は、入力時刻情報が付加された動画像データの各画像フレームを基準画面レートで再生する。時刻情報抽出部は、動画像再生部の再生動作に同期して、動画像データから入力時刻情報を抽出する。

本発明の動画像データ処理装置によれば、計時部から取得した動画像データの入力開始時刻に対して、時刻情報付加処理部に入力される動画像データの画面レートに応じた、画像フレームの表示間隔に対応する時間情報を積算することで、入力時刻情報が算出されるので、入力される動画像データの画面レートに関係なく、かつ、動画像入力部との同期をとることなく、常に正確な入力時刻情報を生成して動画像データに付加できる。従って、基準画面レートとは異なる画面レートで入力された動画像データを、動画像再生部により基準画面レートで再生したときでも、その再生画像に対応して抽出される入力時刻情報から、動画像入力部における正確な入力時刻を得ることができ、例えば、その入力時刻情報を利用して正確な入力時刻を表示できるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、動画像を撮像し、その撮像画像をデジタルデータとして記録媒体に記録する、いわゆるデジタルビデオカメラである。また、この撮像装置は、ビデオ信号を含むデータストリームを記録する記録媒体の例として、ＤＶＤ（Digital Versatile Disk）などの光ディスク１０を利用する。

この撮像装置は、撮像素子１１、カメラＤＳＰ（Digital Signal Processor）１２、ビデオエンコーダ１３、マイクロフォン１４、オーディオデータ用のＡ／Ｄ（アナログ／デジタル）コンバータ１５、オーディオデータのサンプリングレートコンバータ１６、オーディオエンコーダ１７、バッファメモリ１８、ＭＵＸ／ＤＥＭＵＸ（Multiplexer/Demultiplexer）１９、ＡＴＡ（AT Attachment）インタフェース２０、光ディスクドライブ２１、ビデオデコーダ２２、ビデオデータ用のバッファメモリ２３、グラフィックインタフェース２４、ディスプレイ２５、オーディオデコーダ２６、Ｄ／Ａ（デジタル／アナログ）コンバータ２７、スピーカ２８、ＣＰＵ（Central Processing Unit）２９、および内部バス３０を備える。

撮像素子１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、図示しない光学ブロックにより集光された光を電気信号に変換する。

カメラＤＳＰ１２は、撮像素子１１からの画像信号に対するＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理などの各種アナログ信号処理や、Ａ／Ｄ変換、撮像動作制御用の検波処理や画質補正処理などの各種デジタル信号処理を、ＣＰＵ２９の制御の下で実行する。

なお、この撮像素子１１は、標準の画面レートの他に、それより高速な画面レートで、撮像画像信号を出力できるようになっている。本実施の形態では、例として、３０フレーム／秒（あるいは６０フィールド／秒）の画面レートで撮像する通常撮像モードと、その３倍の９０フレーム／秒（あるいは２７０フィールド／秒）で撮像する高速撮像モードの２種類の撮像モードを持ち、撮像・記録中に任意に切り替えることが可能であるものとする。そして、撮像素子１１は、これらの２つの画面レートで撮像画像信号を出力し、カメラＤＳＰ１２は、これらの２つの画面レートに同期して画像信号を順次処理できるようになっている。

ビデオエンコーダ１３は、ＣＰＵ２９の制御の下で、カメラＤＳＰ１２から出力されたビデオデータを、所定の圧縮符号化方式に従って符号化する。本実施の形態では、ビデオエンコーダ１３はＭＰＥＧ（Moving Picture Experts Group）方式に従って圧縮符号化処理を行い、符号化後のビデオデータをビデオＥＳ（Elementary Stream）としてバッファメモリ１８に供給する。

マイクロフォン１４は、オーディオ信号を収音する。Ａ／Ｄコンバータ１５は、マイクロフォン１４により収音されたオーディオ信号をデジタルデータに変換する。サンプリングレートコンバータ１６は、デジタル化されたオーディオデータのサンプリングレートを、ＣＰＵ２９からの制御信号に応じて変換する。ここで、Ａ／Ｄコンバータ１５は、オーディオ信号を４８ｋＨｚの一定のサンプリングレートでデジタル変換する。サンプリングレートコンバータ１６は、高速撮像モードに設定されたときにのみ動作し、Ａ／Ｄコンバータ１５からのデジタルオーディオデータを、３倍のサンプリングレート（１４４ｋＨｚ）のデジタルオーディオデータに変換する。

なお、この例では、Ａ／Ｄコンバータ１５により一定のサンプリングレートでデジタル化されたオーディオデータに対して、そのサンプリングレートをサンプリングレートコンバータ１６において演算により変換する構成としている。しかし、この他に、サンプリングレートコンバータ１６を設ける代わりに、Ａ／Ｄコンバータ１５におけるデジタル変換処理時のサンプリングレートを可変とし、そのサンプリングレートをＣＰＵ２９から制御するようにしてもよい。

オーディオエンコーダ１７は、サンプリングレートコンバータ１６からのオーディオデータを、例えばＭＰＥＧ方式などの所定の圧縮符号化方式に従って符号化し、符号化後のオーディオデータをオーディオＥＳとしてバッファメモリ１８に供給する。

バッファメモリ１８は、ビデオエンコーダ１３およびオーディオエンコーダ１７からのビデオＥＳおよびオーディオＥＳをバッファし、ＣＰＵ２９の制御の下でＭＵＸ／ＤＥＭＵＸ１９に対して出力する。また、ＭＵＸ／ＤＥＭＵＸ１９から供給されたビデオＥＳおよびオーディオＥＳをバッファし、ＣＰＵ２９の制御の下でそれぞれビデオデコーダ２２およびオーディオデコーダ２６に出力する。

ＭＵＸ／ＤＥＭＵＸ１９は、バッファメモリ１８に格納されたビデオＥＳおよびオーディオＥＳなどを読み出してパケット化し、それらのパケットを多重化してＰＳ（Program Stream）を生成し、ＡＴＡインタフェース２０を介して光ディスクドライブ２１に出力する。なお、後述するように、ＰＳの生成の際には、ＣＰＵ２９により撮像時刻情報が生成され、この情報はＰＳ内の所定の位置に多重化される。また、光ディスク１０から読み取られたＰＳから、ビデオＥＳやオーディオＥＳ、各種ヘッダ情報を分離し、各ＥＳのデータをバッファメモリ１８に格納し、ヘッダ情報をＣＰＵ２９に出力する。このとき、ＭＵＸ／ＤＥＭＵＸ１９によりＰＳから分離された撮像時刻情報も、ＣＰＵ２９に出力される。

ＡＴＡインタフェース２０は、光ディスクドライブ２１を接続するためのインタフェース回路であり、ＣＰＵ２９からの制御信号に応じて、光ディスクドライブ２１の記録・再生動作を制御する。光ディスクドライブ２１は、着脱可能な光ディスク１０に対するデータの書き込み、およびその光ディスク１０に記録されたデータの読み取りを行う。

ビデオデコーダ２２は、光ディスク１０から読み出され、バッファメモリ１８に格納されたビデオＥＳを読み込み、ＣＰＵ２９の制御の下で、ＭＰＥＧ方式に従ってビデオデータを伸張復号化する。バッファメモリ２３は、ビデオデコーダ２２から出力されたビデオデータをバッファする。

グラフィックインタフェース２４は、バッファメモリ２３からのビデオデータ、または内部バス３０を通じてカメラＤＳＰ１２から供給されたビデオデータを、画面表示のための信号に変換して、ディスプレイ２５に供給する。また、グラフィックインタフェース２４は、ＣＰＵ２９からの制御に応じて、撮像時刻を示す文字情報を画像信号に合成する。ディスプレイ２５は、例えばＬＣＤ（Liquid Crystal Display）などからなり、撮影中の画像や光ディスク１０に記録されたデータの再生画像を表示する。

オーディオデコーダ２６は、光ディスク１０から読み出され、バッファメモリ１８に格納されたオーディオＥＳを読み込み、ＣＰＵ２９の制御の下でオーディオデータを伸張復号化する。Ｄ／Ａコンバータ２７は、オーディオデコーダ２６からのオーディオデータをアナログ信号に変換し、スピーカ２８に出力して音声を再生出力させる。

ＣＰＵ２９は、図示しないメモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。本実施の形態の撮像装置は、このＣＰＵ２９の機能として、ビデオ・オーディオデータの光ディスク１０への記録およびそのデータの再生のためのコマンドを処理する記録・再生コマンド処理部３１と、ＰＳ生成時に撮像時刻情報を生成する撮像時刻情報生成部３２と、光ディスク１０から再生された撮像時刻情報を画面上に表示させるための撮像時刻再生処理部３３とを備えている。

ここで、上記の撮像装置におけるビデオ・オーディオデータの記録および再生の基本的な動作について説明する。まず、図示しない入力部に対するユーザの操作入力に応じて、ＣＰＵ２９に対して記録が要求されると、記録・再生コマンド処理部３１は、この要求に応じて、ビデオエンコーダ１３およびオーディオエンコーダ１７のエンコード処理を開始させる。カメラＤＳＰ１２から出力されたビデオデータは、ビデオエンコーダ１３により順次エンコードされてビデオＥＳが生成され、そのビデオＥＳがバッファメモリ１８に格納される。また、Ａ／Ｄコンバータ１５から出力されたオーディオデータは、サンプリングレートコンバータ１６を介してオーディオエンコーダ１７に供給され、順次エンコードされてオーディオＥＳが生成され、そのオーディオＥＳはバッファメモリ１８に格納される。なお、このとき、カメラＤＳＰ１２からのビデオデータは、内部バス３０を介してグラフィックインタフェース２４にも供給され、これにより撮像中の画像がディスプレイ２５に表示される。

ＭＵＸ／ＤＥＭＵＸ１９は、記録・再生コマンド処理部３１の制御の下で、バッファメモリ１８から読み出したビデオＥＳおよびオーディオＥＳをそれぞれパケット化し、さらに複数のパケットによりパックを生成して、ＰＳとして多重化する。このとき、撮像時刻情報生成部３２は、撮像時刻情報を順次生成して、ＭＵＸ／ＤＥＭＵＸ１９に供給し、この撮像時刻情報はＰＳ内の所定の位置（後述する追加記録情報パック）に多重化される。このように生成されたＰＳは、所定のファイルフォーマットに従って光ディスク１０に記録される。

また、ユーザの操作入力に応じて、ＣＰＵ２９に対して再生が要求されると、記録・再生コマンド処理部３１は、ＡＴＡインタフェース２０を制御して、光ディスク１０内のデータストリームを光ディスクドライブ２１に読み取らせ、読み取られたデータストリームをＭＵＸ／ＤＥＭＵＸ１９に供給させる。ＭＵＸ／ＤＥＭＵＸ１９は、入力データからＰＳを抽出し、そのＰＳからビデオＥＳおよびオーディオＥＳを分離してバッファメモリ１８に供給するとともに、ヘッダから抽出した情報などをＣＰＵ２９に出力する。このとき、追加記録情報パックから抽出した撮像時刻情報を、撮像時刻再生処理部３３に出力する。

バッファメモリ１８に格納されたビデオＥＳおよびオーディオＥＳは、それぞれビデオデコーダ２２およびオーディオデコーダ２６に供給され、デコードされる。これにより、ディスプレイ２５に再生画像が表示され、スピーカ２８から音声が再生される。また、撮像時刻再生処理部３３は、ＭＵＸ／ＤＭＵＸ１９から受け取った撮像時刻情報に基づき、撮像時刻を示す文字情報などをグラフィックインタフェース２４に供給する。これにより、撮像時刻を示す文字などが再生画像上に合成されて表示される。

ここで、光ディスク１０として、ＤＶＤ−ＶＩＤＥＯ規格に準拠したＤＶＤを想定し、このデータフォーマットにおける撮像時刻情報の格納位置について説明する。
図２は、ＤＶＤ−ＶＩＤＥＯ規格のデータフォーマットを説明する図である。

ＤＶＤ−ＶＩＤＥＯ規格の光ディスク１０では、１個のビデオマネージャ（ＶＭＧ：Video Manager）と１個以上９９個以下のビデオタイトルセット（ＶＴＳ：Video Title Set）とから構成されるボリューム構造が規定されている。ＶＭＧは、ＤＶＤ−ＶＩＤＥＯゾーンの先頭に配置され、ＶＴＳを管理するためのファイルなどを備える。

ＶＴＳは、３個以上１２個以下のファイルからなり、先頭のファイルがコントロールデータ（ＶＴＳＩ：Video Title Set Information）、次のファイルがメニューのためのＶＯＢＳ（ＶＴＳＭ＿ＶＯＢＳ：VTSM Video Object Set）となっており、次の１個から９個のファイルがタイトルのためのＶＯＢＳ（ＶＴＳＴＴ＿ＶＯＢＳ：VTSTT Video Object Set）、最後のファイルがＶＴＳＩのバックアップとなっている。なお、ＶＴＳＩは、ＶＴＳにおけるＶＴＳメニュー（ＶＴＳＭ：Video Title Set Menu）と１個以上のタイトル（ＴＴ：Title）を管理するための情報である。

ＶＯＢＳは、１個以上のビデオオブジェクト（ＶＯＢ：Video Object）で構成される。ＶＯＢのＩＤ番号（ＶＯＢ＿ＩＤＮ：VOB ID Number）は、ＶＯＢＳ内の最も小さな論理セクタ番号（ＬＳＮ：Logical Sector Number）のＶＯＢからアサインされる。ＶＯＢは、１個以上のセル（Ｃｅｌｌ）からなり、セルＩＤ番号（Ｃ＿ＩＤＮ：Cell ID Number）は、ＶＯＢ内の最も小さな論理セクタ番号のセルからアサインされる。

また、セルは、整数個のビデオオブジェクトユニット（ＶＯＢＵ：Video Object Unit）により構成される。ＶＯＢＵは、ナビゲーションパック（ＮＶ＿ＰＣＫ：Navigation Pack）を先頭としたパック列である。パックは、２０４８バイトの固定長データであり、ＶＯＢＵは、ナビゲーションパックを先頭に、オーディオパック（Ａ＿ＰＣＫ：Audio Pack）、ビデオパック（Ｖ＿ＰＣＫ：Video Pack）、サブピクチャパック（ＳＰ＿ＰＣＫ：Sub-picture Pack）を必要に応じて備える。さらに、本実施の形態では、追加記録情報を保持する追加記録情報パック（ＡＲＩ＿ＰＣＫ）が、ＶＯＢＵの中に設けられており、この追加記録情報パックに、撮像時刻情報が記録される。なお、追加記録情報パックは、０．５秒おきに配置される。

ところで、この撮像装置は、標準の画面レートでの撮像の他に、それより高速な画面レートで撮像し、その撮像画像のデータを光ディスク１０に記録する機能を備えている。具体的には、上述したように、通常の画面レートで撮像する通常撮像モードと、その３倍の画面レートで撮像する高速撮像モードとを備えている。

また、高速撮像モードで撮像した画像のデータは、通常撮像モードと同じ標準の画面レートを持つビデオＥＳとして生成され、光ディスク１０に記録される。このようなビデオＥＳは、例えば、撮像モードに関係なく、画像フレームごとに常に一定間隔の再生時刻管理情報（ＰＴＳ：Presentation Time Stamp）を付加することで実現できる。そして、光ディスク１０に記録した画像データを従来通りに標準の画面レートで再生することで、高速撮像モードで撮像された画像は、撮像時の１／３の速度で表示されるようになる。

また、この撮像装置において、オーディオデータは、通常撮像モードでは、Ａ／Ｄコンバータ１５により４８ｋＨｚのサンプリングレートでデジタルデータ化される。一方、高速撮像モードでは、４８ｋＨｚのサンプリングレートでデジタル化されたオーディオデータは、サンプリングレートコンバータ１６により、その３倍の１４４ｋＨｚのサンプリングレートのデジタルデータに変換される。これにより、高速撮像モードで記録されたオーディオデータを通常撮像モードの速度で再生したときに、そのオーディオデータが通常撮像モードと同じ４８ｋＨｚのサンプリングレートでデジタル化されたオーディオデータとして再生されるので、従来通りのオーディオデコーダ２６の処理で、スロー再生された画像に同期した音声を再生することが可能となる。

ここで、高速撮像モードで記録されたビデオデータを、通常撮像モードと同じ画面レートで再生して、画像をスロー再生できるようにした場合、通常撮像モードでの記録時と高速撮像モードでの記録時のそれぞれにおいて、撮像時刻情報の生成の仕方を変える必要がある。これは、高速撮像モードでは、撮像時の時間の進み方と、再生時の時間の進み方とが一致しないからである。

図３は、ビデオデータの記録時における撮像装置の動作を説明するためのタイムチャートである。
図３では、実時間（実際の時刻）を、ＭＰＥＧ方式で規定されるデコード時・再生出力時の時刻管理基準クロックであるＳＴＣ（System Time Clock）の周波数（９０ｋＨｚ）でのカウント値によって表している。そして、この図３の例では、時刻“ｔ０”において撮像画像の記録が開始され、時刻“ｔ０”から時刻“ｔ０＋６００６”では通常撮像モードで記録されている。また、時刻“ｔ０＋６００６”において高速撮像モードに切り替えられて、３倍の画面レートで撮像された後、時刻“ｔ０＋９００９”において通常撮像モードに切り替えられて、記録が続けられている。

撮像時刻情報は、従来から、記録開始時に内蔵時計から読み込んだ時刻（記録開始時刻）に対して、フレームの出力ごとに一定の値を積算することによって生成されていた。このような生成手法により、撮像時刻情報を生成してＰＳに多重化する処理を、独立した同期制御により容易に実現できるというメリットがあった。

例えば、上記撮像装置においては、撮像素子１１によって取り込まれた画像信号は、ビデオエンコーダ１３によるエンコード処理時や、ＭＵＸ／ＤＥＭＵＸ１９による多重化処理時などに、適宜バッファされて処理される。このため、撮像素子１１による画像取り込み処理、エンコード処理、および多重化処理については、それぞれを個別の同期制御の下で独立したタスクとして処理する方が、制御が容易になり、またＣＰＵ２９の負荷を分散させることもできる。

ここで、撮像時刻情報の生成は、ＭＵＸ／ＤＥＭＵＸ１９による多重化処理時（またはビデオエンコーダ１３によるエンコード開始時、エンコード後のデータ出力時でもよい）に実行されるので、同じフレームのデータに対する処理タイミングは、撮像素子１１での画像取り込みタイミングより遅延してしまう。これに対して、内蔵時計がカウントする時刻情報を記録開始時（すなわち、撮像素子１１での画像取り込みタイミング）にのみ取り込み、その後の時刻加算処理を多重化処理のタイミングに同期して実行することで、撮像素子１１などの他の処理ブロックにおける処理タイミングに同期させることなく、正確な撮像時刻情報を容易に生成できる。

なお、撮像時刻情報を生成すべきタイミングで、その都度、内蔵時計のカウント値を読み込む方法も考えられるが、上記のように各処理ブロックでの処理タイミングが異なるため、この方法で生成した撮像時刻情報は正確なものとは言えない。換言すれば、撮像装置内の各ブロックで共通に使用できる精度を持つ内蔵時計を実現することは、困難であると言える。

しかし、多重化処理時にフレームの出力ごとに一定値を積算していく方法では、撮像時と再生時とで時間の進み方が異なる場合には、記録される撮像時刻情報にずれが生じてしまい、正確な撮像時刻情報を記録できなかった。例えば、図３において、時刻“ｔ０”で記録が開始されてから、通常撮像モードで撮像されている間は、時刻“ｔ０”に一定値“３００３”を順次積算することで、正確な撮像時刻情報を生成できる。しかし、高速撮像モードに切り替わった後に、同じように一定値“３００３”が加算されてしまうと、その記録データを３倍速で再生したときに、表示される撮像時刻も３倍の速度で進んでしまう。そこで、本実施の形態では、図３に示すように、高速撮像モードに切り替わった後では、それまでの撮像時刻情報に対して加算する値を、通常撮像モード時の１／３（すなわち“１００１”）にして、正確な撮像時刻情報を生成できるようにする。

なお、図３では、「ＭＵＸ出力」の欄において、ビデオ信号およびオーディオ信号がそれぞれ格納されるビデオパック（Ｖ＿ＰＣＫ）およびオーディオパック（Ａ＿ＰＣＫ）を、撮像時のフレーム順に示している。しかし、図３ではわかりやすいようにこのように示しているだけであって、実際には、ビデオデータについては、前後の双方向予測符号化を行う場合には、多重化の際にはこのような順番にはならない。例えば、ビデオエンコーダ１３から出力されるビデオＥＳでは、各フレーム（ピクチャ）のデータはデコード順にソートされる。また、当然ながら、ＭＵＸ／ＤＥＭＵＸ１９における各フレームに対応するビデオパックの出力タイミングも、必ずしも図３のようにはならない。

追加記録情報パックに記録する撮像時刻情報については、例えば、対応するフレームのデータが、デコード順のソートにより他のタイミングで多重化される場合でも、特に並び替えを行わずに、生成された順にＰＳに多重化していけばよい。この場合、ＰＳの再生時には、撮像時刻情報を、対応するフレームの並び替えに関係なく、ＰＳから分離した順に再生出力することで、再生された画像とそれに合成された撮像時刻との整合をとることができる。

なお、図３中のタイミング信号ＳａおよびＳｂは、それぞれ通常撮像モード、高速撮像モードにおけるフレーム処理タイミングを示すものである。これらのタイミング信号ＳａおよびＳｂは、ＣＰＵ２９によって生成され、例えば、各撮像モードにおいて撮像素子１１などに対して同期タイミングを与える垂直同期信号（Ｖ＿ｓｙｎｃ）を生成するための信号と共用することができる。

図４に示す撮像時刻情報生成部３２は、セレクタ３０１と、積算器３０２と、時刻換算部３０３とを備えている。また、内蔵時計４００は、他の処理ブロックと共通で使用されるカウンタであり、ＣＰＵ２９の処理により実現される。この内蔵時計４００は、９０ｋＨｚのクロックをカウントし、例えば１年分といった長期に亘る時刻をカウントできるだけのビット数を備える。

セレクタ３０１は、それぞれ通常撮像モードおよび高速撮像モードにおけるフレーム処理タイミングを与えるタイミング信号ＳａまたはＳｂの入力を受ける。上述したように、タイミング信号ＳａおよびＳｂは、例えば、撮像素子１１などに対する垂直同期信号を生成するためにＣＰＵ２９から出力される信号を利用でき、タイミング信号Ｓｂの周期は、タイミング信号Ｓａの周期の１／３になる。

セレクタ３０１は、記録・再生コマンド処理部３１においてユーザ操作に応じて管理されている撮像モードを取り込み、現在の撮像モードが通常撮像モードであればタイミング信号Ｓａの入力を選択し、高速撮像モードであればタイミング信号Ｓｂを選択する。このような選択動作により、セレクタ３０１は、各撮像モードにおけるフレーム処理タイミングを生成する機能を果たす。すなわち、セレクタ３０１からのタイミング信号により、他の処理ブロックから独立した、ＭＵＸ／ＤＥＭＵＸ１９におけるビデオフレームごとのデータの多重化タイミングが生成される。

積算器３０２は、セレクタ３０１により選択されたタイミング信号の入力時に、内蔵時計４００から取り込んだ時刻ｔ０に対して、積算値ｔ＿ｉｎｔを積算する。ここで、積算器３０２における積算値ｔ＿ｉｎｔの選択については、撮像モードに応じて判定される。

時刻換算部３０３は、積算器３０２により９０ｋＨｚのカウント値として生成された撮像時刻ｔ＿ｒｅｃを、月／日／時／分／秒の単位に換算する。これにより、追加記録情報パックに記録される撮像時刻情報が生成される。なお、この撮像時刻情報は、フレームの出力ごとに生成されるが、追加記録情報パックは０．５秒ごとに記録されるので、時刻換算部３０３からの撮像時刻は、実際には適宜間引きされてＭＵＸ／ＤＥＭＵＸ１９に出力される。

図５は、撮像時刻情報生成処理の流れを示すフローチャートである。
まず、記録・再生コマンド処理部３１において、図示しない入力部を通じたユーザからの操作入力に基づき、記録開始が要求されたと判断されると（ステップＳ１１）、撮像時刻情報生成部３２の積算器３０２は、積算値ｔ＿ｉｎｔに“０”を設定し、内蔵時計４００から時刻ｔ０を読み込んで、撮像時刻ｔ＿ｒｅｃとして時刻ｔ０を出力する。時刻換算部３０３は、出力された時刻ｔ０を換算してＭＵＸ／ＤＥＭＵＸ１９に出力し、これにより、記録開始時点での撮像時刻情報が追加記録情報パックに格納される（ステップＳ１２）。ここで、記録開始の時刻ｔ０は、ユーザからの記録開始操作を検出したタイミングに読み込まれるので、正確な撮像開始時刻を検出することができる。

次に、セレクタ３０１および積算器３０２は、記録・再生コマンド処理部３１からの情報に基づいて、現在設定されている撮像モードを判別する（ステップＳ１３）。ここで、現在の撮像モードが通常撮像モードであれば、セレクタ３０１はタイミング信号Ｓａを選択し、積算器３０２は積算値ｔ＿ｉｎｔとして“３００３”を設定する（ステップＳ１４）。また、高速撮像モードであれば、セレクタ３０１はタイミング信号Ｓｂを選択し、積算器３０２は積算値ｔ＿ｉｎｔとして“１００１”を設定する（ステップＳ１５）。

次に、積算器３０２は、セレクタ３０１からのタイミング信号の入力の有無に応じて、次のフレームの処理タイミングを判定する（ステップＳ１６）。ここでは、現在の撮像モードが通常撮像モードであれば、タイミング信号Ｓａに基づいてフレーム処理タイミングが判定され、高速撮像モードであれば、タイミング信号Ｓｂに基づいてフレーム処理タイミングが判定される。

ここで、ステップＳ１６において、フレーム処理タイミングに達していない場合、記録・再生コマンド処理部３１によって記録の終了と判定されていれば（ステップＳ２１）、撮像時刻情報生成処理が終了され、判定されていなければ（ステップＳ２１）、ステップＳ１６に戻って次のフレーム処理タイミングが監視される。

また、ステップＳ１６でフレーム処理タイミングであると判定したときには、積算器３０２は、直前の撮像時刻ｔ＿ｒｅｃに積算値ｔ＿ｉｎｔを加算して、新たな撮像時刻ｔ＿ｒｅｃを出力し、時刻換算部３０３は、出力された撮像時刻ｔ＿ｒｅｃを換算する（ステップＳ１７）。これにより、撮像時刻情報が生成される。

撮像時刻情報が生成された後、セレクタ３０１および積算器３０２は再び現在の撮像モードを判別する。現在の撮像モードが通常撮像モードであれば、セレクタ３０１はタイミング信号Ｓａを選択し、積算器３０２は積算値ｔ＿ｉｎｔとして“３００３”を設定する（ステップＳ１９）。また、高速撮像モードであれば、セレクタ３０１はタイミング信号Ｓｂを選択し、積算器３０２は積算値ｔ＿ｉｎｔとして“１００１”を設定する（ステップＳ２０）。その後、記録・再生コマンド処理部３１によって記録の終了と判定されていれば（ステップＳ２１）、撮像時刻情報生成処理も終了され、判定されていなければ（ステップＳ２１）、ステップＳ１６に戻って次のフレーム処理タイミングが監視される。

ここで、ステップＳ１７〜Ｓ２０では、フレーム処理タイミングに達したときに、撮像時刻情報を算出した後に、出力されたフレームの撮像時における撮像モードが判別され、その撮像モードに応じた積算値ｔ＿ｉｎｔが設定される。これにより、積算値ｔ＿ｉｎｔを切り替えるタイミングが、撮像モードの切り替え後に遅延され、例えば図３の時刻“ｔ０＋６００６”“ｔ０＋９００９”など、撮像モードの切り替え時における積算値ｔ＿ｉｎｔが正しく設定されて、正確な撮像時刻情報が生成されるようになる。

以上の処理により、撮像モードに関係なく、撮像時の時刻を常に正確に生成し、ＰＳ内に多重化して光ディスク１０に記録することができるようになる。従って、高速撮像モードで撮像された範囲のビデオデータを、通常撮像モードでの画面レートで再生した場合には、表示される撮像時刻が１／３の速度で遷移するようになり、実際の撮像時刻が正確に表示されるようになる。

また、記録開始時にのみ内蔵時計４００からの時刻ｔ０を読み込み、その後には、ＭＵＸ／ＤＥＭＵＸ１９における処理タイミングに同期したセレクタ３０１からのタイミング信号に基づいて、時刻ｔ０に対して積算を行うことで撮像時刻情報を生成するので、撮像素子１１による画像取り込み処理やエンコード処理など、他の処理ブロックにおける処理タイミングと同期をとることなく、独立したタイミング制御により正確な撮像時刻情報を生成できる。このため、制御を容易にできるとともに、ＣＰＵ２９の処理負荷を分散させることもでき、ＣＰＵ２９の製造コストの削減や、制御プログラムの開発コストの削減といった効果も生まれる。

なお、以上の実施の形態では、高速撮像モードの撮像周期を、通常撮像モードの３倍の１種類としたが、例えば、高速撮像モードにおいては、撮像速度を複数段階で変化させることができるようにしてもよい。この場合、例えば、図３および図５に示した高速撮像モード用のタイミング信号Ｓｂを、撮像速度に応じて複数入力させるようにすればよい。また、撮像速度を任意に調整できるようにしてもよく、この場合には、例えば、１種類のタイミング信号Ｓａの周期を撮像速度に応じて変化させるようにすればよい。

また、高速撮像モードの代わりに、通常撮像モードより画面レートが低い低速撮像モードを備え、低速撮像モードで撮像された範囲のビデオデータを通常撮像モードの画面レートで再生することで高速再生できるようにした撮像装置にも、本発明を適用できる。例えば、低速撮像モードの画面レートを通常撮像モードの１／３とした場合、図４の構成であれば、図５のステップＳ１３およびＳ１８で低速撮像モードと判定したときに、積算値ｔ＿ｉｎｔを通常撮像モードの３倍の“９００９”とすることで、正確な撮像時刻情報を生成することができる。

また、上記の実施の形態では、撮像・収音した画像および音声を記録媒体に記録する撮像装置に本発明を適用した例を示したが、このような画像および音声の信号を符号化してデータストリームを生成し、ネットワークを通じて外部機器へ送出する機器に対して、本発明を適用してもよい。また、符号化する対象の画像および音声は、撮像・収音したものに限らず、例えば、ＴＶチューナによって受信された放送コンテンツの信号であってもよいし、あるいは、デジタルまたはアナログの画像・音声入力端子を通じて入力された信号であってもよい。すなわち、複数の画面レートが切り替えられる画像信号（およびこれに同期する音声信号）の入力を受けて、これらの信号を符号化してデータストリームを生成する装置に対して、本発明を適用できる。

さらに、複数の画面レートが切り替えられる画像信号（およびこれに同期する音声信号）の入力を受けて、その信号に基づく画像を表示し、音声を出力する装置に対しても、本発明を適用することができる。例えば、入力された画像データが通常画面レートであるか、高速画面レートであるかに関係なく、常に通常画面レートで画像を表示するようにして、高速画面レートで入力された画像を自動的に本来より低速で再生表示するといった特殊再生機能を備えた表示装置などにも、本発明を適用できる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 ＤＶＤ−ＶＩＤＥＯ規格のデータフォーマットを説明する図である。 ビデオデータの記録時における撮像装置の動作を説明するためのタイムチャートである。 撮像時刻情報生成部の機能構成例を示すブロック図である。 撮像時刻情報生成処理の流れを示すフローチャートである。

符号の説明

１０……光ディスク、１１……撮像素子、１２……カメラＤＳＰ、１３……ビデオエンコーダ、１４……マイクロフォン、１５……Ａ／Ｄコンバータ、１６……サンプリングレートコンバータ、１７……オーディオエンコーダ、１８……バッファメモリ、１９……ＭＵＸ／ＤＥＭＵＸ、２０……ＡＴＡインタフェース、２１……光ディスクドライブ、２２……ビデオデコーダ、２３……バッファメモリ、２４……グラフィックインタフェース、２５……ディスプレイ、２６……オーディオデコーダ、２７……Ｄ／Ａコンバータ、２８……スピーカ、２９……ＣＰＵ、３０……内部バス、３１……記録・再生コマンド処理部、３２……撮像時刻情報生成部、３３……撮像時刻再生処理部

Claims (10)

1. 異なる複数の画面レートが任意のタイミングで切り替えられる動画像データの入力を受ける動画像入力部と、
   前記動画像入力部に入力された動画像データに、当該動画像データの各画像フレームが前記動画像入力部に入力された時刻を示す入力時刻情報を、画像フレームごとに対応付けて付加する時刻情報付加処理部と、
   前記時刻情報付加処理部によって動画像データに付加される前記入力時刻情報を生成する入力時刻情報生成部と、
   時刻をカウントする計時部と、
   を有し、
   前記入力時刻情報生成部は、前記入力時刻情報の生成処理を開始すると、前記動画像入力部に入力される１番目の画像フレームに対応する前記入力時刻情報としては、前記計時部から取得した時刻を出力し、前記動画像入力部に入力される２番目以降の画像フレームに対応する前記入力時刻情報としては、直前の画像フレームに付加された前記入力時刻情報に、当該直前の画像フレームが前記動画像入力部に入力されたときの画面レートでの画像フレームの出現間隔を示す時間を加算した時刻を出力する、
   ことを特徴とする動画像データ処理装置。
2. 前記入力時刻情報生成部は、動画像データの各画像フレームについての前記動画像入力部に対する入力タイミングに同期したタイミング信号を受信するごとに、動画像データに付加する前記入力時刻情報を生成する、
   ことを特徴とする請求項１記載の動画像データ処理装置。
3. 前記入力時刻情報生成部は、前記タイミング信号を受信したとき、その時点で設定されている積算値を、直前の前記タイミング信号の受信時に算出した前記入力時刻情報に加算することで新たな入力時刻情報を算出した後、前記動画像入力部に入力される動画像データの画面レートが変化している場合には、前記積算値を、変化後の画面レートにおける画像フレームの出現間隔を示す時間に更新することを特徴とする請求項２記載の動画像データ処理装置。
4. 前記入力時刻情報生成部は、前記複数の画面レートのそれぞれにおける画像フレームの出現間隔に同期する複数の前記タイミング信号の入力を受け、入力された前記タイミング信号から１つを選択して前記入力時刻情報生成部に出力するタイミング信号選択部をさらに有し、
   前記タイミング信号選択部は、前記入力時刻情報生成部が前記新たな入力時刻情報を算出した後、前記動画像入力部に入力される動画像データの画面レートが変化している場合には、前記入力時刻情報生成部に出力する前記タイミング信号を、変化後の画面レートに対応する前記タイミング信号に切り替える、
   ことを特徴とする請求項２または３記載の動画像データ処理装置。
5. 前記時刻情報付加処理部によって前記入力時刻情報が付加された動画像データを記録媒体に記録する動画像記録部と、
   前記記録媒体から読み出した動画像データの各画像フレームを、前記複数の画面レートのうちの一の画面レートで再生する動画像再生部と、
   前記動画像再生部の再生動作に同期して、前記動画像再生部で再生される動画像データから前記入力時刻情報を抽出する時刻情報抽出部と、
   をさらに有することを特徴とする請求項１〜４のいずれか１項に記載の動画像データ処理装置。
6. 前記動画像再生部は、前記時刻情報抽出部により抽出された前記入力時刻情報に基づく時刻表示画像を、再生画像上に合成した合成画像信号を出力することを特徴とする請求項５記載の動画像データ処理装置。
7. 前記動画像入力部に入力された動画像データを圧縮符号化して動画像ストリームを生成する動画像符号化処理部をさらに含み、
   前記時刻情報付加処理部は、前記動画像ストリームと、当該動画像ストリームにおける所定の画像フレームについての前記入力時刻情報とを多重化して、多重化ストリームを生成する多重化処理部として構成されることを特徴とする請求項１〜６のいずれか１項に記載の動画像データ処理装置。
8. 異なる複数の画面レートが任意のタイミングで切り替えられる動画像データを符号化して動画像ストリームを生成する動画像符号化処理部と、
   前記動画像ストリームにおける各画像フレームが前記動画像符号化処理部へ入力された時刻を示す入力時刻情報を、画像フレームごとに対応付けて前記動画像ストリームに多重化し、多重化ストリームを生成する多重化処理部と、
   前記多重化処理部によって前記動画像ストリームに多重化される前記入力時刻情報を生成する入力時刻情報生成部と、
   時刻をカウントする計時部と、
   を有し、
   前記入力時刻情報生成部は、前記入力時刻情報の生成処理を開始すると、前記動画像符号化処理部に入力される１番目の画像フレームに対応する前記入力時刻情報としては、前記計時部から取得した時刻を出力し、前記動画像符号化処理部に入力される２番目以降の画像フレームに対応する前記入力時刻情報としては、直前の画像フレームに付加された前記入力時刻情報に、当該直前の画像フレームが前記動画像符号化処理部に入力されたときの画面レートにおける画像フレームの出現間隔を示す時間を加算した時刻を出力する、
   ことを特徴とするストリーム生成装置。
9. 異なる複数の画面レートを任意のタイミングで切り替えて撮像信号を出力可能な撮像部と、
   前記撮像部による撮像により得られた動画像データを符号化して動画像ストリームを生成する動画像符号化処理部と、
   前記動画像ストリームにおける各画像フレームについての前記撮像部によって撮像された時刻を示す撮像時刻情報を、画像フレームごとに対応付けて前記動画像ストリームに多重化し、多重化ストリームを生成する多重化処理部と、
   前記多重化ストリームを記録媒体に記録する動画像記録部と、
   前記多重化処理部によって前記動画像ストリームに多重化される前記撮像時刻情報を生成する撮像時刻情報生成部と、
   時刻をカウントする計時部と、
   前記記録媒体から前記動画像ストリームを読み出して、各画像フレームを前記複数の画面レートのうちの一の画面レートで再生する動画像再生部と、
   前記動画像再生部の再生動作に同期して、前記記録媒体から読み出された前記動画像ストリームから前記撮像時刻情報を抽出する時刻情報抽出部と、
   を有し、
   前記撮像時刻情報生成部は、前記撮像時刻情報の生成処理を開始すると、前記動画像符号化処理部に入力される１番目の画像フレームに対応する前記撮像時刻情報としては、前記計時部から取得した時刻を出力し、前記動画像符号化処理部に入力される２番目以降の画像フレームに対応する前記撮像時刻情報としては、直前の画像フレームに付加された前記入力時刻情報に、当該直前の画像フレームが前記動画像符号化処理部に入力されたときの前記動画像データの画面レートでの画像フレームの出現間隔を示す時間を加算した時刻を出力する、
   ことを特徴とする撮像装置。
10. 動画像データを処理するための動画像データ処理方法において、
    動画像入力部が、異なる複数の画面レートが任意のタイミングで切り替えられる動画像データの入力を受け、
    入力時刻情報生成部が、動画像データの各画像フレームが前記動画像入力部に入力された時刻を示す入力時刻情報を生成し、
    時刻情報付加処理部が、前記動画像入力部に入力された動画像データに、前記入力時刻情報生成部によって生成された前記入力時刻情報を、画像フレームに対応付けて付加する、
    処理を実行し、
    前記入力時刻情報生成部が前記入力時刻情報を生成する処理では、前記動画像入力部に入力される１番目の画像フレームに対応する前記入力時刻情報としては、時刻をカウントする計時部から取得した時刻を出力し、前記動画像入力部に入力される２番目以降の画像フレームに対応する前記入力時刻情報としては、直前の画像フレームに付加された前記入力時刻情報に、当該直前の画像フレームが前記動画像入力部に入力されたときの画面レートでの画像フレームの出現間隔を示す時間を加算した時刻を出力する、
    ことを特徴とする動画像データ処理方法。

Images