本発明は、オーディオビデオ信号記録装置、オーディオビデオ信号記録方法に関するもので、特に動画静止画データ同時記録再生において、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することを好適に実現する装置、方法に関するものである。
従来のカムコーダでは動画と静止画とを一つのCCDを用いて同時記録していた。しかし静止画像の画素数を上げるために画素数の多いCCDを使用すると動画のS/N比が低下するので、解像度の高い静止画とS/N比の優れた動画とを同時記録することが困難であった。
そこで、特開平5−292445においては、広角レンズによる撮像信号と、ズームレンズによる撮像信号とを、同一の記録媒体に同時記録して、2種類の映像を2つの光学系にて記録する技術が開示されている。
また、特開2004−72148においては、入射光をプリズム分岐させて動画撮影用CCDと静止画撮影用CCDに受光させ、1つの光学系で、2つのCCDを用いて、動画像はMPEG圧縮されて記録し、静止画はJPEG圧縮してメモリカードに同時に記録される技術が開示されている。
また、同じように特開2000−23094では、動画像を記録し、所望の場面を静止画像としても記録可能の画像情報の記録又は再生装置を提供する目的で、入力手段により入力された記録データを、エンコーダで動画像用データとして圧縮し、操作ボタンから信号の入力時には、その信号が入力された時点における場面を静止画像用データとしても圧縮してメモリへ出力し、同期信号生成回路からの同期信号に同期して動画像用データと静止画像用データとを記録するためのタイミング信号を生成し、動画像用データと静止画像用データとを光磁気記録媒体に同時記録する技術が開示されている。
また、特開平11−76159には、対物光学系の光路を二つに分離するハーフミラーの二つの分離光路を用いて、異なる画素位置のデータからなる画像信号を形成するように配置された2つのCCDから、設定された画素以外の欠落画素を周囲の画素信号から演算し、高解像度の画像を生成する技術が開示されている。
また、ここで使用されているMPEGについて説明する。
MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29)に設立された動画像符号化標準を検討する組織の名称(Moving Pictures Expert Group)の略称である。MPEG1(MPEGフェーズ1)は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のITU-T SG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。
MPEG2(MPEGフェーズ2)は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月ISO/IEC 13818、H.262として成立している。
MPEGは幾つかの技術を組み合わせて作成されている。入力画像は動き補償器で復号化した画像と、入力画像の差分を取ることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの3モード存在する。またこれらは16画素×16画素のMB(マクロブロック)ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのMBを独立で符号化する2モード存在するのがPピクチャーである。また未来からの予測、過去からの予測、両方からの予測、独立で符号化する4モード存在するのがBピクチャーである。そして全てのMBが独立で符号化するのがIピクチャーである。動き補償は、動き領域をMBごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにMBの付加情報として伝送される。Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約15ピクチャ程度が使用される。
差分画像はDCT器において直交変換が行われる。DCT(Discrete Cosine Transform)とは 余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを4分割し8×8のDCTブロックに対して、2次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。
DCTされた画像データ(DCT係数)は量子化器で量子化が行われる。量子化は量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で叙算する。デコーダーで逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。
量子化されたデータはVLC器で可変長符号化される。量子化された値のうち直流(DC)成分は予測符号化のひとつであるDPCM(differential pulse code modulation )を使用する。また交流(AC)成分は 低域から高域にzigzag scanを行い、ゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
可変長符号化されたデータは一時バッファに蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器にて逆量子化、逆DCT器にて逆DCTされ一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。これら全体の符号化構成例を第10図に示す。
符号化されたストリームはバッファリングされ、バッファからのデータはVLD器に入力される。VLD器では可変長復号化され、直流(DC)成分および交流(AC)成分を得る。交流(AC)成分データは低域から高域にzigzag scanの順で8x8のマトリックスに配置する。このデータは逆量子化器に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器に入力され、逆DCTされ一時、画像データ(復号化データ)として出力される。また、復号化データは一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。復号化構成例を第11図に示す。
また、近年開発された記録容量が従来のCD等の媒体の数倍から十数倍になる、次世代のディスク媒体のフォーマット技術について説明する。一つはDVD-ROMディスク(DVD Specifications for Read-Only Discに準拠した読み出し専用光ディスク)であり、記録再生が可能なディスクとしてはDVD-RWディスク(DVD Specifications for Re-recordable Discに準拠した再記録可能なディスク)及びDVD-RAMディスク(DVD Specifications for Rewritable Discに準拠した再書き込み可能なディスク)がある。DVD-RWまたはDVD-RAMディスク上にビデオデータを収録する規格も策定されており、その大容量を活かして高画質な動画及び静止画を記録し、様々な編集を経て再生する手法が提供される。
DVD-RWまたはDVD-RAMディスク上(以下、DVD-RW/RAMディスクと略す)にビデオデータを収録する規格、VIDEO RECORDING規格(以下DVD-VRと略す)では、ビデオデータはVOB(Video Object)として記録され、VOB群を記録した順序で全て再生するためのオリジナル管理データ、オリジナルPGC (Original Program Chain)と、ユーザーが選択したVOBの全部又は一部分を任意の順序で再生するためのユーザー定義管理データ、ユーザー定義PGC (User Defined PGC)が定義される。ディスク上に、オリジナルPGCはただ一つ存在し、ユーザー定義PGCは複数存在しうる。 従って、ユーザーは、好みに応じて編集したユーザー定義PGCを使って、好みの再生を行うことが出来る。
"DVD Specifications for Rewritable/Re-recordable Discs、 Part3 VIDEO RECORDING、 Version 1.0"で示されるように、DVD-VRでは、DVD-RW/RAM上のファイルとして複数のファイルを記録する。図10にその構成を示す。 ルートディレクトリ下にDVD_RTAVディレクトリがあり、その下にオリジナルPGC、ユーザー定義PGCなど、全ての記録再生管理データを収録するためのVR_MANGER.IFOファイルを収録する。また、ビデオデータはVR_MOVIE.VROファイル中に、静止画データはVR_STILL.VROファイル中に、静止画に付随する追加オーディオデータはVR_AUDIO.VROファイル中に記録される。 このように、実際の再生データと、記録再生管理データは分離して記録されるので、再生データを変更することなく、ユーザー定義PGCによって任意の再生手順を構築することが出来る。なお、VR_STILL.VRO中の各静止画は、MPEG Video規格に準拠したMPEGイントラ画像として記録される。
図11にオリジナルPGCの構造概念図を示す。DVD-VRディスクにビデオデータを記録する場合、例えば1つのテレビ番組を録画する場合、その一続きのビデオデータは、1つのプログラム(Program)として記録され、プログラムは1つまたは複数のセル(Cell)から構成される。一般的には、録画の途中でポーズした場合や、録画後に番組の途中部分を編集で削除した場合などに、プログラムは複数のセルから構成される。各セルは1つのVOBと関連づけられている。各VOBは、MPEG-2システムに準拠したプログラムストリームとして記録され、連続的に再生される単位である。プログラムおよびセルの構造がオリジナルPGCの記録再生管理データであり、VOB群がビデオデータそのものである。ディスク上に最初に記録されたプログラムがProgram1であり、プログラムを追加記録する毎に、Program2、 3、 ...と記録順に追加されていく。オリジナルPGCの再生は、ディスクに記録された全プログラムをプログラム番号順、つまり記録順に再生することに相当する。また、オリジナルPGC上の特定のプログラムを指定して再生することも可能である。
一方、図12にはユーザー定義PGCの構造概念図を示す。オリジナルPGCとして記録されたVOB群の任意の部分をユーザー定義PGC用のセルとして登録し、ユーザー定義PGCを構成する。各セルは任意のVOBの全部または一部分を参照する。例えば、オリジナルPGCとして記録されたVOBのコマーシャルや不要な場面をカットしたり、2つ以上の番組(Program)の一部分を繋いで再生したりする用途等に適している。新しく定義したユーザー定義PGCを再生することは、そのPGC中の全セルを連続して再生することに相当する。 ユーザー定義PGC中にはプログラムの階層は存在しない。つまり、ユーザー定義PGC自体が、オリジナルPGCで言う1つのプログラムに相当する、と解釈できる。
表5には、オリジナル及びユーザー定義PGC情報(PGCI)の具体的定義内容を示す。PGCIはPGCの一般情報を示すPGC_GI、各プログラムの付属情報を定義する1つ以上のPGI(オリジナルPGCの場合。ユーザー定義PGCでは定義しない。)、PGC中の各セル情報の検索ポインタCI_SRP、及び各セル情報M_CI(動画セルの場合。静止画セルの場合S_CI。)から成る。
次に、表5中の各要素の内容を説明する。PGC_GI内には、PGC内のプログラム数を収納するPG_Ns及びCI_SRPの数を収納するCI_SRP_Nsが定義される。ユーザー定義PGCの場合、プログラムを持たないのでPG_Nsはゼロである。
PGIは、PG_Nsで示される個数存在する。各PGI内には、プログラム中のセル数を示すC_Ns、プログラムに関するテキスト情報を収録するプライマリテキスト情報(PRM_TXTI)、プログラムに関連するアイテムテキスト情報(PGCIではなく、VR_MANGR.IFO内の別のデータ構造として別途収録されている)の検索ポインタ番号(IT_TXT_SRPN)、プログラムを代表する静止画像の位置を指定する代表静止画情報(REP_PICTI)、等が定義される。
CI_SRPは、CI_SRP_Nsで示される個数存在する。各CI_SRPはセル情報CIの先頭アドレスCI_SAから成る。
M_CIは、セル一般情報M_C_GIと0個以上のセルエントリーポイント情報M_C_EPIから成る。M_C_GI内には、セルのタイプC_TY、セルエントリーポイント数C_EPI、等が定義される。M_C_EPI内には、エントリーポイントのタイプEP_TY(AとB、AはPRM_TXTIなし、BはPRM_TXTIあり)、エントリーポイントの再生時刻EP_PTM、及びエントリーポイントに関するプライマリテキスト情報(PRM_TXTI)が定義される。
ここで、エントリーポイントとはセル内の任意の時刻を指定し、プログラムやセルの任意の中間地点へのアクセスを可能にする構造である。図11および図12中に、セル内に指定されるエントリーポイントの例(EPと示される矢印)を示す。
なお、静止画のセルを再生する場合には、M_CIの代わりにS_CIが用いられる。(S_CIの内容はここでは省略する。) 従って、オリジナルPGC上に動画と静止画を記録する場合はセル毎に混在することになる。ユーザー定義PGC上も、セル毎に動画用セルと静止画用セルを混在させることが出来る。
特開平5−292445
特開2004−72148
特開2000−23094
特開平11−76159
解決しようとする問題点は、動画静止画データ同時記録装置において、2つの撮像素子を用いて単に動画と静止画を同時に記録するだけでなく、2つの撮像素子を動画のときのみ、あるいは静止画のときのみでもっと有効に活用する記録再生が望まれていた。
そこで、上記課題を解決するために本発明は、以下のオーディオビデオ信号記録装置、オーディオビデオ信号記録方法を提供するものである。
(1)撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能を持つことを特徴とするオーディオビデオ信号記録装置。
(2)撮像レンズから入射された光線を2つに分離し、分離された2つの光をそれぞれ受光して、画像信号を入力するステップと、前記画像信号を動画として記録媒体に記録する動画像信号記録ステップと、前記画像信号を静止画像として記録媒体に記録する静止画信号記録ステップとを備えたオーディオビデオデータ同時記録方法において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能を持つことを特徴とするオーディオビデオ信号記録方法。
本発明は撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、(1)受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成するモード、(2)受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成し、1つの信号の画像よりも明るい静止画像、もしくは動画像を形成するモード、(3)受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成するモード、の3モードの機能を持つようにしたので、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することができ、動画だけ、あるいは静止画だけを撮影しているモードのときにも2つの撮像素子を有効に活用できるシステムを好適に実現することができる。
以下、図面を参照しながら発明を実施するための最良の形態を説明する。
図1は本発明の実施例の好適なオーディオビデオ記録器のブロック図である。本実施例では動画をムービーで撮影中に、ユーザーからのタイミング情報により、動画録画を中断することなく、デジカメ静止画データを記録するものである。また、動画や静止画のみの場合には2つの撮像素子を有効につかって、画素ずらし処理をつかって解像度を向上したり、画素加算を行って感度を向上したりするものである。
以下のこのブロック図を説明する。入力されたビデオ光はレンズ101を通して、光路分離器102に入力される。レンズ101と光路分離器102は、図5のようにレンズ群と、例えばプリズムを用いて2つの光路に分離される。プリズムでなくてもハーフミラーでも構わない。2つに分離された光は動画用受光素子104と、静止画用105に入光される。受光素子は例えばCCDやCMOSなどである。受光素子104からのデータはA/D変換106においてA/D変換されて、デジタルデータとしてスイッチ109に入力される。受光素子105からのデータは、スイッチ126のaを経由してA/D変換107においてA/D変換されて、デジタルデータとしてスイッチ110に入力される。またスイッチのbを経由して、NDフィルタ127に入力される。NDフィルタ127の出力はA/D変換107においてA/D変換されて、デジタルデータとしてスイッチ110に入力される。このNDフィルターは減光用のフィルタであり、輝度レンジをもう一方と異ならせ、2つの信号を合成することでダイナミックレンジの広い信号をえることができる。この原理を図7を用いて説明する。図7の(1)は撮像する画像の輝度を横軸に、CCDの出力を縦軸にして、なにもフィルタのないCCDの出力を71、NDフィルタの出力を72として示したものである。NDフィルタをつけたCCDは同じ輝度でもCCDの出力が低い。したがって、輝度飽和度の高い画像がきてもCCDの出力が飽和せずに明るい輝度領域の画像の表現力が高い。一方なにもないCCD71は輝度の低い領域で表現力が高い。そこで図7の(2)のように切り替え値Sにおいて高い輝度の領域をNDフィルターCCDの出力74で、切り替え値Sより低い輝度の領域では何もないCCDの出力73を用いて、双方の出力に所定のノンリニアのテーブルを介して、合成画像特性75を計算で求めると、輝度の高い領域も低い領域も表現力の高い、高ダイナミックレンジの画像が得られる。スイッチ109とスイッチ110のaの出力端子はそれぞれ画素ずらし画像生成器111に入力される。画素ずらしとは図4の(3)のように画素を水平垂直に半画素ずらして擬似的に解像度を水平垂直に2倍に向上させる手法である。画素ずらし生成器111の出力はスイッチ113及びスイッチ114のaに入力される。またスイッチ109とスイッチ110のbの出力端子はそれぞれ画素加算画像生成器112に入力される。画素加算とは図4の(2)のように2つの画素を画素ずらしのようにずらさないで対応する位置の画素を加算して感度を向上させる手法である。スイッチ127をaにした場合には、そもそもレンズから2光路に分解しているので光強度は半分弱になっているため2つの光は加算することでほぼもとの感度に戻すことができる。またスイッチ127をbにした場合には、前述のようにダイナミックレンジの広い画像データをえることができる。画素加算生成器112の出力はスイッチ113及びスイッチ114のbに入力される。またスイッチ109の出力端子cはスイッチ113のcに入力される。またスイッチ110の出力端子cはスイッチ114のcに入力される。スイッチ109、110、113、114は静止画と動画を同時録画する場合にはcに切り替えられる。動画と静止画が独立に記録される場合で、静止画に画素ずらしを用いて画素数を向上する場合にはスイッチ109、113、127はaに切り替えられる。静止画に画素加算を用いて感度を向上する場合にはスイッチ109、113、127はbに切り替えられる。動画と静止画が独立に記録される場合で、動画に画素ずらしを用いて画素数を向上する場合にはスイッチ110、114、127はaに切り替えられる。動画に画素加算を用いて感度を向上する場合にはスイッチ110、114、127はbに切り替えられる。スイッチ113の出力は静止画符号化器119に伝送される。スイッチ114の出力は動画符号化器120に伝送される。一方、オーディオ入力器103にからのオーディオデータはA/D変換器108にてデジタルデータに変換され、音声符号化器118に入力される。音声符号化器118は例えばドルビーAC3、静止画符号化器119は例えばJPEG、動画符号化器120は例えばMPEG2での圧縮を行うものである。それぞれの符号化された符号化データは、多重化器122にて、1つのデータに多重化される。多重化されたデータはディスクフォーマット器124にて、後述するディスクフォーマットにてフォーマット化され、記録媒体書き込み器123へ入力される。
一方、ユーザーインターフェース115においては、動画をムービーで記録している途中において、ユーザーから、ボタンなどを押す動作に連携して、押したときのタイミング情報を入力してもらう。CPU116を介して、静止画撮影タイミング信号発生器117において、静止画録画開始信号と、同時に録画されているリンクされているビデオのプログラムナンバーと、リンクされているビデオのピクチャータイムコードを、静止画符号化器119に送信する。
ビデオのプログラムナンバーは表3のLinked_video_programの領域に、表1のV_PR_IFOの2番目のPR_numberの値である。ビデオのピクチャータイムコードは同時に録画されているリンクされているビデオの所謂タイムコードであり、MPEGなどでもGOP単位にGOPヘッダーとして時分秒フレーム数で記述されているタイムコードと同じもので良い。また、この情報は動画データのなかのピクチャーを特定できる情報(動画像のピクチャーの位置情報)であればタイムコードでなくても、先頭からのフレーム数であったり、先頭からのアドレス(バイト数)であっても良い。
また、同時に静止画録画開始信号と、静止画の識別情報(後述するS_PRN)を、動画符号化器120にも送信し、動画符号化データの1ピクチャー毎に記録できるMPEGのユーザーデータ領域に、そのタイミングに同期して符号化される静止画の識別情報(後述するS_PRN)を記述する。これは表3の静止画の情報のうち、静止画1枚ずつに記述される静止画プログラムのナンバーである。この情報があると、動画再生中に、一次停止した動画フレームと同じタイミングで撮影した静止画像を特定できる。動画中へのデータの書き込みは図2のようにMPEGのピクチャーデータのなかのユーザーデータの領域に記述する。ユーザーデータは表3のMPEG2のビデオレーヤのシンタックスにおけるUser_data()を使用する。user_data()は、user_start_codeという一意い決定できるバイトアラインされたスタートコードから始まり、次に0x000001の3バイトを受信するまで、user_dataを続けることができる。ここに静止画の識別情報(後述するS_PRN)を記述する。その際、他のアプリケーションでuser_data()を使用している可能性もあるので、user_data()のuser_start_codeのあとに、本方式のデータであることを示す、4バイト程度のユニークコード0x22220204を記述する。これにより他の用途で使用するユーザーデータとの混同は防げる。
さらにCPU116は管理データメモリー121に、静止画の識別情報(後述するS_PRN)の書き込みなどの制御信号を送信する。また、静止画撮影タイミング信号発生器117からは、その制御信号に従って管理データメモリー121に静止画の識別情報(後述するS_PRN)を書き込む。管理データ121に記録されているデータはディスクフォーマット器124からの多重化されたオーディオビデオ信号データとともに、CPU116からの制御信号に従って、記録媒体125に記録される。
図3は本発明の実施例の好適なオーディオビデオ再生器のブロック図である。 まず記録媒体201からCPU204からの制御信号により記録媒体読み出し器202によって、オーディオビデオデータと、管理データが読み込まれる。管理データは管理データメモリー206に記録される。オーディオビデオデータはディスクフォーマットデコーダー器205に入力される。ディスクフォーマットデコーダー器205では、後述するディスクフォーマットをフォーマットデコード化して多重化分離器207に入力される。多重化分離器207では、各要素のデータが多重化されている状態から、各要素データへと分離し、音声データは音声復号器209、静止画データは静止画復号器210、動画データは動画復号器211へ入力される。静止画と動画は復号されるとフレームバッファ212にバッファされる。一方、ユーザーインターフェース(U/I)203によって動画再生中に、ピクチャー毎に規則されている静止画の記録されている時刻にて一時停止をして、高解像度の静止画を表示する場合には表示を行うトリガー信号が入力されて、その信号はCPU204に伝送される。CPU204ではそのトリガー信号を受けて、再生制御器208へ制御信号を伝送する。再生制御器208では記録媒体読み出し器に読み出しを一時停止する信号を伝送すると同時に、再生していづ動画の符号化データのピクチャー毎に記録されているユーザーデータを観測し、そこに図2に示した識別コード0x22220204のあとS_PRNという静止画のプログラムナンバーを検出する。
高解像度表示するために一時停止する場合には、そのプログラムナンバーに対応するS_PR_IFOのなかのS_ATRのLinked_video_programの値が0でない信号であるピクチャーのところで一時停止する。この信号は動画のピクチャーを時間方向に並べた場合、対応した静止画が記録されているのが仮に1秒に1枚、即ち30フレームに1枚であれば、最大30枚観測すれば1枚は見つかるはずで、その場合には最大1秒程度一時停止が遅れる。普通の一時停止は動画上のどこのフレームでも一時停止可能である。一時停止したら、再生制御器は記録媒体読み出し器に、その動画の対応する静止画データ(S_PRNのプログラムナンバーのついている静止画データ)をアクセスして、ディスクフォーマットデコーダー器205と多重化分離器207を経由して、静止画復号器211にて静止画を復号し、フレームバッファに、動画の一時停止しているデータと交換して、静止画データをバッファリングする。図4の(1)のように、動画撮影中にシャッターボタンを押して静止画を記録した画像が真ん中の画像だとすると、その動画一時停止した画像が(2)のように高解像度の画像にて表示される。この画像はCCDの能力によるが1つのCCDの画素解像度の2倍の解像度をもつ。従ってたとえばズームした場合でも動画の表示解像度を基準に考えれば、静止画の解像度は劣化しない。例えば1600x1200の画素のうち720x480を切り出すような画郭であれば解像度は劣化しない。それ以上小さいウインドウを720x480まで拡大するということになれば、従来の技術にあるフィルターによるオーバーサンプル(フィルター処理で補間する)をおこなって表示することも可能で、これと組み合わせることで、連続的な拡大機能を持たせることができる。また、動画から静止画のバッファの切り替えにより、ユーザーに表示させる画像が大きく変化しないようすることもできる。フレームバッファ212は前記の説明のように、動画像あるいは、静止画像を受信して、バッファすると同時に、再生制御器208の信号にてバッファを動画データと静止画データを、適切に切り替えて画像出力器214に伝送する。一方、音声復号器209では音声データを音声出力器213(例えばスピーカ)などで出力する。
次にディスクフォーマット化器124でフォーマット化、及び、ディスクフォーマットデコーダー器205でフォーマットデコードされるデータ構造について説明する。
本発明の実施形態に関わるディレクトリ、ファイル構造の例を図15に示す。ディレクトリ名やファイル名は本発明の実施形態を説明する目的で使われており、これ以外の名称を否定するものではない。ルートディレクトリ(図示しない)の下にJVC_HDVD_SYSTEMディレクトリがあり、その下に、本発明に関わる全ての管理データ及びオーディオ、ビデオ、静止画データが保存される。
TMG.ifo(Total Manager Information)は、オリジナル管理データ(以下、プログラムセットとも呼ぶ)及びユーザー定義管理データ(以下、プレイリストとも呼ぶ)を記録する為のファイルである。構造を図16に示す。詳細は後述する。
V_PR_SETは、ビデオのプログラムをビデオオブジェクトとして記録する為のディレクトリであり、その中にビデオの各プログラムがV_PRn.dat (ここで、nは1から開始されるプログラム番号)として記録される。プログラムにはビデオオブジェクトが、MPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。
A_PR_SETは、オーディオのプログラムをオーディオオブジェクトとして記録する為のディレクトリであり、その中にオーディオの各プログラムがA_PRn.dat (ここで、nは1から開始されるプログラム番号)として記録される。プログラムにはオーディオオブジェクトが、MPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。
ビデオまたはオーディオオブジェクトをプログラムストリームとして記録する場合には図9のように、MPEG多重化規格のフォーマットに従い、要素データ毎にパック化を行う。オブジェクトはパックの集合として記録され、各パックにはパックヘッダがあり、その後にパケットが記録される。パケット内にはパケットヘッダと、ビデオ又はオーディオデータが少なくとも記録され、必要に応じてプライベートヘッダがパケットヘッダの直後に記録される場合がある。
S_PR_SETは、静止画のプログラムを静止画オブジェクトとして記録する為のディレクトリであり、その中に静止画の各プログラムがS_PRn.jpg (ここで、nは1から開始されるプログラム番号)として記録される。ここではJPEG形式の静止画記録を想定している。各JPEGファイルが一つの静止画オブジェクトに対応する。
なお、図15ではビデオ、オーディオ、静止画のプログラムに関するファイル群をそれぞれ異なるディレクトリ下に記録する例を示したが、3種全てのファイル群を同一ディレクトリ、例えばAVS_PR_SETなど、の下に記録するようにしても、本発明の趣旨と相違しない。さらには、ビデオのプログラムをそれぞれ一つのファイルV_PRn.datとして記録する例、及びオーディオのプログラムをそれぞれ一つのファイルA_PRn.datとして記録する例を示したが、全てのビデオプログラムを同一のファイル、例えばV_PR.dat内に連続して記録し、V_PR.dat内のどの部分がどのプログラムデータに相当するかを別途の情報として保持するようにしても良い。A_PR.datについても同様である。
次に、TMG.ifoのデータ構造例を図16に示す。TOTAL_MAN_IFO(Total Manager Information)は、GENERAL_IFO(General Information)、CNTNT_IFO(Content Information)及びSTATUS_IFO(Status Information)からなる。
GENERAL_IFOは、System IDやVersion number、 及びCNTNT_IFOとSTATUS_IFOの先頭アドレスなど、TOTAL_MAN_IFOの一般情報を含み得る。詳細を表6に記述する。STATUS_IFOは、最後に再生したプログラムの種類や番号など、ステータスに関する情報を含み得る。
CNTNT_IFOは、ビデオプログラム情報テーブルV_PR_IFOT(Video Program Information Table)、オーディオプログラム情報テーブルA_PR_IFOT(Audio Program Information Table)、静止画プログラム情報テーブルS_PR_IFOT(Still picture Program Information Table)、及びユーザー定義管理データに相当するプレイリスト情報テーブルPL_IFOT(Play List Information Table)から成る。V_PR_IFOT、A_PR_IFOT及びS_PR_IFOTの3つが(従来例の)オリジナル管理データに相当する。
更に、V_PR_IFOTは、各ビデオプログラムのビデオプログラム情報V_PR_IFO_i(iは1からnまでの整数)を含む。
A_PR_IFOTは、各オーディオプログラムのオーディオプログラム情報A_PR_IFO_j(jは1からmまでの整数)を含む。S_PR_IFOTは、各静止画プログラムの静止画プログラム情報S_PR_IFO_k(kは1からqまでの整数)を含む。PL_IFOTは、各プレイリストの情報PL_IFO_p(pは1からrまでの整数)を含む。なお、以下では上述のi、 j、 k、 pをそれぞれPR_IFO番号と呼ぶことにする。
表1にV_PR_IFO_iのデータフィールドと内容の例を示す。データフィールドの中で、PR number (V_PRN)はこのビデオプログラムの番号を示し、V_PR_IFO番号と等しい。Video Group number (V_GRN)は、このプログラムが属するビデオグループの番号を示す(後述)。V_ATRには表1の下の表にあるようなシンタックスを記述する。ここには、ビデオの画像がどんな圧縮方式で記録されているのかを示す、Video_compression_modeや、PALやNTSCのTVシステムを識別するTV_system情報、アスペクト情報、それに水平、垂直の画素数、が記録される。その他のデータフィールドについてはここでは説明を省略する。なお、V_PR_IFOはビデオプログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を収める為のものであり、表1の例以外にも様々な情報構造をとり得ることに注意されたい。
表2にはA_PR_IFO_jのデータフィールドと内容の例を示す。データフィールドの中で、PR number (A_PRN)はこのオーディオプログラムの番号を示し、A_PR_IFO番号と等しい。Audio Group number (A_GRN)は、このプログラムが属するオーディオグループの番号を示す(後述)。Track number (TKN)はオーディオグループ内のトラック番号を示す。その他のデータフィールドについてはここでは説明を省略する。なお、A_PR_IFOはオーディオプログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を収める為のものであり、表2の例以外にも様々な情報構造をとり得ることに注意されたい。
表3には、S_PR_IFO_kのデータフィールドと内容の例を示す。データフィールドの中で、PR number (S_PRN)はこの静止画プログラムの番号を示し、S_PR_IFO番号と等しい。Still picture Group number (S_GRN)は、このプログラムが属する静止画グループの番号を示す(後述)。Linked_video_program_numberには、この静止画とリンクされているビデオのPR_numberを記述する。なお、リンクされていない場合には0を記述する。また、Linked_video_entry_timeにはリンクされているビデオのピクチャーのタイムコードを記述する。S_ATRは表3の下の表のシンタックスに示したように、ビデオの画像がどんな圧縮方式で記録されているのかを示す、Video_compression_modeや、PALやNTSCのTVシステムを識別するTV_system情報、アスペクト情報、静止画像の水平画素数を示すHorizontal_video_resolution情報、静止画像の垂直画素数を示すVertical_video_resolution情報などがある。その他のデータフィールドについてはここでは説明を省略する。なお、S_PR_IFOは静止画プログラムの再生に必要な属性情報、テキスト等の付随情報を収める為のものであり、表3の例以外にも様々な情報構造をとり得ることに注意されたい。
表4には、PL_IFO_pのデータフィールドと内容の例を示す。データフィールドの中で、PL numberはこのプレイリストの番号を示す。num_of_ud_programsは、このプレイリストに含まれるユーザー定義プログラム数を示す。一つのユーザー定義プログラムUD_PR(User Defined Program)内には、一つ以上のビデオプログラム、一つ以上のオーディオプログラムまたは一つ以上の静止画プログラムが収録される。または、一つ以上のオーディオプログラムと、それと同時に再生すべき一つ以上の静止画プログラムが収録される場合もある(後述)。UD_PR_modeは、再生すべきUD_PRがビデオ、オーディオ、静止画のいずれのプログラムを含むかを示す。その他のデータフィールドについてはここでは説明を省略する。各プログラムの機能、プログラムとユーザー定義プログラム、プレイリストの関係などについては後述する。なお、PL_IFOは各プログラムを関連付けて再生するのに必要な情報を収める為のものであり、表4の例以外にも様々な情報構造をとり得ることに注意されたい。
次に、本発明の記録方法について図6のフローチャートを用いて説明する。まずステップ601において記録のスタートをする。次にステップ602において記録モードの設定を行う。次にステップ603で静止画動画同時記録であるかどうかを判定する。静止画動画同時記録を行う(YES)の場合には、例えばユーザーから静止画記録を指示するボタンなどのユーザーインターフェースにて行う。ボタンはたとえば1回押すと動画記録がスタートし、同じボタンを2度目におすと静止画が1ピクチャー(フレームであってもフィールドであっても良い)を記録するなど、ユーザーが使いやすいようなボタン操作インターフェースを実装するのが好ましい。次にステップ604にて動画音声データを録画開始をする。次にステップ605において静止画記録を所定のタイミングで行うかどうかを判定する。静止画記録をする場合(YES)にはステップ606において図1におけるスイッチ109、110、113、114をcに切り替える。静止画記録をしない場合(NO)には後述するステップ609に進む。次にステップ607において静止画データの録画をする。次にステップ608にて静止画撮像タイミング信号と予め設定してある静止画サイズ情報を発生する。次にステップ609にて入力データの蓄積符号化を行う。動画データは一時メモリーして、MPEG2圧縮符号化を行う。静止画は1枚ごとにメモリーをしてJPEG圧縮符号化を行う。またオーディオデータは動画とともに連続して、所定の単位時間メモリーしたあとドルビーAC3やMPEG音声符号化などの圧縮符号化を行う。次にステップ610において符号化されたデータを要素データ(ビデオやオーディオなどの要素)をパック化して、識別ヘッダーやタイムスタンプなどを付加して多重化を行う。次にステップ611において動画データのピクチャー毎のユーザーデータ領域に、静止画の識別信号を記録する。これは前述のように、そのタイミングに同期して符号化される静止画の識別情報(後述するS_PRN)である。これは表3の静止画の情報のうち、静止画1枚ずつに記述される静止画プログラムのナンバーである。その次にステップ612において、多重化されたデータと前記ユーザーデータを、図15のフォーマットにしたがってフォーマット化し、バッファリングする。バッファにある程度のデータ量が蓄積されたら、記録媒体に記録する。次にステップ613において記録が全部終了したかどうかを判定し、終了(YES)であればステップ614に進み、記録結果に基づいて管理データ(IFO)を図16のフォーマットにしたがってフォーマット化し、記録媒体に記録する。次にステップ615に進み終了する。またステップ613で終了でない(NO)であればステップ605へ戻る。
一方、ステップ603で静止画動画同時記録でない場合(NO)には、ステップ616に進み静止画記録かどうかを判定する。静止画記録の場合にはステップ617において静止画を画素ずらしするか、画素加算をするかを判定する。画素ずらしの場合にはステップ618に進み、スイッチ109、113、127をaに切り替える。画素加算の場合にはステップ619に進みスイッチ109、113、127をbに切り替える。その後ステップ620に進み、静止画データを録画する。次にステップ625に進み入力データの蓄積符号化を行う。次にステップ627においてフォーマット化し記録媒体に記録する。次にステップ614に進む。一方ステップ616において静止画記録でない(NO)の場合、動画記録と判定してステップ621に進む。ステップ621では動画を画素ずらしするか、画素加算するかを判定する画素ずらしの場合にはステップ622に進み、スイッチ110、114をaに切り替える。画素加算の場合にはステップ623に進みスイッチ110、114をbに切り替える。その後ステップ624に進み、動画データを録画する。次にステップ625に進み入力データの蓄積符号化を行う。次にステップ626において、画像、音声の符号化データの多重化を行う。次にステップ627においてフォーマット化し記録媒体に記録する。次にステップ614に進む。
次に図8のフローチャートを用いて、本発明の再生方法について説明する。まずステップ801において再生のスタートをする。次にステップ802において記録媒体から管理データ(IFO)を読み取り、メモリーに展開する。次にステップ803において、動画像の再生を行う。次にステップ804において高解像度静止画表示ための一時停止をするかどうかを判定する。しない(NO)場合にはステップ803へ戻る。する(YES)の場合にはステップ805において高精細静止画表示可能なピクチャーで一時停止をする。次にステップ806において、一時停止した動画像のピクチャーユーザーデータのS_PRNを読み出す。次にステップ807においてS_PRNに対応する静止画を再生する。次にステップ808においては動画再生が終了かどうかを判定する。終了しない(NO)の場合にはステップ803に戻る。終了する場合(YES)にはステップ809に進み終了する。
なお、本実施例では、記録媒体を特定していないが、ランダムアクセスできる記録媒体、例えばハードディスクや光ディスクなどであればどんな記録媒体であっても良い。
また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。
また、本発明の信号データを記録した記録媒体は、図15、図16、表1、表2、表3、表4、表6に示したフォーマット構造が記録されていると同時に、動画データのなかに静止画を特定できる識別信号を記録してあり、動画と静止画の相互の関連付けができるデータ構造をもっているという媒体特有の効果があり、(1)受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成するモード、(2)受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、(3)受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成するモード、の3モードの機能を持つようにしたので、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、片方をNDフィルタにより広ダイナミックレンジを得るモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することができ、動画だけ、あるいは静止画だけを撮影しているモードのときにも2つの撮像素子を有効に活用できるシステムを好適に実現することができる。
また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。
本発明記録装置の実施例を示すブロック図である。
本発明に関連するMPEGのユーザーデータ中に記録するデータ構造の説明図である。
本発明再生装置の実施例を示すブロック図である。
本発明に関連する動画と静止画の関係及び画素加算、画素ずらしの方法を示す説明図である。
本発明装置を構成する光学系部分の一実施例を示す構成図である。
本発明装置の動作を説明するためのフローチャートである。
本発明装置に関連するNDフィルタCCDを用いた高ダイナミック画像合成の説明図である。
本発明装置の動作を説明するためのフローチャートである。
従来技術におけるMPEG規格のデータパック構造を示す説明図である。
従来技術におけるMPEG符号化器のブロック図である。
従来技術におけるMPEG復号化器のブロック図である。
従来技術におけるディレクトリ、ファイル構造例の説明図である。
従来技術におけるオリジナルPGCの構造を示す説明図である。
従来技術におけるユーザー定義PGCの構造を示す説明図である。
本発明に関連するディレクトリ、ファイル構造の例を示す図である。
本発明に関連するTMG.ifoのデータ構造例を示す図である。
符号の説明
101 レンズ
102 光路分離機
103 オーディオ入力器
104 受光素子
105 受光素子
106 A/D変換器
107 A/D変換器
108 A/D変換器
109 スイッチ
110 スイッチ
111 画素ずらし画像生成器
112 画素加算画像生成器
113 スイッチ
114 スイッチ
115 U/I
116 CPU
117 静止画撮像タイミング信号発生器
118 音声符号化器
119 静止画符号化器
120 動画符号化器
121 管理データメモリ
122 多重化器
123 記録媒体書き込み器
124 ディスクフォーマット器
125 記録媒体
126 スイッチ
127 NDフィルタ