JP3558384B2

JP3558384B2 - Video recording and playback method

Info

Publication number: JP3558384B2
Application number: JP24614294A
Authority: JP
Inventors: 雅人長沢; 泰広清瀬; 博行大畑; 英俊三嶋; 吉範浅村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1994-10-12
Filing date: 1994-10-12
Publication date: 2004-08-25
Anticipated expiration: 2019-08-25
Also published as: JPH08111847A

Description

【０００１】
【産業上の利用分野】
本発明は、光ディスクの高密度記録再生方法に関するものである。
【０００２】
【従来の技術】
図１５は、特開平４−１１４３６９号公報に示された従来の光ディスク記録再生装置のブロック図である。図において、１はビデオ信号をディジタル情報に変換するビデオＡ／Ｄ変換器、２は映像情報圧縮手段、３５は圧縮された映像情報をフレーム周期の整数倍に等しいセクタ情報に変換するフレームセクタ変換手段、３６はエンコーダ、３７は記録媒体での符号間干渉を小さくするため所定の変調符号に変換するための変調器、３８は上記変調符号に従ってレーザを変調するためのレーザ駆動回路、３９はレーザ出力スイッチである。
【０００３】
４０は光ディスク、４１はレーザ光を出射する光ヘッド、４２は光ヘッド４１から出射される光ビームをトラッキングするアクチュエータ、４３は光ヘッド４１を送るトラバースモータ、４４はディスク４０を回転させるディスクモータ、４７はモータ駆動回路、４５，４６はモータ制御回路である。
【０００４】
また、４８は光ヘッド４３からの再生信号を増幅する再生アンプ、４９は記録された変調信号からデータを得る復調器、５０はデコーダ、５１はフレームセクタ逆変換手段、５２は上記圧縮情報を伸長する情報伸長手段、５３は伸長された情報をアナログビデオ信号に変換するＤ／Ａ変換器である。
【０００５】
図１６は、ディジタル動画情報を圧縮して電送・蓄積するために規格化が進められているＭＰＥＧ方式のデータ配列構造（レイヤ構造）を簡略化して表した図で、５４は複数のフレーム情報からなるＧＯＰ、５５はいくつかのピクチャ（画面）から構成されるＧＯＰレイヤ、５６は１画面をいくつかのブロックに分割したスライス、５７はいくつかのマクロブロック（ＭＢ）から構成されるスライスレイヤ、５８は８画素×８画素で構成されるブロックレイヤである。
【０００６】
図１７は、１０画面を１ＧＯＰとしたときの符号化構造を示した図で、６１はフレーム内ＤＣＴを行う映像情報であるＩピクチャ、６３は前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャ、６２は時間的に前後に位置する上記Ｉピクチャ６１およびＰピクチャ６３を参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャである。
【０００７】
図１８（ａ），（ｂ）は、１ＧＯＰ内の映像データ量を、各ＧＯＰ間の画質を一定にするために可変構造にした場合と、録画時間を一定にするために固定レートにしたものとを比較した図である。図において、６４はディスク最内周、６５はディスク最外周である。
【０００８】
また、図１９（ａ）は、１ＧＯＰ当りの画質を同一に保った場合の１ＧＯＰ当りのデータ量を示した図で、αはデータレートの最高値、βは平均データレートを表わす。また、図１９（ｂ）は、各画像（ｅ），（ｄ），（ｃ）において１ＧＯＰあたりの画質とデータ量を比較した図である。
【０００９】
次に、従来例の動作を説明する。ディジタル映像情報の圧縮技術が進むにつれ、上記圧縮情報を光ディスクに記録することにより、従来のＶＴＲ等に代表されるようなテープ媒体に比べて検索性にすぐれ、きわめて使い勝手の良い映像ファイリング装置を実現することが可能となっている。また、このようなディスクファイル装置は、ディジタル情報を扱うため、アナログビデオ信号を記録する場合に比べてダビング劣化がなく、さらに光記録再生であるため、非接触で信頼性に優れたシステムが実現できる。
【００１０】
従来、このような圧縮動画情報を光ディスクに記録する場合は、図１５のブロック回路図に示した光ディスク４０に、図１６に示したＭＰＥＧ方式のようなディジタル圧縮動画情報を記録する方法が取られる。このとき、ビデオＡ／Ｄ変換器１でディジタル化された映像情報は、映像情報圧縮手段２によって例えばＭＰＥＧ等の標準圧縮動画方式で変換される。この圧縮された映像情報は、エンコードされるとともに光ディスクの符号間干渉の影響を小さくするための変調が施されて光ディスク４０に記録される。このとき、例えば各ＧＯＰ単位でのデータ量はほぼ同じ量になるようにし、またフレーム周期の整数倍に等しいセクタに振り分けることによって、ＧＯＰ単位での編集等が可能となることは明かである。
【００１１】
また、再生時においては、光ディスク４０に記録された映像情報を光ヘッド４１で再生して再生アンプ４８にて増幅し、復調器４９およびデコーダ５０にてディジタルデータに復元した後、フレームセクタ逆変換手段５１にてアドレス，パリティ等のデータを取り除いた純粋な映像元データとして復元する。さらに、情報伸長手段５２にて例えばＭＰＥＧ複号化を行うことで映像信号に再現し、Ｄ／Ａ変換器５３によってアナログ映像信号に変換されてモニタ等に表示可能となる。
【００１２】
ここで上述したように、ディジタル動画圧縮方法としてＭＰＥＧ方式を用いると、図１７に示したように、フレーム内ＤＣＴによる圧縮を行うＩピクチャ６１と、前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャ６３と、時間的に前後に位置するＩピクチャ６１およびＰピクチャ６３を参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャ６２とがいくつか組合わさった符号化構造を、そのまま光ディスク４０内に記録することになる。
【００１３】
これらの情報のうち、Ｉピクチャ６１はフレーム内ＤＣＴを行っているため、この情報単独で画像再生を行うことが可能であるが、Ｐピクチャ６３は前方向の動き補償を行っているため、Ｉピクチャ６１を再生した後でなければ画像再生を行うことが出来ず、また、Ｂピクチャ６２は、両方向からの予測画面であるため、前後にあるＩピクチャ６１またはＰピクチャ６３を再生した後でなければ再生できない。また、これらの情報のうち、当然両方向予測を行っているＢピクチャ６２が最もデータ量が少なく、符号化効率も良い。
【００１４】
しかし、このＢピクチャ６２は単独で再生できないため、Ｉピクチャ６１やＰピクチャ６３を必要とするが、その分、Ｂピクチャ６２の枚数を増やすと処理回路におけるバッファメモリ量が増えるとともに、データ入力から映像再生までの遅延時間が増大する問題がある。しかし、光ディスク等に代表される蓄積系メディアにおいては、長時間記録のために圧縮効率の良い符号化方式が望まれ、一方、上記映像再生の遅延時間はあまり問題にならないため、図１６〜図１７に示すような符号化方式が適している。
【００１５】
次に、１枚の光ディスクにおいて、どの部分でも画質一定となるように映像データを記録すると、図１８（ａ）に示すような可変レート構造となる。これは、１ＧＯＰ当りの画質を一定とした場合、図１９（ａ）に示すように、１ＧＯＰに必要な映像データ量が変動するからである。これは、例えば、細かい画像の場合Ｉピクチャに必要とされるデータ量が増大した場合や、動きの早い映像データが連続した場合は、ＰピクチャやＢピクチャにおける圧縮効率があまり高くならないからである。また、当然ではあるが、図１９（ｂ）に示すように、１ＧＯＰ当りのデータ量を増加させると、絵柄によっては異なるものの、画像のＳ／Ｎも改善される。
【００１６】
これに対して、光ディスク１枚の記録時間を一定にするためには、図１８（ｂ）に示す固定レートで記録するフォーマットが適している。しかし、磁気テープ媒体と異なり、光ディスク媒体を用いた映像記録再生装置の場合は、１パッケージあたりの総データ量が小さいため、高画質を維持しつつできるだけ圧縮効率を高めなければならない。そのためには、図１８（ａ）に示す可変レート方式の方が、光ディスク１枚当りの映像データのファイル効率が良いことはいうまでもない。
【００１７】
そこで、例えば、再生専用の光ディスク装置においては、あらかじめエンコードすることにより、可変レート時における光ディスク１枚全部のデータ量分布を知ることが可能となるため、２回目のエンコード時に全体のデータ分布を調整し、結果的にディスク１枚当りの再生時間を可変レート時においても一定に調整することが可能となる。
【００１８】
【発明が解決しようとする課題】
上述したように、従来の光ディスクの映像記録方式においては、１ＧＯＰ当りのデータレートを可変とすることにより１枚の光ディスク媒体に記録される映像データのファイル効率を向上させているが、磁気テープ媒体にくらべて大幅に総データ量の小さい光ディスク媒体においては、従来よりさらに圧縮効率の高いファイル方法が望まれていた。
【００１９】
また、再生専用の光ディスク媒体のみならず、録画可能な光ディスク媒体においても、さらに、記録中において残りの記録エリアが不足したような場合においても、通常の圧縮方式より圧縮効率の高いファイル方式が望まれていた。
【００２０】
本発明は、上記のような問題点を解消することを目的としてなされたもので、圧縮効率の高い映像記録再生方法を得ることを目的とする。
【００２１】
【課題を解決するための手段】
請求項１の発明は、記録時には時間的に前後したフレーム間の動き推定情報に基づいてディジタル映像情報を圧縮するとともに、上記圧縮映像情報に含まれているフレームごとの映像の動きに応じて増減する動きベクトルデータのデータ量（以下、「動ベクトル量」という）が予め定めた絶対量よりも小さい場合には１秒当りのコマ数を削減して記録媒体に記録し、再生時に、上記削減したフレームの前後のフレームを重複表示して所定な必要コマ数を確保するようにし、また、記録媒体に記録された映像情報が、フレーム内ＤＣＴを行う映像情報であるＩピクチャと、前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャと、時間的に前後に位置する上記ＩピクチャおよびＰピクチャを参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャとが混在する数フレームから数十フレーム単位の映像情報ブロックの連続であって、上記映像情報ブロック単位に動ベクトル量を記憶するとともに、この動ベクトル量に応じて画像データのＢピクチャを削除するようにしたものである。
【００２２】
請求項２の発明は、記録時には時間的に前後したフレーム間の動き推定情報に基づいてディジタル映像情報を圧縮するとともに、上記圧縮映像情報に含まれているフレームごとの映像の動きに応じて増減する動ベクトル量が、予め定めた第一の絶対量と第二の絶対量に挟まれた範囲よりも小さい場合は上記動ベクトル量に比例して１秒当りのコマ数を削減し、上記範囲よりも大きい場合は上記動ベクチトル量に反比例するように１秒当りのコマ数を削減して記録媒体に記録し、再生時に、上記削減したフレームの前後のフレームを重複表示して必要なコマ数を確保するようにしたものである。
【００２３】
請求項３の発明は、請求項２の発明において、記録媒体に記録された映像情報が、フレーム内ＤＣＴを行う映像情報であるＩピクチャと、前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャと、時間的に前後に位置する上記ＩピクチャおよびＰピクチャを参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャとが混在する数フレームから数十フレーム単位の映像情報ブロックの連続であって、上記映像情報ブロック単位に動ベクトル量を記憶するとともに、この動ベクトル量に応じて画像データのＢピクチャを削除するようにしたものである。
【００２４】
請求項４の発明は、記録時には時間的に前後したフレーム間の動き推定情報に基づいてディジタル映像情報を圧縮するとともに、上記圧縮映像情報に含まれているフレームごとの映像の動きの大小に応じて変動する動ベクトル量の総量が、予め定めた第一の絶対量よりも小さく、かつ動ベクトル量の画面ごとの変化量が予め定めた第二の絶対量より大きい場合には１秒当りのコマ数を削減して記録媒体に記録し、再生時に、上記削減したフレームの前後のフレームを重複表示して必要なコマ数を確保するようにしたものである。
【００２５】
請求項５の発明は、請求項４の発明において、記録媒体に記録された映像情報が、フレーム内ＤＣＴを行う映像情報であるＩピクチャと、前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャと、時間的に前後に位置する上記ＩピクチャおよびＰピクチャを参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャとが混在する数から数十フレーム単位の映像情報ブロックの連続であって、上記映像情報ブロック単位に動ベクトル量を記憶するとともに、この動ベクトル量を前後のＰピクチャごとに比較して上記映像情報ブロック内の動ベクトル相関量を検出するとともに、上記総量と上記動ベクトル相関量に基づき、上記Ｂピクチャのコマ落ち数を決定する変換テーブルにより上記映像情報ブロック内のコマ落ち量を決定するようにしたものである。
【００２６】
請求項６の発明は、記録時に、第１回目のエンコード時に複数のピクチャからなる映像情報ブロックの単位ごとにエンコード後の符号量と、当該映像情報ブロックの動ベクトル量とを記憶し、この記憶した符号量および動ベクトル量から、記録媒体に所定時間記録するのに最適な、上記映像情報ブロック単位ごとの符号量とコマ数とを算出し、第２回目のエンコード時に、上記最適な符号量となるように制御するとともにＢピクチャデータを上記コマ数分削除するようにしたものである。
【００２７】
請求項７の発明は、請求項６の発明において、記録媒体に記録された映像情報が、フレーム内ＤＣＴを行う映像情報であるＩピクチャと、前方向の動き補償を行うＤＣＴ符号化による映像情報であるＰピクチャと、時間的に前後に位置する上記ＩピクチャおよびＰピクチャを参照画面として動き補償を行ったＤＣＴ符号化が行われるＢピクチャとが混在する数フレームから数十フレーム単位の映像情報ブロックの連続であって、上記映像情報ブロック単位に動ベクトル量の総量を記憶するとともに、上記総量と上記動ベクトル相関量に基づき、上記Ｂピクチャのコマ落ち数を決定する変換テーブルにより上記映像情報ブロック内のコマ落ち量を決定するようにしたものである。
【００２８】
【作用】
請求項１の発明によれば、フレームごとの映像の動きに応じて増減する動ベクトル量が所定の絶対量よりも小さい場合には、１秒当りのコマ数を削減して記録するとともに、再生時においては、削減したフレームの前後のフレームを重複表示することで表示に必要なコマ数を確保する。また、映像情報ブロック単位の動ベクトル量を記憶するとともに、この動ベクトル量に応じて画像データのＢピクチャを削除する。
【００２９】
請求項２の発明によれば、フレームごとの映像の動きに応じて増減する動ベクトル量が２つの絶対量に挟まれた所定の範囲よりも小さい場合は、上記動ベクトル量に比例して１秒当りのコマ数を削減し、上記所定の範囲よりも大きい場合は上記動ベクトル量に反比例して１秒当りのコマ数を削減して記録するとともに、再生時においては、削減したフレームの前後のフレームを重複表示することで表示に必要なコマ数を確保する。
【００３０】
請求項３の発明によれば、映像情報ブロック単位の動ベクトル量を記憶するとともに、この動ベクトル量に応じて画像データのＢピクチャを削除する。
【００３１】
請求項４の発明によれば、圧縮映像情報に含まれフレームごとの映像の動きの大小に応じて変動する動ベクトル量の総量が、所定の第一の絶対量よりも小さく、かつ動ベクトル量の画面ごとの変化量が所定の第二の絶対量より大きい場合には１秒当りのコマ数を削減するとともに、再生時においては、削減したフレームの前後のフレームを重複表示することで表示に必要なコマ数を確保する。
【００３２】
請求項５の発明によれば、映像情報ブロック単位の動ベクトル量の総量を記憶するとともに、動ベクトル量を前後のＰピクチャごとに比較しいて記映像情報ブロック内の動ベクトル相関量を検出し、上記動ベクトル量の総量と上記動ベクトル相関量に基づき、変換テーブルによって上記Ｂピクチャのコマ落ち数を決定して上記映像情報ブロック内のコマ落ち量を決定する。
【００３３】
請求項６の発明によれば、第１回目のエンコード時において複数のピクチャからなる映像情報ブロックの単位ごとにエンコード後の符号量を記憶するとともに、上記映像情報ブロックの動ベクトル量を記憶し、上記記憶した符号量および動ベクトル量から、１枚の光ディスクに所定の時間記録するのに最適な符号量とコマ数を映像情報ブロック単位で算出し、第２回目のエンコード時に、上記最適な符号量となるように量子化手段を制御するとともに、Ｂピクチャデータを所定コマ数分削除する。
【００３４】
請求項７の発明によれば、映像情報ブロック単位の動ベクトル量の総量を記憶するとともに、この動ベクトル量の総量を前後のＰピクチャごとに比較して映像情報ブロック内の動ベクトル相関量を検出し、上記動ベクトル量の総量と上記動ベクトル相関量に基づき、変換テーブルによって上記Ｂピクチャのコマ落ち数を決定して上記映像情報ブロック内のコマ落ち量を決定する。
【００３５】
【実施例】
実施例１．
図１は、本発明の実施例１のブロック回路図で、ディジタル動画情報を録画した光ディスクを作成する際に、ディジタル映像情報の１秒当りのコマ数を削減した記録映像ファイルを作成することにより、ディジタル映像の圧縮効率を高めるようにしたものである。図において、１はビデオＡ／Ｄ変換器、２は映像情報圧縮手段、３は動ベクトル量を検出する動ベクトル量検出手段、４はコマ落し量判定手段、５はディスクフォーマットエンコーダ、６は変調手段、７は記録データファイル、８はＲＯＭディスクマスタリング装置、９は作成ＲＯＭディスクである。
【００３６】
図２は、実施例１において、動ベクトル量に対してどのようにコマ落しを行うかを示した図で、図２（ａ）は２４コマ／秒と３０コマ／秒とを動ベクトル量に応じて切り替えるようにした場合を、図２（ｂ）は３０コマ／秒と２７コマ／秒と２４コマ／秒とを切り替えるようにした場合をそれぞれ示している。
【００３７】
ＴＶ画面における１秒当りのコマ数は、ＮＴＳＣ圏やＰＡＬ圏によっても異なるが、例えば日本や米国の場合は、３０コマ／秒である。
ＴＶ画面に表示する際のコマ数は、ＴＶ方式のフォーマットに対応させる必要があるが、光ディスクに記録する映像データは、かならずしも全てのコマ数をファイルしておく必要はなく、コマ落ちしても目だたない範囲でピクチャ単位のデータを削除することが可能である。この場合、画面表示する際は、複数のピクチャから構成されるＧＯＰ単位に設けられたヘッダ部分または、ピクチャデータの先頭部分に設けられたヘッダ部分に、前回の同じ画面を繰り返し再生するフラグを立てることにより、対応可能である。
【００３８】
しかし、元々２４コマ／秒でデータが構成されている映画フィルムの場合は別にして、必ずしも１ＧＯＰ単位におけるピクチャの削減数を一定にすることは、コマ落ちした場合に絵柄によっては目だつ場合がある。そこで、図１に示す実施例１では、画面の動きの速さに応じてコマ落ちさせる数を適応的に可変させている。
【００３９】
次に、実施例１の動作を説明する。映像情報圧縮手段２にて圧縮された映像報の動ベクトル量を、動ベクトル量検出手段にて抽出する。一般的に動きベクトルのコードは、動きの少ない方に小さなビット数が割り当てられ、動きの大きい方に大きなビット数が割り当てられるため、動ベクトル量をカウントするだけで、画面ごとの動きの速さを定量的に把握できる。
【００４０】
また、絵柄によっては、画面のほとんどが静止画像に近い場合でも画面の一部が大きく動く場合も考えられるので、このような場合はピクチャ全体の平均レベルではなく、マクロブロック（ＭＢ）単位での動きベクトルデータの最大値を、抽出して動ベクトル量とする方が適している。
【００４１】
そのため、動ベクトル量検出回路３にて１ＧＯＰ当りの動ベクトル量を計数し、この計数値が所定の値を超えたか超えないかで、コマ落し量判定手段４で１ＧＯＰ当りのコマ落ち数を決定することが可能となる。また、この場合、ディスクフォーマットエンコーダ５にて一旦メモリに蓄積された圧縮映像データのうち、Ｂピクチャのデータを削除するとともに、１ＧＯＰ単位で割り当てられているヘッダ情報、または１ピクチャ単位で割り当てられているヘッダ情報を書き換える動作を行う。
【００４２】
これは、ＩピクチャやＰピクチャを削除してしまうと、前後するＢピクチャがデコード出来なくなり、また、ヘッダに削除したピクチャの情報を書き込むことで、再生時に前後の画面をフリーズさせ、１秒当りのコマ数をＴＶ方式の必要数に合わせることが可能となるからである。
【００４３】
実施例１の場合、動ベクトル量が大きい場合は、コマ落ちを少なくし、例えば静止画像に近くて動ベクトル量が小さい場合はコマ落ちを大きくすることで、光ディスクに記録するデータ量を減らすことが可能となる。このような方式では、コマ落ち量が画面の動きに応じて可変されるため、コマ落ちしても人間の目に目だたなくなる。この場合の動ベクトル量の検出は、１ＧＯＰ内に均等に割り当てられているＰピクチャから行うことが望ましく、Ｂピクチャからも可能であるが、圧縮画像の連続性や両方向データの存在がシステムを複雑にしてしまう恐れがある。
【００４４】
また、コマ落し量判定手段４においてコマ落ち数を、図２（ａ）に示すように、動ベクトル量の大小に応じてゼロと、１秒当り６コマ（ピクチャ数２４コマ／秒）の２種類に設定することも可能であるが、図２（ｂ）に示すように、ゼロから１秒当り６コマの間を多段階に設定することも可能である。フィルム映画等の場合においては、２４コマ／秒となっているため、ＭＰＥＧ等の規格においても２４コマ／秒からの再生方式等が規定されている。そのため、特に上述の２４コマ／秒と３０コマ／秒との２段階でコマ落ちを規定すると、システムの構成が簡単になり、極めて実用的である。
【００４５】
実施例２．
なお、実施例１では、ピクチャ間の動きに反比例してコマ落ち数を段階的に決定したが、実際の人間の目の特性を考慮すると、動きが速すぎて人間の目が追従できる範囲を超えた場合は、逆にコマ落ち数を大きくしても目だたない場合がある。これは、人間の目には図６に示すようなコマ落ちの検知限特性があると予想されるからである。この場合、当然ながら静止画像に近い映像ではコマ落ちは検知されにくい。一方、あまりにも映像の動きが激しく、人間の目の追従が困難な場合においても、当然ながらコマ落ちは検知されにくいからである。本発明の実施例２は、このような特性を利用して動ベクトル量の抽出値を補正するようにしたものである。
【００４６】
図３は、実施例２のブロック回路図で、図１と同一符号はそれぞれ同一部分を示しており、１０はデータ変換テーブルである。この実施例２は、動ベクトル量が所定の絶対量以下の場合には、動ベクトル量に反比例した数のコマ落ちを行い、上記絶対量以上の場合においては上記動ベクトル量に比例した数のコマ落ちを行うようにしたものである。
【００４７】
図４は、実施例２におけるコマ落し前、およびディスク上に記録されるディジタル圧縮映像データの配列を示した図、図５はコマ数を落として光ディスク上に記録した映像情報データが、再生時に、画面上の表示がどのようになるかを示した図で、図５（ａ）はコマ落ししていない映像データの表示画面、図５（ｂ）は３画面に１画面コマ落しを行った映像データの表示画面、図５（ｃ）は３画面に２画面コマ落しを行った映像データの表示画面、図５（ｄ）は５画面に１画面コマ落しを行った映像データの表示画面をそれぞれ示している。
【００４８】
図６は、人間の視感特性を示す図で、画像の動きの早さに対して、検知されるコマ落ち数がどの程度までであるかを示している。
また、図７は、実施例２において、動ベクトル量に応じて、どの程度のコマ落しを行うかについての一例を示した図である。
【００４９】
実施例２では、動ベクトル量が、ある所定の絶対量までの間は動ベクトル量に反比例してコマ落ち数を決定するとともに、上記絶対量以上では、動ベクトル量に比例してコマ落ちさせることが可能となる。その他の動作は、実施例１と同じで、Ｂピクチャを削除するとともに、ヘッダ情報を書き換えることによって、圧縮映像データのコマ落し処理が完成する。
【００５０】
このように、実施例２の方式では、実施例１の方式に比べて動きが速すぎて人間の目が追いついていかない場合でも、コマ落しが可能となるため、光ディスク上に記録される映像データの圧縮効率がより高くなる。
【００５１】
また、上述の変換テーブル１０を介さなくても、コマ落し量判定手段４の特性を、図７に示したような形にすることも実現可能である。この場合は、画面の動きにたいするコマ落し数の許容値は非線形な特性となっている。また、動きが激しすぎて、動きベクトル量が検出できない場合でも、ある程度のコマ落ちを許容している。また、静止画像に近い場合は、コマ落ち数を大きくすることが可能である。
【００５２】
実際に光ディスク上に記録される映像情報は、図４（ｃ）に示すような形となる。元々のディジタル圧縮映像データは、図４（ａ）に示すようなデータ配列を取る。これは、Ｉピクチャは独自での再生が可能であるが、Ｐピクチャは時間的に前のＩピクチャ、またはＰピクチャからの予測画面を必要とし、Ｂピクチャは前後のＩピクチャまたはＰピクチャからの予測画面を必要とするからである。
したがって、画面の再生順序とは異なり、Ｉピクチャの次にＰピクチャのデータを配置し、その次にＢピクチャのデータを配置する構成となっている。
【００５３】
しかし、光ディスク上のデータ配置は、例えば、特殊再生時においてＩピクチャとＰピクチャのみを再生する場合を考えると、ＩピクチャとＰピクチャが連続して配置されているのが大変都合が良く、図４（ｃ）のように並び替えられる。これは、圧縮後のデータ量は、元の映像信号データ量に比べて充分小さくなっているため、光ディスク再生装置のメモリの並び替えが容易に可能で、上述したデータの配列変換に対して充分に対応可能であるからである。本方式の場合は、さらに動きの速い映像データが連続するＧＯＰの場合においてＢピクチャを部分的に削除することで、図４（ｃ）に示すようによりデータ量が削減され、ファイル効率が向上している。
【００５４】
このようなデータの並び替えとピクチャデータの削減は、例えば図１や図３中に示したディスクフォーマットエンコーダ５によって行われるが、さらに高密度記録を行う際の符号間干渉の除去等を目的として、例えばＥＦＭ変調や１−７変調といった変調が施され、記録可能なファイル装置（例えば磁気ディスクや磁気テープ、または光磁気ディスク等）に一旦記録される。このようにして一旦保管されたデータによりＲＯＭディスクマスタリング装置８によって例えば原盤が作成され、スタンパによってＲＯＭディスク９が大量生産される。当然ではあるが、光ディスクが記録再生装置の場合は以上の動作が記録データファイル７およびＲＯＭディスクマスタリング装置を介さずに行われ、直接光ディスクにデータが記録される。
【００５５】
次に、上述した圧縮映像データを光ディスクから読みだして再生し、画面に表示した場合は、図５に示すようになる。図５（ａ）はコマ落しを許容しない、ピクチャ間にある程度動きがある映像の場合で、エンコード前の映像とピクチャ単位で対応している。これに対して、３画面に１画面のコマ落ちを許容した場合は、図５（ｂ）のようになり、Ｂ２，Ｂ４，Ｂ６ピクチャをコマ落ちさせ、おのおのＢ１，Ｂ３，Ｂ５ピクチャをフリーズ（もう一度繰り返して表示）させる。また、さらに３画面に２画面コマ落ちを許容した場合は、Ｂピクチャのない画面が再生される。図５（ｃ）のような場合は、コマ落ちの状態が人間の目に検知されやすくなっているが、きわめて静止画像に近い場合は、ここまでコマ落ちを許容しても目だたない。
【００５６】
また、図５（ｄ）に示すように、図５（ａ）と図５（ｂ）の中間である５画面ごとに１コマのコマ落しを許容する場合も考えられ、この場合でもＢピクチャがコマ落ちされ、前後のピクチャをフリーズすることで対応可能である。この場合のコマ落ちさせる単位は、例えば図５（ｄ）の場合は５画面でのフリーズの位置を固定させることが人間の目に目だたなくするためには望ましく、フリーズ位置を固定しつつＢピクチャのみのコマ落しを行うために、図５（ｄ）に示すように必ずしも前の画像をフリーズさせるだけでなく、後の画像からのフリーズも行われる。このようなフリーズの制御は、ＧＯＰの先頭に設けられたヘッダ部もしくはピクチャデータでの先頭部分に設けられたヘッダ部において、フラグ等を設けることにより行われる。
【００５７】
実施例３．
図８は、本発明の実施例３のブロック回路図で、図３と同一符号はそれぞれ同一部分を示しており、１１は１画面分の動ベクトル量を記憶するメモリ、１２は現在の動ベクトルデータと１画面前の動ベクトル量を減算するための減算器、１３は減算器１１の絶対値を取るための絶対値検出器、１８は動ベクトル変換量検出器４と絶対値検出器１３とからコマ落ち数を決定するためのコマ落ち量決定テーブルである。
【００５８】
図９は、ピクチャごとの動きのなめらかさに相当する動ベクトル相関量に対する、コマ落ちの人の目の検知限（コマ落ちが目だつかどうか）を示した特性図で、当然ではあるが動きがぎくしゃくした画像はコマ落ちが目だたない。これに対して例えば撮影時のパンやズーム等に代表されるなめらかに動く画像（映像の動きが一定速度に近いもの）ではコマ落ちが目だちやすい。現在でもヨーロッパのＴＶ方式であるＰＡＬを日本米国のＴＶ方式であるＮＴＳＣに変換した場合、パン，ズームのときにＴＶフォーマット変換調整によるコマ落しや画面のフリーズが目だちやすい。また、映画フィルムからＮＴＳＣフォーマットに変換する場合でもなめらかな動きにおける、わずかなフリーズが目につく場合がある。
【００５９】
実施例３は、この図９の特性を利用した光ディスクのデータファイル方式であって、画面の動きのなめらかさに対応する動ベクトル相関量を検出するために、メモリ１１に記憶させた１画面分の動ベクトル量と、現在の動ベクトル量との差分を減算器１２で取るとともに、絶対値検出回路１３でその絶対値を取ることによって、動ベクトル相関量を検出し、この動ベクトル相関量にもとずいてコマ落ち量決定テーブル１８でコマ落ち数を決定している。
【００６０】
また、実施例３のシステムでは、動きベクトルの相関量と絶対量との２つが、コマ落ちさせるためのパラメータとなるが、コマ落し決定テーブル１８を図１０のように設定することで対応可能となる。この図１０は、動ベクトル量と動ベクトル相関量に対応してｄ〜ａまで４段階のコマ落ち量を用いたもので、このようなテーブルを用いた場合、動ベクトルの絶対量に対しては、大きすぎても少なすぎてもコマ落ちが許容されるといった非線形な特性をしているのに対し、動ベクトル相関量に対しては、相関が弱い場合はコマ落ちを許容するといった線形な特性を持たせ、全体として複雑な決定を行わせることが可能である。
【００６１】
また、図１１に示すように、３０コマ／秒の動画データと２４コマ／秒の動画データの２種類だけからコマ落ちを行わせた場合は、相関がきわめて弱い場合は２４コマ／秒固定とし、相関が強い場合は３０コマ／秒固定とし、相関量が中程度の場合のみ動ベクトルデータ量に対応させて切り替える方式が考えられる。
【００６２】
実施例４．
図１２は、本発明の実施例４のブロック回路図で、図１と同一符号はそれぞれ同一部分を示しており、１５はメモリ、１６は１ＧＯＰ内の動ベクトル量検出手段、１７は動ベクトル相関量検出手段である。
【００６３】
この実施例４は、画像データを一旦メモリ１５に記録した後、１ＧＯＰ内の動ベクトル量検出手段１６で動きの絶対量を検出するとともに、１ＧＯＰ内のピクチャ前後の動ベクトル相関量を動ベクトル相関量検出手段１７で検出し、この２つの情報に基づいてコマ落ち量決定テーブル１８で１ＧＯＰ内のコマ落ち量を決定している。
【００６４】
この実施例４は、実施例１〜実施例３のような動ベクトル量のみならず、動画情報そのものを用いるようにしたもので、図１２に示すように、画像データを記憶させるメモリ１５を用いて１ピクチャ前のデータとの差を取ることによりピクチャ単位の動ベクトル量を検出するとともに、１ピクチャごとの差を取った差情報を上記１つ前の差情報と比較することで動ベクトル相関量（動きがなめらかか、ぎくしゃくしているかどうか）を検出し、これを検出手段１６，１７で１ＧＯＰ単位で集計することで、コマ落ち量決定テーブル１８の入力情報とするものである。
【００６５】
この実施例４によれば、動ベクトル量を検出しなくても、直接画像データを記憶するだけでコマ落ち数の判定をさせることが可能となる。
【００６６】
実施例５．
図１３は、本発明の実施例５のブロック回路図で、図１１と同一符号はそれぞれ同一部分を示しており、１９は動き補償予測器、２０はＤＣＴ符号化器、２１は量子化器、２２は可変長符号化器、２３は１ＧＯＰ当りの符号量をカウントする符号量カウンタ、２４は符号量カウント値を記憶する符号量メモリ、２５は符号量メモリの出力から理想的なＧＯＰレートを設定するためのＧＯＰレート設定器、２６はＧＯＰレート設定器２５からの出力に基づいて符号量を割り当てる符号量割当器、２７は現在の符号量と理想的な符号量との差を取るための減算器、２８は仮符号化と本符号化を分けるためのスイッチ、３４はコマ落ち量決定テーブル１８からの理想的なコマ数を記憶するコマ数割当器である。
【００６７】
この実施例５は、ディスク上の画質を均一にしつつ、さらにファイル効率をアップさせるためには、図１３に示すような１ＧＯＰ当りのデータレートを固定とせずに、可変レートのままディスクにファイルするようにしたものである。
【００６８】
一般に、ＭＰＥＧ等に代表される映像圧縮方式においては、図１３に示すように、前または前後のＩピクチャ、またはＰピクチャからの予測画像を参照画面として用いる動き補償予測器１９や、ＤＣＴ符号化器２０、符号量を調節するための量子化器２１および可変長符号化器２２から構成されており、まず画質を一定にし、スイッチ２８を倒して１回目の仮符号化を行う。さらに上記仮符号化時における１ＧＯＰ当りの符号量を符号量カウンタ２３でカウントし、ディスク１枚分に相当する符号量を符号量メモリ２４に記憶する。また、上記符号量メモリ２４に記憶したディスク１枚分の符号量から、ディスク全体の総データ記憶量を考慮して理想的な符号量となるようにＧＯＰレート設定２５において設定しなおし、符号量割当器２６に目標レートを記憶させる。
【００６９】
次に、スイッチ２８を本符号化時の方向に倒すとともに、第２回目のエンコード動作を行わせる。このとき、量子化器２１においては、符号量割当器２６の出力と、第二回目のエンコード時における可変長符号化器２２における符号量カウンタ２３の出力が一致するようにフィードバック制御がかけられており、これにより符号量割当器２６に１回目のエンコード時に記憶した理想的な符号量にほぼ一致するように制御されている。また同時に、上記１回目のエンコード動作の際に、１ＧＯＰ内の動ベクトル量および動ベクトル相関量を検出手段１６および１７で検出し、コマ落ち量決定テーブル１８にてコマ落ち量の決定を行わせ、コマ数割当器３４に記憶する。実際のコマ落し動作は、第２回目の本符号化時において、ディスクフォーマットエンコーダ５にてＢピクチャデータを削除するとともに、再生時に必要となる画面のフリーズ情報をヘッダ部分に書き加えることにより行われる。
【００７０】
上述したように実施例５のシステムにおいては、各ＧＯＰ単位の画質を一定にし、可変レートにする際の理想符号量を割り当てると同時に、理想的なコマ数を１ＧＯＰ単位に割当２回目の本符号化を行わせるため、よりファイル効率を向上させることが可能となる。特に、画質的に圧縮率が上げられない元映像の領域部分において、コマ落ちを許容した分だけより多くのビット数を割り振ることが可能になり、高画質化が可能となった。
【００７１】
実施例６．
図１４は、本発明の実施例６のブロック回路図で、図１３と同一符号はそれぞれ同一部分を示しており、２９はフレームメモリ、３０，３１は量子化器、３２は差動要素を構成する減算器、３３は加算要素を構成する減算器である。
【００７２】
フレームメモリ２９に１フレーム分の動ベクトル量を記憶させ、この動ベクトル量を用いて、動ベクトル絶対量と動ベクトル相関量とを検出してコマ落ち量決定テーブル１８でコマ落ち数を決定し、コマ数割当器３４に記憶させるようにして、可変データレートとコマ落ちを許容したものである。
【００７３】
この実施例６は、実施例５のような動きベクトルを用いる方法の他に、ビデオＡ／Ｄ変換器１の出力からコマ数を決定するように構成したものである。本実施例６おいても、第１回目のエンコード動作と、第２回目のエンコード動作とを行わせることによって、符号量割当器２６に記憶された理想的な符号量となるようにフィードバック制御が行われる点については、実施例５の場合と同じである。ただし、実施例６の場合は、ビデオＡ／Ｄ変換器１の出力を直接フレームメモリ２９に記憶させるとともに、前後のピクチャの差を減算器３２で取ることでピクチャごとの動き量を検出し、上記減算後の信号をもう一度フレームメモリ２９に記憶し、時間的に前後する減算器３２の出力をさらにもう一つの減算器３３で取ることで、動きの相関値（なめらかさ）を検出し、コマ落ち量決定テーブル１８にてコマ落ち量を決定するようにしたものである。
【００７４】
このようにして得られたコマ数割当量は、コマ数割当器３４に記憶されるとともに、本符号化時に、ディスクフォーマットエンコーダ５においてＢピクチャの削除等が行われる。このように、実施例６の場合においても、実施例５の場合と同様な効果が得られ、画質的に圧縮率が上げられない元映像の領域部分において、コマ落ちを許容した分だけより多くのビット数を割り振ることが可能になり、高画質化が可能となった。
【００７５】
【発明の効果】
請求項１の発明によれば、動ベクトルの総量が一定レベル以下の場合にピクチャ数を削減させるため、画面の動きの速さに応じて１秒当りのピクチャ数の最適設定が可能となり、上記ピクチャ数削減により、動き補償を用いたディジタル圧縮動画信号の光ディスクへのファイル効率が向上する。また、ディジタル圧縮映像が、部分的に存在するフレーム内ＤＣＴを行う画像と、それ以外の動き補償予測を伴う画像とに分かれているため、フレーム内ＤＣＴの画像を用いた特殊再生が可能となる他、動き補償予測画像による高圧縮レート化が可能となり、さらに、上記動き補償予測を伴う画像のうち、前後するピクチャからの予測が必要なＢピクチャに限定してコマ落しを許容したため、コマ落しによる前後のピクチャの予測不能状態を回避できるようになった。
【００７６】
請求項２の発明によれば、動ベクトルの総量が請求項１の発明で示した一定レベル以下の場合の他に、第１のレベルよりも大きな設定値を持つ第２のレベル以上においてコマ落ちを許容するようにしたため、ピクチャ単位の動きの速さが大きく、例えば人間の目が追従不可能な動きを示す画像においてもコマ数を削減可能となり、さらに光ディスクへのファイル効率が向上する。
【００７７】
請求項３の発明によれば、ディジタル圧縮映像が、部分的に存在するフレーム内ＤＣＴを行う画像と、それ以外の動き補償予測を伴う画像とに分かれているため、フレーム内ＤＣＴの画像を用いた特殊再生が可能となる他、動き補償予測画像による高圧縮レート化が可能となり、さらに、上記動き補償予測を伴う画像のうち、前後するピクチャからの予測が必要なＢピクチャに限定してコマ落しを許容したため、コマ落しによる前後のピクチャの予測不能状態を回避できるようになった。
【００７８】
請求項４の発明によれば、ピクチャごとの動きの速さの絶対量のみならず、動きの一定度合（なめらかさ）も考慮してコマ落ち数を決定できるため、ある程度動きが少なくても、なめらかに動くためにコマ落ちが目だち易い場合に対して無理なコマ落ちを行わせることを防止可能となり、また、ぎくしゃくした動きを伴う画像においてはコマ落ちを許容したため、さらにファイル効率が向上する。
【００７９】
請求項５の発明によれば、ディジタル圧縮映像が、部分的に存在するフレーム内ＤＣＴを行う画像と、それ以外の動き補償予測を伴う画像とに分かれており、上記動き補償予測を伴う画像のうち、定期的に存在し、１方向からの予測画面を利用するＰピクチャを用いることで、精度良く動ベクトル量の絶対量となめらかさを抽出することが可能となり、また、前後するピクチャからの予測が必要なＢピクチャに限定してコマ落ちを許容したため、コマ落ちによる前後のピクチャの予測不能状態を回避できるようになった。
【００８０】
請求項６の発明によれば、ディスク製作時におけるエンコード動作を２回行い、まず１回目で各ＧＯＰ単位での最適符号量と最適コマ数を設定し、２回目のエンコード動作で上記最適値となるよう圧縮映像ビットストリームを実現させるようにしたので、符号量のみならずコマ数も可変としファイル効率を飛躍的に向上する。
【００８１】
請求項７の発明によれば、ディジタル圧縮映像が、部分的に存在するフレーム内ＤＣＴを行う画像と、それ以外の動き補償予測を伴う画像とに分かれており、上記動き補償予測を伴う画像のうち、定期的に存在し１方向からの予測画面を利用するＰピクチャを用いることで、精度良く動きの絶対量となめらかさを抽出することが可能となり、また、前後するピクチャからの予測が必要なＢピクチャに限定してコマ落ちを許容したため、コマ落ちによる前後のピクチャの予測不能状態を回避できるようになった。
【図面の簡単な説明】
【図１】本発明の実施例１のブロック回路図である。
【図２】実施例１の動ベクトル量に対するコマ落ち数を示す図である。
【図３】本発明の実施例２のブロック回路図である。
【図４】実施例２のビットストリーム構造を示す図である。
【図５】実施例２の映像再生画面を示す図である。
【図６】動きの速さに対するコマ落ちの検知限を示す特性図である。
【図７】実施例２の動ベクトル量に対するコマ落ち数を示す図である。
【図８】本発明の実施例３のブロック回路図である。
【図９】動きのなめらかさに対するコマ落ちの検知限を示す特性図である。
【図１０】実施例３のコマ落ち量決定テーブルの１例を示す図である。
【図１１】実施例３のコマ落ち量決定テーブルの他の例を示す図である。
【図１２】本発明の実施例４のブロック回路図である。
【図１３】本発明の実施例５のブロック回路図である。
【図１４】本発明の実施例６のブロック回路図である。
【図１５】従来の光ディスク記録再生装置のブロック回路図である。
【図１６】ディジタル動画映像情報のピクチャ構造を示す図である。
【図１７】ディジタル動画映像情報のピクチャ構造を示す図である。
【図１８】ディジタル動画映像情報のピクチャ構造を示す図である。
【図１９】可変レート時のデータ量を示す図である。
【符号の説明】
１ビデオＡ／Ｄ変換器、２映像情報圧縮手段、３動ベクトル量検出手段、４コマ落し量判定手段、５ディスクフォーマットエンコーダ、６変調手段、７記録データファイル、８ＲＯＭディスクマスタリング装置、９作成ＲＯＭディスク、１０データ変換テーブル、１１，１５メモリ、１２，２７，３２，３３減算器、１３絶対値検出器、１４動ベクトル変換量検出器、１６動ベクトル量検出手段、１７動ベクトル相関量検出手段、１８コマ落ち量決定テーブル、１９動き補償予測器、２０ＤＣＴ符号化器、２１，３０，３１，量子化器、２２可変長符号化器、２３符号量カウンタ、２４符号量メモリ、２５ＧＯＰレート設定器、２６符号量割当器、２８スイッチ、２９フレームメモリ、３４コマ数割当器、３５フレームセクタ変換手段、３６エンコーダ、３７変調器、３８レーザ駆動回路、３９レーザ出力スイッチ、４０光ディスク、４１光ヘッド、４２アクチュエータ、４３トラバースモータ、４４ディスクモータ、４５，４６モータ制御回路、４７モータ駆動回路、４８再生アンプ、４９復調器、５０デコーダ、５１フレームセクタ逆変換手段、５２情報伸張手段、５３Ｄ／Ａ変換器。[0001]
[Industrial applications]
The present invention relates to a high-density recording / reproducing method for an optical disk.
[0002]
[Prior art]
FIG. 15 is a block diagram of a conventional optical disk recording / reproducing apparatus disclosed in Japanese Patent Application Laid-Open No. 4-114369. In the figure, 1 is a video A / D converter for converting a video signal into digital information, 2 is a video information compressing means, 35 is a frame sector conversion for converting compressed video information into sector information equal to an integral multiple of a frame period. Means, 36 is an encoder, 37 is a modulator for converting into a predetermined modulation code to reduce intersymbol interference on a recording medium, 38 is a laser drive circuit for modulating a laser according to the modulation code, 39 is a laser Output switch.
[0003]
40 is an optical disk, 41 is an optical head that emits laser light, 42 is an actuator that tracks a light beam emitted from the optical head 41, 43 is a traverse motor that sends the optical head 41, 44 is a disk motor that rotates the disk 40, 47 is a motor drive circuit, and 45 and 46 are motor control circuits.
[0004]
Reference numeral 48 denotes a reproduction amplifier for amplifying a reproduction signal from the optical head 43; 49, a demodulator for obtaining data from a recorded modulated signal; 50, a decoder; 51, a frame sector reverse conversion means; The information decompression means 53 is a D / A converter for converting the decompressed information into an analog video signal.
[0005]
FIG. 16 is a diagram showing a simplified data array structure (layer structure) of the MPEG system, which is being standardized for compressing and transmitting and storing digital moving image information. GOP 55 is a GOP layer composed of several pictures (screens), 56 is a slice obtained by dividing one screen into several blocks, 57 is a slice layer composed of several macroblocks (MB), 58 is a block layer composed of 8 × 8 pixels.
[0006]
FIG. 17 is a diagram showing an encoding structure when 10 screens are 1 GOP. 61 is an I-picture which is video information for performing DCT in a frame, and 63 is video information by DCT coding for performing forward motion compensation. Are P pictures 62 which are B pictures which are subjected to DCT coding with motion compensation performed using the I picture 61 and the P picture 63 positioned temporally before and after as reference screens.
[0007]
FIGS. 18 (a) and (b) show a case where the amount of video data in one GOP has a variable structure in order to make the image quality between GOPs constant and a case where the video data amount has a fixed rate in order to make the recording time constant. FIG. In the figure, 64 is the innermost circumference of the disk, and 65 is the outermost circumference of the disk.
[0008]
FIG. 19A is a diagram showing the data amount per GOP when the image quality per GOP is kept the same. Α represents the maximum value of the data rate, and β represents the average data rate. FIG. 19B is a diagram comparing the image quality and data amount per GOP in each of the images (e), (d), and (c).
[0009]
Next, the operation of the conventional example will be described. As digital video information compression technology advances, recording the above compressed information on an optical disk realizes an extremely easy-to-use video filing device with better searchability compared to conventional tape media such as VTRs. It is possible to do. In addition, since such disk file devices handle digital information, they do not suffer from dubbing degradation compared to recording analog video signals, and since they use optical recording / reproduction, a non-contact and highly reliable system is realized. it can.
[0010]
Conventionally, when such compressed moving image information is recorded on an optical disk, a method of recording digital compressed moving image information such as the MPEG system shown in FIG. 16 on the optical disk 40 shown in the block circuit diagram of FIG. . At this time, the video information digitized by the video A / D converter 1 is converted by the video information compression means 2 in a standard compressed moving image system such as MPEG. The compressed video information is encoded and modulated to reduce the effect of intersymbol interference on the optical disk, and is recorded on the optical disk 40. At this time, for example, it is clear that editing or the like in GOP units can be performed by setting the data amount in each GOP unit to be substantially the same and allocating the data to sectors equal to an integral multiple of the frame period.
[0011]
At the time of reproduction, video information recorded on the optical disk 40 is reproduced by the optical head 41, amplified by the reproduction amplifier 48, restored to digital data by the demodulator 49 and the decoder 50, and then subjected to frame sector reverse conversion. Means 51 restores the data as pure video original data from which data such as address and parity has been removed. Furthermore, the information is reproduced into a video signal by performing, for example, MPEG decoding by the information decompression means 52, and is converted into an analog video signal by the D / A converter 53 and can be displayed on a monitor or the like.
[0012]
As described above, when the MPEG method is used as the digital moving image compression method, as shown in FIG. 17, an I picture 61 that performs compression by intra-frame DCT and a video that is subjected to DCT coding that performs forward motion compensation as shown in FIG. An encoding structure in which some P pictures 63, which are information, and some B pictures 62, which are subjected to DCT encoding with motion compensation using the I picture 61 and the P picture 63 located before and after in time as a reference screen, are used. Is recorded on the optical disk 40 as it is.
[0013]
Of these pieces of information, the I picture 61 performs intra-frame DCT, so that it is possible to perform image reproduction using this information alone, but the P picture 63 performs motion compensation in the forward direction. The image cannot be reproduced unless the picture 61 is reproduced, and since the B picture 62 is a predicted screen from both directions, it must be reproduced after the preceding and succeeding I picture 61 or P picture 63. If you can not play. Of these pieces of information, the B picture 62 for which bidirectional prediction is performed has the least amount of data and has good coding efficiency.
[0014]
However, since the B picture 62 cannot be reproduced alone, the I picture 61 and the P picture 63 are required. However, if the number of the B pictures 62 is increased, the amount of buffer memory in the processing circuit increases and the data There is a problem that the delay time until video reproduction increases. However, in a storage medium represented by an optical disk or the like, an encoding method with high compression efficiency is desired for long-time recording. On the other hand, the delay time of the video reproduction does not matter so much. A coding method as shown in FIG. 17 is suitable.
[0015]
Next, when video data is recorded on one optical disc so that the image quality is constant in any part, a variable rate structure as shown in FIG. 18A is obtained. This is because when the image quality per GOP is constant, the amount of video data required for one GOP varies as shown in FIG. This is because, for example, in the case of a fine image, when the data amount required for an I picture increases, or when fast-moving video data continues, the compression efficiency of a P picture or a B picture does not become very high. . Also, as a matter of course, as shown in FIG. 19B, when the data amount per GOP is increased, the S / N of the image is improved though it differs depending on the picture.
[0016]
On the other hand, in order to make the recording time of one optical disc constant, a format for recording at a fixed rate shown in FIG. However, unlike a magnetic tape medium, in the case of a video recording / reproducing apparatus using an optical disk medium, the total data amount per package is small, so that the compression efficiency must be as high as possible while maintaining high image quality. To this end, it goes without saying that the variable rate method shown in FIG. 18A has a higher file efficiency of video data per optical disc.
[0017]
Therefore, for example, in a read-only optical disk device, it is possible to know the data amount distribution of the entire optical disk at the time of variable rate by encoding in advance, so that the entire data distribution is adjusted at the second encoding. As a result, it is possible to adjust the reproduction time per disc even at a variable rate.
[0018]
[Problems to be solved by the invention]
As described above, in the conventional optical disc video recording system, the file efficiency of video data recorded on one optical disc medium is improved by making the data rate per GOP variable. In the case of an optical disk medium having a significantly smaller total data amount than that of a conventional optical disk medium, there has been a demand for a file method having a higher compression efficiency than before.
[0019]
In addition to a read-only optical disk medium, even in a recordable optical disk medium, and even when the remaining recording area becomes insufficient during recording, a file format with higher compression efficiency than a normal compression format is desired. Had been rare.
[0020]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and has as its object to obtain a video recording / reproducing method with high compression efficiency.
[0021]
[Means for Solving the Problems]
According to the first aspect of the present invention, at the time of recording, the digital video information is compressed based on the motion estimation information between frames that are temporally adjacent to each other, and the digital video information is increased or decreased according to the video motion of each frame included in the compressed video information. If the data amount of the motion vector data (hereinafter, referred to as “motion vector amount”) is smaller than a predetermined absolute amount, the number of frames per second is reduced and recorded on the recording medium, and the above-described reduction is performed at the time of reproduction. Frames before and after the selected frame are displayed in duplicate to secure the required number of frames.Also, the video information recorded on the recording medium is temporally before and after an I-picture, which is video information for performing intra-frame DCT, and a P-picture, which is video information by DCT coding for performing forward motion compensation. The video information block is a continuation of video information blocks in units of several frames to several tens of frames in which B pictures to be subjected to DCT coding that has been subjected to motion compensation using the located I and P pictures as reference screens are mixed. A motion vector amount is stored in units, and a B picture of image data is deleted according to the motion vector amount.
[0022]
According to a second aspect of the present invention, at the time of recording, the digital video information is compressed based on motion estimation information between frames that are temporally successive, and the digital video information is increased or decreased in accordance with the video motion of each frame included in the compressed video information. When the moving vector amount to be performed is smaller than the range between the predetermined first absolute amount and the second absolute amount, the number of frames per second is reduced in proportion to the moving vector amount. If it is larger than the above, the number of frames per second is reduced and recorded on the recording medium so as to be inversely proportional to the moving vector amount, and at the time of reproduction, the number of frames required before and after the reduced frame are displayed in an overlapping manner. Is to ensure.
[0023]
The invention of claim 3Is the claimIn the invention of the second aspect, the video information recorded on the recording medium is temporally divided into an I picture, which is video information for performing intra-frame DCT, and a P picture, which is video information obtained by DCT coding for performing forward motion compensation. A video information block of several frames to several tens of frames in which the I-picture and the P-picture located before and after are used as reference screens and B-pictures subjected to DCT coding with motion compensation are mixed. A motion vector amount is stored for each information block, and a B picture of image data is deleted according to the motion vector amount.
[0024]
According to a fourth aspect of the present invention, at the time of recording, the digital video information is compressed based on motion estimation information between frames that are temporally adjacent to each other, and the motion of the video for each frame included in the compressed video information is changed. If the total amount of the moving vector amount fluctuating by the change is smaller than a predetermined first absolute amount and the amount of change of the moving vector amount for each screen is larger than a predetermined second absolute amount, The number of frames is reduced to be recorded on a recording medium, and at the time of reproduction, the frames before and after the reduced frame are redundantly displayed to secure a necessary number of frames.
[0025]
According to a fifth aspect of the present invention, in the fourth aspect, the video information recorded on the recording medium is an I picture which is video information for performing intra-frame DCT, and video information obtained by DCT coding for performing forward motion compensation. Video information blocks in units of several to several tens of frames, in which P pictures are mixed and B pictures to be subjected to DCT coding with motion compensation performed using the above I pictures and P pictures located temporally before and after as reference screens are mixed. And the motion vector amount is stored for each of the video information blocks, and the motion vector amount is compared for each of the preceding and succeeding P pictures to detect the motion vector correlation amount in the video information block. A conversion table for determining the number of dropped frames of the B picture based on the total amount and the amount of motion vector correlation indicates a dropped frame in the video information block. Is obtained so as to determine the amount.
[0026]
According to a sixth aspect of the present invention, at the time of recording, the encoded code amount and the motion vector amount of the video information block are stored for each video information block unit composed of a plurality of pictures during the first encoding. From the obtained code amount and the motion vector amount, the code amount and the frame number for each video information block unit, which are optimal for recording on the recording medium for a predetermined time, are calculated. And the B picture data is deleted by the number of frames.
[0027]
According to a seventh aspect of the present invention, in the sixth aspect of the present invention, the video information recorded on the recording medium is an I picture which is video information for performing intra-frame DCT, and video information obtained by DCT coding for performing forward motion compensation. Video information in units of several frames to several tens of frames, in which a P picture, which is a P picture, and a B picture on which DCT coding is performed with motion compensation performed using the above I picture and P picture temporally positioned as reference screens are mixed. It is a series of blocks, and stores the total amount of motion vector amounts in units of the video information block. The conversion table determines the number of dropped frames of the B picture based on the total amount and the motion vector correlation amount. The amount of dropped frames in a block is determined.
[0028]
[Action]
According to the first aspect of the present invention, when the motion vector amount that increases or decreases in accordance with the motion of the video for each frame is smaller than a predetermined absolute amount, the number of frames per second is reduced and recorded and reproduced. In some cases, the number of frames required for display is secured by overlappingly displaying frames before and after the reduced frame.Also, a motion vector amount for each video information block is stored, and a B picture of image data is deleted according to the motion vector amount.
[0029]
According to the second aspect of the present invention, when the motion vector amount that increases or decreases according to the motion of the video for each frame is smaller than a predetermined range between two absolute amounts, 1 in proportion to the motion vector amount. The number of frames per second is reduced. If the number of frames is larger than the predetermined range, the number of frames per second is reduced and recorded in inverse proportion to the motion vector amount. The number of frames required for display is ensured by displaying the frames in duplicate.
[0030]
According to the third aspect of the present invention, the motion vector amount for each video information block is stored, and the B picture of the image data is deleted according to the motion vector amount.
[0031]
According to the invention of claim 4, the total amount of motion vector amounts included in the compressed video information and fluctuating according to the magnitude of the motion of the video for each frame is smaller than the predetermined first absolute amount, and When the change amount per screen is larger than the second absolute amount, the number of frames per second is reduced, and at the time of reproduction, the frames before and after the reduced frame are displayed by overlapping. Secure the required number of frames.
[0032]
According to the invention of claim 5, while storing the total amount of motion vector amounts in video information block units, the motion vector amounts are compared for each of the preceding and succeeding P pictures to detect the motion vector correlation amount in the video information block. The number of dropped frames of the B picture is determined by a conversion table based on the total amount of the motion vector amounts and the correlation amount of the motion vectors to determine the dropped frame amount in the video information block.
[0033]
According to the invention of claim 6, at the time of the first encoding, a code amount after encoding is stored for each unit of a video information block including a plurality of pictures, and a motion vector amount of the video information block is stored, From the stored code amount and motion vector amount, the optimum code amount and the number of frames for recording on a single optical disc for a predetermined time are calculated in video information block units, and at the time of the second encoding, the optimum code amount is calculated. In addition to controlling the quantization means so as to obtain the amount, the B picture data is deleted by a predetermined number of frames.
[0034]
According to the seventh aspect of the present invention, the total amount of motion vector amounts for each video information block is stored, and the total amount of motion vector amounts is compared for each of preceding and succeeding P pictures to determine the motion vector correlation amount in the video information block. Based on the detected amount of motion vectors and the correlation amount of motion vectors, the number of dropped frames of the B picture is determined by a conversion table to determine the dropped frames in the video information block.
[0035]
【Example】
Embodiment 1 FIG.
FIG. 1 is a block circuit diagram of a first embodiment of the present invention. When an optical disc on which digital moving image information is recorded is created, a recorded image file in which the number of frames per second of digital image information is reduced is created. This is intended to enhance the compression efficiency of digital video. In the figure, 1 is a video A / D converter, 2 is video information compressing means, 3 is a moving vector amount detecting means for detecting a moving vector amount, 4 is a frame drop amount determining means, 5 is a disk format encoder, and 6 is modulation. Means, 7 is a recording data file, 8 is a ROM disk mastering device, and 9 is a created ROM disk.
[0036]
FIG. 2 is a diagram showing how frames are dropped with respect to the motion vector amount in the first embodiment. FIG. 2 (a) shows that 24 frames / second and 30 frames / second are converted to the motion vector amount. FIG. 2B shows a case where switching is performed in accordance with each of the frames, and FIG. 2B shows a case where switching is performed between 30 frames / second, 27 frames / second, and 24 frames / second.
[0037]
The number of frames per second on the TV screen differs depending on the NTSC zone or PAL zone, but is 30 frames / second in Japan and the United States, for example.
The number of frames to be displayed on the TV screen needs to correspond to the format of the TV system. However, the video data to be recorded on the optical disk does not necessarily need to file all the number of frames. It is possible to delete data in picture units within an inconspicuous range. In this case, when displaying a screen, a flag for repeatedly reproducing the previous screen is set in a header portion provided for each GOP composed of a plurality of pictures or a header portion provided at the head of picture data. By doing so, it is possible to respond.
[0038]
However, apart from the case of a movie film in which data is originally composed of 24 frames / sec, keeping the number of picture reductions per GOP unit constant may be noticeable depending on the picture when a frame is dropped. . Therefore, in the first embodiment shown in FIG. 1, the number of dropped frames is adaptively changed according to the speed of the screen movement.
[0039]
Next, the operation of the first embodiment will be described. The motion vector amount of the video report compressed by the video information compression unit 2 is extracted by the motion vector amount detection unit. In general, a motion vector code is assigned a smaller number of bits to a smaller motion and a larger number of bits to a larger motion. Can be grasped quantitatively.
[0040]
Also, depending on the design, even if the screen is almost a still image, a part of the screen may move greatly. In such a case, not the average level of the entire picture but the macroblock (MB) unit It is more suitable to extract the maximum value of the motion vector data and use it as a motion vector amount.
[0041]
Therefore, the motion vector amount per one GOP is counted by the motion vector amount detection circuit 3, and the number of dropped frames per GOP is determined by the dropped frame amount determining means 4 depending on whether the counted value exceeds or does not exceed a predetermined value. It is possible to do. In this case, among the compressed video data temporarily stored in the memory by the disk format encoder 5, the data of the B picture is deleted, and the header information allocated in units of 1 GOP or the header information allocated in units of 1 picture is used. The operation is performed to rewrite the header information.
[0042]
This is because if an I picture or P picture is deleted, the preceding and following B pictures cannot be decoded, and the information of the deleted picture is written in the header, which freezes the previous and next screens during playback and causes The number of frames can be adjusted to the required number of TV systems.
[0043]
In the first embodiment, when the moving vector amount is large, the number of dropped frames is reduced. For example, when the moving vector amount is close to a still image and the moving vector amount is small, the number of dropped frames is increased. Becomes possible. In such a method, since the amount of dropped frames is varied according to the movement of the screen, even if dropped frames are not noticeable to human eyes. In this case, the detection of the motion vector amount is desirably performed from P pictures evenly allocated in one GOP, and can be performed from B pictures. However, the continuity of the compressed image and the existence of bidirectional data complicate the system. There is a risk of doing so.
[0044]
Further, as shown in FIG. 2A, the number of dropped frames in the dropped frame amount determining means 4 is set to two values of zero and six frames per second (24 pictures / second) as shown in FIG. Although it is also possible to set the type, as shown in FIG. 2B, it is also possible to set the number of frames from zero to 6 frames per second in multiple stages. In the case of a film movie or the like, the frame rate is 24 frames / sec. Therefore, a reproduction method from 24 frames / sec is specified in standards such as MPEG. For this reason, if the number of dropped frames is defined in two steps, that is, 24 frames / second and 30 frames / second, the configuration of the system is simplified, which is extremely practical.
[0045]
Embodiment 2. FIG.
In the first embodiment, the number of dropped frames is determined stepwise in inverse proportion to the movement between pictures. However, in consideration of the characteristics of the actual human eye, the range in which the movement is too fast for the human eye to follow is determined. If the number exceeds the limit, the number of dropped frames may be inconspicuous even if the number of dropped frames is increased. This is because the human eye is expected to have the detection limit characteristic of dropped frames as shown in FIG. In this case, it is naturally difficult to detect a dropped frame in a video close to a still image. On the other hand, even when the motion of the video is so intense that it is difficult for the human eye to follow, it is naturally difficult to detect a dropped frame. In the second embodiment of the present invention, the extracted value of the motion vector amount is corrected using such characteristics.
[0046]
FIG. 3 is a block circuit diagram of the second embodiment, in which the same reference numerals as in FIG. 1 denote the same parts, and reference numeral 10 denotes a data conversion table. In the second embodiment, when the motion vector amount is equal to or less than the predetermined absolute amount, the number of dropped frames is inversely proportional to the motion vector amount. This is to skip frames.
[0047]
FIG. 4 is a diagram showing an arrangement of digital compressed video data recorded on the disc before frame dropping and in the second embodiment. FIG. 5 is a diagram showing video information data recorded on the optical disc with a reduced number of frames during reproduction. FIG. 5A shows a display screen of video data in which frames are not dropped, and FIG. 5B shows one frame dropped in three screens. FIG. 5C shows a display screen of video data in which two frames are dropped on three screens, and FIG. 5D shows a display screen of video data in which one frame is dropped on five screens. Each is shown.
[0048]
FIG. 6 is a diagram showing the human visual perception characteristics, and shows how many dropped frames are detected with respect to the speed of image movement.
FIG. 7 is a diagram illustrating an example of how many frames are dropped according to the motion vector amount in the second embodiment.
[0049]
In the second embodiment, the number of dropped frames is determined in inverse proportion to the motion vector amount until the motion vector amount reaches a predetermined absolute value, and the number of dropped frames is increased in proportion to the motion vector amount when the absolute value is greater than the absolute value. It becomes possible. The other operations are the same as those in the first embodiment, and the B picture is deleted and the header information is rewritten, whereby the frame drop processing of the compressed video data is completed.
[0050]
As described above, in the method of the second embodiment, it is possible to skip frames even when the human eye cannot catch up because the movement is too fast as compared with the method of the first embodiment. Compression efficiency becomes higher.
[0051]
Further, it is also possible to realize the characteristics of the frame drop amount determining means 4 in a form as shown in FIG. 7 without using the above-mentioned conversion table 10. In this case, the allowable value of the number of dropped frames for the movement of the screen has a non-linear characteristic. Further, even when the motion is too strong and the motion vector amount cannot be detected, a certain number of dropped frames is allowed. When the image is close to a still image, the number of dropped frames can be increased.
[0052]
The video information actually recorded on the optical disk has a shape as shown in FIG. The original digital compressed video data has a data array as shown in FIG. This means that an I picture can be independently reproduced, but a P picture requires a prediction screen from the previous I picture or P picture, and a B picture requires a prediction picture from the preceding or succeeding I picture or P picture. This is because a prediction screen is required.
Therefore, unlike the reproduction order of the screen, the data of the P picture is arranged after the I picture, and the data of the B picture is arranged after the I picture.
[0053]
However, regarding the data arrangement on the optical disc, for example, when only the I picture and the P picture are reproduced during the special reproduction, it is very convenient that the I picture and the P picture are continuously arranged. 4 (c). This is because the data amount after compression is sufficiently smaller than the original video signal data amount, so that the memory of the optical disk reproducing device can be easily rearranged, and the data array conversion described above is sufficient. It is because it is possible to respond to. In the case of this method, the B picture is partially deleted in the case of a GOP in which video data with even faster motion is continuous, so that the data amount is reduced as shown in FIG. ing.
[0054]
Such rearrangement of data and reduction of picture data are performed by, for example, the disk format encoder 5 shown in FIGS. 1 and 3, but for the purpose of removing intersymbol interference when performing high-density recording. For example, modulation such as EFM modulation or 1-7 modulation is performed, and is temporarily recorded on a recordable file device (for example, a magnetic disk, a magnetic tape, or a magneto-optical disk). For example, a master is created by the ROM disk mastering device 8 using the data once stored in this way, and the ROM disk 9 is mass-produced by the stamper. As a matter of course, when the optical disk is a recording / reproducing device, the above operation is performed without passing through the recording data file 7 and the ROM disk mastering device, and data is recorded directly on the optical disk.
[0055]
Next, when the above-described compressed video data is read from the optical disc, reproduced, and displayed on the screen, the result is as shown in FIG. FIG. 5A shows a case of a video that does not allow frame dropping and has some movement between pictures. The video corresponds to a video before encoding in picture units. On the other hand, when one frame is dropped in three screens, as shown in FIG. 5B, the B2, B4, and B6 pictures are dropped, and the B1, B3, and B5 pictures are frozen ( Display again). Further, when two frames are dropped on three screens, a screen without a B picture is reproduced. In the case shown in FIG. 5C, the state of dropped frames is easily detected by the human eye. However, when the image is very close to a still image, even if dropped frames are allowed to this point, it is not noticeable.
[0056]
Also, as shown in FIG. 5 (d), it is conceivable to allow one frame to be dropped every five screens which is halfway between FIG. 5 (a) and FIG. 5 (b). This can be dealt with by dropping frames and freezing the previous and next pictures. In this case, for example, in the case of FIG. 5D, it is desirable to fix the freeze position on the five screens in order to prevent the eyes from being seen by the human eyes. In order to perform frame dropping of only the B picture, not only the preceding image is always frozen as shown in FIG. 5D, but also the subsequent image is frozen. Such freeze control is performed by providing a flag or the like in a header provided at the head of the GOP or a header provided at the head of the picture data.
[0057]
Embodiment 3 FIG.
FIG. 8 is a block circuit diagram of a third embodiment of the present invention. In FIG. 8, the same reference numerals as those in FIG. 3 indicate the same parts. Reference numeral 11 denotes a memory for storing a motion vector amount for one screen, and 12 denotes a current motion vector. A subtracter 13 for subtracting the data and the motion vector amount one screen before, an absolute value detector 13 for obtaining the absolute value of the subtractor 11, and a motion vector conversion amount detector 4 and an absolute value detector 13 9 is a frame drop amount determination table for determining the number of dropped frames from.
[0058]
FIG. 9 is a characteristic diagram showing a detection limit (whether a dropped frame is noticeable or not) of a dropped frame with respect to a motion vector correlation amount corresponding to smoothness of movement of each picture. Jerky images have no visible dropping frames. On the other hand, in the case of a smoothly moving image represented by, for example, panning or zooming at the time of photographing (movement of a video is close to a constant speed), dropped frames are easily noticeable. Even when PAL, which is still a European TV system, is converted to NTSC, which is a TV system in Japan and the United States, frame skipping and screen freeze due to TV format conversion adjustment during panning and zooming are easily noticeable. In addition, even when converting from a motion picture film to the NTSC format, a slight freeze in a smooth motion may be noticeable.
[0059]
The third embodiment is a data file system of an optical disk utilizing the characteristics shown in FIG. 9, and detects one motion picture correlation stored in the memory 11 in order to detect a motion vector correlation amount corresponding to smooth motion of the motion of the screen. The difference between the current motion vector amount and the current motion vector amount is calculated by a subtractor 12, and the absolute value is calculated by an absolute value detection circuit 13 to detect a motion vector correlation amount. First, the number of dropped frames is determined in the dropped frame amount determination table 18.
[0060]
Further, in the system of the third embodiment, two parameters, the correlation amount and the absolute amount of the motion vector, are parameters for dropping frames. However, it is possible to cope by setting the dropout determination table 18 as shown in FIG. Become. FIG. 10 shows the use of four-step frame drop amounts d to a corresponding to the motion vector amount and the motion vector correlation amount. When such a table is used, the absolute value of the motion vector is Has a non-linear characteristic such that the frame drop is allowed if it is too large or too small, whereas the linear motion that the frame drop is allowed if the correlation is weak for the amount of motion vector correlation. It is possible to have properties and make complex decisions as a whole.
[0061]
Also, as shown in FIG. 11, when frames are dropped from only two types of moving image data of 30 frames / second and 24 frames / second, if the correlation is extremely weak, the frame rate is fixed at 24 frames / second. If the correlation is strong, the frame rate is fixed at 30 frames / second, and only when the correlation amount is medium, switching is performed in accordance with the amount of motion vector data.
[0062]
Embodiment 4. FIG.
FIG. 12 is a block circuit diagram of a fourth embodiment of the present invention, wherein the same reference numerals as those in FIG. 1 denote the same parts, respectively, 15 is a memory, 16 is a motion vector amount detecting means in one GOP, and 17 is a motion vector correlation. It is an amount detecting means.
[0063]
In the fourth embodiment, after the image data is once recorded in the memory 15, the absolute amount of motion is detected by the motion vector amount detecting means 16 in one GOP, and the motion vector correlation amount before and after the picture in one GOP is calculated. The frame detection amount is detected by the amount detection means 17, and the frame drop amount in one GOP is determined by the frame drop amount determination table 18 based on the two pieces of information.
[0064]
In the fourth embodiment, not only the motion vector amount as in the first to third embodiments but also the moving image information itself is used. As shown in FIG. 12, a memory 15 for storing image data is used. The amount of motion vector for each picture is detected by taking the difference from the data one picture before, and the difference of the difference between each picture is compared with the previous difference information to obtain the motion vector correlation. The amount (whether the motion is smooth or jerky) is detected, and the detection means 16 and 17 total the data in units of 1 GOP, thereby obtaining the input information of the frame drop amount determination table 18.
[0065]
According to the fourth embodiment, the number of dropped frames can be determined only by directly storing the image data without detecting the motion vector amount.
[0066]
Embodiment 5 FIG.
FIG. 13 is a block circuit diagram of a fifth embodiment of the present invention, wherein the same reference numerals as in FIG. 11 indicate the same parts, respectively, 19 is a motion compensation predictor, 20 is a DCT encoder, 21 is a quantizer, 22, a variable length encoder; 23, a code amount counter for counting the code amount per GOP; 24, a code amount memory for storing the code amount count value; 25, an ideal GOP rate based on the output of the code amount memory GOP rate setting unit 26 for performing coding, a code amount allocating unit for allocating a code amount based on the output from GOP rate setting unit 25, and 27 a subtraction for obtaining the difference between the current code amount and the ideal code amount. And 28, a switch for separating provisional encoding and main encoding, and 34, a frame number allocator for storing the ideal number of frames from the frame drop amount determination table 18.
[0067]
In the fifth embodiment, in order to make the image quality on the disk uniform and further improve the file efficiency, the data rate per GOP is not fixed but the file is filed on the disk at a variable rate, as shown in FIG. It is like that.
[0068]
In general, in a video compression method represented by MPEG or the like, as shown in FIG. 13, a motion compensation predictor 19 using a predicted image from a previous or previous I picture or P picture as a reference screen, DCT coding It comprises a quantizer 20, a quantizer 21 for adjusting the code amount, and a variable length encoder 22. First, the image quality is made constant, and the switch 28 is turned down to perform the first temporary encoding. Further, the code amount per GOP at the time of the provisional encoding is counted by the code amount counter 23, and the code amount corresponding to one disk is stored in the code amount memory 24. Also, the GOP rate setting 25 is reset from the code amount for one disk stored in the code amount memory 24 to an ideal code amount in consideration of the total data storage amount of the entire disk. The allocator 26 stores the target rate.
[0069]
Next, the switch 28 is tilted in the direction of the main encoding, and the second encoding operation is performed. At this time, the quantizer 21 performs feedback control so that the output of the code amount allocator 26 and the output of the code amount counter 23 of the variable length encoder 22 at the time of the second encoding match. Thus, the control is performed so that the code amount allocator 26 substantially matches the ideal code amount stored at the time of the first encoding. At the same time, at the time of the first encoding operation, the detection means 16 and 17 detect the motion vector amount and the motion vector correlation amount within one GOP, and the frame drop amount determination table 18 determines the frame drop amount. Are stored in the frame number allocator 34. The actual frame drop operation is performed by deleting the B picture data by the disk format encoder 5 and adding freeze information of a screen required at the time of reproduction to the header portion at the time of the second main encoding. .
[0070]
As described above, in the system according to the fifth embodiment, the image quality of each GOP unit is kept constant, and the ideal code amount for the variable rate is assigned, and the ideal number of frames is assigned to each GOP unit. Therefore, the file efficiency can be further improved. In particular, in the area of the original video where the compression ratio cannot be increased in terms of image quality, it is possible to allocate a larger number of bits as much as the number of dropped frames is allowed, thereby achieving higher image quality.
[0071]
Embodiment 6 FIG.
FIG. 14 is a block circuit diagram of a sixth embodiment of the present invention. The same reference numerals as in FIG. 13 denote the same parts, respectively, 29 is a frame memory, 30 and 31 are quantizers, and 32 is a differential element. A subtractor 33 is a subtractor constituting an addition element.
[0072]
The motion vector amount for one frame is stored in the frame memory 29, and the motion vector absolute amount and the motion vector correlation amount are detected using the motion vector amount, and the frame drop number is determined in the frame drop amount determination table 18. , And the number of frames is allowed to be stored in the frame number allocator 34 to allow a variable data rate and dropped frames.
[0073]
In the sixth embodiment, in addition to the method using the motion vector as in the fifth embodiment, the number of frames is determined from the output of the video A / D converter 1. Also in the sixth embodiment, by performing the first encoding operation and the second encoding operation, feedback control is performed so that the ideal code amount stored in the code amount allocator 26 is obtained. The operation is the same as in the fifth embodiment. However, in the case of the sixth embodiment, the output of the video A / D converter 1 is directly stored in the frame memory 29, and the difference between the preceding and succeeding pictures is obtained by the subtractor 32 to detect the motion amount for each picture. The signal after the subtraction is stored in the frame memory 29 once again, and the output of the subtractor 32 that is temporally delayed is further taken by another subtractor 33, thereby detecting the correlation value (smoothness) of the motion. The frame drop amount is determined by the drop amount determination table 18.
[0074]
The frame number allocation thus obtained is stored in the frame number allocator 34, and at the time of the main encoding, the B format is deleted in the disk format encoder 5. As described above, also in the sixth embodiment, the same effect as in the fifth embodiment can be obtained, and in the original video area where the compression ratio cannot be increased in image quality, the number of frames is increased by the amount that allows the frame drop. Can be allocated, and high image quality can be achieved.
[0075]
【The invention's effect】
According to the first aspect of the present invention, the number of pictures is reduced when the total amount of motion vectors is equal to or less than a certain level, so that the number of pictures per second can be optimally set according to the speed of screen movement. By reducing the number of pictures, the file efficiency of a digitally compressed moving image signal using motion compensation on an optical disk is improved.In addition, since the digitally compressed video is divided into a partially existing image subjected to intra-frame DCT and another image accompanied by motion compensation prediction, special reproduction using the intra-frame DCT image becomes possible. In addition, it is possible to increase the compression rate by using a motion-compensated prediction image. Further, among the images accompanied by the motion-compensated prediction, frame-drop is allowed only for B pictures that need to be predicted from the preceding and succeeding pictures. Can prevent the unpredictable state of the picture before and after.
[0076]
According to the second aspect of the present invention, in addition to the case where the total amount of motion vectors is equal to or less than the certain level shown in the first aspect of the present invention, the number of dropped frames is equal to or higher than the second level having a set value larger than the first level. Is allowed, the speed of movement in picture units is high, and for example, the number of frames can be reduced even in an image showing a movement that cannot be followed by human eyes, and the file efficiency on the optical disc is further improved.
[0077]
According to the third aspect of the present invention, since the digitally compressed video is divided into a partially existing image subjected to intra-frame DCT and another image accompanied by motion compensation prediction, the intra-frame DCT image is used. In addition to the special playback that has been performed, it is possible to increase the compression rate by using a motion-compensated predicted image. Since dropping is allowed, it is possible to avoid an unpredictable state of the preceding and following pictures due to dropped frames.
[0078]
According to the fourth aspect of the present invention, the number of dropped frames can be determined in consideration of not only the absolute amount of the speed of motion for each picture but also a fixed degree of motion (smoothness). It is possible to prevent excessive frame skipping when the frame skipping is easy to see because of the smooth movement, and the file efficiency is further improved by allowing frame skipping in images with jerky movement I do.
[0079]
According to the fifth aspect of the present invention, the digitally compressed video is divided into a partially existing image subjected to intra-frame DCT and an image with other motion compensation prediction. The use of a P picture, which exists periodically and uses a prediction screen from one direction, makes it possible to accurately extract the absolute amount and smoothness of the motion vector amount, Since frame skipping is permitted only for B pictures requiring prediction, it is possible to avoid an unpredictable state of the preceding and following pictures due to frame skipping.
[0080]
According to the invention of claim 6, the encoding operation at the time of manufacturing the disc is performed twice, first, the optimal code amount and the optimal frame number are set in each GOP unit, and the optimal value and the optimal value are set in the second encoding operation. Since the compressed video bit stream is realized as much as possible, not only the code amount but also the number of frames are made variable, and the file efficiency is dramatically improved.
[0081]
According to the seventh aspect of the present invention, the digitally compressed video is divided into a partially existing image subjected to intra-frame DCT and an image with other motion compensation prediction. Of these, the use of a P picture that exists periodically and uses a prediction screen from one direction makes it possible to accurately extract the absolute amount of motion and smoothness, and also requires prediction from the preceding and following pictures. Since the frame drop is allowed only for the B picture, the unpredictable state of the preceding and succeeding pictures due to the frame drop can be avoided.
[Brief description of the drawings]
FIG. 1 is a block circuit diagram according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating the number of dropped frames with respect to a motion vector amount according to the first embodiment.
FIG. 3 is a block circuit diagram according to a second embodiment of the present invention.
FIG. 4 is a diagram illustrating a bit stream structure according to a second embodiment.
FIG. 5 is a diagram illustrating a video reproduction screen according to a second embodiment.
FIG. 6 is a characteristic diagram illustrating a detection limit of a dropped frame with respect to a speed of movement.
FIG. 7 is a diagram illustrating the number of dropped frames with respect to the motion vector amount according to the second embodiment.
FIG. 8 is a block circuit diagram according to a third embodiment of the present invention.
FIG. 9 is a characteristic diagram showing a detection limit of dropped frames with respect to smoothness of movement.
FIG. 10 is a diagram illustrating an example of a frame drop amount determination table according to the third embodiment.
FIG. 11 is a diagram illustrating another example of the frame drop amount determination table according to the third embodiment.
FIG. 12 is a block circuit diagram according to a fourth embodiment of the present invention.
FIG. 13 is a block circuit diagram according to a fifth embodiment of the present invention.
FIG. 14 is a block circuit diagram according to a sixth embodiment of the present invention.
FIG. 15 is a block circuit diagram of a conventional optical disk recording / reproducing apparatus.
FIG. 16 is a diagram illustrating a picture structure of digital moving image video information.
FIG. 17 is a diagram illustrating a picture structure of digital moving image video information.
FIG. 18 is a diagram illustrating a picture structure of digital moving image video information.
FIG. 19 is a diagram illustrating a data amount at a variable rate.
[Explanation of symbols]
Reference Signs List 1 video A / D converter, 2 video information compression means, 3 motion vector amount detection means, 4 frame drop amount determination means, 5 disk format encoder, 6 modulation means, 7 recording data file, 8 ROM disk mastering device, 9 creation ROM disk, 10 data conversion table, 11, 15 memory, 12, 27, 32, 33 subtractor, 13 absolute value detector, 14 motion vector conversion amount detector, 16 motion vector amount detection means, 17 motion vector correlation amount detection Means, 18 frames drop amount determination table, 19 motion compensation predictor, 20 DCT encoder, 21, 30, 31, quantizer, 22 variable length encoder, 23 code amount counter, 24 code amount memory, 25 GOP Rate setting device, 26 code amount allocator, 28 switch, 29 frame memory, 34 frame number allocation 35 frame sector conversion means, 36 encoder, 37 modulator, 38 laser drive circuit, 39 laser output switch, 40 optical disk, 41 optical head, 42 actuator, 43 traverse motor, 44 disk motor, 45, 46 motor control circuit, 47 Motor drive circuit, 48 reproduction amplifier, 49 demodulator, 50 decoder, 51 frame sector reverse conversion means, 52 information expansion means, 53 D / A converter.

Claims

At the time of recording, the digital video information is compressed based on the motion estimation information between frames that are temporally adjacent to each other, and a motion vector amount that increases or decreases according to the video motion of each frame included in the compressed video information is determined in advance. If the absolute value is smaller than the absolute value, the number of frames per second is reduced and recorded on a recording medium, and at the time of reproduction, the frames before and after the reduced frame are displayed in an overlapping manner to secure a predetermined required number of frames. Video recording and playback method ,
The video information recorded on the recording medium includes an I picture, which is video information for performing intra-frame DCT, and a P picture, which is video information obtained by DCT coding for performing forward motion compensation, and A sequence of video information blocks of several frames to several tens of frames in which I-pictures and P-pictures are used as reference screens and B-pictures subjected to DCT coding for which motion compensation has been performed. A video recording / reproducing method characterized by storing a vector amount and deleting a B picture of image data according to the moving vector amount.

At the time of recording, the digital video information is compressed based on the motion estimation information between the temporally preceding and succeeding frames, and the amount of the motion vector that increases or decreases according to the motion of the video for each frame included in the compressed video information is determined in advance. If it is smaller than the range between the determined first absolute amount and the second absolute amount, the number of frames per second is reduced in proportion to the motion vector amount. An image in which the number of frames per second is reduced on the recording medium so as to be inversely proportional to the vector amount and is recorded on a recording medium, and at the time of reproduction, the frames before and after the reduced frame are overlap-displayed to secure a necessary number of frames. Recording and playback method.

The video information recorded on the recording medium includes an I picture, which is video information for performing intra-frame DCT, and a P picture, which is video information obtained by DCT coding for performing forward motion compensation, and A sequence of video information blocks of several frames to several tens of frames in which I-pictures and P-pictures are used as reference screens and B-pictures subjected to DCT coding for which motion compensation has been performed. 3. The video recording / reproducing method according to claim 2 , wherein the vector amount is stored, and the B picture of the image data is deleted according to the moving vector amount.

At the time of recording, the digital video information is compressed based on the motion estimation information between frames that are temporally adjacent to each other, and the amount of the motion vector that fluctuates according to the magnitude of the video motion for each frame included in the compressed video information. If the total amount is smaller than a predetermined first absolute amount and the amount of change of the motion vector amount for each screen is larger than a predetermined second absolute amount, the number of frames per second is reduced and recorded. A video recording / reproducing method which records on a medium and reproduces frames before and after the reduced frame at the time of reproduction to secure a necessary number of frames.

The video information recorded on the recording medium includes an I picture, which is video information for performing intra-frame DCT, and a P picture, which is video information obtained by DCT coding for performing forward motion compensation, and A sequence of video information blocks in units of several to several tens of frames in which a number of B pictures to be subjected to DCT coding and motion-compensated using I pictures and P pictures as reference screens are mixed. In addition to storing the amount, the amount of motion vector is compared for each of the preceding and succeeding P pictures to detect the amount of motion vector correlation in the video information block, and based on the total amount and the amount of motion vector correlation, 5. The image according to claim 4, wherein the amount of dropped frames in said video information block is determined by a conversion table for determining the number of dropped frames. Recording and playback method.

At the time of recording, the encoded code amount and the motion vector amount of the video information block are stored for each video information block unit including a plurality of pictures during the first encoding, and the stored code amount and motion vector amount are stored. From the above, the code amount and the number of frames for each video information block unit, which are optimal for recording on a recording medium for a predetermined time, are calculated, and at the time of the second encoding, control is performed so that the optimal code amount is obtained. A video recording and reproducing method in which B picture data is deleted by the number of frames.

The video information recorded on the recording medium includes an I picture, which is video information for performing intra-frame DCT, and a P picture, which is video information obtained by DCT coding for performing forward motion compensation, and A sequence of video information blocks of several frames to several tens of frames in which I-pictures and P-pictures are used as reference screens and B-pictures subjected to DCT coding for which motion compensation has been performed. And a conversion table for determining the number of dropped frames of the B picture based on the total amount and the motion vector correlation amount, and determining a dropped frame amount in the video information block. 7. The video recording / reproducing method according to 6.