JP4061511B2 - 符号化装置及び符号化方法 - Google Patents
符号化装置及び符号化方法 Download PDFInfo
- Publication number
- JP4061511B2 JP4061511B2 JP09709697A JP9709697A JP4061511B2 JP 4061511 B2 JP4061511 B2 JP 4061511B2 JP 09709697 A JP09709697 A JP 09709697A JP 9709697 A JP9709697 A JP 9709697A JP 4061511 B2 JP4061511 B2 JP 4061511B2
- Authority
- JP
- Japan
- Prior art keywords
- gop
- encoding
- target bit
- bit amount
- main controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置及び符号化方法に関し、例えばオーサリング装置に適用してＭＰＥＧ（Moving Picture Experts Group）の手法によりビデオデータをデータ圧縮する場合に適用することができる。本発明は、事前のデータ圧縮処理により検出したデータ量を基準にして、データ圧縮の目標データ量を設定する際に、ＧＯＰを単位にして設定した目標ビット量を各フレームに配分した後、各ＧＯＰの構成により補正することにより、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮できるようにする。
【０００２】
【従来の技術】
従来、光ディスク等のパッケージメディアの作成現場においては、ＭＰＥＧ（Moving Picture Experts Group）の手法を適用してビデオデータ、オーディオデータ等をそれぞれデータ圧縮した後、多重化して各種メディアに記録するようになされている。
【０００３】
このような一連の処理を実行するオーサリング装置では、メディアに記録可能なビット量をビデオデータ、オーディオデータ等に配分し、それぞれこの配分したビット量に納まるように、ビデオデータ、オーディオデータをデータ圧縮する。このときビデオデータについては、一定のデータ圧縮条件によりデータ圧縮して発生するビット量に応じて、ビデオデータに割り当てたビット量を各フレームに配分する。
【０００４】
すなわちＭＰＥＧの手法によりビデオデータをデータ圧縮する場合、圧縮後のビット量は、素材により大きく変化する。またフレーム内符号化処理とフレーム間符号化処理とでも、圧縮後のビット量が変化する。
【０００５】
このためオーサリング装置は、データ圧縮の条件を一定に保持した仮のデータ圧縮処理において、光ディスクに記録する一連のビデオデータをデータ圧縮し、データ圧縮したビデオデータのビット量を順次フレーム単位で検出する。さらにこの検出したビット量に基づいて、データ圧縮の条件を変更し、これによりビデオデータに割り当てられたビット量を、仮のデータ圧縮処理におけるデータ発生量に応じて各フレームに配分して、最終的にビデオデータをデータ圧縮する。
【０００６】
これによりオーサリング装置では、光ディスク等の容量の限られたメディアに効率良くビデオデータ、オーディオデータを記録するようになされている。
【０００７】
【発明が解決しようとする課題】
ところでこのようにして仮の符号化処理により発生するビット量を基準にしてデータ圧縮の条件を設定する場合、実際上、オーサリング装置では、各フレームに対してデータ圧縮の目標ビット量を設定して符号化処理の条件が設定される。この目標ビット量の設定処理は、仮の符号化処理における発生ビット量に応じてビデオデータに許容されるデータ量をフレーム単位で配分して実行される。さらにこのようにして設定された各フレームの目標ビット量は、光ディスクに許容される最大転送速度等により補正され、オーサリング装置では、最終的に、このような種々の条件により補正された目標ビット量に従ってビデオデータを順次符号化処理する。
【０００８】
このような補正により、従来のオーサリング装置では、困難度に応じて配分した目標ビット量が最終的にＩピクチャー、Ｐピクチャー、Ｂピクチャーに適切に配分されず、その分限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することが困難な問題があった。
【０００９】
すなわちＩピクチャーにおいては、Ｐピクチャー、Ｂピクチャーに比して発生データ量が多いことにより、オーサリング装置では、このような補正によりＩピクチャーの目標ビット量が大きく低減される傾向にあり、これにより符号化後のビデオデータにおいては、Ｐピクチャー、Ｂピクチャーに比してＩピクチャーのデータ量が不足する傾向があった。
【００１０】
本発明は以上の点を考慮してなされたもので、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる符号化装置及び符号化方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、フレーム内符号化処理から続くフレーム内符号化処理までの１ブロックを単位にして、処理結果のデータ量を基準にして、ビデオデータの全体に割り当てられたデータ量を各ブロックに配分して各ブロックの目標ビット量を設定した後、各フレームに目標ビット量を配分するようにし、このとき各ブロックにおいて、各ブロックの構成に応じて目標ビット量を補正する。
【００１２】
各フレームに目標ビット量を配分した後、各ブロックの構成に応じて目標ビット量を補正すれば、事前の処理により検出されたデータ量の比率を維持して目標ビット量を設定することができ、その分各ＧＯＰにおいて、適切にビット配分することができる。
【００１３】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１４】
（１）全体構成
図２は、本発明の実施の形態に係るオーサリング装置を示すブロック図である。このオーサリング装置１は、ネットワークにより各装置を接続して構成され、光ディスクに記録する多重ストリームを生成する。
【００１５】
すなわちこのオーサリング装置１において、メニュー信号処理装置２は、スーパーバイザー３により制御されて動作を切り換え、図示しないビデオテープレコーダ等より供給されるメニュー画面のビデオデータを符号化処理し、その結果得られるビデオデータをハードディスク装置（ＨＤＤ）４に記録する。タイトル信号処理装置５は、同様に、スーパーバイザー３により制御されて動作を切り換え、図示しないビデオテープレコーダより供給されるタイトル等のビデオデータを符号化処理してハードディスク装置４に記録する。
【００１６】
オーディオ信号処理装置６は、同様に、スーパーバイザー３により制御されて動作を切り換え、図示しないテープレコーダより供給されるオーディオデータを符号化処理してハードディスク装置４に記録する。ビデオ信号処理装置７は、スーパーバイザー３の制御により、光ディスクに記録する主たる記録内容でなるビデオデータを符号化処理してハードディスク装置４に記録する。
【００１７】
マルチプレクサ８は、スーパーバイザー３の制御により、符号化処理されてハードディスク装置４に記録されたビデオデータ等について、これらビデオデータ等による多重ストリーム作成用のファイルを作成する。
【００１８】
ストリーマ９は、このマルチプレクサ８により作成された多重ストリーム作成用のファイルに従って、ハードディスク装置４よりビデオデータ等を順次読み出してシリアルデータ列を生成し、これにより多重ストリームを生成する。さらにストリーマ９は、この多重ストリームを磁気テープ等の記録媒体に記録する。これによりこのオーサリング装置１では、この記録媒体をカッティング装置に供給して光ディスクを作成できるようになされている。
【００１９】
ハードディスク装置４は、ディスクアレイにより構成され、ビデオ信号処理装置７等によりデータ圧縮されたビデオデータ等を記録し、またマルチプレクサ８等の要求に応動して保持したデータを出力する。
【００２０】
スーパーバイザー３は、このオーサリング装置１全体の動作を制御するコンピュータにより構成され、オペレータの設定した条件に従って各装置の動作を制御する。すなわちスーパーバイザー３は、オペレータの操作に従ってビデオ信号処理装置７等に編集リストを通知することにより、各装置に処理対象を通知する。さらにスーパーバイザー３は、光ディスクに記録可能なデータ量より、オーディオデータ、ビデオデータ等に割り当てるデータ量を計算し、この計算したデータ量を符号化ファイルにより各装置に通知する。
【００２１】
さらにスーパーバイザー３は、ビデオ信号について、オペレータの設定したチャプターの時間情報をビデオ信号処理装置７に通知する。ここでチャプターは、強制的にフレーム内符号化処理により符号化処理するフレームであり、この種の光ディスク装置では、このチャプターを目標にしてトラックジャンプして記録内容を確認できるようになされている。
【００２２】
さらにスーパーバイザー３は、ビデオ信号について、ＧＯＰ（Group Of Pictures ）の最大表示フィールド数（ＮＴＳＣ方式においては３６フィールド、ＰＡＬ方式においては３０フィールドの制限があることから、この実施の形態においては、ＮＴＳＣ方式の場合１５フレームに、ＰＡＬ方式の場合１２フレームに設定する）、各ＧＯＰにおける符号化処理の配列等をビデオ信号処理装置７に通知する。さらにスーパーバイザー３は、マルチアングルの処理対象についても、これをビデオ信号処理装置７に通知する。なおマルチアングルとは、複数のビデオ素材を時分割多重化して光ディスクに記録することにより、ユーザーの選択に応じて、例えば列車の走行シーン等を異なる撮影箇所より視聴できるようにした処理である。
【００２３】
かくするにつきスーパーバイザー３は、これらの情報を他の符号化に必要な情報と共に符号化ファイルによりビデオ信号処理装置７に通知する。
【００２４】
図３は、ビデオ信号処理装置７を詳細に示すブロック図である。このビデオ信号処理装置７において、ビデオテープレコーダ１０は、主コントローラ１１を介してスーパーバイザー３により通知された編集リストに従って磁気テープを再生し、これにより処理対象のビデオデータＤ１を出力する。
【００２５】
エンコーダ１２は、主コントローラ１１を介してスーパーバイザー３により通知される条件に従って動作を切り換え、ビデオテープレコーダ１０より出力されるビデオデータをデータ圧縮する。このときエンコーダ１２は、ＭＰＥＧの手法によりビデオデータＤ１をデータ圧縮し、このデータ圧縮における符号化の条件が主コントローラ１１により制御されることにより、データ圧縮して発生するビット量が主コントローラ１１により制御されるようになされている。
【００２６】
さらにエンコーダ１２は、このようにして符号化処理する際に、符号化処理結果を主コントローラ１１に通知し、これにより主コントローラ１１において、データ圧縮により発生するビット量を各フレーム単位で把握できるようになされている。またエンコーダ１２は、事前の条件設定の処理においては、単にビデオデータＤ１をデータ圧縮して処理結果を主コントローラ１１に通知するのに対し、最終的なデータ圧縮処理においては、データ圧縮処理したビデオデータＤ２をハードディスク装置４に記録し、さらに記録したアドレス、データ量等を主コントローラ１１に通知する。
【００２７】
モニタ装置１３は、エンコーダ１２によりデータ圧縮されたビデオデータＤ２をモニタできるように構成される。これによりビデオ信号処理装置７では、必要に応じてデータ圧縮した処理結果をこのモニタ装置１３により確認して、いわゆるプレビューできるようになされ、このプレビュー結果に基づいて主コントローラ１１を操作して、符号化の詳細な条件を細かく変更できるようになされている。
【００２８】
主コントローラ１１は、このビデオ信号処理装置７に割り当てられたコンピュータにより構成され、ネットワークを介して実行するスーパーバイザー３との間のデータ通信により、このビデオ信号処理装置７全体の動作を制御する。すなわち主コントローラ１１は、グラフィカルユーザーインターフェース（ＧＵＩ：Graphical User Interface）１４の管理により、スーパーバイザー３からの制御を受け付けると共に、オペレータの操作を受け付け、このグラフィカルユーザーインターフェース１４により管理されるビットアサインプログラム１５、コントロールプログラム１６、１７によりエンコーダ１２、ビデオテープレコーダ１０の動作を制御する。
【００２９】
これにより主コントローラ１１は、スーパーバイザー３により通知された条件に従って処理対象を符号化処理し、また処理結果をスーパーバイザー３に通知する。さらにグラフィカルユーザーインターフェース１４を介してオペレータの設定を受け付け、符号化の詳細な条件を変更できるようになされている。
【００３０】
すなわちコントロールプログラム１７は、スーパーバイザー３より通知される編集リストに従ってビデオテープレコーダ１０の動作を制御し、所望の編集対象を再生する。
【００３１】
またビットアサインプログラム１５は、同様にスーパーバイザー３より通知される符号化ファイルＶ．ＥＮＣに従って符号化処理の条件を各フレーム単位で決定し、この条件による制御データをファイル形式（ＣＴＬ．Ｆ）によりコントロールプログラム１６に通知する。このときビットアサインプログラム１５は、符号化処理におけるビット配分を設定し、さらに設定した条件をオペレータの操作に応動して変更する。さらにビットアサインプログラム１５は、データ圧縮したビデオデータＤ２をハードディスク装置４に記録すると、ハードディスク装置４におけるアドレスデータＶ．ＡＤＲを、マルチプレクサ８における多重化処理に必要なデータ（データ量等のデータでなる）ＶＸ．ＡＵＩと共にスーパーバイザー３に通知する。
【００３２】
コントロールプログラム１６は、ビットアサインプログラム１５より通知される制御ファイルＣＴＬ．Ｆに従ってエンコーダ１２を符号化制御する。さらに各符号化処理に要する困難度DIF のデータをフレーム単位でビットアサインプログラム１５に通知し、またハードディスク装置４にビデオデータＤ２を記録すると、ハードディスク装置４におけるアドレスデータＶ．ＡＤＲ、多重化処理に必要なデータＶＸ．ＡＵＩをビットアサインプログラム１５に通知する。
【００３３】
（２）主コントローラ１１の処理
図４は、この主コントローラ１１における処理手順を示すフローチャートである。主コントローラ１１は、スーパーバイザー３より処理の開始が指示されると、グラフィカルユーザーインターフェース１４の管理によりビットアサインプログラム１５、コントロールプログラム１６、１７を起動することにより、この処理手順を実行する。
【００３４】
すなわち主コントローラ１１は、処理の開始が指示されると、ステップＳＰ１からステップＳＰ２に移り、スーパーバイザー３より通知される符号化の条件を取得する。続いて主コントローラ１１は、ステップＳＰ３に移り、符号化処理に要する困難度DIF を測定する。
【００３５】
ここで困難度DIF は、固定した量子化ステップにより符号化処理対象でなる一連のビデオデータを符号化処理した際の、符号化処理後のデータ量である。すなわちフレーム間符号化処理においては動きの激しい部分で予測フレームからの予測誤差が大きくなり、その分、画質劣化を低減するために多くのデータ量が必要となる。またフレーム内符号化処理においては、高周波数成分の多い場合に、ディスクリートコサイン変換処理して高次の係数データが発生することにより、その分、画質劣化を低減するために多くのデータ量が必要となる。固定した量子化ステップによりビデオデータを符号化処理すれば、このように画質劣化を低減するための多くのデータ量を要する部分で多くのデータ量が検出され、これにより符号化処理に要する困難度DIF を測定することができる。
【００３６】
主コントローラ１１は、この検出原理に従ってエンコーダ１２の動作を制御することにより、固定した量子化ステップにより符号化処理する点を除いて、実際の符号化処理とほぼ同一の条件により符号化処理対象でなる一連のビデオデータを符号化処理し、またエンコーダ１２からの通知により、この符号化処理における困難度DIF をフレーム毎に測定する。
【００３７】
続いて主コントローラ１１は、ステップＳＰ４において、ビット配分計算処理を実行し、この困難度DIF より各フレームに割り当てるビット量を計算する。これにより主コントローラ１１は、処理結果のデータ量を基準にしてデータ圧縮処理の条件を設定する。
【００３８】
続いて主コントローラ１１は、ステップＳＰ５に移り、プレビューの処理を実行する。ここでこのプレビューの処理は、オペレータの操作に応動してビデオテープレコーダ１０より符号化対象のビデオデータＤ１を再生すると共に、この再生したビデオデータＤ１をステップＳＰ４において設定した符号化の条件により符号化処理し、その結果得られるビデオデータＤ２をモニタ装置１３に表示して実行される。
【００３９】
主コントローラ１１は、このプレビューの処理により、続くステップＳＰ６において、オペレータより画質の判定を受け付け、ここでオペレータが画質に満足してエンコードを指示すると、ステップＳＰ７に移る。ここで主コントローラ１１は、符号化対象でなるビデオデータＤ１をビデオテープレコーダ１０より順次再生すると共に、このビデオデータＤ１をステップＳＰ４において設定した条件により符号化処理する。さらに続くステップＳＰ７において、符号化処理結果等をスーパーバイザー３に通知した後、ステップＳＰ９に移ってこの処理手順を終了する。
【００４０】
これに対して画質に満足しないオペレータによりカスタマイズの処理が選択されると、主コントローラ１１は、ステップＳＰ６よりステップＳＰ１０に移り、ここでカスタマイズ処理を実行する。ここでこのカスタマイズ処理は、オペレータの操作に応動して部分的に符号化の条件を変更することにより、部分的に画質を変更する処理である。
【００４１】
この処理において、主コントローラ１１は、オペレータの操作に応動して困難度DIF を補正する重み付けのファイルを作成する。さらに主コントローラ１１は、続くステップＳＰ１１において、この作成したファイルに従ってステップＳＰ４と同一の処理を実行することにより、ビット再配分の処理を実行し、ステップＳＰ５に戻る。
【００４２】
これにより主コントローラ１１は、困難度DIF を基準にしてエンコーダ１２における符号化の条件を設定すると共に、オペレータの操作に応動してこの条件を順次変更するようになされ、最終的にオペレータの満足する処理条件によりビデオデータＤ１を符号化処理するようになされている。
【００４３】
図５は、図４のステップＳＰ３及びステップＳＰ４を詳細に示すフローチャートである。主コントローラ１１は、この処理手順を実行することにより、固定した量子化ステップにより符号化処理する点を除いて、実際の符号化処理とほぼ同一の条件によりビデオデータＤ１を符号化処理し、困難度DIF をフレーム毎に測定する。さらに測定した困難度DIF によりエンコーダ１２の制御用ファイルＣＴＬ．Ｆを作成する。
【００４４】
すなわち主コントローラ１１は、ステップＳＰ１６からステップＳＰ１７に移り、ここでスーパーバイザー３により設定された符号化の条件を取得した後、ステップＳＰ１８に移る。ここで主コントローラ１１は、ＧＯＰの設定処理を実行する。ここで主コントローラ１１は、図６に示すように、１５フレームで１ＧＯＰを形成するように、処理対象のビデオデータＤ１を順次ブロック化する（ＮＴＳＣ方式の場合）。また主コントローラ１１は、各ＧＯＰにおいて、連続するフレームを先頭側より３フレーム単位で区切り、最初の区切りの直前フレームをＩピクチャーに、他の区切りの直前フレームをＰピクチャーに設定し、残りのピクチャーをＢピクチャーに設定する（図６（Ａ）及び（Ｂ））。なおこの図６において、符号Ｉ、Ｐ、Ｂは、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーを示す。
【００４５】
続いて主コントローラ１１は、ステップＳＰ１９に移り、困難度DIF を測定する。主コントローラ１１は、この困難度DIF の測定において、ビデオテープレコーダ１０の動作を制御して符号化対象のビデオデータＤ１を順次再生する。さらにエンコーダ１２に符号化を指示し、この再生したビデオデータＤ１をステップＳＰ１８におけるピクチャーの設定により符号化処理する。さらに主コントローラ１１は、この符号化により得られる各フレームの発生データ量をエンコーダ１２より取得する。このとき主コントローラ１１は、困難度DIF 測定用の固定した量子化ステップにより符号化処理するようにエンコーダ１２の動作を制御する。さらに取得した発生データ量を困難度DIF のデータとしてファイル化して保持する。
【００４６】
続いて主コントローラ１１は、ステップＳＰ２０に移り、シーンチェンジの処理を実行する。すなわち主コントローラ１１は、困難度DIF の測定の際に、Ｉピクチャー、Ｐピクチャーについて、輝度レベルの直流レベル、動き補償した際の差分データの加算値をエンコーダ１２より取得し、これら直流レベル、差分データの加算値によりシーンチェンジ、フラッシュのフレームを検出する。ここでシーンチェンジは、場面が切り換わった場合であり、ＭＰＥＧにより符号化処理する場合、このシーンチェンジのフレームがＰピクチャーに設定されると、不自然に画質が劣化する特徴がある。すなわちＭＰＥＧにより符号化処理する場合、このシーンチェンジのフレームをＩピクチャーに設定することにより、ビデオデータを高品位に符号化処理することができる。
【００４７】
またフラッシュは、例えば写真撮影のフラッシュが点灯したような場合で、フラッシュのフレームを間に挟んで、前後のフレームで連続性が維持されている場合であり、ＭＰＥＧにより符号化処理する場合、このフラッシュの次のフレームをＩピクチャーに設定してビデオデータを高品位に符号化処理することができる。
【００４８】
これらのことから主コントローラ１１は、シーンチェンジ、フラッシュのフレームを検出し、シーンチェンジのフレーム、フラッシュ直後のフレームをＩピクチャーに再設定する。
【００４９】
続いて主コントローラ１１は、ステップＳＰ２１に移り、チャプターの設定処理を実行する。ここで図６との対比により図７に示すように、主コントローラ１１は、スーパーバイザー３から通知されるオペレータの指定に従って、例えば所定のＧＯＰの第６番目のフレームがチャプターのフレームに指定された場合、このＧＯＰ内のＩピクチャーをこのチャプターのフレームに変更する（図７（Ａ）及び（Ｂ））。さらに必要に応じてチャプターの直前のフレームをＰピクチャーに設定し、チャプターの前後に、前後のフレームの予測フレームが跨がらないようにＢピクチャー、Ｐピクチャーを設定する。なおこのチャプターの設定処理において、主コントローラ１１は、併せてマルチアングルに関するＩピクチャーの設定処理を実行する。
【００５０】
続いて主コントローラ１１は、ステップＳＰ２２に移り、ＧＯＰの再設定処理を実行する。ここで主コントローラ１１は、チャプター等の設定により１ＧＯＰが１５フレームを越えるようになった箇所を検出し、この検出した箇所のＰピクチャーをＩピクチャーに設定し、これにより全体として１５フレームを越えるＧＯＰが発生しないようにする。
【００５１】
このようにしてピクチャーの設定が完了すると、主コントローラ１１は、ステップＳＰ２３に移り、測定した困難度DIF の補正処理を実行する。すなわちこの実施の形態においては、シーンチェンジ等によりＩピクチャー等を設定し直すことにより、主コントローラ１１は、この設定し直したフレームに近接するフレームのデータ量を用いて補間演算処理することにより、設定し直したフレームに対応するように困難度DIF を計算する。これによりこのオーサリング装置１では、困難度の測定処理と、ピクチャーの再設定処理とを同時並列的に実行できるようになされ、その分処理に要する時間を短縮できるようになされている。
【００５２】
主コントローラ１１は、続いてステップＳＰ２４に移り、検出した困難度DIF より符号化処理の目標ビットを計算する。すなわち図８に示すように、困難度DIF が大きい部分では、その分多くのビット量を割り当てて符号化処理して画質劣化を防止することができるのに対し（図８（Ａ））、困難度DIF の小さい部分では、それ程多くのビット量を割り当てることなく符号化処理して画質劣化を防止することができる。これにより主コントローラ１１は、困難度DIF の高い部分には大きなビット量を割り当てるように、符号化処理の目標ビット量を設定する（図８（Ｂ））。かくするにつき、この設定処理により、エンコーダ１２より困難度DIF に応じた転送速度でビデオデータＤ２が出力されることになる（図８（Ｃ））。
【００５３】
このとき主コントローラ１１は、後述する処理手順を実行することにより、再生側における条件、マルチアングル、オペレータがスーパーバイザー３を介して事前に入力した条件に従って、目標ビットを計算し、これにより種々の条件を加味して光ディスクに記録可能なビット量をビデオデータに適切に配分する。
【００５４】
このようにビット配分を決定すると、主コントローラ１１は、続くステップＳＰ２５において、このビット配分に対応するようにハードディスク装置４に対するアドレスを計算し、続くステップＳＰ２６において、この計算したアドレスと目標ビットとを順次記述して制御ファイルを作成する。かくするにつき主コントローラ１１において、コントロールプログラム１６は、この目標ビットに従って困難度DIF の測定に使用した量子化テーブルを変更することにより、エンコーダ１２から出力されるビデオデータＤ２のデータ量が目標ビット量以下に納まるように、エンコーダ１２の動作を制御することになる。またこのときエンコーダ１２は、ビデオデータＤ１に付随するタイムコードとこの制御ファイルのアドレスとを対応させてこの量子化テーブルを変更することになる。
【００５５】
このようにして制御ファイルを作成すると、主コントローラ１１は、ステップＳＰ２７に移ってこの処理手順を終了する。
【００５６】
（３）ビット配分処理
図１及び図９は、図５のステップＳＰ２４について上述したビット配分処理を示すフローチャートである。主コントローラ１１は、ステップＳＰ３０からステップＳＰ３１に移り、次式の演算処理を実行し、ビデオデータに対して実際に割り当て可能な総ビット量SUPPLY BYTE を計算する。
【００５７】
【数１】
【００５８】
ここでUSE BYTES は、スーパーバイザー３より通知されるビデオデータＤ１に割り当て可能なデータ量であり、ハードディスク装置４に記録するエンコード結果のデータ量が対応する。またTOTAL HEADERは、ＧＯＰの総数により計算されるヘッダー等の付随的なデータのデータ量である。従って主コントローラ１１は、この（１）式の演算処理により、ヘッダー等の制御コードを除いて、ビデオデータに割り当て可能なデータ量を計算することになる。
【００５９】
続いて主コントローラ１１は、ステップＳＰ３２に移り、重み付け係数の算出処理を実行する。ここでこの実施の形態においては、困難度DIF に応じて目標ビット量を設定するようになされており、このとき各フレームの直流レベル、符号化処理の種類（Ｉ、Ｐ、Ｂピクチャーの違い）により困難度DIF を重み付けすることにより、画質を向上するようになされている。このため主コントローラ１１は、各ピクチャーで検出された直流レベル、上述したピクチャーの設定に応じて、この重み付け係数を算出する。
【００６０】
続いて主コントローラ１１は、ステップＳＰ３３に移り、測定した困難度DIF を算出した重み付け係数により重み付け処理する。ここでこの実施の形態においては、スーパーバイザー３において符号化の条件を設定する際に、各エンコードユニットに所望する画質の程度を設定できるようになされており、スーパーバイザー３においては、この設定に応じて図１０に示すような第１の重み付けテーブルを形成する。ここでこのテーブルに記載の重み付け量は、値１００がデフォルト値であり、この値１００が標準の画質を示し、値の増大に伴い目標ビット量を増大して画質を向上するようになされている。なおここでエンコードユニットは、複数のＧＯＰにより構成されるビデオデータＤ１のブロックであり、この実施の形態では連続して符号化処理可能なブロックである。すなわちエンコードユニットは、例えばビデオテープレコーダ１０において頭出しした後、連続して再生されるブロックが該当する。
【００６１】
主コントローラ１１は、このステップＳＰ３３において、各フレームの困難度を重み付け処理する際に、併せて各エンコードユニットについて、各フレームの困難度DIF を第１の重み付けテーブルにおける重み付け量により乗算した後、値１００で割り算する。
【００６２】
続いて主コントローラ１１は、ステップＳＰ３４に移り、各ＧＯＰ毎に、困難度の和GOP DIF を計算する。
【００６３】
続いて主コントローラ１１は、ステップＳＰ３５に移り、アングルブロックのうちのシームレスアングルに設定されたエンコードユニットについて、対応するＧＯＰ間で、困難度DIF の最大値を順次検出する。これにより主コントローラ１１は、ブロックアングルのうちのシームレスアングルにおいては、ＧＯＰ単位で発生データ量が等しくなるように設定する。
【００６４】
ここでアングルブロックは、複数のエンコードユニット間でデコードを切り換えた際に、切り換え時に黒色画面等が表示されて連続した画像の再生が一時中断されるノンシームレスアングルと、連続した再生が求められるシームレスアングルとがある。
【００６５】
このため図１１に示すように、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃは、前後のエンコードユニットＥ及びＦと連続してデコードされ、またエンコードユニットＡ、Ｂ、Ｃでデコードを切り換えても、連続してデコードすることが求められる（図１１（Ａ））。
【００６６】
この場合、シークに要する時間を短縮して、光ディスクよりデコーダにビデオデータを連続して供給することが必要なことにより、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃは、時分割多重化されて光ディスクに記録されることになる。すなわちエンコードユニットＡ、Ｂ、Ｃは、ＧＯＰを単位にした微小のブロックにより区切られ、これら微小のブロックがインターリーブされて多重化ストリームＤ３が形成されることになる（図１１（Ｂ）及び（Ｃ））。またこれらの微小のブロックは、エンコードユニットＡ、Ｂ、Ｃ間でフレーム数を等しく設定し、またＧＯＰを構成するＩ、Ｐ、Ｂピクチャーの配列も等しく設定する必要がある。
【００６７】
ところがこのようにしてブロックを形成した際に、エンコードユニットの対応するブロックＡ１、Ｂ１、Ｃ１間、Ａ２、Ｂ２、Ｃ２間でデータ量が大きく相違したのでは（図１１（Ｃ））、多重化ストリームを形成する際に、インターリーブによるデータの振り分けが煩雑になる（すなわちマルチプレクサ８における処理でなる）。
【００６８】
この場合にエンコードユニットＡ、Ｂ、Ｃの対応するフレーム間で発生ビット量が等しくなるように設定することにより、対応するブロック間のデータ量が等しくなるようにエンコードし、これによりマルチプレクサ８の処理を簡略化する方法が考えられるが、このようにするとエンコードユニットＡ、Ｂ、Ｃ間で著しく画質が相違する恐れある。これに対して困難度に応じて各フレームに目標ビット量を設定して符号化処理した後、スタッフビットを割り当てて対応するフレームのデータ量を等しくする方法も考えられるが、この場合には無駄なダミーデータ（図１１（Ｄ）においてハッチングにより示す）が増大し、その分ビデオデータを効率良く光ディスクに記録困難になる。
【００６９】
これに対して各ブロック単位でデータ量を一致させる方法も考えられるが、各ブロックを構成するＧＯＰの数が必ずしも一定値に設定されないことにより、この場合も実用上未だ不十分である。
【００７０】
これによりこの実施の形態では、各ブロックを構成する最大の構成単位でなるＧＯＰを単位にして、対応するＧＯＰの目標ビット量が等しくなるように設定して、結果的に対応するブロック間でデータ量が等しくなるようにする（図１１（Ｅ））。
【００７１】
すなわち主コントローラ１１は、図１２に示すように、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃにおいて（図１２（Ａ））、対応するＧＯＰ間で（図１２（Ｂ）〜（Ｃ））、困難度GOP DIF の最大値を順次検出して配列し、この検出した困難度の配列をエンコードユニットＡ、Ｂ、Ｃで共通する困難度に設定する（図１２（Ｅ））。なおエンコードユニットＡ、Ｂ、Ｃの困難度がステップＳＰ３２において重み付け処理されている場合、主コントローラ１１は、この重み付け処理された困難度によりこのステップＳＰ３５の処理を実行する。
【００７２】
このようにしてシームレスアングルについて困難度を補正すると、主コントローラ１１は、ステップＳＰ３６に移り、ビデオデータＤ１の全フレームについて、困難度の総和DIF SUM を計算する。ここで主コントローラ１１は、ステップＳＰ３３において重み付け処理した困難度を使用する。またシームレスアングルを構成するエンコードユニットについては、ステップＳＰ３５で検出した共通する困難度を使用する。
【００７３】
続いて主コントローラ１１は、ステップＳＰ３７に移り、ＧＯＰ単位で目標ビットを配分するための評価関数を算出する。ここで主コントローラ１１は、次式の演算処理により図１３により示される評価関数Y=AXを算出する。なお、この図１３において、GOP MAXRATE 及びGOP MINRATE は、ＧＯＰに許容される最大レート及び最小レートである。
【００７４】
【数２】
【００７５】
続いて主コントローラ１１は、ステップＳＰ３８に移り（図９）、次式の演算処理を実行することにより、この評価関数Y=AXを用いて各ＧＯＰに目標ビット量GOP TGT を配分する。なおここでGOP DIF は、ステップＳＰ３４で検出した各ＧＯＰにおける困難度の和である。これにより主コントローラ１１は、困難度に応じて各ＧＯＰに目標ビット量を配分する。
【００７６】
【数３】
【００７７】
続いて主コントローラ１１は、ステップＳＰ３９に移り、ＧＯＰ内の各フレームに目標ビット量を配分する。このとき主コントローラ１１は、（３）式により計算した各ＧＯＰの目標ビット量を困難度に応じて各フレームに比例配分した後、次式の演算処理により補正値GOP RATEを計算し、比例配分した目標ビット量TGT を必要に応じてこの補正値GOP RATEにより補正する。これにより主コントローラ１１は、各ＧＯＰの構成に応じて各フレームの目標ビット量を補正し、各ＧＯＰの目標ビット量を図１３に示した最大レートGOP MAXRATE 及び最小レートGOP MINRATE の範囲に制限すると共に、各フレームの目標ビット量を所定の制限範囲MAXBYTES以下に制限し、この制限した目標ビット量が各フレームの困難度の比率に対応するようにする。
【００７８】
【数４】
【００７９】
【数５】
【００８０】
ここでRATE ADJUST は、補正値GOP RATEを算出する際に使用する補正値である。またＣは、定数であり、 GOP nb は、フレーム数により表されるＧＯＰの長さである。また AVR Ir 、AVR Pr、AVR Brは、それぞれＧＯＰ内のＢピクチャーを基準にしたＩ、Ｐ、Ｂピクチャーの困難度DIF の比であり、NOI 、NOP 、NOB は、それぞれＧＯＰ内におけるＩ、Ｐ、Ｂピクチャーのフレーム数である。さらにAVR NOI 、AVR NOP 、AVR NOB は、全ＧＯＰにおけるNOI 、NOP 、NOB の平均値である。従ってこの実施の形態において、ＧＯＰのフレーム数が１５フレーム、１２フレーム、９フレーム、６フレーム、３フレームの場合、それぞれ GOP nb 、NOI 、NOP 、NOB は、図１４に示すような値となる（図１４（Ａ）〜（Ｅ））。
【００８１】
これにより主コントローラ１１は、（４）及び（５）式の演算処理により、対象となるＧＯＰのフレーム数に応じて変化する目標ビット量（GOP TGT ／ GOP nb ×Ｃ）を補正値RATE ADJUST により補正して補正値GOP RATEを算出する。なお（４）及び（５）式の各係数は、次式により表される。
【００８２】
【数６】
【００８３】
【数７】
【００８４】
【数８】
【００８５】
【数９】
【００８６】
【数１０】
【００８７】
【数１１】
【００８８】
【数１２】
【００８９】
【数１３】
【００９０】
【数１４】
【００９１】
ここで AVR I DIF 、 AVR P DIF 、 AVR B DIF は、それぞれ各ＧＯＰのＩ、Ｐ、Ｂピクチャーにおける困難度の平均値であり、ΣNOP 及びΣNOB は、Ｐ、Ｂピクチャーのフレーム数である。また TOTAL GOP NUMBER は、ＧＯＰの数である。従ってそれぞれ AVR Ir 、AVR Prは、次式により表される。
【００９２】
【数１５】
【００９３】
【数１６】
【００９４】
これにより例えばＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐピクチャーの順序で連続するＧＯＰにおいては、AVR NOP 及びAVR NOB がそれぞれ値３及び８、 AVR Ir 及びAVR Prがそれぞれ値４及び２の場合、NOP 及びNOB がそれぞれ値２及び４になることから、この場合補正値RATE ADJUST は、値２／３となる。
【００９５】
主コントローラ１１は、このようにして得られる補正値GOP RATEを基準にして、最大レートGOP MAXRATE 及び最小レートGOP MINRATE に対するＧＯＰの目標ビット量GOP TGT を判定する。すなわち補正値GOP RATEがＧＯＰに許容される最大レートGOP MAXRATE 及び最小レートGOP MINRATE を越えない場合、次式の演算処理により各フレームの目標ビットTGT1を設定する。
【００９６】
【数１７】
【００９７】
これに対して補正値GOP RATEがＧＯＰに許容される最大レートGOP MAXRATE を越えている場合、次式の演算処理により、最大レートGOP MAXRATE を補正値GOP RATEで割り算して補正係数TGT ADJUSTを得、この補正係数TGT ADJUSTにより目標ビット量TGT を補正し、これにより各フレームの目標ビットTGT1を設定する。
【００９８】
【数１８】
【００９９】
【数１９】
【０１００】
ここで（１９）式に（４）式を代入すれば、次式の関係式を得ることができる。
【０１０１】
【数２０】
【０１０２】
これにより主コントローラ１１は、各ＧＯＰのデータ量を最大レートGOP MAXRATE により制限するように、各フレームの目標ビット量TGT1を設定することになる。かくするにつき、この（２０）式の右辺は、ＧＯＰのフレーム数 GOP nb により、またＧＯＰ全体の困難度GOP TGT に対する対象フレームの困難度TGT の比率TGT ／GOP TGT に応じて変化することにより、主コントローラ１１は、フレーム数、困難度によるＧＯＰの構成に応じて目標ビット量TGT を補正することになる。また補正値RATE ADJUST においては、（５）式に示した分母において、全ビデオデータＰの平均値AVR NOI 、AVR NOP 、AVR NOB を導入していることにより、主コントローラ１１においては、ビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量TGT を補正することになる。これにより主コントローラ１１は、ビデオデータＤ１全体として画質劣化を有効に回避して効率良くビット配分するようになされている。
【０１０３】
これに対して補正値GOP RATEがＧＯＰに許容される最小レートGOP MINRATE を越えている場合、次式の演算処理により、最小レートGOP MINRATE を補正値GOP RATEで割り算して補正係数TGT ADJUSTを得、この補正係数TGT ADJUSTにより目標ビット量TGT を補正し、これにより各フレームの目標ビットTGT1を設定する。
【０１０４】
【数２１】
【０１０５】
【数２２】
【０１０６】
かくするにつきこの（２２）式についても、（４）式を代入すれば、次式の関係式を得ることができる。
【０１０７】
【数２３】
【０１０８】
これにより主コントローラ１１は、各ＧＯＰのデータ量を最小レートGOP MINRATE によっても制限するように、各フレームの目標ビット量TGT1を設定することになり、この場合もフレーム数、困難度によるＧＯＰの構成に応じて目標ビット量TGT を補正する。さらにこのときビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量TGT を補正し、これらによりビデオデータＤ１全体として画質劣化を有効に回避して効率良くビット配分するようになされている。
【０１０９】
このようにして目標ビットをビット配分すると、主コントローラ１１は、ステップＳＰ４０に移り、ＶＢＶ（Video buffering verlfler）を計算する。すなわちこの種のオーサリング装置１により多重ストリームを生成する場合、再生装置のバッファメモリに一定量以上のビデオデータを常時保持するように多重ストリームを生成する必要がある。ちなみに再生装置においてバッファメモリのビデオデータが途絶えると、ビデオデータを連続してデコードすることが困難になる。
【０１１０】
ＶＢＶは、この実施の形態において、目標ビット量で連続するビデオデータをデコードした場合に、再生装置の仮想バッファメモリにおけるビデオデータのデータ残量を示すものであり、次式により表される。
【０１１１】
【数２４】
【０１１２】
【数２５】
【０１１３】
【数２６】
【０１１４】
【数２７】
【０１１５】
ここでSYSTEM SUPPLY は、再生系における光ピックアップからのデータ転送速度であり、光ディスクのフォーマットによる最大転送速度に対して比例係数kTを乗算して得られ、ここでＫＴは、値１より大きいものとする。またOccupancy down(k) 及びOccupancy up(k+1) は、それぞれ図１５に示すように、周期期間ＴＷでバッファメモリよりビデオデータを１フレーム毎に間欠的に読み出してデコードするとして、読み出し直後の、最もバッファ内のデータ量が低減した状態におけるバッファ内のビデオデータ残量と、その後の読み出し直前の、最もバッファ内のデータ量が増大した状態におけるバッファ内のビデオデータ残量とを示す。またOccupancy up(0) より、ＶＢＶの計算開始時においては、この実施の形態では、再生側においてバッファメモリにほぼ２／３のデータ量だけビデオデータが蓄積された状態でデコードを開始すると仮定する。
【０１１６】
主コントローラ１１は、各エンコードユニット毎に、（２４）〜（２７）式の演算処理を順次実行し、これにより図１６に示すように、各フレームの目標ビット量に応じて順次ＶＢＶの最大値VBVMAX及び最小値VBVMINの間で変化するバッファメモリの残量を計算する（図１６（Ａ）及び（Ｂ））。なおここで最大値VBVMAXが再生側バッファメモリの容量に相当し、最小値VBVMINは、残量が０の場合を示すことになる。かくするにつき、この場合に、数字１、４、７で示すＩピクチャー、Ｐピクチャーにおいて、ＶＢＶが最小値VBVMIN以下になり、再生側において、連続したビデオデータのデコードが一時途絶える恐れがある。
【０１１７】
これにより主コントローラ１１は、このようにしてＶＢＶを計算すると、続くステップＳＰ４１において、この数字１、４、７で示すＩピクチャー、Ｐピクチャーのような場合に、ＶＢＶが最小値VBVMIN以下に立ち下がらないように、目標ビット量を低減する。このとき単にＶＢＶが最小値VBVMIN以下に立ち下がらないように、最小値VBVMIN以下に立ち下がる目標ビット量を制限したのでは、困難度に応じて設定した目標ビット量のバランスが各ピクチャー間で乱れ、その分画質が劣化する。すなわちこの場合も単に最小値VBVMIN以下に立ち下がる目標ビット量を制限したのでは、主にＩピクチャーの目標ビット量が著しく低減することになる。
【０１１８】
これにより主コントローラ１１は、Occupancy min ＜VBVMINのとき、次式の演算処理を実行して補正値TGT ADJUST1 を計算する。ここでOccupancy min は、各ＧＯＰにおけるＶＢＶの最小値である。
【０１１９】
【数２８】
【０１２０】
さらに主コントローラ１１は、この計算した補正値TGT ADJUST1 を用いて、次式の演算処理を実行し、これにより各フレームの目標ビット量TGT1を補正する。これにより主コントローラ１１は、ＶＢＶにより目標ビット量を制限する場合についても、当初に設定した比率により各ピクチャーの目標ビット量を補正して、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスの乱れを有効に回避し、これにより画質劣化を有効に回避するようになされている。
【０１２１】
【数２９】
【０１２２】
かくして図１７に示すように、、困難度に応じたビット配分においては（図１７（Ａ１））、ＶＢＶが大きく変化し（図１７（Ａ２））、このビット配分に対して単に最大値MAX BYTES により制限を加えたのでは（図１７（Ｂ１））、例えばそれまで大きく異なっていた第１フレーム及び第４フレーム間の目標ビット量の比率が大きく変化していることがわかる。さらにこの状態でも最小値VBVMINを越えるフレームが存在することにより（図１７（Ｂ２））、ＶＢＶの制限により目標ビット量が制限する必要があり、このため次式の演算処理により目標ビット量をＮフレームで等量に低減すると（図１７（Ｃ１）及び（Ｃ２））、例えば、第２フレーム及び第３フレーム間で目標ビット量の比率が著しく変化することがわかる。ここでＮは、ＧＯＰのフレーム数である。
【０１２３】
【数３０】
【０１２４】
【数３１】
【０１２５】
これに対してこの実施の形態により処理すれば、図１８に示すように、図１７と同一の処理対象であっても（図１８（Ａ１）及び（Ａ２））、（４）及び（５）式によりビット配分して（図１８（Ｂ１）及び（Ｂ２））、各フレーム間で当初の目標ビット量の比率を維持することができる。さらにこのとき最小値VBVMINを越えるフレームが存在することにより、（２９）及び（３０）式の演算処理により目標ビット量を補正して（図１８（Ｃ１）及び（Ｃ２））、この当初の目標ビット量の比率を維持できることが分かる。
【０１２６】
かくして主コントローラ１１は、計算したＶＢＶにより順次目標ビット量を補正するとステップＳＰ４２に移り、ＶＢＶの境界条件により目標ビット量を補正する。ここで主コントローラ１１は、各ＧＯＰを連続して再生した場合でも、再生側のバッファメモリにおいて、ビデオデータの残量が０にならないように、目標ビット量TGT2を補正する。すなわち主コントローラ１１は、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが小さな値になっているＧＯＰを検出し、このＧＯＰについて、先頭フレームのＶＢＶより末尾フレームのＶＢＶが所定値以上大きくなるように目標ビット量TGT2を補正する。
【０１２７】
すなわち連続するＧＯＰをデコードする場合、各エンコードユニットの先頭におけるＶＢＶ（Occupancy up(0) ）は、直前のエンコードユニットにおける末尾のＶＢＶになる。これによりＧＯＰを順次再生する場合に、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが小さな値になっているＧＯＰが再生されると、再生側のバッファメモリにおいて、ビデオデータの残量が０になる場合も考えられる。すなわちこの場合には、ビデオデータの連続したデコードが一時途絶えることになる。
【０１２８】
このような場合に、先頭フレームのＶＢＶより末尾フレームのＶＢＶが所定値以上大きくなるように、各ＧＯＰの目標ビット量TGT2を設定すれば、何れの順序でＧＯＰを再生しても、再生側のバッファメモリにおいてビデオデータの残量が０になる場合を有効に回避することができる。またマルチアングルにおいても、同様に設定して、再生側のバッファメモリにおいてビデオデータの残量が０になる場合を有効に回避することができる。
【０１２９】
具体的に、主コントローラ１１は、所定量MARGINの分だけ先頭フレームのＶＢＶより末尾フレームのＶＢＶが大きくなるように設定するために必要な差分値（VBV END −MARGIN）を計算し、この差分値（VBV END −MARGIN）を各フレームの目標ビット量に応じて各フレームに振り分け、各フレームの目標ビット量より減算する。これにより主コントローラ１１は、ＶＢＶの境界条件により目標ビット量を制限する場合についても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避するようになされている。
【０１３０】
続いて主コントローラ１１は、ステップＳＰ４３に移り、余りを計算する。ここで主コントローラ１１は、ビデオデータＤ１の全フレームについて目標ビット量TGT2を加算した後、ビデオデータに割り当て可能な総ビット量SUPPLY BYTE より加算値を減算して余りREMAIN BYTESを計算する。すなわち目標ビット量は、種々の制限により補正されてなることにより、当初、総ビット量SUPPLY BYTE を困難度に応じて各ＧＯＰに配分した場合に比して減少し、これにより余りが発生する。これにより主コントローラ１１は、所定の制限範囲で、この余りを再配分し、その分ビオデデータの画質を向上する。
【０１３１】
すなわち主コントローラ１１は、続くステップＳＰ４４において、ビット配分処理の終了条件を満足しているか否か判断する。ここでこの余りが前回の余りより減少していない場合、主コントローラ１１は、終了条件を満足していると判断する。またこの余りの計算回数が５回目を迎えた場合、終了条件を満足していると判断する。この場合主コントローラ１１は、否定結果が得られることにより、ステップＳＰ４５に移る。
【０１３２】
ここで主コントローラ１１は、次式の演算処理を実行することにより、各ＧＯＰの困難度に応じて余りを配分する評価関数Ｙ＝ＱＸ＋Ｒを生成する。このとき主コントローラ１１は、ＧＯＰに許容される最大値MAX BYTES を越えることがないように、余りを配分する。すなわち図１９（Ａ）に示すように、ＧＯＰの困難度GOP DIF をｘ軸にしてＧＯＰにおける目標ビット量の配分を示すと、困難度GOP DIF に比例して目標ビット量が増大し、所定の困難度ＤＸ以上では最大値MAX BYTES に保持されることになる。
【０１３３】
これにより主コントローラ１１は、最大値MAX BYTES に対応するＧＯＰの困難度ＤＸに近づくに従って順次値が減少し、この困難度ＤＸ以上の困難度GOP DIF に対しては余りを配分しないように、評価関数を設定する（図１９（Ｂ））。ここで DIF SUMは、マルチアングル以外のエンコードユニットを除いて、困難度が値ＤＸ以下のＧＯＰにおける困難度DIF の総和であり、ｎは、これらフレームの数である。
【０１３４】
【数３２】
【０１３５】
【数３３】
【０１３６】
この評価関数Ｙ＝ＱＸ＋Ｒを求めると、主コントローラ１１は、ステップＳＰ３８に戻り、マルチアングル以外のエンコードユニットについて、次式の演算処理を実行する。これにより、主コントローラは、この評価関数Ｙ＝ＱＸ＋Ｒを用いて余りをマルチアングル以外の各ＧＯＰの目標ビットに余りを振り分ける。
【０１３７】
【数３４】
【０１３８】
【数３５】
【０１３９】
これにより主コントローラ１１は、各ＧＯＰに振り分けた余りGOP TGT ADD を続くステップＳＰ３９において、次式で示すように、各フレームに振り分けて再び上述の処理を繰り返す。
【０１４０】
【数３６】
【０１４１】
これにより主コントローラ１１は、最大４回の範囲で、余りが減少しなくなるまで、ステップＳＰ３８−ＳＰ３９−ＳＰ４０−ＳＰ４１−ＳＰ４２−ＳＰ４３−ＳＰ４４−ＳＰ４５−ＳＰ３８の処理手順を繰り返し、順次余りを各フレームの目標ビット量に振り分ける。
【０１４２】
かくするにつき、この処理手順の繰り返しにおいても、主コントローラ１１は、ＶＢＶによる目標ビット量の補正、ＶＢＶの境界条件による目標ビット量の補正において、各ピクチャーに当初設定した目標ビット量の比率を維持して順次目標ビット量を増大することになる。これにより主コントローラ１１は、光ディスクに記録可能なビット量を充分に利用してビデオデータをエンコードして、高画質によりビデオデータを記録できるようになされている。
【０１４３】
かくして主コントローラ１１は、このようにして処理手順を繰り返して終了の条件が満足されると、ステップＳＰ４４からステップＳＰ４６に移ってこの処理手順を終了する。主コントローラ１１は、このようにして各フレームについて設定した目標ビット量に従ってコントロールプログラム１６によりエンコーダ１２の動作を制御し、これによりこの目標ビット量に応じた量子化ステップサイズによりビデオデータＤ１を順次エンコードすることになる。
【０１４４】
（４）カスタマイズ処理及びビット配分の再計算処理
プレビューの処理において、このようにして設定された符号化の条件をオペレータがモニタ装置１３により確認し、ここでオペレータがカスタマイズ処理を選択すると、主コントローラ１１は、オペレータの操作に応動して対応するエンコードユニットのうちの、オペレータの指定した区間について、図１０について上述した重み付け量に類似の第２の重み付け量を設定する（図４）。
【０１４５】
さらにオペレータによるカスタマイズが完了すると、主コントローラ１１は、ビット配分の再計算処理を実行する。このとき主コントローラ１１は、オペレータの指定した区間の困難度については第２の重み付け量で重み付けして処理する。主コントローラ１１は、この区間については、この重み付けした困難度により、図１、図９について上述した処理手順を再び実行し、これにより目標ビット量を改めて計算し直す。これによりこの実施の形態では、オペレータにより符号化の条件が異なるように変更された場合でも、適切にビット配分できるようになされている。
【０１４６】
（５）実施の形態の動作
以上の構成において、オーサリング装置１は（図２）、メニュー信号処理装置２、タイトル信号処理装置５、オーディオ信号処理装置６、ビデオ信号処理装置７にそれぞれ処理対象を記録した磁気テープ等が装填された後、スーパーバイザー３により条件が設定されると、これらメニュー信号処理装置２等により符号化処理が開始され、符号化処理したビデオデータ等がハードディスク装置４に記録され、発生データ量等が処理結果としてスーパーバイザー３に通知される。さらにマルチプレクサ８においてこの処理結果により多重化用のファイルが作成され、ストリーマ９においてこの多重化用のファイルに従ってハードディスク装置４に記録されたビデオデータ等が順次多重化されて多重化ストリームが形成される。
【０１４７】
この多重化の処理を開始する際に、スーパーバイザー３において、光ディスクのビット量からビデオデータに割り当てるデータ量USE BYTES が決定され、このデータ量USE BYTES がビデオ信号処理装置７の主コントローラ１１に通知される。また符号化対象でなるエンコードユニットを順次特定する編集ファイルがビデオ信号処理装置７の主コントローラ１１に通知され、この編集ファイルに従ってビデオテープレコーダ１０によりビデオデータＤ１が再生される。さらにオペレータの操作に応動して、重み付けテーブル（図１０）が作成され、この重み付けテーブルが符号化の条件と共にビデオ信号処理装置７の主コントローラ１１に通知される。
【０１４８】
このようにして条件が設定されると、オーサリング装置１は、ビデオ信号処理装置７の主コントローラ１１において、ビデオデータＤ１を符号化処理する詳細な条件が設定される。この条件の設定において（図５）、オーサリング装置１は、始めに各ピクチャーを順次１５フレーム単位で区切ってＧＯＰを設定した後、各ＧＯＰ内でＩ、Ｐ、Ｂピクチャーを設定する（図６）。オーサリング装置１は、このようにして設定したＩ、Ｐ、Ｂピクチャーに従って固定した量子化ステップによりエンコーダ１２でビデオデータＤ１を符号化処理し、各ピクチャーの発生ビット量が主コントローラ１１に順次通知されて符号化対象の困難度が測定される（図８）。
【０１４９】
さらにこの困難度の測定と同時にシーンチェンジの検出に必要な情報が取得され、この情報により主コントローラ１１において、Ｉピクチャーが再設定される。またチャプターの設定に応じて、さらにマルチアングルのエンコードユニットに応じてＩピクチャーが再設定され（図７）、さらに１ＧＯＰが１５フレーム以下に納まるように、ＧＯＰが再設定される。測定された困難度は、これらの再設定に対応するように補正される。
【０１５０】
その後オーサリング装置１は、この困難度により符号化処理の目標ビットを設定する。この設定は、始めにシームレスアングルを構成するエンコードユニットの対応するＧＯＰ間で、困難度GOP DIF の最大値を順次検出して配列することにより、シームレスアングルのエンコードユニットで共通する困難度が設定され、これによりインターリーブの単位を構成する最大の構成単位でなるＧＯＰを単位にして、対応するＧＯＰの目標ビット量が等しくなるように設定され、結果的に対応するブロック間でデータ量が等しくなるように設定される（図１１）。
【０１５１】
続いて事前に設定された重み付けテーブルに従って、また各ピクチャーの設定等により測定した困難度が重み付け処理され（図１０）、これによりオペレータが高画質を望むエンコードユニットについては、多くのビット量が割り当てられる。これによりエンコードユニットで符号化の条件が異なる場合でも適切にビット配分することができる。
【０１５２】
続いてオーサリング装置１では、各ＧＯＰの困難度GOP DIF に応じて、実際に割り当て可能なビット量SUPPLY BYTE が配分され、これにより各ＧＯＰの目標ビット量GOP TGT が設定される。その後各ＧＯＰにおいて、各フレームの困難度に応じて目標ビット量GOP TGT が各フレームに配分される。このとき困難度に応じて各フレームに目標ビットTGT が設定された後、フレーム数、困難度による各ＧＯＰの構成に応じて、さらにはビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量が補正される（（４）〜（２３）式）。
【０１５３】
これにより各フレームの目標ビット量においては、当初、困難度に応じて各フレームに設定された目標ビット量の比率が維持されて、ＧＯＰに許容される最大レートGOP MAXRATE 及び最小レートGOP MINRATE を越ないように設定される。またＧＯＰによりフレーム数が異なる場合でも、当初、困難度に応じて各フレームに設定された目標ビット量の比率が維持されて、目標ビット量が補正される。かくするにつき、例えばＧＯＰ単位で単純にビットレートを検出すると、長さの短いＧＯＰ程、高ビットレートに設定され、これにより単にビットレートにより目標ビット量を制限したのでは、長さの短いＧＯＰにおいては、Ｉピクチャーに割り当てるデータ量が著しく減少し、これにより画質が劣化することになる。
【０１５４】
これらによりオーサリング装置では、画質の低下を防止するために多くのデータ量を必要とするＩピクチャーに対して多くの目標ビット量を割り当てたまま、このＩピクチャーの画質に対応するようにＢ、Ｐピクチャーの目標ビット量が設定され、これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができるようになされている。
【０１５５】
このようにして目標ビット量TGT が補正されると、続いてこの計算した目標ビット量TGT によるビデオデータをデコードするとして、再生側のバッファメモリにおけるビデオデータのデータ量が計算され、これによりＶＢＶが計算される（（２５）〜（２７）式）。さらにこのＶＢＶの計算により、このバッファメモリにおいて、ビデオデータが途絶えることがないように、各ＧＯＰ単位で目標ビット量が補正される（（２８）及び（２９）式）。この補正において、目標ビット量は、当初設定した比率により各ピクチャーの目標ビット量を補正して、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが乱れないように補正される。これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮できるようにする。
【０１５６】
続いてオーサリング装置１では、ＶＢＶの境界条件により目標ビット量が補正される。ここでオーサリング装置では、各ＧＯＰを連続して再生した場合でも、再生側のバッファメモリにおいて、ビデオデータの残量が０にならないように、各ＧＯＰにおいて、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが大きな値になるように、目標ビット量が補正される。すなわちこの規則に違反するＧＯＰが検出され、このＧＯＰについて、所定量MARGINの分だけ先頭フレームのＶＢＶより末尾フレームのＶＢＶが大きくなるように設定するために必要な差分値（VBV END −MARGIN）が計算され、この差分値（VBV END −MARGIN）が各フレームの目標ビット量に応じて各フレームに振り分けられて補正される。
【０１５７】
これによりオーサリング装置では、ＶＢＶの境界条件により目標ビット量を制限する場合についても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避するようになされている。
【０１５８】
かくするにつき、これら一連の補正によりビデオデータＤ１においては、余りが発生することになり、オーサリング装置１では、ＧＯＰに許容される最大値MAX BYTES を目標ビット量が越えることがないようにして、困難度を基準にしてこの余りがマルチアングル以外の各ＧＯＰに配分され、その後同様の処理により各フレームの目標ビット量が設定される。これによりオーサリング装置では、この余りの配分により光ディスクに記録可能な容量を充分にビデオデータに割り当て、ビオデデータの画質を向上する。さらに目標ビット量の設定処理と同様の処理により、余りを配分することにより、この余りの配分においても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避する。
【０１５９】
このように符号化の条件が設定されると、ビデオデータＤ１は、オペレータによりプレビューされ、オペレータによりカスタマイズが選択されると、オペレータの選択した区間の間、所望の重み付け量が設定され、この重み付け量より困難度が重み付け処理されて再びビット量の配分処理が繰り返される。これにより符号化の条件を変更した場合でも適切にビット配分され、このビット配分によりビデオデータＤ１が符号化処理される。
【０１６０】
（６）実施の形態の効果
以上の構成によれば、事前のデータ圧縮処理により測定した困難度を基準にして、データ圧縮の目標データ量を設定する際に、ＧＯＰを単位にして設定した目標ビット量を各フレームに配分した後、各ＧＯＰの構成により補正することにより、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスを乱すことなく目標ビット量を補正することができ、これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる。
【０１６１】
すなわちＧＯＰのフレーム数に応じて、目標ビット量を補正することにより、ＧＯＰによりフレーム数が異なる場合でも、適切に目標ビット量を補正することができる。
【０１６２】
またＧＯＰの困難度に対する対象フレームの困難度に応じて、目標ビット量を補正して、各ブロックの構成に応じて目標ビット量を補正することにより、困難度により当初設定した目標ビット量のバランスを保持したまま、目標ビット量を補正することができる。
【０１６３】
さらにＶＢＶによる補正処理においても、困難度の比率に応じて、目標ビット量を補正することにより、当初設定した目標ビット量のバランスを保持したまま、目標ビット量を補正することができる。
【０１６４】
（７）他の実施の形態
なお上述の実施の形態においては、ビデオ信号処理装置７における処理に本発明を適用する場合について述べたが、本発明はこれに限らず、タイトル信号処理装置５、メニュー信号処理装置２についても同様にビデオデータを処理対象にしてなることにより、これらタイトル信号処理装置５、メニュー信号処理装置２についても併せて本発明を適用して、これらタイトル用ビデオデータ、メニュー用ビデオデータとの間でも、適切にビット配分してもよい。
【０１６５】
また上述の実施の形態においては、ピクチャーの再設定後、測定した困難度を補正することにより、再設定後のピクチャーの配列に対応する困難度を検出する場合について述べたが、本発明はこれに限らず、ピクチャーの再設定後、実際の符号化処理により再設定後のピクチャーの配列による困難度を測定してもよい。
【０１６６】
また上述の実施の形態においては、ＭＰＥＧによりビデオデータを符号化処理してデータ圧縮する場合について述べたが、本発明はこれに限らず、種々の符号化手法によりビデオデータを符号化処理してデータ圧縮する場合に広く適用することができる。
【０１６７】
さらに上述の実施の形態においては、本発明を光ディスクのオーサリング装置に適用する場合について述べたが、本発明はこれに限らず、種々の記録媒体にビデオデータを記録する場合、さらには種々の伝送路を介してビデオデータを伝送する場合に広く適用することができる。
【０１６８】
【発明の効果】
上述のように本発明によれば、事前のデータ圧縮処理により検出したデータ量を基準にして、データ圧縮の目標データ量を設定する際に、所定のブロックを単位にして設定した目標ビット量を各フレームに配分した後、各ブロックの構成により補正することにより、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るオーサリング装置における主コントローラのビット配分の処理手順を示すフローチャートである。
【図２】図１のオーサリング装置の全体構成を示すブロック図である。
【図３】図２のビデオ信号処理装置を示すブロック図である。
【図４】図３のビデオ信号処理装置における主コントローラにおける処理手順を示すフローチャートである。
【図５】図４の処理手順における困難度の測定処理を詳細に示すフローチャートである。
【図６】ＧＯＰの構成を示す略線図である。
【図７】チャプターの設定の説明に供する略線図である。
【図８】困難度の説明に供する略線図である。
【図９】図１の続きの処理手順を示すフローチャートである。
【図１０】重み付けテーブルを示す図表である。
【図１１】シームレスアングルの説明に供する略線図である。
【図１２】シームレスアングルにおける困難度の設定処理の説明に供する略線図である。
【図１３】各ＧＯＰに対する目標ビットの割り当てに使用する評価関数を示す特性曲線図である。
【図１４】フレーム数の異なるＧＯＰを示す特性曲線図である。
【図１５】ＶＢＶの説明に供する特性曲線図である。
【図１６】ＶＢＶによる目標ビットの補正の説明に供する特性曲線図である。
【図１７】単に目標ビット量を制限することによる目標ビットの補正の説明に供する特性曲線図である。
【図１８】ＧＯＰの構成に応じて目標ビットを補正する場合の説明に供する特性曲線図である。
【図１９】余りの配分に使用する評価関数を示す特性曲線図である。
【符号の説明】
１……オーサリング装置、３……スーパーバイザー、７……ビデオ信号処理装置、１１……主コントローラ、１２……エンコーダ
【発明の属する技術分野】
本発明は、符号化装置及び符号化方法に関し、例えばオーサリング装置に適用してＭＰＥＧ（Moving Picture Experts Group）の手法によりビデオデータをデータ圧縮する場合に適用することができる。本発明は、事前のデータ圧縮処理により検出したデータ量を基準にして、データ圧縮の目標データ量を設定する際に、ＧＯＰを単位にして設定した目標ビット量を各フレームに配分した後、各ＧＯＰの構成により補正することにより、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮できるようにする。
【０００２】
【従来の技術】
従来、光ディスク等のパッケージメディアの作成現場においては、ＭＰＥＧ（Moving Picture Experts Group）の手法を適用してビデオデータ、オーディオデータ等をそれぞれデータ圧縮した後、多重化して各種メディアに記録するようになされている。
【０００３】
このような一連の処理を実行するオーサリング装置では、メディアに記録可能なビット量をビデオデータ、オーディオデータ等に配分し、それぞれこの配分したビット量に納まるように、ビデオデータ、オーディオデータをデータ圧縮する。このときビデオデータについては、一定のデータ圧縮条件によりデータ圧縮して発生するビット量に応じて、ビデオデータに割り当てたビット量を各フレームに配分する。
【０００４】
すなわちＭＰＥＧの手法によりビデオデータをデータ圧縮する場合、圧縮後のビット量は、素材により大きく変化する。またフレーム内符号化処理とフレーム間符号化処理とでも、圧縮後のビット量が変化する。
【０００５】
このためオーサリング装置は、データ圧縮の条件を一定に保持した仮のデータ圧縮処理において、光ディスクに記録する一連のビデオデータをデータ圧縮し、データ圧縮したビデオデータのビット量を順次フレーム単位で検出する。さらにこの検出したビット量に基づいて、データ圧縮の条件を変更し、これによりビデオデータに割り当てられたビット量を、仮のデータ圧縮処理におけるデータ発生量に応じて各フレームに配分して、最終的にビデオデータをデータ圧縮する。
【０００６】
これによりオーサリング装置では、光ディスク等の容量の限られたメディアに効率良くビデオデータ、オーディオデータを記録するようになされている。
【０００７】
【発明が解決しようとする課題】
ところでこのようにして仮の符号化処理により発生するビット量を基準にしてデータ圧縮の条件を設定する場合、実際上、オーサリング装置では、各フレームに対してデータ圧縮の目標ビット量を設定して符号化処理の条件が設定される。この目標ビット量の設定処理は、仮の符号化処理における発生ビット量に応じてビデオデータに許容されるデータ量をフレーム単位で配分して実行される。さらにこのようにして設定された各フレームの目標ビット量は、光ディスクに許容される最大転送速度等により補正され、オーサリング装置では、最終的に、このような種々の条件により補正された目標ビット量に従ってビデオデータを順次符号化処理する。
【０００８】
このような補正により、従来のオーサリング装置では、困難度に応じて配分した目標ビット量が最終的にＩピクチャー、Ｐピクチャー、Ｂピクチャーに適切に配分されず、その分限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することが困難な問題があった。
【０００９】
すなわちＩピクチャーにおいては、Ｐピクチャー、Ｂピクチャーに比して発生データ量が多いことにより、オーサリング装置では、このような補正によりＩピクチャーの目標ビット量が大きく低減される傾向にあり、これにより符号化後のビデオデータにおいては、Ｐピクチャー、Ｂピクチャーに比してＩピクチャーのデータ量が不足する傾向があった。
【００１０】
本発明は以上の点を考慮してなされたもので、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる符号化装置及び符号化方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、フレーム内符号化処理から続くフレーム内符号化処理までの１ブロックを単位にして、処理結果のデータ量を基準にして、ビデオデータの全体に割り当てられたデータ量を各ブロックに配分して各ブロックの目標ビット量を設定した後、各フレームに目標ビット量を配分するようにし、このとき各ブロックにおいて、各ブロックの構成に応じて目標ビット量を補正する。
【００１２】
各フレームに目標ビット量を配分した後、各ブロックの構成に応じて目標ビット量を補正すれば、事前の処理により検出されたデータ量の比率を維持して目標ビット量を設定することができ、その分各ＧＯＰにおいて、適切にビット配分することができる。
【００１３】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１４】
（１）全体構成
図２は、本発明の実施の形態に係るオーサリング装置を示すブロック図である。このオーサリング装置１は、ネットワークにより各装置を接続して構成され、光ディスクに記録する多重ストリームを生成する。
【００１５】
すなわちこのオーサリング装置１において、メニュー信号処理装置２は、スーパーバイザー３により制御されて動作を切り換え、図示しないビデオテープレコーダ等より供給されるメニュー画面のビデオデータを符号化処理し、その結果得られるビデオデータをハードディスク装置（ＨＤＤ）４に記録する。タイトル信号処理装置５は、同様に、スーパーバイザー３により制御されて動作を切り換え、図示しないビデオテープレコーダより供給されるタイトル等のビデオデータを符号化処理してハードディスク装置４に記録する。
【００１６】
オーディオ信号処理装置６は、同様に、スーパーバイザー３により制御されて動作を切り換え、図示しないテープレコーダより供給されるオーディオデータを符号化処理してハードディスク装置４に記録する。ビデオ信号処理装置７は、スーパーバイザー３の制御により、光ディスクに記録する主たる記録内容でなるビデオデータを符号化処理してハードディスク装置４に記録する。
【００１７】
マルチプレクサ８は、スーパーバイザー３の制御により、符号化処理されてハードディスク装置４に記録されたビデオデータ等について、これらビデオデータ等による多重ストリーム作成用のファイルを作成する。
【００１８】
ストリーマ９は、このマルチプレクサ８により作成された多重ストリーム作成用のファイルに従って、ハードディスク装置４よりビデオデータ等を順次読み出してシリアルデータ列を生成し、これにより多重ストリームを生成する。さらにストリーマ９は、この多重ストリームを磁気テープ等の記録媒体に記録する。これによりこのオーサリング装置１では、この記録媒体をカッティング装置に供給して光ディスクを作成できるようになされている。
【００１９】
ハードディスク装置４は、ディスクアレイにより構成され、ビデオ信号処理装置７等によりデータ圧縮されたビデオデータ等を記録し、またマルチプレクサ８等の要求に応動して保持したデータを出力する。
【００２０】
スーパーバイザー３は、このオーサリング装置１全体の動作を制御するコンピュータにより構成され、オペレータの設定した条件に従って各装置の動作を制御する。すなわちスーパーバイザー３は、オペレータの操作に従ってビデオ信号処理装置７等に編集リストを通知することにより、各装置に処理対象を通知する。さらにスーパーバイザー３は、光ディスクに記録可能なデータ量より、オーディオデータ、ビデオデータ等に割り当てるデータ量を計算し、この計算したデータ量を符号化ファイルにより各装置に通知する。
【００２１】
さらにスーパーバイザー３は、ビデオ信号について、オペレータの設定したチャプターの時間情報をビデオ信号処理装置７に通知する。ここでチャプターは、強制的にフレーム内符号化処理により符号化処理するフレームであり、この種の光ディスク装置では、このチャプターを目標にしてトラックジャンプして記録内容を確認できるようになされている。
【００２２】
さらにスーパーバイザー３は、ビデオ信号について、ＧＯＰ（Group Of Pictures ）の最大表示フィールド数（ＮＴＳＣ方式においては３６フィールド、ＰＡＬ方式においては３０フィールドの制限があることから、この実施の形態においては、ＮＴＳＣ方式の場合１５フレームに、ＰＡＬ方式の場合１２フレームに設定する）、各ＧＯＰにおける符号化処理の配列等をビデオ信号処理装置７に通知する。さらにスーパーバイザー３は、マルチアングルの処理対象についても、これをビデオ信号処理装置７に通知する。なおマルチアングルとは、複数のビデオ素材を時分割多重化して光ディスクに記録することにより、ユーザーの選択に応じて、例えば列車の走行シーン等を異なる撮影箇所より視聴できるようにした処理である。
【００２３】
かくするにつきスーパーバイザー３は、これらの情報を他の符号化に必要な情報と共に符号化ファイルによりビデオ信号処理装置７に通知する。
【００２４】
図３は、ビデオ信号処理装置７を詳細に示すブロック図である。このビデオ信号処理装置７において、ビデオテープレコーダ１０は、主コントローラ１１を介してスーパーバイザー３により通知された編集リストに従って磁気テープを再生し、これにより処理対象のビデオデータＤ１を出力する。
【００２５】
エンコーダ１２は、主コントローラ１１を介してスーパーバイザー３により通知される条件に従って動作を切り換え、ビデオテープレコーダ１０より出力されるビデオデータをデータ圧縮する。このときエンコーダ１２は、ＭＰＥＧの手法によりビデオデータＤ１をデータ圧縮し、このデータ圧縮における符号化の条件が主コントローラ１１により制御されることにより、データ圧縮して発生するビット量が主コントローラ１１により制御されるようになされている。
【００２６】
さらにエンコーダ１２は、このようにして符号化処理する際に、符号化処理結果を主コントローラ１１に通知し、これにより主コントローラ１１において、データ圧縮により発生するビット量を各フレーム単位で把握できるようになされている。またエンコーダ１２は、事前の条件設定の処理においては、単にビデオデータＤ１をデータ圧縮して処理結果を主コントローラ１１に通知するのに対し、最終的なデータ圧縮処理においては、データ圧縮処理したビデオデータＤ２をハードディスク装置４に記録し、さらに記録したアドレス、データ量等を主コントローラ１１に通知する。
【００２７】
モニタ装置１３は、エンコーダ１２によりデータ圧縮されたビデオデータＤ２をモニタできるように構成される。これによりビデオ信号処理装置７では、必要に応じてデータ圧縮した処理結果をこのモニタ装置１３により確認して、いわゆるプレビューできるようになされ、このプレビュー結果に基づいて主コントローラ１１を操作して、符号化の詳細な条件を細かく変更できるようになされている。
【００２８】
主コントローラ１１は、このビデオ信号処理装置７に割り当てられたコンピュータにより構成され、ネットワークを介して実行するスーパーバイザー３との間のデータ通信により、このビデオ信号処理装置７全体の動作を制御する。すなわち主コントローラ１１は、グラフィカルユーザーインターフェース（ＧＵＩ：Graphical User Interface）１４の管理により、スーパーバイザー３からの制御を受け付けると共に、オペレータの操作を受け付け、このグラフィカルユーザーインターフェース１４により管理されるビットアサインプログラム１５、コントロールプログラム１６、１７によりエンコーダ１２、ビデオテープレコーダ１０の動作を制御する。
【００２９】
これにより主コントローラ１１は、スーパーバイザー３により通知された条件に従って処理対象を符号化処理し、また処理結果をスーパーバイザー３に通知する。さらにグラフィカルユーザーインターフェース１４を介してオペレータの設定を受け付け、符号化の詳細な条件を変更できるようになされている。
【００３０】
すなわちコントロールプログラム１７は、スーパーバイザー３より通知される編集リストに従ってビデオテープレコーダ１０の動作を制御し、所望の編集対象を再生する。
【００３１】
またビットアサインプログラム１５は、同様にスーパーバイザー３より通知される符号化ファイルＶ．ＥＮＣに従って符号化処理の条件を各フレーム単位で決定し、この条件による制御データをファイル形式（ＣＴＬ．Ｆ）によりコントロールプログラム１６に通知する。このときビットアサインプログラム１５は、符号化処理におけるビット配分を設定し、さらに設定した条件をオペレータの操作に応動して変更する。さらにビットアサインプログラム１５は、データ圧縮したビデオデータＤ２をハードディスク装置４に記録すると、ハードディスク装置４におけるアドレスデータＶ．ＡＤＲを、マルチプレクサ８における多重化処理に必要なデータ（データ量等のデータでなる）ＶＸ．ＡＵＩと共にスーパーバイザー３に通知する。
【００３２】
コントロールプログラム１６は、ビットアサインプログラム１５より通知される制御ファイルＣＴＬ．Ｆに従ってエンコーダ１２を符号化制御する。さらに各符号化処理に要する困難度DIF のデータをフレーム単位でビットアサインプログラム１５に通知し、またハードディスク装置４にビデオデータＤ２を記録すると、ハードディスク装置４におけるアドレスデータＶ．ＡＤＲ、多重化処理に必要なデータＶＸ．ＡＵＩをビットアサインプログラム１５に通知する。
【００３３】
（２）主コントローラ１１の処理
図４は、この主コントローラ１１における処理手順を示すフローチャートである。主コントローラ１１は、スーパーバイザー３より処理の開始が指示されると、グラフィカルユーザーインターフェース１４の管理によりビットアサインプログラム１５、コントロールプログラム１６、１７を起動することにより、この処理手順を実行する。
【００３４】
すなわち主コントローラ１１は、処理の開始が指示されると、ステップＳＰ１からステップＳＰ２に移り、スーパーバイザー３より通知される符号化の条件を取得する。続いて主コントローラ１１は、ステップＳＰ３に移り、符号化処理に要する困難度DIF を測定する。
【００３５】
ここで困難度DIF は、固定した量子化ステップにより符号化処理対象でなる一連のビデオデータを符号化処理した際の、符号化処理後のデータ量である。すなわちフレーム間符号化処理においては動きの激しい部分で予測フレームからの予測誤差が大きくなり、その分、画質劣化を低減するために多くのデータ量が必要となる。またフレーム内符号化処理においては、高周波数成分の多い場合に、ディスクリートコサイン変換処理して高次の係数データが発生することにより、その分、画質劣化を低減するために多くのデータ量が必要となる。固定した量子化ステップによりビデオデータを符号化処理すれば、このように画質劣化を低減するための多くのデータ量を要する部分で多くのデータ量が検出され、これにより符号化処理に要する困難度DIF を測定することができる。
【００３６】
主コントローラ１１は、この検出原理に従ってエンコーダ１２の動作を制御することにより、固定した量子化ステップにより符号化処理する点を除いて、実際の符号化処理とほぼ同一の条件により符号化処理対象でなる一連のビデオデータを符号化処理し、またエンコーダ１２からの通知により、この符号化処理における困難度DIF をフレーム毎に測定する。
【００３７】
続いて主コントローラ１１は、ステップＳＰ４において、ビット配分計算処理を実行し、この困難度DIF より各フレームに割り当てるビット量を計算する。これにより主コントローラ１１は、処理結果のデータ量を基準にしてデータ圧縮処理の条件を設定する。
【００３８】
続いて主コントローラ１１は、ステップＳＰ５に移り、プレビューの処理を実行する。ここでこのプレビューの処理は、オペレータの操作に応動してビデオテープレコーダ１０より符号化対象のビデオデータＤ１を再生すると共に、この再生したビデオデータＤ１をステップＳＰ４において設定した符号化の条件により符号化処理し、その結果得られるビデオデータＤ２をモニタ装置１３に表示して実行される。
【００３９】
主コントローラ１１は、このプレビューの処理により、続くステップＳＰ６において、オペレータより画質の判定を受け付け、ここでオペレータが画質に満足してエンコードを指示すると、ステップＳＰ７に移る。ここで主コントローラ１１は、符号化対象でなるビデオデータＤ１をビデオテープレコーダ１０より順次再生すると共に、このビデオデータＤ１をステップＳＰ４において設定した条件により符号化処理する。さらに続くステップＳＰ７において、符号化処理結果等をスーパーバイザー３に通知した後、ステップＳＰ９に移ってこの処理手順を終了する。
【００４０】
これに対して画質に満足しないオペレータによりカスタマイズの処理が選択されると、主コントローラ１１は、ステップＳＰ６よりステップＳＰ１０に移り、ここでカスタマイズ処理を実行する。ここでこのカスタマイズ処理は、オペレータの操作に応動して部分的に符号化の条件を変更することにより、部分的に画質を変更する処理である。
【００４１】
この処理において、主コントローラ１１は、オペレータの操作に応動して困難度DIF を補正する重み付けのファイルを作成する。さらに主コントローラ１１は、続くステップＳＰ１１において、この作成したファイルに従ってステップＳＰ４と同一の処理を実行することにより、ビット再配分の処理を実行し、ステップＳＰ５に戻る。
【００４２】
これにより主コントローラ１１は、困難度DIF を基準にしてエンコーダ１２における符号化の条件を設定すると共に、オペレータの操作に応動してこの条件を順次変更するようになされ、最終的にオペレータの満足する処理条件によりビデオデータＤ１を符号化処理するようになされている。
【００４３】
図５は、図４のステップＳＰ３及びステップＳＰ４を詳細に示すフローチャートである。主コントローラ１１は、この処理手順を実行することにより、固定した量子化ステップにより符号化処理する点を除いて、実際の符号化処理とほぼ同一の条件によりビデオデータＤ１を符号化処理し、困難度DIF をフレーム毎に測定する。さらに測定した困難度DIF によりエンコーダ１２の制御用ファイルＣＴＬ．Ｆを作成する。
【００４４】
すなわち主コントローラ１１は、ステップＳＰ１６からステップＳＰ１７に移り、ここでスーパーバイザー３により設定された符号化の条件を取得した後、ステップＳＰ１８に移る。ここで主コントローラ１１は、ＧＯＰの設定処理を実行する。ここで主コントローラ１１は、図６に示すように、１５フレームで１ＧＯＰを形成するように、処理対象のビデオデータＤ１を順次ブロック化する（ＮＴＳＣ方式の場合）。また主コントローラ１１は、各ＧＯＰにおいて、連続するフレームを先頭側より３フレーム単位で区切り、最初の区切りの直前フレームをＩピクチャーに、他の区切りの直前フレームをＰピクチャーに設定し、残りのピクチャーをＢピクチャーに設定する（図６（Ａ）及び（Ｂ））。なおこの図６において、符号Ｉ、Ｐ、Ｂは、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーを示す。
【００４５】
続いて主コントローラ１１は、ステップＳＰ１９に移り、困難度DIF を測定する。主コントローラ１１は、この困難度DIF の測定において、ビデオテープレコーダ１０の動作を制御して符号化対象のビデオデータＤ１を順次再生する。さらにエンコーダ１２に符号化を指示し、この再生したビデオデータＤ１をステップＳＰ１８におけるピクチャーの設定により符号化処理する。さらに主コントローラ１１は、この符号化により得られる各フレームの発生データ量をエンコーダ１２より取得する。このとき主コントローラ１１は、困難度DIF 測定用の固定した量子化ステップにより符号化処理するようにエンコーダ１２の動作を制御する。さらに取得した発生データ量を困難度DIF のデータとしてファイル化して保持する。
【００４６】
続いて主コントローラ１１は、ステップＳＰ２０に移り、シーンチェンジの処理を実行する。すなわち主コントローラ１１は、困難度DIF の測定の際に、Ｉピクチャー、Ｐピクチャーについて、輝度レベルの直流レベル、動き補償した際の差分データの加算値をエンコーダ１２より取得し、これら直流レベル、差分データの加算値によりシーンチェンジ、フラッシュのフレームを検出する。ここでシーンチェンジは、場面が切り換わった場合であり、ＭＰＥＧにより符号化処理する場合、このシーンチェンジのフレームがＰピクチャーに設定されると、不自然に画質が劣化する特徴がある。すなわちＭＰＥＧにより符号化処理する場合、このシーンチェンジのフレームをＩピクチャーに設定することにより、ビデオデータを高品位に符号化処理することができる。
【００４７】
またフラッシュは、例えば写真撮影のフラッシュが点灯したような場合で、フラッシュのフレームを間に挟んで、前後のフレームで連続性が維持されている場合であり、ＭＰＥＧにより符号化処理する場合、このフラッシュの次のフレームをＩピクチャーに設定してビデオデータを高品位に符号化処理することができる。
【００４８】
これらのことから主コントローラ１１は、シーンチェンジ、フラッシュのフレームを検出し、シーンチェンジのフレーム、フラッシュ直後のフレームをＩピクチャーに再設定する。
【００４９】
続いて主コントローラ１１は、ステップＳＰ２１に移り、チャプターの設定処理を実行する。ここで図６との対比により図７に示すように、主コントローラ１１は、スーパーバイザー３から通知されるオペレータの指定に従って、例えば所定のＧＯＰの第６番目のフレームがチャプターのフレームに指定された場合、このＧＯＰ内のＩピクチャーをこのチャプターのフレームに変更する（図７（Ａ）及び（Ｂ））。さらに必要に応じてチャプターの直前のフレームをＰピクチャーに設定し、チャプターの前後に、前後のフレームの予測フレームが跨がらないようにＢピクチャー、Ｐピクチャーを設定する。なおこのチャプターの設定処理において、主コントローラ１１は、併せてマルチアングルに関するＩピクチャーの設定処理を実行する。
【００５０】
続いて主コントローラ１１は、ステップＳＰ２２に移り、ＧＯＰの再設定処理を実行する。ここで主コントローラ１１は、チャプター等の設定により１ＧＯＰが１５フレームを越えるようになった箇所を検出し、この検出した箇所のＰピクチャーをＩピクチャーに設定し、これにより全体として１５フレームを越えるＧＯＰが発生しないようにする。
【００５１】
このようにしてピクチャーの設定が完了すると、主コントローラ１１は、ステップＳＰ２３に移り、測定した困難度DIF の補正処理を実行する。すなわちこの実施の形態においては、シーンチェンジ等によりＩピクチャー等を設定し直すことにより、主コントローラ１１は、この設定し直したフレームに近接するフレームのデータ量を用いて補間演算処理することにより、設定し直したフレームに対応するように困難度DIF を計算する。これによりこのオーサリング装置１では、困難度の測定処理と、ピクチャーの再設定処理とを同時並列的に実行できるようになされ、その分処理に要する時間を短縮できるようになされている。
【００５２】
主コントローラ１１は、続いてステップＳＰ２４に移り、検出した困難度DIF より符号化処理の目標ビットを計算する。すなわち図８に示すように、困難度DIF が大きい部分では、その分多くのビット量を割り当てて符号化処理して画質劣化を防止することができるのに対し（図８（Ａ））、困難度DIF の小さい部分では、それ程多くのビット量を割り当てることなく符号化処理して画質劣化を防止することができる。これにより主コントローラ１１は、困難度DIF の高い部分には大きなビット量を割り当てるように、符号化処理の目標ビット量を設定する（図８（Ｂ））。かくするにつき、この設定処理により、エンコーダ１２より困難度DIF に応じた転送速度でビデオデータＤ２が出力されることになる（図８（Ｃ））。
【００５３】
このとき主コントローラ１１は、後述する処理手順を実行することにより、再生側における条件、マルチアングル、オペレータがスーパーバイザー３を介して事前に入力した条件に従って、目標ビットを計算し、これにより種々の条件を加味して光ディスクに記録可能なビット量をビデオデータに適切に配分する。
【００５４】
このようにビット配分を決定すると、主コントローラ１１は、続くステップＳＰ２５において、このビット配分に対応するようにハードディスク装置４に対するアドレスを計算し、続くステップＳＰ２６において、この計算したアドレスと目標ビットとを順次記述して制御ファイルを作成する。かくするにつき主コントローラ１１において、コントロールプログラム１６は、この目標ビットに従って困難度DIF の測定に使用した量子化テーブルを変更することにより、エンコーダ１２から出力されるビデオデータＤ２のデータ量が目標ビット量以下に納まるように、エンコーダ１２の動作を制御することになる。またこのときエンコーダ１２は、ビデオデータＤ１に付随するタイムコードとこの制御ファイルのアドレスとを対応させてこの量子化テーブルを変更することになる。
【００５５】
このようにして制御ファイルを作成すると、主コントローラ１１は、ステップＳＰ２７に移ってこの処理手順を終了する。
【００５６】
（３）ビット配分処理
図１及び図９は、図５のステップＳＰ２４について上述したビット配分処理を示すフローチャートである。主コントローラ１１は、ステップＳＰ３０からステップＳＰ３１に移り、次式の演算処理を実行し、ビデオデータに対して実際に割り当て可能な総ビット量SUPPLY BYTE を計算する。
【００５７】
【数１】
ここでUSE BYTES は、スーパーバイザー３より通知されるビデオデータＤ１に割り当て可能なデータ量であり、ハードディスク装置４に記録するエンコード結果のデータ量が対応する。またTOTAL HEADERは、ＧＯＰの総数により計算されるヘッダー等の付随的なデータのデータ量である。従って主コントローラ１１は、この（１）式の演算処理により、ヘッダー等の制御コードを除いて、ビデオデータに割り当て可能なデータ量を計算することになる。
【００５９】
続いて主コントローラ１１は、ステップＳＰ３２に移り、重み付け係数の算出処理を実行する。ここでこの実施の形態においては、困難度DIF に応じて目標ビット量を設定するようになされており、このとき各フレームの直流レベル、符号化処理の種類（Ｉ、Ｐ、Ｂピクチャーの違い）により困難度DIF を重み付けすることにより、画質を向上するようになされている。このため主コントローラ１１は、各ピクチャーで検出された直流レベル、上述したピクチャーの設定に応じて、この重み付け係数を算出する。
【００６０】
続いて主コントローラ１１は、ステップＳＰ３３に移り、測定した困難度DIF を算出した重み付け係数により重み付け処理する。ここでこの実施の形態においては、スーパーバイザー３において符号化の条件を設定する際に、各エンコードユニットに所望する画質の程度を設定できるようになされており、スーパーバイザー３においては、この設定に応じて図１０に示すような第１の重み付けテーブルを形成する。ここでこのテーブルに記載の重み付け量は、値１００がデフォルト値であり、この値１００が標準の画質を示し、値の増大に伴い目標ビット量を増大して画質を向上するようになされている。なおここでエンコードユニットは、複数のＧＯＰにより構成されるビデオデータＤ１のブロックであり、この実施の形態では連続して符号化処理可能なブロックである。すなわちエンコードユニットは、例えばビデオテープレコーダ１０において頭出しした後、連続して再生されるブロックが該当する。
【００６１】
主コントローラ１１は、このステップＳＰ３３において、各フレームの困難度を重み付け処理する際に、併せて各エンコードユニットについて、各フレームの困難度DIF を第１の重み付けテーブルにおける重み付け量により乗算した後、値１００で割り算する。
【００６２】
続いて主コントローラ１１は、ステップＳＰ３４に移り、各ＧＯＰ毎に、困難度の和GOP DIF を計算する。
【００６３】
続いて主コントローラ１１は、ステップＳＰ３５に移り、アングルブロックのうちのシームレスアングルに設定されたエンコードユニットについて、対応するＧＯＰ間で、困難度DIF の最大値を順次検出する。これにより主コントローラ１１は、ブロックアングルのうちのシームレスアングルにおいては、ＧＯＰ単位で発生データ量が等しくなるように設定する。
【００６４】
ここでアングルブロックは、複数のエンコードユニット間でデコードを切り換えた際に、切り換え時に黒色画面等が表示されて連続した画像の再生が一時中断されるノンシームレスアングルと、連続した再生が求められるシームレスアングルとがある。
【００６５】
このため図１１に示すように、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃは、前後のエンコードユニットＥ及びＦと連続してデコードされ、またエンコードユニットＡ、Ｂ、Ｃでデコードを切り換えても、連続してデコードすることが求められる（図１１（Ａ））。
【００６６】
この場合、シークに要する時間を短縮して、光ディスクよりデコーダにビデオデータを連続して供給することが必要なことにより、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃは、時分割多重化されて光ディスクに記録されることになる。すなわちエンコードユニットＡ、Ｂ、Ｃは、ＧＯＰを単位にした微小のブロックにより区切られ、これら微小のブロックがインターリーブされて多重化ストリームＤ３が形成されることになる（図１１（Ｂ）及び（Ｃ））。またこれらの微小のブロックは、エンコードユニットＡ、Ｂ、Ｃ間でフレーム数を等しく設定し、またＧＯＰを構成するＩ、Ｐ、Ｂピクチャーの配列も等しく設定する必要がある。
【００６７】
ところがこのようにしてブロックを形成した際に、エンコードユニットの対応するブロックＡ１、Ｂ１、Ｃ１間、Ａ２、Ｂ２、Ｃ２間でデータ量が大きく相違したのでは（図１１（Ｃ））、多重化ストリームを形成する際に、インターリーブによるデータの振り分けが煩雑になる（すなわちマルチプレクサ８における処理でなる）。
【００６８】
この場合にエンコードユニットＡ、Ｂ、Ｃの対応するフレーム間で発生ビット量が等しくなるように設定することにより、対応するブロック間のデータ量が等しくなるようにエンコードし、これによりマルチプレクサ８の処理を簡略化する方法が考えられるが、このようにするとエンコードユニットＡ、Ｂ、Ｃ間で著しく画質が相違する恐れある。これに対して困難度に応じて各フレームに目標ビット量を設定して符号化処理した後、スタッフビットを割り当てて対応するフレームのデータ量を等しくする方法も考えられるが、この場合には無駄なダミーデータ（図１１（Ｄ）においてハッチングにより示す）が増大し、その分ビデオデータを効率良く光ディスクに記録困難になる。
【００６９】
これに対して各ブロック単位でデータ量を一致させる方法も考えられるが、各ブロックを構成するＧＯＰの数が必ずしも一定値に設定されないことにより、この場合も実用上未だ不十分である。
【００７０】
これによりこの実施の形態では、各ブロックを構成する最大の構成単位でなるＧＯＰを単位にして、対応するＧＯＰの目標ビット量が等しくなるように設定して、結果的に対応するブロック間でデータ量が等しくなるようにする（図１１（Ｅ））。
【００７１】
すなわち主コントローラ１１は、図１２に示すように、シームレスアングルを構成するエンコードユニットＡ、Ｂ、Ｃにおいて（図１２（Ａ））、対応するＧＯＰ間で（図１２（Ｂ）〜（Ｃ））、困難度GOP DIF の最大値を順次検出して配列し、この検出した困難度の配列をエンコードユニットＡ、Ｂ、Ｃで共通する困難度に設定する（図１２（Ｅ））。なおエンコードユニットＡ、Ｂ、Ｃの困難度がステップＳＰ３２において重み付け処理されている場合、主コントローラ１１は、この重み付け処理された困難度によりこのステップＳＰ３５の処理を実行する。
【００７２】
このようにしてシームレスアングルについて困難度を補正すると、主コントローラ１１は、ステップＳＰ３６に移り、ビデオデータＤ１の全フレームについて、困難度の総和DIF SUM を計算する。ここで主コントローラ１１は、ステップＳＰ３３において重み付け処理した困難度を使用する。またシームレスアングルを構成するエンコードユニットについては、ステップＳＰ３５で検出した共通する困難度を使用する。
【００７３】
続いて主コントローラ１１は、ステップＳＰ３７に移り、ＧＯＰ単位で目標ビットを配分するための評価関数を算出する。ここで主コントローラ１１は、次式の演算処理により図１３により示される評価関数Y=AXを算出する。なお、この図１３において、GOP MAXRATE 及びGOP MINRATE は、ＧＯＰに許容される最大レート及び最小レートである。
【００７４】
【数２】
続いて主コントローラ１１は、ステップＳＰ３８に移り（図９）、次式の演算処理を実行することにより、この評価関数Y=AXを用いて各ＧＯＰに目標ビット量GOP TGT を配分する。なおここでGOP DIF は、ステップＳＰ３４で検出した各ＧＯＰにおける困難度の和である。これにより主コントローラ１１は、困難度に応じて各ＧＯＰに目標ビット量を配分する。
【００７６】
【数３】
続いて主コントローラ１１は、ステップＳＰ３９に移り、ＧＯＰ内の各フレームに目標ビット量を配分する。このとき主コントローラ１１は、（３）式により計算した各ＧＯＰの目標ビット量を困難度に応じて各フレームに比例配分した後、次式の演算処理により補正値GOP RATEを計算し、比例配分した目標ビット量TGT を必要に応じてこの補正値GOP RATEにより補正する。これにより主コントローラ１１は、各ＧＯＰの構成に応じて各フレームの目標ビット量を補正し、各ＧＯＰの目標ビット量を図１３に示した最大レートGOP MAXRATE 及び最小レートGOP MINRATE の範囲に制限すると共に、各フレームの目標ビット量を所定の制限範囲MAXBYTES以下に制限し、この制限した目標ビット量が各フレームの困難度の比率に対応するようにする。
【００７８】
【数４】
【数５】
ここでRATE ADJUST は、補正値GOP RATEを算出する際に使用する補正値である。またＣは、定数であり、 GOP nb は、フレーム数により表されるＧＯＰの長さである。また AVR Ir 、AVR Pr、AVR Brは、それぞれＧＯＰ内のＢピクチャーを基準にしたＩ、Ｐ、Ｂピクチャーの困難度DIF の比であり、NOI 、NOP 、NOB は、それぞれＧＯＰ内におけるＩ、Ｐ、Ｂピクチャーのフレーム数である。さらにAVR NOI 、AVR NOP 、AVR NOB は、全ＧＯＰにおけるNOI 、NOP 、NOB の平均値である。従ってこの実施の形態において、ＧＯＰのフレーム数が１５フレーム、１２フレーム、９フレーム、６フレーム、３フレームの場合、それぞれ GOP nb 、NOI 、NOP 、NOB は、図１４に示すような値となる（図１４（Ａ）〜（Ｅ））。
【００８１】
これにより主コントローラ１１は、（４）及び（５）式の演算処理により、対象となるＧＯＰのフレーム数に応じて変化する目標ビット量（GOP TGT ／ GOP nb ×Ｃ）を補正値RATE ADJUST により補正して補正値GOP RATEを算出する。なお（４）及び（５）式の各係数は、次式により表される。
【００８２】
【数６】
【数７】
【数８】
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
ここで AVR I DIF 、 AVR P DIF 、 AVR B DIF は、それぞれ各ＧＯＰのＩ、Ｐ、Ｂピクチャーにおける困難度の平均値であり、ΣNOP 及びΣNOB は、Ｐ、Ｂピクチャーのフレーム数である。また TOTAL GOP NUMBER は、ＧＯＰの数である。従ってそれぞれ AVR Ir 、AVR Prは、次式により表される。
【００９２】
【数１５】
【数１６】
これにより例えばＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐピクチャーの順序で連続するＧＯＰにおいては、AVR NOP 及びAVR NOB がそれぞれ値３及び８、 AVR Ir 及びAVR Prがそれぞれ値４及び２の場合、NOP 及びNOB がそれぞれ値２及び４になることから、この場合補正値RATE ADJUST は、値２／３となる。
【００９５】
主コントローラ１１は、このようにして得られる補正値GOP RATEを基準にして、最大レートGOP MAXRATE 及び最小レートGOP MINRATE に対するＧＯＰの目標ビット量GOP TGT を判定する。すなわち補正値GOP RATEがＧＯＰに許容される最大レートGOP MAXRATE 及び最小レートGOP MINRATE を越えない場合、次式の演算処理により各フレームの目標ビットTGT1を設定する。
【００９６】
【数１７】
これに対して補正値GOP RATEがＧＯＰに許容される最大レートGOP MAXRATE を越えている場合、次式の演算処理により、最大レートGOP MAXRATE を補正値GOP RATEで割り算して補正係数TGT ADJUSTを得、この補正係数TGT ADJUSTにより目標ビット量TGT を補正し、これにより各フレームの目標ビットTGT1を設定する。
【００９８】
【数１８】
【数１９】
ここで（１９）式に（４）式を代入すれば、次式の関係式を得ることができる。
【０１０１】
【数２０】
これにより主コントローラ１１は、各ＧＯＰのデータ量を最大レートGOP MAXRATE により制限するように、各フレームの目標ビット量TGT1を設定することになる。かくするにつき、この（２０）式の右辺は、ＧＯＰのフレーム数 GOP nb により、またＧＯＰ全体の困難度GOP TGT に対する対象フレームの困難度TGT の比率TGT ／GOP TGT に応じて変化することにより、主コントローラ１１は、フレーム数、困難度によるＧＯＰの構成に応じて目標ビット量TGT を補正することになる。また補正値RATE ADJUST においては、（５）式に示した分母において、全ビデオデータＰの平均値AVR NOI 、AVR NOP 、AVR NOB を導入していることにより、主コントローラ１１においては、ビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量TGT を補正することになる。これにより主コントローラ１１は、ビデオデータＤ１全体として画質劣化を有効に回避して効率良くビット配分するようになされている。
【０１０３】
これに対して補正値GOP RATEがＧＯＰに許容される最小レートGOP MINRATE を越えている場合、次式の演算処理により、最小レートGOP MINRATE を補正値GOP RATEで割り算して補正係数TGT ADJUSTを得、この補正係数TGT ADJUSTにより目標ビット量TGT を補正し、これにより各フレームの目標ビットTGT1を設定する。
【０１０４】
【数２１】
【数２２】
かくするにつきこの（２２）式についても、（４）式を代入すれば、次式の関係式を得ることができる。
【０１０７】
【数２３】
これにより主コントローラ１１は、各ＧＯＰのデータ量を最小レートGOP MINRATE によっても制限するように、各フレームの目標ビット量TGT1を設定することになり、この場合もフレーム数、困難度によるＧＯＰの構成に応じて目標ビット量TGT を補正する。さらにこのときビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量TGT を補正し、これらによりビデオデータＤ１全体として画質劣化を有効に回避して効率良くビット配分するようになされている。
【０１０９】
このようにして目標ビットをビット配分すると、主コントローラ１１は、ステップＳＰ４０に移り、ＶＢＶ（Video buffering verlfler）を計算する。すなわちこの種のオーサリング装置１により多重ストリームを生成する場合、再生装置のバッファメモリに一定量以上のビデオデータを常時保持するように多重ストリームを生成する必要がある。ちなみに再生装置においてバッファメモリのビデオデータが途絶えると、ビデオデータを連続してデコードすることが困難になる。
【０１１０】
ＶＢＶは、この実施の形態において、目標ビット量で連続するビデオデータをデコードした場合に、再生装置の仮想バッファメモリにおけるビデオデータのデータ残量を示すものであり、次式により表される。
【０１１１】
【数２４】
【数２５】
【数２６】
【数２７】
ここでSYSTEM SUPPLY は、再生系における光ピックアップからのデータ転送速度であり、光ディスクのフォーマットによる最大転送速度に対して比例係数kTを乗算して得られ、ここでＫＴは、値１より大きいものとする。またOccupancy down(k) 及びOccupancy up(k+1) は、それぞれ図１５に示すように、周期期間ＴＷでバッファメモリよりビデオデータを１フレーム毎に間欠的に読み出してデコードするとして、読み出し直後の、最もバッファ内のデータ量が低減した状態におけるバッファ内のビデオデータ残量と、その後の読み出し直前の、最もバッファ内のデータ量が増大した状態におけるバッファ内のビデオデータ残量とを示す。またOccupancy up(0) より、ＶＢＶの計算開始時においては、この実施の形態では、再生側においてバッファメモリにほぼ２／３のデータ量だけビデオデータが蓄積された状態でデコードを開始すると仮定する。
【０１１６】
主コントローラ１１は、各エンコードユニット毎に、（２４）〜（２７）式の演算処理を順次実行し、これにより図１６に示すように、各フレームの目標ビット量に応じて順次ＶＢＶの最大値VBVMAX及び最小値VBVMINの間で変化するバッファメモリの残量を計算する（図１６（Ａ）及び（Ｂ））。なおここで最大値VBVMAXが再生側バッファメモリの容量に相当し、最小値VBVMINは、残量が０の場合を示すことになる。かくするにつき、この場合に、数字１、４、７で示すＩピクチャー、Ｐピクチャーにおいて、ＶＢＶが最小値VBVMIN以下になり、再生側において、連続したビデオデータのデコードが一時途絶える恐れがある。
【０１１７】
これにより主コントローラ１１は、このようにしてＶＢＶを計算すると、続くステップＳＰ４１において、この数字１、４、７で示すＩピクチャー、Ｐピクチャーのような場合に、ＶＢＶが最小値VBVMIN以下に立ち下がらないように、目標ビット量を低減する。このとき単にＶＢＶが最小値VBVMIN以下に立ち下がらないように、最小値VBVMIN以下に立ち下がる目標ビット量を制限したのでは、困難度に応じて設定した目標ビット量のバランスが各ピクチャー間で乱れ、その分画質が劣化する。すなわちこの場合も単に最小値VBVMIN以下に立ち下がる目標ビット量を制限したのでは、主にＩピクチャーの目標ビット量が著しく低減することになる。
【０１１８】
これにより主コントローラ１１は、Occupancy min ＜VBVMINのとき、次式の演算処理を実行して補正値TGT ADJUST1 を計算する。ここでOccupancy min は、各ＧＯＰにおけるＶＢＶの最小値である。
【０１１９】
【数２８】
さらに主コントローラ１１は、この計算した補正値TGT ADJUST1 を用いて、次式の演算処理を実行し、これにより各フレームの目標ビット量TGT1を補正する。これにより主コントローラ１１は、ＶＢＶにより目標ビット量を制限する場合についても、当初に設定した比率により各ピクチャーの目標ビット量を補正して、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスの乱れを有効に回避し、これにより画質劣化を有効に回避するようになされている。
【０１２１】
【数２９】
かくして図１７に示すように、、困難度に応じたビット配分においては（図１７（Ａ１））、ＶＢＶが大きく変化し（図１７（Ａ２））、このビット配分に対して単に最大値MAX BYTES により制限を加えたのでは（図１７（Ｂ１））、例えばそれまで大きく異なっていた第１フレーム及び第４フレーム間の目標ビット量の比率が大きく変化していることがわかる。さらにこの状態でも最小値VBVMINを越えるフレームが存在することにより（図１７（Ｂ２））、ＶＢＶの制限により目標ビット量が制限する必要があり、このため次式の演算処理により目標ビット量をＮフレームで等量に低減すると（図１７（Ｃ１）及び（Ｃ２））、例えば、第２フレーム及び第３フレーム間で目標ビット量の比率が著しく変化することがわかる。ここでＮは、ＧＯＰのフレーム数である。
【０１２３】
【数３０】
【数３１】
これに対してこの実施の形態により処理すれば、図１８に示すように、図１７と同一の処理対象であっても（図１８（Ａ１）及び（Ａ２））、（４）及び（５）式によりビット配分して（図１８（Ｂ１）及び（Ｂ２））、各フレーム間で当初の目標ビット量の比率を維持することができる。さらにこのとき最小値VBVMINを越えるフレームが存在することにより、（２９）及び（３０）式の演算処理により目標ビット量を補正して（図１８（Ｃ１）及び（Ｃ２））、この当初の目標ビット量の比率を維持できることが分かる。
【０１２６】
かくして主コントローラ１１は、計算したＶＢＶにより順次目標ビット量を補正するとステップＳＰ４２に移り、ＶＢＶの境界条件により目標ビット量を補正する。ここで主コントローラ１１は、各ＧＯＰを連続して再生した場合でも、再生側のバッファメモリにおいて、ビデオデータの残量が０にならないように、目標ビット量TGT2を補正する。すなわち主コントローラ１１は、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが小さな値になっているＧＯＰを検出し、このＧＯＰについて、先頭フレームのＶＢＶより末尾フレームのＶＢＶが所定値以上大きくなるように目標ビット量TGT2を補正する。
【０１２７】
すなわち連続するＧＯＰをデコードする場合、各エンコードユニットの先頭におけるＶＢＶ（Occupancy up(0) ）は、直前のエンコードユニットにおける末尾のＶＢＶになる。これによりＧＯＰを順次再生する場合に、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが小さな値になっているＧＯＰが再生されると、再生側のバッファメモリにおいて、ビデオデータの残量が０になる場合も考えられる。すなわちこの場合には、ビデオデータの連続したデコードが一時途絶えることになる。
【０１２８】
このような場合に、先頭フレームのＶＢＶより末尾フレームのＶＢＶが所定値以上大きくなるように、各ＧＯＰの目標ビット量TGT2を設定すれば、何れの順序でＧＯＰを再生しても、再生側のバッファメモリにおいてビデオデータの残量が０になる場合を有効に回避することができる。またマルチアングルにおいても、同様に設定して、再生側のバッファメモリにおいてビデオデータの残量が０になる場合を有効に回避することができる。
【０１２９】
具体的に、主コントローラ１１は、所定量MARGINの分だけ先頭フレームのＶＢＶより末尾フレームのＶＢＶが大きくなるように設定するために必要な差分値（VBV END −MARGIN）を計算し、この差分値（VBV END −MARGIN）を各フレームの目標ビット量に応じて各フレームに振り分け、各フレームの目標ビット量より減算する。これにより主コントローラ１１は、ＶＢＶの境界条件により目標ビット量を制限する場合についても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避するようになされている。
【０１３０】
続いて主コントローラ１１は、ステップＳＰ４３に移り、余りを計算する。ここで主コントローラ１１は、ビデオデータＤ１の全フレームについて目標ビット量TGT2を加算した後、ビデオデータに割り当て可能な総ビット量SUPPLY BYTE より加算値を減算して余りREMAIN BYTESを計算する。すなわち目標ビット量は、種々の制限により補正されてなることにより、当初、総ビット量SUPPLY BYTE を困難度に応じて各ＧＯＰに配分した場合に比して減少し、これにより余りが発生する。これにより主コントローラ１１は、所定の制限範囲で、この余りを再配分し、その分ビオデデータの画質を向上する。
【０１３１】
すなわち主コントローラ１１は、続くステップＳＰ４４において、ビット配分処理の終了条件を満足しているか否か判断する。ここでこの余りが前回の余りより減少していない場合、主コントローラ１１は、終了条件を満足していると判断する。またこの余りの計算回数が５回目を迎えた場合、終了条件を満足していると判断する。この場合主コントローラ１１は、否定結果が得られることにより、ステップＳＰ４５に移る。
【０１３２】
ここで主コントローラ１１は、次式の演算処理を実行することにより、各ＧＯＰの困難度に応じて余りを配分する評価関数Ｙ＝ＱＸ＋Ｒを生成する。このとき主コントローラ１１は、ＧＯＰに許容される最大値MAX BYTES を越えることがないように、余りを配分する。すなわち図１９（Ａ）に示すように、ＧＯＰの困難度GOP DIF をｘ軸にしてＧＯＰにおける目標ビット量の配分を示すと、困難度GOP DIF に比例して目標ビット量が増大し、所定の困難度ＤＸ以上では最大値MAX BYTES に保持されることになる。
【０１３３】
これにより主コントローラ１１は、最大値MAX BYTES に対応するＧＯＰの困難度ＤＸに近づくに従って順次値が減少し、この困難度ＤＸ以上の困難度GOP DIF に対しては余りを配分しないように、評価関数を設定する（図１９（Ｂ））。ここで DIF SUMは、マルチアングル以外のエンコードユニットを除いて、困難度が値ＤＸ以下のＧＯＰにおける困難度DIF の総和であり、ｎは、これらフレームの数である。
【０１３４】
【数３２】
【数３３】
この評価関数Ｙ＝ＱＸ＋Ｒを求めると、主コントローラ１１は、ステップＳＰ３８に戻り、マルチアングル以外のエンコードユニットについて、次式の演算処理を実行する。これにより、主コントローラは、この評価関数Ｙ＝ＱＸ＋Ｒを用いて余りをマルチアングル以外の各ＧＯＰの目標ビットに余りを振り分ける。
【０１３７】
【数３４】
【数３５】
これにより主コントローラ１１は、各ＧＯＰに振り分けた余りGOP TGT ADD を続くステップＳＰ３９において、次式で示すように、各フレームに振り分けて再び上述の処理を繰り返す。
【０１４０】
【数３６】
これにより主コントローラ１１は、最大４回の範囲で、余りが減少しなくなるまで、ステップＳＰ３８−ＳＰ３９−ＳＰ４０−ＳＰ４１−ＳＰ４２−ＳＰ４３−ＳＰ４４−ＳＰ４５−ＳＰ３８の処理手順を繰り返し、順次余りを各フレームの目標ビット量に振り分ける。
【０１４２】
かくするにつき、この処理手順の繰り返しにおいても、主コントローラ１１は、ＶＢＶによる目標ビット量の補正、ＶＢＶの境界条件による目標ビット量の補正において、各ピクチャーに当初設定した目標ビット量の比率を維持して順次目標ビット量を増大することになる。これにより主コントローラ１１は、光ディスクに記録可能なビット量を充分に利用してビデオデータをエンコードして、高画質によりビデオデータを記録できるようになされている。
【０１４３】
かくして主コントローラ１１は、このようにして処理手順を繰り返して終了の条件が満足されると、ステップＳＰ４４からステップＳＰ４６に移ってこの処理手順を終了する。主コントローラ１１は、このようにして各フレームについて設定した目標ビット量に従ってコントロールプログラム１６によりエンコーダ１２の動作を制御し、これによりこの目標ビット量に応じた量子化ステップサイズによりビデオデータＤ１を順次エンコードすることになる。
【０１４４】
（４）カスタマイズ処理及びビット配分の再計算処理
プレビューの処理において、このようにして設定された符号化の条件をオペレータがモニタ装置１３により確認し、ここでオペレータがカスタマイズ処理を選択すると、主コントローラ１１は、オペレータの操作に応動して対応するエンコードユニットのうちの、オペレータの指定した区間について、図１０について上述した重み付け量に類似の第２の重み付け量を設定する（図４）。
【０１４５】
さらにオペレータによるカスタマイズが完了すると、主コントローラ１１は、ビット配分の再計算処理を実行する。このとき主コントローラ１１は、オペレータの指定した区間の困難度については第２の重み付け量で重み付けして処理する。主コントローラ１１は、この区間については、この重み付けした困難度により、図１、図９について上述した処理手順を再び実行し、これにより目標ビット量を改めて計算し直す。これによりこの実施の形態では、オペレータにより符号化の条件が異なるように変更された場合でも、適切にビット配分できるようになされている。
【０１４６】
（５）実施の形態の動作
以上の構成において、オーサリング装置１は（図２）、メニュー信号処理装置２、タイトル信号処理装置５、オーディオ信号処理装置６、ビデオ信号処理装置７にそれぞれ処理対象を記録した磁気テープ等が装填された後、スーパーバイザー３により条件が設定されると、これらメニュー信号処理装置２等により符号化処理が開始され、符号化処理したビデオデータ等がハードディスク装置４に記録され、発生データ量等が処理結果としてスーパーバイザー３に通知される。さらにマルチプレクサ８においてこの処理結果により多重化用のファイルが作成され、ストリーマ９においてこの多重化用のファイルに従ってハードディスク装置４に記録されたビデオデータ等が順次多重化されて多重化ストリームが形成される。
【０１４７】
この多重化の処理を開始する際に、スーパーバイザー３において、光ディスクのビット量からビデオデータに割り当てるデータ量USE BYTES が決定され、このデータ量USE BYTES がビデオ信号処理装置７の主コントローラ１１に通知される。また符号化対象でなるエンコードユニットを順次特定する編集ファイルがビデオ信号処理装置７の主コントローラ１１に通知され、この編集ファイルに従ってビデオテープレコーダ１０によりビデオデータＤ１が再生される。さらにオペレータの操作に応動して、重み付けテーブル（図１０）が作成され、この重み付けテーブルが符号化の条件と共にビデオ信号処理装置７の主コントローラ１１に通知される。
【０１４８】
このようにして条件が設定されると、オーサリング装置１は、ビデオ信号処理装置７の主コントローラ１１において、ビデオデータＤ１を符号化処理する詳細な条件が設定される。この条件の設定において（図５）、オーサリング装置１は、始めに各ピクチャーを順次１５フレーム単位で区切ってＧＯＰを設定した後、各ＧＯＰ内でＩ、Ｐ、Ｂピクチャーを設定する（図６）。オーサリング装置１は、このようにして設定したＩ、Ｐ、Ｂピクチャーに従って固定した量子化ステップによりエンコーダ１２でビデオデータＤ１を符号化処理し、各ピクチャーの発生ビット量が主コントローラ１１に順次通知されて符号化対象の困難度が測定される（図８）。
【０１４９】
さらにこの困難度の測定と同時にシーンチェンジの検出に必要な情報が取得され、この情報により主コントローラ１１において、Ｉピクチャーが再設定される。またチャプターの設定に応じて、さらにマルチアングルのエンコードユニットに応じてＩピクチャーが再設定され（図７）、さらに１ＧＯＰが１５フレーム以下に納まるように、ＧＯＰが再設定される。測定された困難度は、これらの再設定に対応するように補正される。
【０１５０】
その後オーサリング装置１は、この困難度により符号化処理の目標ビットを設定する。この設定は、始めにシームレスアングルを構成するエンコードユニットの対応するＧＯＰ間で、困難度GOP DIF の最大値を順次検出して配列することにより、シームレスアングルのエンコードユニットで共通する困難度が設定され、これによりインターリーブの単位を構成する最大の構成単位でなるＧＯＰを単位にして、対応するＧＯＰの目標ビット量が等しくなるように設定され、結果的に対応するブロック間でデータ量が等しくなるように設定される（図１１）。
【０１５１】
続いて事前に設定された重み付けテーブルに従って、また各ピクチャーの設定等により測定した困難度が重み付け処理され（図１０）、これによりオペレータが高画質を望むエンコードユニットについては、多くのビット量が割り当てられる。これによりエンコードユニットで符号化の条件が異なる場合でも適切にビット配分することができる。
【０１５２】
続いてオーサリング装置１では、各ＧＯＰの困難度GOP DIF に応じて、実際に割り当て可能なビット量SUPPLY BYTE が配分され、これにより各ＧＯＰの目標ビット量GOP TGT が設定される。その後各ＧＯＰにおいて、各フレームの困難度に応じて目標ビット量GOP TGT が各フレームに配分される。このとき困難度に応じて各フレームに目標ビットTGT が設定された後、フレーム数、困難度による各ＧＯＰの構成に応じて、さらにはビデオデータＤ１全体のＧＯＰの構成に対する処理対象ＧＯＰの構成に応じて目標ビット量が補正される（（４）〜（２３）式）。
【０１５３】
これにより各フレームの目標ビット量においては、当初、困難度に応じて各フレームに設定された目標ビット量の比率が維持されて、ＧＯＰに許容される最大レートGOP MAXRATE 及び最小レートGOP MINRATE を越ないように設定される。またＧＯＰによりフレーム数が異なる場合でも、当初、困難度に応じて各フレームに設定された目標ビット量の比率が維持されて、目標ビット量が補正される。かくするにつき、例えばＧＯＰ単位で単純にビットレートを検出すると、長さの短いＧＯＰ程、高ビットレートに設定され、これにより単にビットレートにより目標ビット量を制限したのでは、長さの短いＧＯＰにおいては、Ｉピクチャーに割り当てるデータ量が著しく減少し、これにより画質が劣化することになる。
【０１５４】
これらによりオーサリング装置では、画質の低下を防止するために多くのデータ量を必要とするＩピクチャーに対して多くの目標ビット量を割り当てたまま、このＩピクチャーの画質に対応するようにＢ、Ｐピクチャーの目標ビット量が設定され、これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができるようになされている。
【０１５５】
このようにして目標ビット量TGT が補正されると、続いてこの計算した目標ビット量TGT によるビデオデータをデコードするとして、再生側のバッファメモリにおけるビデオデータのデータ量が計算され、これによりＶＢＶが計算される（（２５）〜（２７）式）。さらにこのＶＢＶの計算により、このバッファメモリにおいて、ビデオデータが途絶えることがないように、各ＧＯＰ単位で目標ビット量が補正される（（２８）及び（２９）式）。この補正において、目標ビット量は、当初設定した比率により各ピクチャーの目標ビット量を補正して、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが乱れないように補正される。これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮できるようにする。
【０１５６】
続いてオーサリング装置１では、ＶＢＶの境界条件により目標ビット量が補正される。ここでオーサリング装置では、各ＧＯＰを連続して再生した場合でも、再生側のバッファメモリにおいて、ビデオデータの残量が０にならないように、各ＧＯＰにおいて、先頭フレームのＶＢＶに比して末尾フレームのＶＢＶが大きな値になるように、目標ビット量が補正される。すなわちこの規則に違反するＧＯＰが検出され、このＧＯＰについて、所定量MARGINの分だけ先頭フレームのＶＢＶより末尾フレームのＶＢＶが大きくなるように設定するために必要な差分値（VBV END −MARGIN）が計算され、この差分値（VBV END −MARGIN）が各フレームの目標ビット量に応じて各フレームに振り分けられて補正される。
【０１５７】
これによりオーサリング装置では、ＶＢＶの境界条件により目標ビット量を制限する場合についても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避するようになされている。
【０１５８】
かくするにつき、これら一連の補正によりビデオデータＤ１においては、余りが発生することになり、オーサリング装置１では、ＧＯＰに許容される最大値MAX BYTES を目標ビット量が越えることがないようにして、困難度を基準にしてこの余りがマルチアングル以外の各ＧＯＰに配分され、その後同様の処理により各フレームの目標ビット量が設定される。これによりオーサリング装置では、この余りの配分により光ディスクに記録可能な容量を充分にビデオデータに割り当て、ビオデデータの画質を向上する。さらに目標ビット量の設定処理と同様の処理により、余りを配分することにより、この余りの配分においても、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスが著しく乱れないようにし、これにより適切にビット配分して画質劣化を有効に回避する。
【０１５９】
このように符号化の条件が設定されると、ビデオデータＤ１は、オペレータによりプレビューされ、オペレータによりカスタマイズが選択されると、オペレータの選択した区間の間、所望の重み付け量が設定され、この重み付け量より困難度が重み付け処理されて再びビット量の配分処理が繰り返される。これにより符号化の条件を変更した場合でも適切にビット配分され、このビット配分によりビデオデータＤ１が符号化処理される。
【０１６０】
（６）実施の形態の効果
以上の構成によれば、事前のデータ圧縮処理により測定した困難度を基準にして、データ圧縮の目標データ量を設定する際に、ＧＯＰを単位にして設定した目標ビット量を各フレームに配分した後、各ＧＯＰの構成により補正することにより、Ｉ、Ｐ、Ｂピクチャー間における目標ビット量のバランスを乱すことなく目標ビット量を補正することができ、これにより限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる。
【０１６１】
すなわちＧＯＰのフレーム数に応じて、目標ビット量を補正することにより、ＧＯＰによりフレーム数が異なる場合でも、適切に目標ビット量を補正することができる。
【０１６２】
またＧＯＰの困難度に対する対象フレームの困難度に応じて、目標ビット量を補正して、各ブロックの構成に応じて目標ビット量を補正することにより、困難度により当初設定した目標ビット量のバランスを保持したまま、目標ビット量を補正することができる。
【０１６３】
さらにＶＢＶによる補正処理においても、困難度の比率に応じて、目標ビット量を補正することにより、当初設定した目標ビット量のバランスを保持したまま、目標ビット量を補正することができる。
【０１６４】
（７）他の実施の形態
なお上述の実施の形態においては、ビデオ信号処理装置７における処理に本発明を適用する場合について述べたが、本発明はこれに限らず、タイトル信号処理装置５、メニュー信号処理装置２についても同様にビデオデータを処理対象にしてなることにより、これらタイトル信号処理装置５、メニュー信号処理装置２についても併せて本発明を適用して、これらタイトル用ビデオデータ、メニュー用ビデオデータとの間でも、適切にビット配分してもよい。
【０１６５】
また上述の実施の形態においては、ピクチャーの再設定後、測定した困難度を補正することにより、再設定後のピクチャーの配列に対応する困難度を検出する場合について述べたが、本発明はこれに限らず、ピクチャーの再設定後、実際の符号化処理により再設定後のピクチャーの配列による困難度を測定してもよい。
【０１６６】
また上述の実施の形態においては、ＭＰＥＧによりビデオデータを符号化処理してデータ圧縮する場合について述べたが、本発明はこれに限らず、種々の符号化手法によりビデオデータを符号化処理してデータ圧縮する場合に広く適用することができる。
【０１６７】
さらに上述の実施の形態においては、本発明を光ディスクのオーサリング装置に適用する場合について述べたが、本発明はこれに限らず、種々の記録媒体にビデオデータを記録する場合、さらには種々の伝送路を介してビデオデータを伝送する場合に広く適用することができる。
【０１６８】
【発明の効果】
上述のように本発明によれば、事前のデータ圧縮処理により検出したデータ量を基準にして、データ圧縮の目標データ量を設定する際に、所定のブロックを単位にして設定した目標ビット量を各フレームに配分した後、各ブロックの構成により補正することにより、限られたデータ量を適切に配分して高画質によりビデオデータをデータ圧縮することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るオーサリング装置における主コントローラのビット配分の処理手順を示すフローチャートである。
【図２】図１のオーサリング装置の全体構成を示すブロック図である。
【図３】図２のビデオ信号処理装置を示すブロック図である。
【図４】図３のビデオ信号処理装置における主コントローラにおける処理手順を示すフローチャートである。
【図５】図４の処理手順における困難度の測定処理を詳細に示すフローチャートである。
【図６】ＧＯＰの構成を示す略線図である。
【図７】チャプターの設定の説明に供する略線図である。
【図８】困難度の説明に供する略線図である。
【図９】図１の続きの処理手順を示すフローチャートである。
【図１０】重み付けテーブルを示す図表である。
【図１１】シームレスアングルの説明に供する略線図である。
【図１２】シームレスアングルにおける困難度の設定処理の説明に供する略線図である。
【図１３】各ＧＯＰに対する目標ビットの割り当てに使用する評価関数を示す特性曲線図である。
【図１４】フレーム数の異なるＧＯＰを示す特性曲線図である。
【図１５】ＶＢＶの説明に供する特性曲線図である。
【図１６】ＶＢＶによる目標ビットの補正の説明に供する特性曲線図である。
【図１７】単に目標ビット量を制限することによる目標ビットの補正の説明に供する特性曲線図である。
【図１８】ＧＯＰの構成に応じて目標ビットを補正する場合の説明に供する特性曲線図である。
【図１９】余りの配分に使用する評価関数を示す特性曲線図である。
【符号の説明】
１……オーサリング装置、３……スーパーバイザー、７……ビデオ信号処理装置、１１……主コントローラ、１２……エンコーダ
Claims (4)
- 画像データを符号化する符号化装置において、
シームレスアングルを構成するエンコードユニットの対応するＧＯＰ間で困難度の最大値を検出し、前記対応するＧＯＰの困難度を前記最大値に設定することにより、前記画像データの符号化処理に要する困難度を補正する困難度補正手段と、
前記困難度補正手段により補正された困難度に応じて、前記画像データを符号化処理する際の目標ビット量をＧＯＰ毎に配分する目標ビット量配分手段と、
前記目標ビット量配分手段により配分された目標ビット量に従って、前記画像データを符号化する符号化手段と
を備えることを特徴とする符号化装置。 - 固定した量子化ステップで前記画像データを符号化処理し、発生データ量からＧＯＰ又はフレーム毎に、前記困難度を算出する困難度算出手段を更に備える
ことを特徴とする請求項１に記載の符号化装置。 - 前記目標ビット量配分手段は、
ＧＯＰ毎に配分した前記目標ビット量を、ＧＯＰを構成するフレーム毎に配分する
ことを特徴とする請求項１に記載の符号化装置。 - 画像データを符号化する符号化方法において、
シームレスアングルを構成するエンコードユニットの対応するＧＯＰ間で困難度の最大値を検出し、前記対応するＧＯＰの困難度を前記最大値に設定することにより、前記画像データの符号化処理に要する困難度を補正する困難度補正ステップと、
前記困難度補正ステップにより補正された困難度に応じて、前記画像データを符号化処理する際の目標ビット量をＧＯＰ毎に配分する目標ビット量配分ステップと、
前記目標ビット量配分ステップにより配分された目標ビット量に従って、前記画像データを符号化する符号化ステップと
を備えることを特徴とする符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09709697A JP4061511B2 (ja) | 1997-04-15 | 1997-04-15 | 符号化装置及び符号化方法 |
| US09/059,676 US6282242B1 (en) | 1997-04-15 | 1998-04-13 | Data compression device that switches between intra-frame coding and inter-frame coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09709697A JP4061511B2 (ja) | 1997-04-15 | 1997-04-15 | 符号化装置及び符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10290426A JPH10290426A (ja) | 1998-10-27 |
| JP4061511B2 true JP4061511B2 (ja) | 2008-03-19 |
Family
ID=14183108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09709697A Expired - Fee Related JP4061511B2 (ja) | 1997-04-15 | 1997-04-15 | 符号化装置及び符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6282242B1 (ja) |
| JP (1) | JP4061511B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4123567B2 (ja) * | 1998-04-30 | 2008-07-23 | ソニー株式会社 | 画像信号処理装置及び方法 |
| KR100341063B1 (ko) | 2000-06-28 | 2002-06-20 | 송문섭 | 실시간 영상 통신을 위한 율제어 장치 및 그 방법 |
| WO2002086869A1 (fr) * | 2001-04-19 | 2002-10-31 | Sony Corporation | Appareil lecteur/enregistreur numerique |
| GB2387055A (en) * | 2002-03-28 | 2003-10-01 | Sony Uk Ltd | Data compression method including target data quantity allocation |
| KR20050022160A (ko) * | 2003-08-26 | 2005-03-07 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더 |
| JP2008503959A (ja) * | 2004-06-21 | 2008-02-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | デジタルビデオ信号を選択的にトランスコードするシステム及び方法 |
| EP2164262B1 (en) * | 2005-01-10 | 2013-03-20 | Panasonic Corporation | Picture coding apparatus and picture decoding apparatus |
| JP5250824B2 (ja) | 2008-05-30 | 2013-07-31 | 株式会社メガチップス | トランスコーダ |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| EP0784409A3 (en) * | 1996-01-11 | 2001-11-14 | Sony Corporation | Video coding and multiplexing |
| JPH1079948A (ja) * | 1996-09-03 | 1998-03-24 | Mitsubishi Electric Corp | 画像符号化装置 |
-
1997
- 1997-04-15 JP JP09709697A patent/JP4061511B2/ja not_active Expired - Fee Related
-
1998
- 1998-04-13 US US09/059,676 patent/US6282242B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6282242B1 (en) | 2001-08-28 |
| JPH10290426A (ja) | 1998-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3361009B2 (ja) | ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム | |
| JP4156040B2 (ja) | 送信チャネルを介して複数のテレビジョン信号を送信する装置 | |
| JPH0787444A (ja) | 圧縮符号化データ記録方法 | |
| JP4655191B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4061511B2 (ja) | 符号化装置及び符号化方法 | |
| JP3837889B2 (ja) | エンコード方法およびエンコード装置 | |
| US20090263108A1 (en) | Information processing apparatus and information processing method | |
| JP4650454B2 (ja) | 符号化装置及び符号化方法 | |
| JP3951152B2 (ja) | 画像符号化装置および方法 | |
| JPH10290428A (ja) | データ圧縮装置 | |
| JPH10290429A (ja) | データ圧縮装置 | |
| JP4462643B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH10304372A (ja) | 画像符号化方法および装置、画像伝送方法 | |
| JPH10290427A (ja) | データ圧縮装置 | |
| JP3714302B2 (ja) | 画像データ処理装置及び方法 | |
| JP3736503B2 (ja) | 画像データ処理装置及び方法 | |
| JP3736504B2 (ja) | 画像データ処理装置及び方法 | |
| JP4207098B2 (ja) | 符号化制御装置及び符号化制御方法、符号化装置及び符号化方法 | |
| EP1221259A1 (en) | Converting non-temporal based compressed image data to temporal based compressed image data | |
| JP4539755B2 (ja) | 情報処理システム及び情報処理方法、並びにプログラム | |
| JP3882826B2 (ja) | 画像信号符号化装置及び画像信号符号化方法 | |
| JP3882825B2 (ja) | 画像信号符号化装置及び画像信号符号化方法 | |
| JP2009260436A (ja) | 情報処理装置及び情報処理方法、並びにプログラム | |
| JP2011155474A (ja) | 符号化装置およびそれを用いたシステム | |
| JP2006121415A (ja) | 動画符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |