JPH1066092A - Video data compressor and its method - Google Patents

Video data compressor and its method

Info

Publication number
JPH1066092A
JPH1066092A JP9105739A JP10573997A JPH1066092A JP H1066092 A JPH1066092 A JP H1066092A JP 9105739 A JP9105739 A JP 9105739A JP 10573997 A JP10573997 A JP 10573997A JP H1066092 A JPH1066092 A JP H1066092A
Authority
JP
Japan
Prior art keywords
video data
picture
compression
data
compressed video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9105739A
Other languages
Japanese (ja)
Inventor
Kanji Mihara
寛司 三原
Atsuo Yada
敦雄 矢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9105739A priority Critical patent/JPH1066092A/en
Publication of JPH1066092A publication Critical patent/JPH1066092A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Abstract

PROBLEM TO BE SOLVED: To apply compression coding to video data in real time without deteriorating the quality of a video image of a scene change part. SOLUTION: An encoder control section 12 calculates sequentially a difference between two pictures (inter-frame residual value). A host computer 20 monitors a secular change of the inter-frame residual value and when the inter-frame residual value reaches a multiple of 1.5 or over in comparison with a just preceding inter-frame residual value, a border (scene change) of two video data in a time direction is detected. When the scene change is detected, the host computer 20 changes a picture sequence so that the quality of the video image is not deteriorated and the data amount assigned to each picture is calculated. An encoder 18 applies compression coding to video data based on the revised picture sequence and object data amount.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、非圧縮映像データ
を圧縮符号化する映像データ圧縮装置およびその方法に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video data compression apparatus for compressing and encoding non-compressed video data and a method thereof.

【0002】[0002]

【従来の技術】例えば、MPEG(moving picture expe
rts group)方式では、非圧縮のディジタル映像データ
を、Iピクチャー(intra coded picture) 、Bピクチャ
ー(bi-directionaly coded picture) およびPピクチャ
ー(predictive coded picture)から構成されるGOP(g
roup of pictures) 単位に圧縮符号化する。
2. Description of the Related Art For example, MPEG (moving picture expe
In the rts group) system, uncompressed digital video data is converted into a GOP (g) composed of an I picture (intra coded picture), a B picture (bi-directionaly coded picture), and a P picture (predictive coded picture).
roup of pictures) Compression-encodes in units.

【0003】このようなMPEG方式を採用した場合
に、編集処理により、時間方向に相関しない複数の非圧
縮映像データ(以下、シーンとも記す)を連続的に接続
して1つの非圧縮映像データ(編集映像データ)とし、
この編集映像データを、例えば、ピクチャータイプシー
ケンスI,B,P,B,P,B,P,B,P,B,P,
Bで圧縮符号化すると、圧縮符号化後のシーンの最初の
ピクチャーがPピクチャーになることがある。この最初
のPピクチャーを伸長復号するためには、直前のピクチ
ャーを参照する必要があるが、それは、他のシーンから
生成された圧縮映像データであるから、最初のPピクチ
ャーの伸長復号に、相関がない他のシーンから生成され
たピクチャーを用いることとなり、動き予測誤差が著し
く増大するため膨大なデータ量が必要となり、限られた
データ量しか使用できない場合には、伸長復号後の映像
が劣化してしまう。
When such an MPEG system is adopted, a plurality of uncompressed video data (hereinafter, also referred to as a scene) which are not correlated in a time direction are connected by editing processing to form one uncompressed video data (hereinafter, also referred to as a scene). Edited video data)
This edited video data is, for example, a picture type sequence I, B, P, B, P, B, P, B, P, B, P,
When compression encoding is performed using B, the first picture of the scene after the compression encoding may be a P picture. In order to decompress and decode the first P picture, it is necessary to refer to the immediately preceding picture. However, since this is compressed video data generated from another scene, the first P picture is not correlated with the decompressed decoding of the first P picture. If a limited amount of data can be used, the picture after decompression decoding will be degraded. Resulting in.

【0004】かかる不具合を解消するために、例えば、
特開平7−193818号公報に画像処理方法および画
像処理装置が開示されている。特開平7−193818
号公報に開示された画像処理方法および画像処理装置
は、例えば2つのシーン(第1のシーンと第2のシー
ン)を含む非圧縮の編集映像データを、例えば、上記ピ
クチャータイプシーケンスI,B,P,B,P,B,
P,B,P,B,P,Bで圧縮符号化する際に、第2の
シーンを圧縮符号化した第2の圧縮映像データ(下に示
すピクチャータイプシーケンスにおけるI2 ,B2 ,P
2 )の先頭のPピクチャーを、第1のシーンを圧縮符号
化した第1の圧縮映像データ(下に示すピクチャータイ
プシーケンスにおけるI1 ,B1 ,P1 )の最後のピク
チャーを参照しないIピクチャーに変更し、さらに、発
生するデータ量の増大を抑えるために、第1の圧縮映像
データの最後のIピクチャーをPピクチャーに変更して
圧縮符号化を行う。
In order to solve such a problem, for example,
JP-A-7-193818 discloses an image processing method and an image processing apparatus. JP-A-7-193818
The image processing method and the image processing apparatus disclosed in Japanese Patent Application Laid-Open No. H10-15095 convert uncompressed edited video data including, for example, two scenes (a first scene and a second scene) into, for example, the picture type sequences I, B, P, B, P, B,
When compression encoding is performed using P, B, P, B, P, and B, second compressed video data obtained by compressing and encoding the second scene (I 2 , B 2 , P in the picture type sequence shown below)
2 ) the first P picture is an I picture which does not refer to the last picture of the first compressed video data (I 1 , B 1 , P 1 in the picture type sequence shown below) obtained by compression encoding the first scene. In order to suppress an increase in the amount of generated data, compression encoding is performed by changing the last I picture of the first compressed video data to a P picture.

【0005】つまり具体的には、特開平7−19381
8号公報に開示された画像処理方法および画像処理装置
は、上記ピクチャータイプシーケンスを変更せずに圧縮
符号化して、第1の圧縮映像データおよび第2の圧縮映
像データが、ピクチャータイプシーケンスB1 ,I1
1 ,P1 ,B1 ,P1 ,B1 ,P2 ,B2 ,P2 ,B
2 ,P2 ,B2 で得られる場合に、第1の圧縮映像デー
タの最後のIピクチャーをPピクチャーに変更し、さら
に、第2の圧縮映像データの最初のPピクチャーをIピ
クチャーに変更して圧縮符号化し、ピクチャータイプシ
ーケンスB1 ,P1 ,B1 ,P1 ,B1 ,P1 ,B1
2 ,B2 ,P2 ,B2 ,P2 ,B2 の第1の圧縮映像
データおよび第2の圧縮映像データを得るように構成さ
れている。
That is, specifically, Japanese Patent Application Laid-Open No. 7-19381
The image processing method and image processing apparatus disclosed in 8 JP compresses encoded without changing the picture type sequence, the first compressed image data and second compressed image data, picture type sequence B 1 , I 1 ,
B 1 , P 1 , B 1 , P 1 , B 1 , P 2 , B 2 , P 2 , B
2 , P 2 , B 2 , the last I picture of the first compressed video data is changed to a P picture, and the first P picture of the second compressed video data is changed to an I picture. To compress and encode the picture type sequences B 1 , P 1 , B 1 , P 1 , B 1 , P 1 , B 1 ,
The first and second compressed video data of I 2 , B 2 , P 2 , B 2 , P 2 , and B 2 are obtained.

【0006】一方、例えば、MPEG方式で圧縮符号化
された圧縮映像データを、光磁気ディスク(MOディス
ク;magneto-oprical disc)等の記録媒体に記録する際
には、圧縮符号化後の圧縮映像データのデータ量(ビッ
ト量)を、伸長復号後の映像の品質を高く保ちつつ記録
媒体の記録容量以下、あるいは、通信回線の伝送容量以
下にする必要がある。このために、まず、非圧縮映像デ
ータを予備的に圧縮符号化して圧縮符号化後のデータ量
を見積もり(1パス目)、次に、見積もったデータ量に
基づいて圧縮率を調節し、圧縮符号化後のデータ量が記
録媒体の記録容量以下になるように再度、圧縮符号化す
る(2パス目)方法が採られる(以下、このような圧縮
符号化方法を「完全2パスエンコード」とも記す)。
On the other hand, for example, when recording compressed video data that has been compression-encoded by the MPEG system on a recording medium such as a magneto-optical disk (MO disk; magneto-oprical disc), the compressed video data after compression-encoding is used. The data amount (bit amount) of the data must be equal to or less than the recording capacity of the recording medium or equal to or less than the transmission capacity of the communication line while maintaining high quality of the video after the decompression decoding. For this purpose, first, the non-compressed video data is preliminarily compression-encoded and the data amount after the compression and encoding is estimated (first pass). Next, the compression rate is adjusted based on the estimated data amount, and the compression is adjusted. A method of performing compression encoding (second pass) again so that the data amount after encoding becomes equal to or less than the recording capacity of the recording medium is employed (hereinafter, such a compression encoding method is also referred to as “complete two-pass encoding”). Write).

【0007】[0007]

【発明が解決しようとする課題】しかしながら、上述し
た完全2パスエンコードにより圧縮符号化を行うと、同
じ非圧縮映像データに対して同様な圧縮符号化処理を2
回施す必要があり、時間がかかってしまう。また、1回
の圧縮符号化処理で最終的な圧縮映像データを生成する
ことができないために、撮影した映像データをそのまま
実時間的(リアルタイム)に圧縮符号化し、記録または
伝送することができない。
However, when compression encoding is performed by the above-described complete two-pass encoding, the same compression encoding processing is performed on the same uncompressed video data.
It has to be applied twice, which takes time. Further, since the final compressed video data cannot be generated by one compression encoding process, the captured video data cannot be directly compression-encoded in real time, recorded, or transmitted.

【0008】そこで、実時間的な圧縮符号化を可能にす
るために、非圧縮画像データをFIFOによるフレーム
ディレイ回路および第1のエンコーダに入力し、第1の
エンコーダにおいて、非圧縮画像データについて短時間
分だけディフィカルティ(難しさ)の情報を求め、フレ
ームディレイ回路において遅延された非圧縮画像データ
と、第1のエンコーダからのディフィカルティの情報と
を、第2のエンコーダに出力する。そして、第2のエン
コーダにおいて、第1のエンコーダからのディフィカル
ティの情報に基づいて決定したターゲットビットに基づ
いて、入力した非圧縮画像データを符号化する方法が提
案されている(以下、このような圧縮符号化方法を「簡
易2パスエンコード」とも記す)。
Therefore, in order to enable real-time compression encoding, the non-compressed image data is input to a frame delay circuit using a FIFO and a first encoder. The information of the difficulty (difficulty) is obtained for the time, and the uncompressed image data delayed by the frame delay circuit and the information of the deficitity from the first encoder are output to the second encoder. Then, in the second encoder, there has been proposed a method of encoding input non-compressed image data based on target bits determined based on difficulty information from the first encoder. A simple compression encoding method is also referred to as “simple two-pass encoding”).

【0009】ところで、このような簡易2パスエンコー
ドを採用すれば、前述した編集処理において、時間方向
に相関しない複数の非圧縮映像データ(以下、シーンと
も記す)を連続的に接続して1つの非圧縮映像データ
(編集映像データ)とした後に圧縮符号化を行う際に、
第1のエンコーダにおいて求めたディフィカルティを利
用してシーンチェンジを検出することが考えられる。す
なわち、シーンチェンジに伴うピクチャタイプの変更機
能と、簡易2パスによるピクチャ単位でのレートアサイ
ン機能とを組み合わせることが考えられる。しかしなが
ら、これには以下のような問題がある。すなわち、1パ
ス目に行うディフィカルティの検出においては、本来の
GOP位相で、シーンチェンジ対策を行わない状態でエ
ンコードを行い、それによる発生ビット量などからディ
フィカルティを測定する。次に、その測定したディフィ
カルティに基づいて、シーンチェンジを検出し、ピクチ
ャタイプの変更(入れ替え)を行う。しかしながら、こ
のようにピクチャタイプを変更した結果、2パス目に実
際のエンコードを行うときに、ディフィカルティを測定
したピクチャタイプと異なるピクチャタイプで符号化を
行うことになり、ディフィカルティの測定結果が適切に
使用されないという問題がある。
By the way, if such a simple two-pass encoding is employed, in the above-described editing processing, a plurality of uncompressed video data (hereinafter, also referred to as scenes) which are not correlated in the time direction are connected continuously to form one image. When performing compression encoding after converting to uncompressed video data (edited video data),
It is conceivable to detect a scene change using the difficulty obtained by the first encoder. That is, it is conceivable to combine the function of changing the picture type with a scene change and the rate assignment function in picture units by a simple two-pass. However, this has the following problems. That is, in the detection of the difficulty performed in the first pass, encoding is performed in the original GOP phase without taking measures against scene changes, and the difficulty is measured from the amount of bits generated thereby. Next, a scene change is detected based on the measured difficulty, and the picture type is changed (replaced). However, as a result of changing the picture type in this way, when actual encoding is performed in the second pass, encoding is performed with a picture type different from the picture type whose diffuseness has been measured. There is a problem that it is not used properly.

【0010】本発明は上述した従来技術の問題点に鑑み
てなされたものであり、2パスエンコードによらずに、
複数のシーンを連続的に含む映像データを所定のデータ
量以下に圧縮符号化して圧縮映像データを生成すること
ができ、しかも、連続的な複数のシーンの時間方向にお
ける境界(シーンチェンジ)部分を圧縮符号化した圧縮
映像データに対する伸長復号の結果として得られる映像
の品質を保持することができる映像データ圧縮装置およ
びその方法を提供することを目的とする。
[0010] The present invention has been made in view of the above-mentioned problems of the prior art.
Compressed video data can be generated by compressing and encoding video data continuously including a plurality of scenes to a predetermined data amount or less, and furthermore, a boundary (scene change) portion in a time direction of a plurality of continuous scenes is determined. It is an object of the present invention to provide a video data compression device and a video data compression method capable of maintaining the quality of a video obtained as a result of decompression decoding of compressed video data.

【0011】また、本発明は、シーンチェンジやカメラ
フラッシュ等を含む映像データを高い圧縮率で圧縮符号
化可能である上に、シーンチェンジやカメラフラッシュ
の前後に発生する符号化歪みを顕著に低減することがで
きる映像データ圧縮装置およびその方法を提供すること
を目的とする。
According to the present invention, video data including a scene change and a camera flash can be compression-encoded at a high compression rate, and the encoding distortion generated before and after the scene change and the camera flash is significantly reduced. It is an object of the present invention to provide a video data compression device and a video data compression method capable of performing the same.

【0012】[0012]

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る映像データ圧縮装置は、非圧縮映像デ
ータを順次、それぞれ所定の遅延時間Tk ずつ(n−
1)段階に遅延する(n−1)個の遅延手段と(但し、
n,kは整数、2≦n,1≦k≦n)、それぞれ前記非
圧縮映像データ、または、前記(n−1)個の遅延手段
それぞれが順次、遅延した前記非圧縮映像データを、所
定の圧縮符号化方法により圧縮符号化して圧縮映像デー
タを生成するn個の圧縮符号化手段と、第1番目〜第n
−1番目の前記圧縮符号化手段が生成した前記圧縮映像
データから所定の付加データを生成する付加データ生成
手段とを有し、第k番目の前記圧縮符号化手段は、前記
付加データ生成手段が、第(k−1)番目の前記圧縮符
号化手段が生成した前記圧縮映像データから生成した前
記付加データに基づいて、第1番目〜第(k−1)番目
の前記遅延手段が順次、遅延した前記非圧縮映像データ
を圧縮符号化する。
To achieve the above object, according to the Invention The video data compression apparatus according to the present invention, the non-compressed video data successively, each by a predetermined delay time T k (n-
1) (n-1) delay means delayed in stages,
n, k are integers, 2 ≦ n, 1 ≦ k ≦ n), each of the uncompressed video data or the (n−1) delay means sequentially delays the uncompressed video data by a predetermined number. Compression encoding means for generating compressed video data by performing compression encoding by the compression encoding method of
And an additional data generation unit for generating predetermined additional data from the compressed video data generated by the first compression encoding unit. The k-th compression encoding unit may include: , Based on the additional data generated from the compressed video data generated by the (k-1) th compression encoding means, the first to (k-1) th delay means sequentially delay the Compression encoding the uncompressed video data.

【0013】好適には、1(n=2)個の前記遅延手段
および2個の前記圧縮符号化手段を有し、連続する複数
の非圧縮映像データそれぞれを圧縮符号化した後の先頭
のピクチャーがPピクチャーまたはIピクチャーになる
ように、前記複数の非圧縮映像データのピクチャーの順
序を変更する順序変更手段と、ピクチャーの順序を変更
した前記複数の非圧縮映像データのフレーム間の差分値
または予測誤差値を算出する差分値・予測誤差算出手段
とをさらに有し、2個の前記圧縮符号化手段の内、第1
の圧縮符号化手段は、ピクチャーの順序を変更した前記
複数の非圧縮映像データを、一定のピクチャータイプシ
ーケンスを有する所定の圧縮符号化方法により圧縮符号
化し、複数の種類のピクチャーを含む第1の圧縮映像デ
ータを生成し、前記遅延手段は、前記非圧縮映像データ
が所定の数のピクチャー入力される時間だけ、前記非圧
縮映像データを遅延し、前記付加データ生成手段は、算
出した前記差分値または前記予測誤差値、および、前記
非圧縮映像データが所定の数のピクチャー入力される間
に生成した前記第1の圧縮映像データのデータ量に基づ
いて、前記複数の非圧縮映像データを圧縮符号化した後
の圧縮映像データのデータ量の目標値を示す目標値デー
タを、前記付加データとして、同じ非圧縮映像データを
圧縮符号化した圧縮映像データのピクチャーのデータ量
のみと相関を有するように、ピクチャーごとに生成し、
2個の前記圧縮符号化手段の内、第2の圧縮符号化手段
は、遅延した前記複数の非圧縮映像データを、前記第1
の圧縮符号化手段の圧縮符号化方法に対応する圧縮符号
化方法により圧縮符号化し、前記複数の非圧縮映像デー
タそれぞれに対応する第2の圧縮映像データを生成す
る。
Preferably, the head picture includes one (n = 2) of the delay units and two of the compression encoding units, and is the first picture after compression encoding of each of a plurality of continuous non-compressed video data. Means for changing the order of the pictures of the plurality of uncompressed video data so that the picture becomes a P picture or an I picture; Further comprising a difference value / prediction error calculating means for calculating a prediction error value;
Compression encoding means compresses and encodes the plurality of uncompressed video data in which the order of pictures has been changed by a predetermined compression encoding method having a predetermined picture type sequence, and includes a first encoding method including a plurality of types of pictures. The compressed video data is generated, the delay unit delays the uncompressed video data by a time during which the uncompressed video data is input for a predetermined number of pictures, and the additional data generation unit generates the calculated difference value Alternatively, the plurality of non-compressed video data are compressed and encoded based on the prediction error value and the data amount of the first compressed video data generated while a predetermined number of pictures of the uncompressed video data are input. Target value data indicating the target value of the data amount of the compressed video data after the compression, as the additional data, a compression value obtained by compression-coding the same uncompressed video data. To have only a correlation data of picture image data to generate for each picture,
Among the two compression encoding units, the second compression encoding unit converts the plurality of delayed uncompressed video data into the first
And compression encoding is performed by a compression encoding method corresponding to the compression encoding method of the compression encoding means, and second compressed video data corresponding to each of the plurality of uncompressed video data is generated.

【0014】好適には、前記第1の圧縮符号化手段は、
ピクチャーの順序を変更した前記複数の非圧縮映像デー
タを圧縮符号化して、少なくともIピクチャーとPピク
チャーとを含む前記第1の圧縮映像データを生成し、前
記付加データ生成手段は、算出した前記差分値または前
記予測誤差値の変化に基づいて、前記複数の非圧縮映像
データの時間方向の境界を検出する境界検出手段と、前
記複数の非圧縮映像データの時間方向の境界のピクチャ
ーを圧縮符号化した後の圧縮映像データのデータ量の目
標値を示す目標値データを、同じ非圧縮映像データから
生成された前記第1の圧縮映像データに含まれるピクチ
ャーのデータ量に基づいて算出する目標値データ算出手
段とを有し、前記第2の圧縮符号化手段は、遅延した前
記複数の非圧縮映像データそれぞれの最初のピクチャー
をIピクチャーに圧縮符号化し、前記第2の圧縮映像デ
ータを生成する。
Preferably, the first compression encoding means includes:
The plurality of uncompressed video data in which the order of pictures has been changed is compression-encoded to generate the first compressed video data including at least an I picture and a P picture, and the additional data generation unit calculates the calculated difference Boundary detecting means for detecting a temporal boundary of the plurality of uncompressed video data based on a change in the value or the prediction error value, and compression-encoding a picture of a temporal boundary of the plurality of uncompressed video data. Target value data indicating a target value of the data amount of the compressed video data after the compression, based on the data amount of the picture included in the first compressed video data generated from the same uncompressed video data. Calculation means, wherein the second compression encoding means converts the first picture of each of the plurality of delayed uncompressed video data into an I picture. By condensation coding, to generate the second compressed video data.

【0015】好適には、前記第2の圧縮符号化手段は、
前記複数の非圧縮映像データそれぞれに対応する前記第
2の圧縮映像データの最後のIピクチャーをPピクチャ
ーに変更して圧縮符号化し、前記第2の圧縮映像データ
を生成する。
Preferably, the second compression encoding means includes:
The last I picture of the second compressed video data corresponding to each of the plurality of uncompressed video data is changed to a P picture and compression-encoded to generate the second compressed video data.

【0016】本発明に係る映像データ圧縮装置は、複数
のシーンの非圧縮の映像データを連続して接続してある
編集映像データを圧縮符号化する装置であって、順序変
更手段は、編集映像データのピクチャーを、圧縮符号化
に適した順序に並び替える。この際に、順序変更手段
は、連続する複数の非圧縮映像データそれぞれを圧縮符
号化した後の先頭のピクチャーが、Pピクチャーまたは
Iピクチャーになるように編集映像データのピクチャー
の順序を変更する。差分値・予測誤差算出手段は、ピク
チャーの順番が変更された後の編集映像データに含まれ
る隣接する2枚のピクチャー間の差分値(フレーム間残
差)または予測誤差値(ME残差)を順次、算出する。
第1の圧縮符号化手段は、編集映像データを、例えば、
MPEG等の方式により、一定のピクチャータイプシー
ケンスで圧縮符号化し、第1の圧縮映像データを生成す
る。
A video data compression device according to the present invention is a device for compression-coding edited video data in which uncompressed video data of a plurality of scenes are connected in succession, wherein the order changing means comprises The data pictures are rearranged in an order suitable for compression encoding. At this time, the order changing means changes the order of the pictures of the edited video data so that the first picture after compression coding of each of the plurality of continuous non-compressed video data becomes a P picture or an I picture. The difference value / prediction error calculating means calculates a difference value (inter-frame residual) or a prediction error value (ME residual) between two adjacent pictures included in the edited video data after the picture order is changed. Calculate sequentially.
The first compression encoding unit converts the edited video data into, for example,
According to a method such as MPEG, compression encoding is performed with a predetermined picture type sequence to generate first compressed video data.

【0017】遅延手段は、編集映像データの各ピクチャ
ーに対するデータ量の割り当て処理が可能な時間だけ、
つまり、編集映像データが所定の数のピクチャー入力さ
れ、データ量の割り当て処理に要する量のデータが集ま
るのに必要な時間だけ非圧縮映像データを遅延する。付
加データ生成手段は、差分値・予測誤差値算出手段が算
出したフレーム間残差またはME残差の値の経時的な変
化を監視し、これらのいずれかの値が、例えば、インパ
ルス状に増加した部分を、編集映像データに含まれる複
数の映像データの時間方向の境界(シーンチェンジ)と
判断する。
[0017] The delay means is provided only for a time during which the data amount can be allocated to each picture of the edited video data.
That is, the uncompressed video data is delayed by a time necessary for inputting a predetermined number of pictures of the edited video data and collecting an amount of data required for the data allocation process. The additional data generation unit monitors a temporal change in the value of the inter-frame residual or the ME residual calculated by the difference value / prediction error value calculation unit, and one of these values increases, for example, in an impulse form. The determined portion is determined as a boundary (scene change) in the time direction between a plurality of pieces of video data included in the edited video data.

【0018】さらに、付加データ生成手段は、シーンチ
ェンジの有無、および、遅延手段の遅延時間に対応する
枚数の編集映像データのピクチャーから生成した第1の
圧縮映像データのデータ量に基づいて、圧縮符号化した
後の編集映像データのピクチャーそれぞれに割り当てる
データ量の目標値(目標値データ)を算出する。この
際、付加データ生成手段は、異なるシーンの映像データ
間にまたがった処理により目標値データが算出され、映
像の品質が劣化することがないように、同一の映像デー
タに閉じた処理により、同一の映像データから生成され
た圧縮映像データのピクチャーのデータ量のみと相関を
有するように目標値データを算出する。第2の圧縮符号
化手段は、遅延手段が遅延した複数の非圧縮映像データ
を、第1の圧縮符号化手段と同様に、例えばMPEG方
式により圧縮符号化して第2の圧縮映像データを生成す
る。
Further, the additional data generating means compresses based on the presence or absence of a scene change and the data amount of the first compressed video data generated from the number of pictures of the edited video data corresponding to the delay time of the delay means. A target value (target value data) of a data amount to be allocated to each picture of the edited video data after encoding is calculated. At this time, the additional data generation means calculates the target value data by a process that straddles the video data of different scenes, and performs the same process by closing the same video data so that the quality of the video is not degraded. The target value data is calculated so as to have a correlation only with the data amount of the picture of the compressed video data generated from the video data. The second compression encoder encodes a plurality of non-compressed video data delayed by the delayer in the same manner as the first compression encoder by, for example, an MPEG method to generate second compressed video data. .

【0019】また、本発明に係る映像データ圧縮方法
は、非圧縮映像データを順次、所定の遅延時間Tk ずつ
順次、(n−1)段階に遅延し(n,kは整数、2≦
n,1≦k≦n)、それぞれ前記非圧縮映像データ、ま
たは、k段階に遅延した前記非圧縮映像データを、所定
の圧縮符号化方法により圧縮符号化して、n+1個の圧
縮映像データを生成し、第1段階〜第(n−1)段階に
遅延した前記非圧縮映像データそれぞれから生成した前
記圧縮映像データから所定の付加データを生成する映像
データ圧縮方法であって、第k段階に遅延した前記非圧
縮映像データに対する圧縮符号化は、第(k−1)段階
に遅延した前記非圧縮映像データから生成した前記付加
データに基づいて行なわれる。
[0019] The video data compression method according to the present invention, the non-compressed video data sequentially, successively by a predetermined delay time T k, and delayed (n-1) stages (n, k is an integer, 2 ≦
n, 1 ≦ k ≦ n), each of the uncompressed video data or the uncompressed video data delayed by k stages is compression-coded by a predetermined compression coding method to generate n + 1 compressed video data. A video data compression method for generating predetermined additional data from the compressed video data generated from each of the uncompressed video data delayed in the first to (n-1) th stages; The compression encoding of the uncompressed video data is performed based on the additional data generated from the uncompressed video data delayed in the (k-1) th stage.

【0020】[0020]

【発明の実施の形態】第1実施形態 以下、本発明の第1の実施形態を説明する。MPEG方
式といった映像データの圧縮符号化方式により、高い周
波数成分が多い絵柄、あるいは、動きが多い絵柄などの
符号化の難度(difficulty)が高い映像データを圧縮符号
化すると、一般的に圧縮に伴う歪みが生じやすくなる。
このため、難度が高い映像データは低い圧縮率で圧縮符
号化する必要があり、難度が高いデータを圧縮符号化し
て得られる圧縮映像データに対しては、難度が低い絵柄
の映像データの圧縮映像データに比べて、多くの目標デ
ータ量を配分する必要がある。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First Embodiment Hereinafter, a first embodiment of the present invention will be described. By the video data compression coding method such as the MPEG method, when compression coding of a video data having a high degree of difficulty (difficulty) such as a pattern having many high frequency components or a pattern having a lot of motion is generally accompanied by compression. Distortion is likely to occur.
For this reason, it is necessary to compress and encode video data having a high degree of difficulty at a low compression ratio. For compressed video data obtained by compressing and encoding data having a high degree of difficulty, a compressed image of video data having a pattern having a low level of difficulty is obtained. It is necessary to allocate a larger amount of target data than data.

【0021】このように、映像データの難度に対して適
応的に目標データ量を配分するためには、従来技術とし
て示した2パスエンコード方式が有効である。しかしな
がら、2パスエンコード方式は、実時間的な圧縮符号化
に不向きである。第1の実施形態として示す簡易2パス
エンコード方式は、かかる2パスエンコード方式の問題
点を解決するためになされたものであり、非圧縮映像デ
ータを予備的に圧縮符号化して得られる圧縮映像データ
の難度データから非圧縮映像データの難度を算出し、予
備的な圧縮符号化により算出した難度に基づいて、FI
FOメモリ等により所定の時間だけ遅延した非圧縮映像
データの圧縮率を適応的に制御することができる。
As described above, in order to adaptively allocate a target data amount to the degree of difficulty of video data, the two-pass encoding method shown as a conventional technique is effective. However, the two-pass encoding method is not suitable for real-time compression encoding. The simplified two-pass encoding method shown as the first embodiment has been made to solve the problem of the two-pass encoding method, and the compressed video data obtained by preliminary compression-encoding the non-compressed video data The difficulty level of the uncompressed video data is calculated from the difficulty level data, and the FI level is calculated based on the difficulty level calculated by the preliminary compression encoding.
The compression rate of the uncompressed video data delayed by a predetermined time by the FO memory or the like can be adaptively controlled.

【0022】図1は、本発明に係る映像データ圧縮装置
1の構成を示す図である。図1に示すように、映像デー
タ圧縮装置1は、圧縮符号化部10およびホストコンピ
ュータ20から構成され、圧縮符号化部10は、エンコ
ーダ制御部12、動き検出器(motion estimator)14、
遅延・圧縮符号化部16、第1のエンコーダ(encoder)
18(#1)から構成され、遅延・圧縮符号化部16
は、FIFOメモリ160および第2のエンコーダ16
2(#2)から構成される。映像データ圧縮装置1は、
これらの構成部分により、編集装置およびビデオテープ
レコーダ装置等の外部機器(図示せず)から入力される
非圧縮映像データVINに対して、上述した簡易2パス
エンコードを実現する。
FIG. 1 is a diagram showing a configuration of a video data compression device 1 according to the present invention. As shown in FIG. 1, the video data compression apparatus 1 includes a compression encoding unit 10 and a host computer 20. The compression encoding unit 10 includes an encoder control unit 12, a motion estimator 14,
Delay / compression encoding unit 16, first encoder
18 (# 1), the delay / compression encoding unit 16
Is a FIFO memory 160 and a second encoder 16
2 (# 2). The video data compression device 1
With these components, the above-described simple two-pass encoding is realized for uncompressed video data VIN input from an external device (not shown) such as an editing device and a video tape recorder device.

【0023】映像データ圧縮装置1において、ホストコ
ンピュータ20は、映像データ圧縮装置1の各構成部分
の動作を制御する。また、ホストコンピュータ20は、
遅延・圧縮符号化部16のエンコーダ162が非圧縮映
像データVINを予備的に圧縮符号化して生成した圧縮
映像データのデータ量、DCT処理後の映像データの直
流成分(DC成分)の値および直流成分(AC成分)の
電力値を制御信号C16を介して受け、受けたこれらの
値に基づいて圧縮映像データの絵柄の難度を算出する。
さらに、ホストコンピュータ20は、算出した難度に基
づいて、エンコーダ18が生成する圧縮映像データの目
標データ量Tj を制御信号C18を介してピクチャーご
とに割り当て、エンコーダ18の量子化回路166(図
4)に設定し、エンコーダ18の圧縮率をピクチャー単
位に適応的に制御する。
In the video data compression device 1, a host computer 20 controls the operation of each component of the video data compression device 1. Also, the host computer 20
The data amount of the compressed video data generated by the encoder 162 of the delay / compression encoding unit 16 preliminarily compression-encoding the non-compressed video data VIN, the value of the DC component (DC component) of the DCT-processed video data, and the DC The power value of the component (AC component) is received via the control signal C16, and the difficulty of the picture of the compressed video data is calculated based on the received values.
Further, the host computer 20 based on the calculated difficulty, assigned to each picture of the target amount of data T j of the compressed video data encoder 18 is generated via a control signal C18, the quantization circuit 166 of the encoder 18 (FIG. 4 ), And the compression rate of the encoder 18 is adaptively controlled on a picture basis.

【0024】動き検出器14は、非圧縮映像データの動
きベクトルおよびフレーム間の差分値(フレーム間残
差)の算出を行い、動きベクトルおよびフレーム間残差
をエンコーダ制御部12およびエンコーダ162,18
に対して出力し、フレーム間残差を、制御信号c19を
介してホストコンピュータ20に対して出力する。ここ
で、動き検出器14が算出するフレーム間残差は、下の
式1に示すように定義される。
The motion detector 14 calculates a motion vector of the non-compressed video data and a difference value between frames (inter-frame residual), and calculates the motion vector and the inter-frame residual by the encoder controller 12 and the encoders 162 and 18.
, And outputs the inter-frame residual to the host computer 20 via the control signal c19. Here, the residual between frames calculated by the motion detector 14 is defined as shown in Expression 1 below.

【0025】[0025]

【数1】 (Equation 1)

【0026】つまり、式1に示すように、フレーム間残
差(Δ)は、現在入力されているフレームの画素の画素
値(Yi )と、1つ前のフレームの同じ位置にある画素
の画素値(Ri )との差分絶対値〔|Yi −Ri |、な
お、差分の2乗値(Yi −Ri 2 としてもよい〕を、
フレームの画素全部について累加算した値として定義さ
れる。このフレーム間残差は、通常、映画フィルムの映
像(24フレーム/秒)をビデオ信号(30フレーム/
秒)に変換する際に、1秒当たりのフレーム数の差を利
用して圧縮効率を向上させる2−3プルダウン処理にお
いて、処理の結果として得られたビデオ信号の隣接する
フレームが、元の映画フィルムの映像の同じフレームに
含まれるか否かを判断するために用いられる。
That is, as shown in Equation 1, the inter-frame residual (Δ) is calculated by calculating the pixel value (Y i ) of the pixel of the currently input frame and the pixel at the same position of the immediately preceding frame. The absolute value of the difference from the pixel value (R i ) [| Y i −R i |, and the squared value of the difference (Y i −R i ) 2 ]
It is defined as a value obtained by cumulatively adding all the pixels of the frame. This frame-to-frame residual is usually obtained by converting a movie film image (24 frames / second) into a video signal (30 frames / second).
In the 2-3 pull-down process that uses the difference in the number of frames per second to increase the compression efficiency when converting the video signal into adjacent frames in the video signal obtained as a result of the processing, It is used to determine whether or not it is included in the same frame of the film image.

【0027】図2は、図1に示したエンコーダ制御部1
2の構成を示す図である。図2に示すように、エンコー
ダ制御部12は、ピクチャー並びかえ回路120、走査
変換ブロック化回路122、フレームメモリ回路12
4、加算回路126およびピクチャータイプ制御部12
8から構成される。エンコーダ制御部12は、これらの
構成部分により、非圧縮映像データVINのピクチャー
の有無をホストコンピュータ20に通知し、さらに、非
圧縮映像データVINのピクチャーごとに圧縮符号化の
ための前処理を行う。
FIG. 2 shows the encoder controller 1 shown in FIG.
FIG. 2 is a diagram illustrating a configuration of a second embodiment. As shown in FIG. 2, the encoder control unit 12 includes a picture rearranging circuit 120, a scan conversion blocking circuit 122, a frame memory circuit 12
4. Adder circuit 126 and picture type controller 12
8. With these components, the encoder control unit 12 notifies the host computer 20 of the presence or absence of a picture of the uncompressed video data VIN, and performs preprocessing for compression encoding for each picture of the uncompressed video data VIN. .

【0028】エンコーダ制御部12において、フレーム
メモリ回路124は、入力される非圧縮映像データVI
Nに対して所定の遅延時間、例えば、非圧縮映像データ
VINがM枚(MはPピクチャーの間隔)分等の遅延時
間を与えてピクチャー並びかえ回路120および加算回
路126に対して出力する。ピクチャー並びかえ回路1
20は、遅延されていない非圧縮映像データVIN、お
よび、フレームメモリ回路124が遅延した非圧縮映像
データVINに対して、ピクチャータイプ制御部128
から入力されるピクチャータイプに基づいて、図6
(A),(B)を参照して後述するように、符号化順に
並べ替える処理を行う。
In the encoder control unit 12, the frame memory circuit 124 stores the input uncompressed video data VI
N is given a predetermined delay time, for example, a delay time such as M uncompressed video data VIN (M is the interval between P pictures) and output to the picture rearranging circuit 120 and the adding circuit 126. Picture rearrangement circuit 1
Reference numeral 20 denotes a picture type control unit 128 for the uncompressed video data VIN that has not been delayed and the uncompressed video data VIN that has been delayed by the frame memory circuit 124.
6 based on the picture type input from
As will be described later with reference to (A) and (B), a process of rearranging in encoding order is performed.

【0029】走査変換ブロック化回路122は、非圧縮
映像データVINに対して、ピクチャー・フィールド変
換、および、非圧縮映像データVINが映画の映像デー
タである場合に3:2プルダウン処理(30フレーム/
秒の映像データを、映画の24フレーム/秒の映像デー
タに変換し、冗長性を圧縮符号化前に取り除く処理)等
を行い、さらに、これらの処理を行った後の映像データ
をマクロブロック化して映像データS12を生成し、遅
延・圧縮符号化部16のFIFOメモリ160およびエ
ンコーダ162に対して出力する。
The scan conversion blocking circuit 122 performs picture / field conversion on the uncompressed video data VIN, and performs 3: 2 pull-down processing (30 frames / frame) when the uncompressed video data VIN is movie video data.
Second video data of 24 seconds per movie, and removes redundancy before compression encoding, etc.), and further converts the video data after these processes into macroblocks. To generate the video data S12 and output it to the FIFO memory 160 and the encoder 162 of the delay / compression encoding unit 16.

【0030】加算回路126は、遅延されていない非圧
縮映像データVINと、フレームメモリ回路124が、
この場合にはPピクチャーの間隔によらず、1フレーム
分の遅延時間だけ遅延した非圧縮映像データの差分値を
算出し、ピクチャータイプ制御部128に対して出力す
る。ピクチャータイプ制御部128は、動き検出器14
が生成したフレーム間残差に基づいて、エンコーダ16
2,18が非圧縮映像データの各フレームを圧縮符号化
して生成するフレームのピチャータイプ(Iピクチャ
ー、PピクチャーおよびBピクチャーの別)を指定す
る。
The adder circuit 126 outputs the undecompressed uncompressed video data VIN and the frame memory circuit 124
In this case, the difference value of the uncompressed video data delayed by the delay time of one frame is calculated irrespective of the P picture interval, and output to the picture type control unit 128. The picture type control unit 128 controls the motion detector 14
Based on the inter-frame residual generated by
Reference numerals 2 and 18 designate the picture type (I-picture, P-picture and B-picture) of a frame generated by compression-coding each frame of the uncompressed video data.

【0031】遅延・圧縮符号化部16において、FIF
Oメモリ160は、エンコーダ制御部12から入力され
た映像データS12を、例えば、非圧縮映像データVI
Nが、L(Lは整数)ピクチャー入力される時間だけ遅
延し、遅延映像データS16としてエンコーダ18に対
して出力する。
The delay / compression encoding unit 16
The O memory 160 converts the video data S12 input from the encoder control unit 12 into, for example, the uncompressed video data VI.
N is delayed by the time of L (L is an integer) picture input, and is output to the encoder 18 as delayed video data S16.

【0032】図3は、図1に示した遅延・圧縮符号化部
16のエンコーダ162の構成を示す図である。エンコ
ーダ162は、例えば、図3に示すように、加算回路1
64、DCT回路166、量子化回路(Q)168、可
変長符号化回路(VLC)170、逆量子化回路(I
Q)172、逆DCT(IDCT)回路174、加算回
路176および動き補償回路178から構成される一般
的な映像データ用圧縮符号化器であって、入力される映
像データS12をMPEG方式等により圧縮符号化し、
圧縮映像データのピクチャーごとのデータ量等を映像エ
ンコーダ20に対して出力する。
FIG. 3 is a diagram showing a configuration of the encoder 162 of the delay / compression encoder 16 shown in FIG. The encoder 162 includes, for example, as shown in FIG.
64, DCT circuit 166, quantization circuit (Q) 168, variable length coding circuit (VLC) 170, inverse quantization circuit (I
Q) This is a general video data compression encoder composed of 172, an inverse DCT (IDCT) circuit 174, an addition circuit 176, and a motion compensation circuit 178, and compresses input video data S12 by the MPEG method or the like. Encoding,
The data amount and the like of each picture of the compressed video data are output to the video encoder 20.

【0033】加算回路164は、加算回路176の出力
データを映像データS12から減算し、DCT回路16
6に対して出力する。DCT回路166は、加算回路1
64から入力される映像データを、例えば、16画素×
16画素のマクロブロック単位に離散コサイン変換(D
CT)処理し、時間領域のデータから周波数領域のデー
タに変換して量子化回路168に対して出力する。ま
た、DCT回路166は、DCT後の映像データのDC
成分の値およびAC成分の電力値を映像エンコーダ20
に対して出力する。
The addition circuit 164 subtracts the output data of the addition circuit 176 from the video data S12,
6 is output. The DCT circuit 166 includes the addition circuit 1
For example, the video data input from 64 is converted to 16 pixels ×
Discrete cosine transform (D
CT), converts the data in the time domain into the data in the frequency domain, and outputs the data to the quantization circuit 168. Further, the DCT circuit 166 controls the DCT of the video data after the DCT.
Component value and the AC component power value
Output to

【0034】量子化回路168は、DCT回路166か
ら入力された周波数領域のデータを、固定の量子化値Q
で量子化し、量子化データとして可変長符号化回路17
0および逆量子化回路172に対して出力する。可変長
符号化回路170は、量子化回路168から入力された
量子化データを可変長符号化し、可変長符号化の結果と
して得られた圧縮映像データのデータ量を、制御信号C
16を介してホストコンピュータ20に対して出力す
る。逆量子化回路172は、可変長符号化回路168か
ら入力された量子化データを逆量子化し、逆量子化デー
タとして逆DCT回路174に対して出力する。
The quantization circuit 168 converts the frequency domain data input from the DCT circuit 166 into a fixed quantization value Q
And the variable length coding circuit 17 as quantized data.
0 and output to the inverse quantization circuit 172. The variable-length coding circuit 170 performs variable-length coding on the quantized data input from the quantization circuit 168, and converts the amount of compressed video data obtained as a result of the variable-length coding into a control signal C
16 to the host computer 20. The inverse quantization circuit 172 inversely quantizes the quantized data input from the variable length encoding circuit 168, and outputs the inversely quantized data to the inverse DCT circuit 174.

【0035】逆DCT回路174は、逆量子化回路17
2から入力される逆量子化データに対して逆DCT処理
を行い、加算回路176に対して出力する。加算回路1
76は、動き補償回路178の出力データおよび逆DC
T回路174の出力データを加算し、加算回路164お
よび動き補償回路178に対して出力する。動き補償回
路178は、加算回路176の出力データに対して、動
き検出器14から入力される動きベクトル、および、エ
ンコーダ制御部12から入力されるピクチャータイプに
基づいて動き補償処理を行い、加算回路176に対して
出力する。
The inverse DCT circuit 174 includes the inverse quantization circuit 17
Inverse DCT processing is performed on the inversely quantized data input from 2 and output to the adding circuit 176. Addition circuit 1
76 is the output data of the motion compensation circuit 178 and the inverse DC
The output data of the T circuit 174 is added and output to the addition circuit 164 and the motion compensation circuit 178. The motion compensation circuit 178 performs a motion compensation process on the output data of the addition circuit 176 based on the motion vector input from the motion detector 14 and the picture type input from the encoder control unit 12. 176 is output.

【0036】図4は、図1に示したエンコーダ18の構
成を示す図である。図4に示すように、エンコーダ18
は、図3に示したエンコーダ162に、量子化制御回路
180を加えた構成になっている。エンコーダ18は、
これらの構成部分により、映像エンコーダ20から設定
される目標データ量Tj に基づいて、FIFOメモリ1
60によりLピクチャー分遅延された遅延映像データS
16に対して動き補償処理、DCT処理、量子化処理お
よび可変長符号化処理を施して、MPEG方式等の圧縮
映像データVOUTを生成し、外部機器(図示せず)に
出力する。
FIG. 4 is a diagram showing a configuration of the encoder 18 shown in FIG. As shown in FIG.
Has a configuration in which a quantization control circuit 180 is added to the encoder 162 shown in FIG. The encoder 18
With these components, the FIFO memory 1 is controlled based on the target data amount Tj set from the video encoder 20.
60, the delayed video data S delayed by L pictures
16 to perform a motion compensation process, a DCT process, a quantization process, and a variable-length encoding process to generate compressed video data VOUT of the MPEG system or the like, and output it to an external device (not shown).

【0037】エンコーダ18において、量子化制御回路
180は、可変長量子化回路170が出力する圧縮映像
データVOUTのデータ量を順次、監視し、遅延映像デ
ータS16の第j番目のピクチャーから最終的に生成さ
れる圧縮映像データのデータ量が、映像エンコーダ20
から設定された目標データ量Tj に近づくように、順
次、量子化回路168に設定する量子化値Qj を調節す
る。また、可変長量子化回路170は、圧縮映像データ
VOUTを外部に出力する他に、遅延映像データS16
を圧縮符号化して得られた圧縮映像データVOUTの実
際のデータ量Sj を制御信号C18を介してホストコン
ピュータ20に対して出力する。
In the encoder 18, the quantization control circuit 180 sequentially monitors the data amount of the compressed video data VOUT output from the variable length quantization circuit 170, and finally, from the j-th picture of the delayed video data S 16 The data amount of the generated compressed video data is
, The quantization value Q j set in the quantization circuit 168 is sequentially adjusted so as to approach the set target data amount T j . The variable length quantization circuit 170 outputs the compressed video data VOUT to the outside,
And outputs the actual data amount Sj of the compressed video data VOUT obtained by compression-encoding to the host computer 20 via the control signal C18.

【0038】以下、第1の実施形態における映像データ
圧縮装置1の簡易2パスエンコード動作を説明する。図
5(A)〜(C)は、第1の実施形態における映像デー
タ圧縮装置1の簡易2パスエンコードの動作を示す図で
ある。エンコーダ制御部12は、映像データ圧縮装置1
に入力された非圧縮映像データVINに対して、エンコ
ーダ制御部12により符号化順にピクチャーを並べ替え
る等の前処理を行い、図5(A)に示すように映像デー
タS12としてFIFOメモリ160およびエンコーダ
162に対して出力する。なお、エンコーダ制御部12
によるピクチャーの順番並べ替えにより、図5等に示す
ピクチャーの符号化の順番と伸長復号後の表示の順番と
は異なる。
Hereinafter, a simple two-pass encoding operation of the video data compression apparatus 1 according to the first embodiment will be described. FIGS. 5A to 5C are diagrams illustrating the operation of the simple two-pass encoding of the video data compression device 1 according to the first embodiment. The encoder control unit 12 controls the video data compression device 1
The non-compressed video data VIN input to the encoder is subjected to pre-processing such as rearranging the pictures in the encoding order by the encoder control unit 12, and as shown in FIG. 162. Note that the encoder control unit 12
, The order of picture encoding shown in FIG. 5 and the like differs from the order of display after decompression decoding.

【0039】FIFOメモリ160は、入力された映像
データS12の各ピクチャーをLピクチャー分だけ遅延
し、エンコーダ18に対して出力する。エンコーダ16
2は、入力された映像データS12のピクチャーを予備
的に順次、圧縮符号化し、第j(jは整数)番目のピク
チャーを圧縮符号化して得られた圧縮符号化データのデ
ータ量、DCT処理後の映像データのDC成分の値、お
よび、AC成分の電力値をホストコンピュータ20に対
して出力する。
The FIFO memory 160 delays each picture of the input video data S12 by L pictures and outputs the delayed picture to the encoder 18. Encoder 16
Reference numeral 2 denotes a data amount of compression-encoded data obtained by compression-encoding a picture of the input video data S12 in a preliminary and sequential manner, and compression-encoding a j-th (j is an integer) picture; And outputs the DC component value and AC component power value of the video data to the host computer 20.

【0040】例えば、エンコーダ18に入力される遅延
映像データS16は、FIFOメモリ160によりLピ
クチャーだけ遅延されているので、図5(B)に示すよ
うに、エンコーダ18が、遅延映像データS16の第j
(jは整数)番目のピクチャー(図5(B)のピクチャ
ーb)を圧縮符号化している際には、エンコーダ162
は、映像データS12の第j番目のピクチャーからLピ
クチャー分先の第(j+L)番目のピクチャー(図5
(B)のピクチャーa)を圧縮符号化していることにな
る。従って、エンコーダ18が遅延映像データS16の
第j番目のピクチャーの圧縮符号化を開始する際には、
エンコーダ162は映像データS12の第j番目〜第
(j+L−1)番目のピクチャー(図5(B)の範囲
c)の圧縮符号化を完了しており、これらのピクチャー
の圧縮符号化後の実難度データDj ,Dj+1 ,Dj+2
…,Dj+L-1 は、ホストコンピュータ20により既に算
出されている。
For example, since the delayed video data S16 input to the encoder 18 is delayed by L pictures by the FIFO memory 160, as shown in FIG. j
When the (j is an integer) -th picture (picture b in FIG. 5B) is compression-encoded, the encoder 162
Is the (j + L) -th picture L pictures ahead of the j-th picture of the video data S12 (FIG. 5).
This means that the picture a) in (B) is compression-encoded. Therefore, when the encoder 18 starts the compression encoding of the j-th picture of the delayed video data S16,
The encoder 162 has already completed the compression encoding of the j-th to (j + L-1) -th pictures (the range c in FIG. 5B) of the video data S12, Difficulty data D j , D j + 1 , D j + 2 ,
, Dj + L-1 have already been calculated by the host computer 20.

【0041】ホストコンピュータ20は、下に示す式2
により、エンコーダ18が遅延映像データS16の第j
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Tj を算出し、算出した
目標データ量Tj を量子化制御回路180に設定する。
The host computer 20 calculates the following equation (2).
As a result, the encoder 18 sets the j-th
A target data amount T j to be allocated to the compressed video data obtained by compression-coding the third picture is calculated, and the calculated target data amount T j is set in the quantization control circuit 180.

【0042】[0042]

【数2】 (Equation 2)

【0043】但し、式2において、Dj は映像データS
12の第j番目のピクチャーの実難度データであり、
R’j は、映像データS12,S16の第j番目〜第
(j+L−1)番目のピクチャーに割り当てることがで
きる目標データ量の平均であり、R’j の初期値(R’
1 )は、圧縮映像データの各ピクチャーに平均して割り
当て可能な目標データ量であり、下に示す式3で表さ
れ、エンコーダ18が圧縮映像データを1ピクチャー分
生成する度に、式4に示すように更新される。
Where D j is the video data S
12 is the actual difficulty data of the 12 th picture,
R ′ j is the average of the target data amount that can be allocated to the j-th to (j + L−1) -th pictures of the video data S12 and S16, and the initial value of R ′ j (R ′
1 ) is a target data amount that can be allocated to each picture of the compressed video data on average, and is expressed by the following equation (3). Each time the encoder 18 generates one picture of the compressed video data, Updated as shown.

【0044】[0044]

【数3】 (Equation 3)

【0045】[0045]

【数4】 (Equation 4)

【0046】なお、式3中の数値ビットレート(Bit rat
e)は、通信回線の伝送容量や、記録媒体の記録容量に基
づいて決められる1秒当たりのデータ量(ビット量)を
示し、ピクチャーレート(Picture rate)は、映像データ
に含まれる1秒当たりのピクチャーの数(30枚/秒
(NTSC),25枚/秒(PAL))を示し、数値F
j+L は、ピクチャータイプに応じて定められるピクチャ
ー当たりの平均データ量を示す。エンコーダ18のDC
T回路166は、入力される遅延映像データS16の第
j番目のピクチャーをDCT処理し、量子化回路168
に対して出力する。量子化回路168は、DCT回路1
66から入力された第j番目のピクチャーの周波数領域
のデータを、量子化制御回路180が目標データ量Tj
に基づいて調節する量子化値Qj により量子化し、量子
化データとして可変長符号化回路170に対して出力す
る。可変長符号化回路170は、量子化回路168から
入力された第j番目のピクチャーの量子化データを可変
長符号化して、ほぼ、目標データ量Tj に近いデータ量
の圧縮映像データVOUTを生成して出力する。
Note that the numerical bit rate (Bit rat
e) indicates the amount of data (bit amount) per second determined based on the transmission capacity of the communication line and the recording capacity of the recording medium, and the picture rate is the rate per second included in the video data. Indicates the number of pictures (30 pictures / sec (NTSC), 25 pictures / sec (PAL))
j + L indicates the average data amount per picture determined according to the picture type. DC of encoder 18
The T circuit 166 performs DCT processing on the j-th picture of the input delayed video data S16, and
Output to The quantization circuit 168 is a DCT circuit 1
The data of the j-th picture of the frequency domain input from 66, the quantization control circuit 180 is the target data amount T j
Quantized by the quantization value Q j adjusted based on the outputs, to the variable length encoding circuit 170 as quantized data. Variable-length coding circuit 170, and variable length coding the j-th picture of the quantized data inputted from the quantization circuit 168, substantially, it generates the compressed video data VOUT of the data amount close to the target amount of data T j And output.

【0047】同様に、図5(B)に示すように、エンコ
ーダ18が、遅延映像データS16の第(j+1)番目
のピクチャー(図5(C)のピクチャーb’)を圧縮符
号化している際には、エンコーダ162は、映像データ
S12の第(j+1)番目〜第(j+L)番目のピクチ
ャー(図5(C)の範囲c’)の圧縮符号化を完了し、
これらのピクチャーの実難度データDj+1 ,Dj+2 ,D
j+3 ,・・・,Dj+Lは、ホストコンピュータ20によ
り既に算出されている。
Similarly, as shown in FIG. 5B, when the encoder 18 compresses and encodes the (j + 1) -th picture (picture b 'in FIG. 5C) of the delayed video data S16. , The encoder 162 completes the compression encoding of the (j + 1) -th to (j + L) -th pictures (the range c ′ in FIG. 5C) of the video data S12,
The actual difficulty data D j + 1 , D j + 2 , D of these pictures
j + 3 ,..., D j + L have already been calculated by the host computer 20.

【0048】ホストコンピュータ20は、式2により、
エンコーダ18が遅延映像データS16の第(j+1)
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Tj+1 を算出し、エンコ
ーダ18の量子化制御回路180に設定する。
The host computer 20 uses the following equation (2).
The encoder 18 determines the (j + 1) th of the delayed video data S16.
A target data amount T j + 1 to be allocated to compressed video data obtained by compression-encoding the third picture is calculated and set in the quantization control circuit 180 of the encoder 18.

【0049】エンコーダ18は、ホストコンピュータ2
0から量子化制御回路180に設定された目量データ量
j に基づいて第(j+1)番目のピクチャーを圧縮符
号化し、目標データ量Tj+1 に近いデータ量の圧縮映像
データVOUTを生成して出力する。さらに以下、同様
に、映像データ圧縮装置1は、遅延映像データS16の
第k番目のピクチャーを、量子化値Qk (k=j+2,
j+3,…)をピクチャーごとに変更して順次、圧縮符
号化し、圧縮映像データVOUTとして出力する。
The encoder 18 is connected to the host computer 2
From 0, the (j + 1) -th picture is compression-encoded based on the scale data amount Tj set in the quantization control circuit 180, and compressed video data VOUT having a data size close to the target data size Tj + 1 is generated. And output. In the same manner, the video data compression device 1 similarly converts the k-th picture of the delayed video data S16 into a quantized value Q k (k = j + 2,
j + 3,...) are changed for each picture, and are sequentially compression-encoded and output as compressed video data VOUT.

【0050】以上説明したように、第1の実施形態に示
した映像データ圧縮装置1によれば、短時間で非圧縮映
像データVINの絵柄の難度を算出し、算出した難度に
応じた圧縮率で適応的に非圧縮映像データVINを圧縮
符号化することができる。つまり、第1の実施形態に示
した映像データ圧縮装置1によれば、2パスエンコード
方式と異なり、ほぼ実時間的に、非圧縮映像データVI
Nの絵柄の難度に基づいて適応的に非圧縮映像データV
INを圧縮符号化をすることができ、実況放送といった
実時間性を要求される用途に応用可能である。なお、第
1の実施形態に示した他、本発明に係るデータ多重化装
置1は、エンコーダ162が圧縮符号化した圧縮映像デ
ータのデータ量を、そのまま難度データとして用い、ホ
ストコンピュータ20の処理の簡略化を図る等、種々の
構成を採ることができる。
As described above, according to the video data compression apparatus 1 shown in the first embodiment, the degree of difficulty of the pattern of the uncompressed video data VIN is calculated in a short time, and the compression ratio according to the calculated degree of difficulty is calculated. Thus, the non-compressed video data VIN can be adaptively compression-encoded. That is, according to the video data compression apparatus 1 shown in the first embodiment, unlike the two-pass encoding method, the non-compressed video data VI
N based on the degree of difficulty of the picture
IN can be compression-encoded, and can be applied to applications requiring real-time performance such as live broadcasting. In addition to the data multiplexing apparatus 1 according to the present invention, the data multiplexing apparatus 1 according to the present invention uses the data amount of the compressed video data compressed and encoded by the encoder 162 as difficulty data as it is, Various configurations can be adopted, such as simplification.

【0051】第2実施形態 以下、本発明の第2の実施形態として、編集処理によ
り、複数の非圧縮映像データ(以下、非圧縮映像データ
をシーンとも記す)を連続的に接続して1つの非圧縮映
像データ(編集映像データ)とし、この複数のシーンか
らなる編集映像データを、第1の実施形態に示した映像
データ圧縮装置1(図1)を用いて圧縮符号化する簡易
2パスエンコード方式(以下、「改良簡易2パスエンコ
ード方式」とも記す)を説明する。例えば、複数のシー
ンを連続的に含む編集映像データをピクチャータイプシ
ーケンスI,B,B,P,B,B,P,B,B,P,
B,B,P,B,B,P,B,Bで圧縮符号化すると、
圧縮符号化後の最初シーンのピクチャーがPピクチャー
になることがある。この最初のシーンのPピクチャーを
伸長復号するためには、直前のピクチャーを参照する必
要があるが、それは、他のシーンから生成された圧縮映
像データであるから、最初のPピクチャーの伸長復号
に、相関がない他のシーンから生成されたピクチャーを
用いると、伸長復号の結果として得られる映像が劣化し
てしまう。
Second Embodiment Hereinafter, as a second embodiment of the present invention, a plurality of uncompressed video data (hereinafter, also referred to as “scene”) will be connected to one Simplified two-pass encoding in which non-compressed video data (edited video data) is used and the edited video data composed of a plurality of scenes is compression-coded using the video data compression device 1 (FIG. 1) shown in the first embodiment. The method (hereinafter, also referred to as “improved simplified two-pass encoding method”) will be described. For example, the edited video data including a plurality of scenes continuously is divided into picture type sequences I, B, B, P, B, B, P, B, B, P,
When compression encoding is performed using B, B, P, B, B, P, B, and B,
The picture of the first scene after compression encoding may be a P picture. In order to decompress and decode the P picture of the first scene, it is necessary to refer to the immediately preceding picture. However, since it is compressed video data generated from another scene, However, if a picture generated from another scene having no correlation is used, the image obtained as a result of the decompression decoding is deteriorated.

【0052】かかる不具合を解消するために、例えば、
第1のシーンと第2のシーンとを、この順番で連続的に
含む非圧縮の編集映像データを、従来の技術として示し
た画像処理方法および画像処理装置を変更せずに適用
し、簡易2パスエンコード方式により圧縮符号化する
と、ピクチャータイプシーケンスP1 ,B1 ,B1
P’1 ,B1 ,B1 ,P1 ,B1 ,B1 ,P1 ,B1
1 ,I’2 ,B2 ,B2 ,I2 の第1の圧縮映像デー
タ(I1 ,B1 ,P1 )および第2の圧縮映像データ
(I2 ,B2 ,P2 )を得ることができる。なお、ピク
チャータイプシーケンス中のP’1 ,I’2 は、それぞ
れ本来のIピクチャーおよびPピクチャーから変更され
たPピクチャーおよびIピクチャーを示す。
To solve such a problem, for example,
Uncompressed edited video data that includes the first scene and the second scene continuously in this order is applied without changing the image processing method and the image processing apparatus shown in the related art, and the simplified 2 When compression encoding is performed by the path encoding method, the picture type sequence P 1 , B 1 , B 1 ,
P ′ 1 , B 1 , B 1 , P 1 , B 1 , B 1 , P 1 , B 1 ,
The first compressed video data (I 1 , B 1 , P 1 ) and the second compressed video data (I 2 , B 2 , P 2 ) of B 1 , I ′ 2 , B 2 , B 2 , I 2 are Obtainable. Note that P ′ 1 and I ′ 2 in the picture type sequence indicate a P picture and an I picture that have been changed from the original I picture and the P picture, respectively.

【0053】しかしながら、簡易2パスエンコード方式
においては、上述のように、ホストコンピュータ20が
ピクチャーの種類ごとに実難度データを算出し、目標デ
ータ量Tj を算出する。従って、第1の圧縮映像データ
のピクチャーP’1 には、他のIピクチャーのデータ量
に基づいて算出された目標データ量Tj が割り当てら
れ、また、第2の圧縮映像データのピクチャーI’2
は、他のPピクチャーのデータ量に基づいて算出された
目標データ量Tj が割り当てられてしまうことになる。
However, in the simple two-pass encoding method, as described above, the host computer 20 calculates actual difficulty data for each type of picture, and calculates the target data amount Tj . Thus, a picture P of the first compressed video data 'in one, the other I target amount of data T j calculated based on the data amount of picture is assigned, also, a picture I of the second compressed video data' the 2, so that the target amount of data T j calculated based on the amount of data of the other P-picture will be allocated.

【0054】ここで、通常、Iピクチャーのデータ量は
Pピクチャーのデータ量よりも多く、ホストコンピュー
タ20が上述のように目標データ量Tj を生成し、エン
コーダ18がこの目標データ量Tj を用いて圧縮符号化
を行うと、ピクチャーI’2を伸長復号して得られる映
像の品質が低下してしまう。さらに、ホストコンピュー
タ20がピクチャーP’1 に不適当に多くのデータ量を
割り当ててしまい、伸長復号後の映像が全体として劣化
してしまうことになる。このように、簡易2パスエンコ
ード方式に、従来の技術として示した画像処理方法およ
び画像処理装置を変更せずに適用することはできない。
第2の実施形態に示す改良した簡易2パスエンコード方
式は、かかる編集映像データを圧縮符号化する際に生じ
る不都合を解決するためになされたものである。
Here, usually, the data amount of the I picture is larger than the data amount of the P picture, and the host computer 20 generates the target data amount Tj as described above, and the encoder 18 converts the target data amount Tj . When performing compression coding using, the quality of the image obtained by expanding and decoding the picture I '2 is reduced. Further, the host computer 20 inappropriately allocates a large amount of data to the picture P ′ 1 , and the image after decompression decoding is deteriorated as a whole. As described above, the simple two-pass encoding method cannot be applied without changing the image processing method and the image processing apparatus shown as the conventional technique.
The improved simple two-pass encoding method shown in the second embodiment is made to solve the inconvenience that occurs when such edited video data is compression-encoded.

【0055】図6(A)〜(C)は、図1に示したエン
コーダ制御部12が行う非圧縮映像データのピクチャー
の順番の入れ替え処理を示す図であって、(A)は編集
映像データVINの実時間的なピクチャータイプシーケ
ンスを示し、(B)はエンコーダ制御部12により順番
が入れ替えられたピクチャータイプシーケンスを示し、
(C)はエンコーダ18が遅延映像データS16を圧縮
符号化した結果として出力する圧縮映像データVOUT
のピクチャータイプシーケンスを示す。なお、図6
(A)〜(C)中の”シーンチェンジ(Scene Change)”
は、編集映像データに含まれる第1のシーンおよびその
第1の圧縮映像データ(前のシーン)と、第2のシーン
およびその第2の圧縮映像データ(後ろのシーン)の時
間方向における境界(シーンチェンジ)を示す。
FIGS. 6A to 6C are diagrams showing a process of changing the order of pictures of the non-compressed video data performed by the encoder control unit 12 shown in FIG. 1. FIG. (B) shows a picture type sequence whose order has been changed by the encoder control unit 12;
(C) shows the compressed video data VOUT output as a result of the encoder 18 compressing and encoding the delayed video data S16.
3 shows a picture type sequence of FIG. FIG.
"Scene Change" in (A)-(C)
Is a boundary (in the time direction) between the first scene and the first compressed video data (previous scene) included in the edited video data and the second scene and the second compressed video data (back scene). Scene change).

【0056】映像データ圧縮装置1のエンコーダ制御部
12には、例えば、図6(A)に示すように、エンコー
ダ162およびエンコーダ18により、15枚のピクチ
ャー(N=15,M=3、但し、Nは1GOPを構成す
るピクチャー数(Iピクチャーの間隔)、MはPピクチ
ャーの間隔)から構成されるGOP単位に圧縮符号化さ
れる編集映像データVINが入力される。なお、図6
(A),(B)には、編集映像データのピクチャーの圧
縮符号化後のピクチャータイプを示してある。
In the encoder control unit 12 of the video data compression apparatus 1, for example, as shown in FIG. 6A, 15 pictures (N = 15, M = 3, where N is the number of pictures constituting one GOP (interval between I pictures), and M is the edited video data VIN that is compression-encoded in GOP units composed of P pictures. FIG.
(A) and (B) show the picture type of the picture of the edited video data after compression encoding.

【0057】エンコーダ制御部12のピクチャー並びか
え回路120(図2)は、図6(A)に示したピクチャ
ータイプシーケンスで入力される非圧縮映像データのピ
クチャーの順番を、図6(B)に示すように、エンコー
ダ162およびエンコーダ18における圧縮符号化に適
した順番、つまり、Bピクチャーが直後のIピクチャー
またはPピクチャーの後ろになる順番に入れ替えて、映
像データS12としてエンコーダ162およびFIFO
メモリ160に対して出力する。
The picture rearranging circuit 120 (FIG. 2) of the encoder control unit 12 changes the picture order of the uncompressed video data input in the picture type sequence shown in FIG. As shown, the order suitable for compression encoding in the encoder 162 and the encoder 18, that is, the order in which the B picture comes after the immediately following I picture or P picture is replaced by the encoder 162 and the FIFO as video data S 12.
Output to the memory 160.

【0058】具体例を挙げて説明すると、図6(A)に
示したように、第1のシーンのデータと第2のシーンの
データとの間のシーンチェンジがBピクチャーに圧縮符
号化されるべきピクチャーで発生しても、このBピクチ
ャーに圧縮符号化されるべきピクチャーは、ピクチャー
並びかえ回路120により直後のPピクチャーまたはI
ピクチャーの後ろに並べ替えられ、エンコーダ162,
18が符号化する順番としては、後ろのシーンの最初の
ピクチャータイプは必ずPピクチャーまたはIピクチャ
ーに圧縮符号化されるピクチャーになる。動き検出器1
4は、動きベクトル、および、式1に示したフレーム間
残差の算出を行い、エンコーダ制御部12、エンコーダ
162,18およびホストコンピュータ20に対して出
力する。
More specifically, as shown in FIG. 6A, a scene change between the data of the first scene and the data of the second scene is compression-coded into a B picture as shown in FIG. The picture to be compression-encoded into this B picture, even if it occurs in the
Rearranged after the picture, encoder 162,
As for the encoding order of 18, the first picture type of the succeeding scene is always a picture that is compression-encoded into a P picture or an I picture. Motion detector 1
4 calculates the motion vector and the inter-frame residual shown in Equation 1, and outputs the result to the encoder control unit 12, the encoders 162 and 18, and the host computer 20.

【0059】FIFOメモリ160は、例えば、入力さ
れる映像データS12を15ピクチャー分、遅延してエ
ンコーダ18に対して出力する。エンコーダ162は、
映像データS12を、ピクチャータイプシーケンスI,
B,B,P,B,B,P,B,B,P,B,B,P,
B,B,P,B,Bで圧縮符号化して、圧縮映像データ
のデータ量等をホストコンピュータ20に対して出力
し、ホストコンピュータ20は、これらのピクチャーの
実難度データDj を算出する。このとき、シーンチェン
ジがあった場合には、エンコーダ制御部12において、
映像データS12は図6(B)に示すように並べ替えら
れている。従って、エンコーダ162は、既に並べ替え
られた映像データS12についてエンコードを行う。
The FIFO memory 160 outputs the input video data S12 to the encoder 18 with a delay of 15 pictures, for example. The encoder 162
The video data S12 is converted to a picture type sequence I,
B, B, P, B, B, P, B, B, P, B, B, P,
B, B, P, B, and compression-encoded by B, and the data amount of the compressed video data output to the host computer 20, the host computer 20 calculates the real difficulty data D j of these pictures. At this time, if there is a scene change, the encoder control unit 12
The video data S12 is rearranged as shown in FIG. Therefore, the encoder 162 performs encoding on the already rearranged video data S12.

【0060】ホストコンピュータ20は、動き検出器1
4から入力されるフレーム間残差の値の経時的な変化を
監視する。ピクチャーの絵柄はシーンチェンジ前後で大
きく変化する。従って、シーンチェンジをはさんだ2つ
のピクチャーの映像データから算出されたフレーム間残
差の値は、他の部分のピクチャー間から生成されたフレ
ーム間残差の値と比べて、インパルス状に増大する。従
って、ホストコンピュータ20は、フレーム間残差の値
が、直前のフレーム間残差の値に比べて、例えば1.5
倍(実用的には1.4倍〜1.8倍の間の値とすると好
適)以上の値を示す部分でシーンチェンジが発生したと
判断することができる。
The host computer 20 has the motion detector 1
The change with time of the value of the inter-frame residual input from No. 4 is monitored. The picture pattern changes greatly before and after the scene change. Accordingly, the value of the inter-frame residual calculated from the video data of the two pictures sandwiching the scene change increases in an impulse manner as compared with the value of the inter-frame residual generated between the pictures of the other parts. . Therefore, the host computer 20 determines that the value of the inter-frame residual is 1.5 times smaller than the value of the immediately preceding inter-frame residual, for example.
It can be determined that a scene change has occurred in a portion indicating a value of twice (preferably a value between 1.4 and 1.8 times) or more.

【0061】シーンチェンジを検出した場合、ホストコ
ンピュータ20はさらに、編集映像データのシーンチェ
ンジの前後の部分に対して、エンコーダ制御部12のピ
クチャータイプ制御部128を制御し、図6(C)に示
すように、後ろのシーンの最初のPピクチャーを前のシ
ーンの最後のピクチャーを参照しないIピクチャーに変
更するように、エンコーダ18のピクチャータイプシー
ケンスを変更する。さらに、ホストコンピュータ20
は、2つのIピクチャーが1つのGOPに含まれること
となって、そのGOPの映像の品質が劣化しないよう
に、後ろのシーンの最初のIピクチャーをPピクチャー
に変更するように、エンコーダ18のピクチャータイプ
シーケンスを変更させる。なお、図6(C)には、圧縮
映像データの各ピクチャーを表示順に示してある。この
ように、図6(C)において、表示順を考慮したのは、
エンコーダ制御部12においてフレーム間残差を算出し
ている時点では、ピクチャーは並び替えられていないか
らである。
When a scene change is detected, the host computer 20 further controls the picture type control unit 128 of the encoder control unit 12 for the portion of the edited video data before and after the scene change, and as shown in FIG. As shown, the picture type sequence of the encoder 18 is changed such that the first P picture of the subsequent scene is changed to an I picture that does not refer to the last picture of the previous scene. Further, the host computer 20
The encoder 18 changes the first I picture of the subsequent scene to a P picture so that two I pictures are included in one GOP and the quality of the video of the GOP is not degraded. Change the picture type sequence. FIG. 6C shows each picture of the compressed video data in the display order. As described above, in FIG. 6C, the display order is considered.
This is because the pictures are not rearranged at the time when the inter-frame residual is calculated by the encoder control unit 12.

【0062】このように、ピクチャータイプシーケンス
を、実難度データDj を算出するよりも前に変更するこ
とにより、実難度データDj 算出時と実際の圧縮符号化
時のピクチャータイプとが同じになるので、正確に圧縮
符号化後の各ピクチャーにデータ量を割り当てることが
できる。
[0062] Thus, a picture type sequence by changing before calculating the real difficulty data D j, the the real difficulty data D j calculated at the actual picture type at the time of compression encoding same Therefore, the data amount can be accurately assigned to each of the pictures after the compression and encoding.

【0063】なお、シーンチェンジ部分で、図7に示す
ように、ピクチャータイプ制御部128が、前のシーン
の最後のIピクチャーをPピクチャーに変更するよう
に、エンコーダ18を制御する方法も考えられる。しか
しながら、この方法の実現には、既に実難度データDj
の算出が終了している前のシーンの最後のIピクチャー
に対して、過去に遡ったピクチャータイプの変更が要求
され、シーンチェンジの検出処理と実難度データDj
算出処理との間に、映像データに対してさらに遅延を加
える等の措置が必要になる。従って、ここで述べた方法
よりも、上述のように、後ろのシーンの最初のPピクチ
ャーをIピクチャーに変更し、後ろのシーンの最初のI
ピクチャーをPピクチャーに変更するピクチャータイプ
の変更方法を採る方が有利である。
In the scene change portion, as shown in FIG. 7, a method in which the picture type control section 128 controls the encoder 18 so that the last I picture of the previous scene is changed to the P picture can be considered. . However, the realization of this method requires the actual difficulty data D j
For the last I-picture of the scene before the calculation of is completed, it changes the picture type retroactively is required, between the detection processing and the calculation processing of the real difficulty data D j of the scene change, It is necessary to take measures such as adding a further delay to the video data. Therefore, rather than the method described here, as described above, the first P picture of the subsequent scene is changed to an I picture, and the first I picture of the subsequent scene is changed to an I picture.
It is more advantageous to adopt a picture type changing method of changing a picture to a P picture.

【0064】エンコーダ18は、第1の実施形態と同様
に、ホストコンピュータ20から設定された目標データ
量Tj 、および、エンコーダ制御部12のピクチャータ
イプ制御部128から設定されたピクチャータイプシー
ケンス(図6(C))に基づいて、映像データS16を
圧縮符号化し、圧縮映像データVOUTとして出力す
る。
As in the first embodiment, the encoder 18 has a target data amount T j set by the host computer 20 and a picture type sequence (FIG. 7) set by the picture type control unit 128 of the encoder control unit 12. 6 (C)), the video data S16 is compression-encoded and output as compressed video data VOUT.

【0065】以下、図8を参照して、映像データ圧縮装
置2の動作をさらに説明する。図8は、第2の実施形態
における映像データ圧縮装置1の処理内容を示すフロー
チャートである。図8に示すように、ステップ100
(S100)において、ホストコンピュータ20は、フ
レーム間残差の直前値(Δprev)を最大値(∞)とす
る。ステップ102(S102)において、ホストコン
ピュータ20は、処理の対象となる第j番目のピクチャ
ーがあるか否かを判断し、第j番目のピクチャーがある
場合にはS104の処理に進み、ない場合には処理を終
了する。
The operation of the video data compression device 2 will be further described below with reference to FIG. FIG. 8 is a flowchart showing the processing content of the video data compression device 1 according to the second embodiment. As shown in FIG.
In (S100), the host computer 20 sets the immediately preceding value (Δ prev ) of the inter-frame residual to the maximum value (∞). In step 102 (S102), the host computer 20 determines whether or not there is a j-th picture to be processed. If there is a j-th picture, the process proceeds to S104. Ends the processing.

【0066】ステップ104(S104)において、動
き検出器14は、第(j−1)番目のピクチャーと第j
番目のピクチャーの間のフレーム間残差を算出する。ス
テップ106(S106)において、圧縮符号化部10
6は、動き検出器14がS104の処理において算出し
たフレーム間残差(Δ)の値を、フレーム間残差の直前
値(Δprev)で除算し、除算結果が所定の閾値(Th、
第2の実施形態では1.5)より大きいか否かを判断す
る。大きい場合にはS108の処理に進み、大きくない
場合にはS116の処理に進む。
In step 104 (S104), the motion detector 14 sets the (j-1) -th picture and the j-th picture.
Calculate the inter-frame residual between the pictures. In step 106 (S106), the compression encoding unit 10
6 divides the value of the inter-frame residual (Δ) calculated by the motion detector 14 in the processing of S104 by the immediately preceding value (Δ prev ) of the inter-frame residual, and the division result is a predetermined threshold (Th,
In the second embodiment, it is determined whether the value is greater than 1.5). If it is larger, the process proceeds to S108, and if it is not larger, the process proceeds to S116.

【0067】ステップ108(S108)において、ホ
ストコンピュータ20は、第j番目のピクチャーがPピ
クチャーであるか否かを判断し、第j番目のピクチャー
がPピクチャーである場合にはS110の処理に進み、
Pピクチャーでない場合にはS112の処理に進む。ス
テップ110(S110)において、ホストコンピュー
タ20は、第(j−1)番目のピクチャーと第j番目の
ピクチャーとの間でシーンチェンジが発生したと判断
し、第j番目のピクチャーをIピクチャーに変更し、後
のシーンの最初のIピクチャーをPピクチャーに変更す
るように、フレームタイプシーケンスを制御し、さら
に、目標データ量Tj を算出する。
In step 108 (S108), the host computer 20 determines whether or not the j-th picture is a P-picture. If the j-th picture is a P-picture, the process proceeds to S110. ,
If it is not a P picture, the process proceeds to S112. In step 110 (S110), the host computer 20 determines that a scene change has occurred between the (j-1) th picture and the jth picture, and changes the jth picture to an I picture. Then, the frame type sequence is controlled so that the first I picture of the subsequent scene is changed to the P picture, and the target data amount Tj is calculated.

【0068】ステップ112(S112)において、ホ
ストコンピュータ20は、第j番目のピクチャーがBピ
クチャーであるか否かを判断し、第j番目のピクチャー
がBピクチャーである場合にはS114の処理に進み、
Bピクチャーでない場合にはS116の処理に進む。ス
テップ114(S114)において、ホストコンピュー
タ20は、第(j−1)番目のピクチャーと第j番目の
ピクチャーとの間でシーンチェンジが発生したと判断
し、次のPピクチャーをIピクチャーに変更し、次のI
ピクチャーをPピクチャーに変更するように、フレーム
タイプシーケンスを制御し、さらに、目標データ量Tj
を算出する。ステップ116(S116)において、ホ
ストコンピュータ20は、フレーム間残差の直前値(Δ
prev)を、第(j−1)番目のピクチャーと第j番目の
ピクチャーとの間のフレーム間残差(Δ)の値に更新す
る。
In step 112 (S112), the host computer 20 determines whether or not the j-th picture is a B picture. If the j-th picture is a B picture, the host computer 20 proceeds to S114. ,
If it is not a B picture, the process proceeds to S116. In step 114 (S114), the host computer 20 determines that a scene change has occurred between the (j-1) th picture and the jth picture, and changes the next P picture to an I picture. And the next I
The frame type sequence is controlled so as to change the picture to the P picture, and the target data amount T j
Is calculated. In step 116 (S116), the host computer 20 determines the immediately preceding value (Δ
prev ) is updated to the value of the inter-frame residual (Δ) between the (j−1) th picture and the jth picture.

【0069】以上、第2の実施形態に示した改良簡易2
パスエンコード方式によれば、シーンチェンジやカメラ
フラッシュ等を含む映像データを高い圧縮率で圧縮符号
化可能である上に、シーンチェンジやカメラフラッシュ
の前後に発生する符号化歪みを顕著に低減することがで
きる。従って、第2の実施形態に示した改良された簡易
2パスエンコード方式によって生成した圧縮映像データ
を伸長復号して得られる映像の品質を向上させることが
できる。
As described above, the improved simplified 2 shown in the second embodiment
According to the path encoding method, video data including scene changes and camera flashes can be compression-encoded at a high compression rate, and the encoding distortion occurring before and after scene changes and camera flashes is significantly reduced. Can be. Therefore, it is possible to improve the quality of the video obtained by decompressing and decoding the compressed video data generated by the improved simplified two-pass encoding method shown in the second embodiment.

【0070】なお、以上説明した第2の実施形態におい
ては、シーンチェンジの発生を、フレーム間差分の値の
経時的な変化に基づいて検出したが、例えば、下に示す
式5により定義される予測誤差値(ME残差)に基づい
て検出するように、ホストコンピュータ20の処理内容
を変更してもよい。
In the second embodiment described above, the occurrence of a scene change is detected based on the change over time of the value of the inter-frame difference. For example, it is defined by the following equation (5). The processing content of the host computer 20 may be changed so that the detection is performed based on the prediction error value (ME residual).

【0071】[0071]

【数5】 (Equation 5)

【0072】式5に示すように、ME残差(E)は、圧
縮符号化処理の単位となるマクロブロックごとの輝度信
号(Yi )と、動きベクトル(Rj )の差の絶対値(差
の2乗値としてもよい)を、1つのフレームに含まれる
全てのマクロブロックについて累加算した絶対値和であ
る。上述したように、ピクチャーの絵柄はシーンチェン
ジ前後で大きく変化するので、フレーム間残差の場合と
同様に、シーンチェンジ部分のME残差の値は、インパ
ルス状に増大する。ホストコンピュータ20は、動き検
出器14から入力されるフレーム間残差の値の経時的な
変化を監視することにより、ME残差の値が、直前のM
E残差の値に比べて、例えば1.5倍以上の値を示す部
分でシーンチェンジを検出することができる。
As shown in Expression 5, the ME residual (E) is obtained by calculating the absolute value of the difference between the luminance signal (Y i ) for each macroblock serving as a unit of the compression encoding process and the motion vector (R j ). (May be the squared difference)) is the sum of absolute values of all macroblocks included in one frame. As described above, since the picture of the picture greatly changes before and after the scene change, the value of the ME residual in the scene change part increases like an impulse, as in the case of the inter-frame residual. The host computer 20 monitors the change over time of the value of the inter-frame residual input from the motion detector 14 so that the value of the ME residual becomes
For example, a scene change can be detected in a portion indicating a value that is 1.5 times or more the value of the E residual.

【0073】また、ホストコンピュータ20が、エンコ
ーダ162の圧縮符号化結果に基づいて、実難度データ
j に加えて、他のデータ、例えば、エンコーダ18に
おいて圧縮映像データの映像の品質をさらに向上させる
ために用いる付加データを併せて生成する処理を行い、
エンコーダ18がこの付加情報に基づいて圧縮符号化を
行うように、第2の実施形態における映像データ圧縮装
置1の動作を変形してもよい。また、第2の実施形態に
示した改良した簡易2パスエンコード方式は、映像デー
タ圧縮装置1が、他のピクチャータイプシーケンスで圧
縮符号化を行う場合にも適用可能であることは言うまで
もない。
[0073] Also, the host computer 20, based on the compression encoding result of the encoder 162, in addition to the real difficulty data D j, other data, for example, further improve the quality of the image of the compressed video data in the encoder 18 To generate additional data to be used for
The operation of the video data compression device 1 according to the second embodiment may be modified so that the encoder 18 performs compression encoding based on this additional information. Further, it is needless to say that the improved simplified two-pass encoding method shown in the second embodiment can be applied to the case where the video data compression apparatus 1 performs compression encoding with another picture type sequence.

【0074】第3実施形態 以下、本発明の第3の実施形態を説明する。第1の実施
形態に示した簡易2パスエンコード方式、第2の実施形
態に示した、エンコーダを2個、FIFO回路を1個
(n=2)有する改良簡易2パスエンコード方式によれ
ば、映像の品質を低下させることなく、しかも、実時間
的に非圧縮映像データを圧縮符号化することができる。
一方、生成した圧縮映像データの内容に応じて、さらに
映像の品質を向上させたり、特殊効果を付加したいとい
う要請がある。第3の実施形態において説明する映像デ
ータ圧縮装置2は、かかる要請に応えるためになされた
ものである。
Third Embodiment Hereinafter, a third embodiment of the present invention will be described. According to the simplified two-pass encoding method shown in the first embodiment and the improved simplified two-pass encoding method shown in the second embodiment and having two encoders and one FIFO circuit (n = 2), The compression encoding of the non-compressed video data can be performed in real time without deteriorating the quality of the video data.
On the other hand, there is a demand for further improving the quality of a video or adding a special effect according to the content of the generated compressed video data. The video data compression device 2 described in the third embodiment has been made to meet such a request.

【0075】図9は、第3の実施形態における本発明に
係る映像データ圧縮装置2の構成を示す図である。な
お、図9に示した映像データ圧縮装置2の各構成部分の
内、映像データ圧縮装置1(図1〜図4)の各構成部分
と同じものには、同一の符号が付してある。図9に示す
ように、映像データ圧縮装置2は、映像データ圧縮装置
1の圧縮符号化部10を圧縮符号化部22で置換した構
成になっている。圧縮符号化部22は、それぞれ映像デ
ータ圧縮装置1の遅延・圧縮符号化部16に対応する遅
延・圧縮符号化部24a,24bから構成され、遅延・
圧縮符号化部24a,24bは、それぞれFIFOメモ
リ160およびエンコーダ18,162に対応するFI
FOメモリ160a,160bおよびエンコーダ18
a,162bから構成される。つまり、映像データ圧縮
装置2は、映像データ圧縮装置1の遅延・圧縮符号化部
16を遅延・圧縮符号化部24a,24bの2つに増設
した構成(n=3)になっている。
FIG. 9 is a diagram showing the configuration of the video data compression device 2 according to the third embodiment of the present invention. Note that among the components of the video data compression device 2 shown in FIG. 9, the same components as those of the video data compression device 1 (FIGS. 1 to 4) are denoted by the same reference numerals. As shown in FIG. 9, the video data compression device 2 has a configuration in which the compression encoding unit 10 of the video data compression device 1 is replaced with a compression encoding unit 22. The compression encoding unit 22 includes delay / compression encoding units 24a and 24b corresponding to the delay / compression encoding unit 16 of the video data compression device 1, respectively.
The compression encoders 24a and 24b are provided with FIFO memories 160 and FIs corresponding to the encoders 18 and 162, respectively.
FO memories 160a and 160b and encoder 18
a, 162b. That is, the video data compression device 2 has a configuration in which the delay / compression encoding unit 16 of the video data compression device 1 is added to two delay / compression encoding units 24a and 24b (n = 3).

【0076】以下、映像データ圧縮装置2の動作を説明
する。映像データ圧縮装置2のエンコーダ制御部12
は、第2の実施形態においてと同様に、図6(A),
(B)に示したように、非圧縮映像データのピクチャー
の順番を圧縮符号化に適した順番に入れ替える等の処理
を行って映像データS12を生成し、遅延・圧縮符号化
部24bのエンコーダ162aおよびFIFOメモリ1
60aに対して出力する。動き検出器14は、第2の実
施形態においてと同様に、動きベクトルおよびフレーム
間残差の算出を行い、エンコーダ制御部12、エンコー
ダ162b,18aおよびホストコンピュータ20に対
して出力する。
Hereinafter, the operation of the video data compression device 2 will be described. Encoder control unit 12 of video data compression device 2
As in the second embodiment, FIG.
As shown in (B), the video data S12 is generated by performing processing such as changing the picture order of the uncompressed video data to an order suitable for compression encoding, and the encoder 162a of the delay / compression encoding unit 24b. And FIFO memory 1
Output to 60a. The motion detector 14 calculates a motion vector and an inter-frame residual as in the second embodiment, and outputs the calculated motion vector and the inter-frame residual to the encoder control unit 12, the encoders 162b and 18a, and the host computer 20.

【0077】遅延・圧縮符号化部24bにおいて、FI
FOメモリ160bは、第2の実施形態においてと同様
に、映像データS12を遅延して、遅延・圧縮符号化部
24aのエンコーダ18aおよびエンコーダ162aに
対して出力する。エンコーダ162bは、第2の実施形
態においてと同様に、映像データS12をピクチャータ
イプシーケンスI,B,B,P,B,B,P,B,B,
P,B,B,P,B,B,P,B,Bで圧縮符号化し、
圧縮映像データのデータ量等をホストコンピュータ20
に対して出力する。
In the delay / compression encoding unit 24b, the FI
As in the second embodiment, the FO memory 160b delays the video data S12 and outputs the video data S12 to the encoder 18a and the encoder 162a of the delay / compression encoder 24a. The encoder 162b converts the video data S12 into the picture type sequence I, B, B, P, B, B, P, B, B, as in the second embodiment.
P, B, B, P, B, B, P, B, B
The amount of compressed video data and the like are stored in the host computer 20.
Output to

【0078】ホストコンピュータ20は、第2の実施形
態においてと同様に、エンコーダ162bから入力され
た圧縮映像データのデータ量等に基づいて、これらのピ
クチャーの実難度データDj を算出し、シーンチェンジ
を検出した場合、遅延・圧縮符号化部24aのエンコー
ダ18aにおけるピクチャータイプシーケンスを変更す
るための処理を行い、さらに、これらのピクチャーに割
り当てる目標データ量Tj を算出する。
[0078] The host computer 20, as well as in the second embodiment, based on the data amount of the compressed video data input from the encoder 162b, calculates the actual difficulty data D j of these pictures, a scene change when detecting, performs processing for changing the picture type sequence in the encoder 18a of the delay-compression encoding unit 24a, further, calculates a target amount of data T j to be allocated to these pictures.

【0079】遅延・圧縮符号化部24aにおいて、FI
FOメモリ160aは、FIFOメモリ160bから入
力された映像データS24bをさらに遅延して、映像デ
ータS24aとしてエンコーダ18に対して出力する。
エンコーダ18aは、映像データ圧縮装置1(図1)の
エンコーダ162,18と同様に、ホストコンピュータ
20から設定された目標データ量Tj 、および、エンコ
ーダ制御部12のピクチャータイプ制御部128から設
定されたピクチャータイプシーケンス(図6(C))に
基づいて、映像データS16を圧縮符号化して圧縮映像
データを生成し、圧縮映像データのデータ量等の値をホ
ストコンピュータ20に対して出力する。
In the delay / compression encoder 24a, the FI
The FO memory 160a further delays the video data S24b input from the FIFO memory 160b, and outputs the video data S24b to the encoder 18 as video data S24a.
The encoder 18a is set by the target data amount T j set by the host computer 20 and the picture type control unit 128 of the encoder control unit 12, similarly to the encoders 162 and 18 of the video data compression device 1 (FIG. 1). Based on the picture type sequence (FIG. 6C), the video data S16 is compression-encoded to generate compressed video data, and the value such as the data amount of the compressed video data is output to the host computer 20.

【0080】ホストコンピュータ20は、エンコーダ1
62bに対してと同様に、エンコーダ18に対してもピ
クチャータイプシーケンスの制御および目標データ量T
j の設定等の処理をおこなう。さらに、ホストコンピュ
ータ20は、エンコーダ162aから入力された圧縮映
像データのデータ量等に基づいて、適応的に、例えば、
圧縮映像データの品質を向上させるために用いられる付
加データ、あるいは、圧縮映像データの特徴的な部分を
強調する等の特殊効果を付加するために用いられる付加
データを生成し、エンコーダ18に対して出力する。エ
ンコーダ18は、ホストコンピュータ20から入力され
た付加データに基づいて、遅延・圧縮符号化部24aか
ら入力される映像データS24aを圧縮符号化する。
The host computer 20 has the encoder 1
Similarly to the control for the encoder 18, the control of the picture type sequence and the target data amount T
Perform processing such as setting of j . Further, the host computer 20 adaptively, for example, based on the data amount of the compressed video data input from the encoder 162a, for example,
It generates additional data used to improve the quality of the compressed video data or additional data used to add a special effect such as emphasizing a characteristic portion of the compressed video data, and Output. The encoder 18 compression-encodes the video data S24a input from the delay / compression encoding unit 24a based on the additional data input from the host computer 20.

【0081】以上説明したように映像データ圧縮装置2
を構成することにより、第2の実施形態に示した改良簡
易2パスエンコード方式と同様の処理を行い、さらに、
圧縮映像データの内容に対応して適応的に特殊効果を付
加する等の処理を行うことができる。なお、第2の実施
形態においては、映像データ圧縮装置1がエンコーダ1
8の他に、遅延・圧縮符号化部を1個有する(n=2)
場合、さらに、第3の実施形態においては、映像データ
圧縮装置2がエンコーダ18の他に、遅延・圧縮符号化
部を2個有する(n=3)場合を示したが、例えば、特
殊効果の内容、数あるいは種類に応じて、遅延・圧縮符
号化部の数をさらに増して映像データ圧縮装置2を構成
してもよい(n=4,5,…)。
As described above, the video data compression device 2
By performing the same processing as the improved simplified two-pass encoding method shown in the second embodiment.
Processing such as adaptively adding a special effect corresponding to the content of the compressed video data can be performed. Note that in the second embodiment, the video data compression device 1
8 and one delay / compression coding unit (n = 2)
In the third embodiment, the case where the video data compression apparatus 2 has two delay / compression encoding units (n = 3) in addition to the encoder 18 has been described. The video data compression device 2 may be configured by further increasing the number of delay / compression encoding units according to the content, number, or type (n = 4, 5,...).

【0082】[0082]

【発明の効果】以上述べたように本発明に係る映像デー
タ圧縮装置およびその方法によれば、2パスエンコード
によらずに、複数のシーンを連続的に含む映像データを
所定のデータ量以下に圧縮符号化して圧縮映像データを
生成することができ、しかも、連続的な複数のシーンの
時間方向における境界(シーンチェンジ)部分を圧縮符
号化した圧縮映像データに対する伸長復号の結果として
得られる映像の品質を保持することができる。
As described above, according to the video data compression apparatus and method according to the present invention, video data continuously including a plurality of scenes can be reduced to a predetermined data amount or less without using two-pass encoding. It is possible to generate compressed video data by compression encoding, and furthermore, to obtain a video obtained as a result of decompression decoding of compressed video data obtained by compressing and encoding boundaries (scene changes) in the time direction of a plurality of continuous scenes. Quality can be maintained.

【0083】また、本発明に係る映像データ圧縮装置お
よびその方法によれば、シーンチェンジやカメラフラッ
シュ等を含む映像データを高い圧縮率で圧縮符号化可能
である上に、シーンチェンジやカメラフラッシュの前後
に発生する符号化歪みを顕著に低減することができる。
Further, according to the video data compression apparatus and method of the present invention, video data including scene changes and camera flashes can be compression-coded at a high compression rate, and in addition to scene changes and camera flashes. The encoding distortion that occurs before and after can be significantly reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る映像データ圧縮装置の構成を示す
図である。
FIG. 1 is a diagram showing a configuration of a video data compression device according to the present invention.

【図2】図1に示したエンコーダ制御部の構成を示す図
である。
FIG. 2 is a diagram illustrating a configuration of an encoder control unit illustrated in FIG. 1;

【図3】図1に示した遅延・圧縮符号化部のエンコーダ
の構成を示す図である。
FIG. 3 is a diagram illustrating a configuration of an encoder of a delay / compression encoding unit illustrated in FIG. 1;

【図4】図1に示したエンコーダの構成を示す図であ
る。
FIG. 4 is a diagram illustrating a configuration of an encoder illustrated in FIG. 1;

【図5】(A)〜(C)は、第1の実施形態における映
像データ圧縮装置の簡易2パスエンコードの動作を示す
図である。
FIGS. 5A to 5C are diagrams illustrating an operation of a simple two-pass encoding of the video data compression device according to the first embodiment.

【図6】(A)〜(C)は、図1に示したエンコーダ制
御部が行う非圧縮映像データのピクチャーの順番の入れ
替え処理を示す図であって、(A)は編集映像データV
INの実時間的なピクチャータイプシーケンスを示し、
(B)はエンコーダ制御部12により順番が入れ替えら
れたピクチャータイプシーケンスを示し、(C)はエン
コーダ18が遅延映像データS16を圧縮符号化した結
果として出力する圧縮映像データVOUTのピクチャー
タイプシーケンスを示す。
FIGS. 6A to 6C are diagrams showing a process of changing the order of pictures of non-compressed video data performed by the encoder control unit shown in FIG. 1; FIG.
Shows a real-time picture type sequence of IN,
(B) shows a picture type sequence in which the order is changed by the encoder control unit 12, and (C) shows a picture type sequence of the compressed video data VOUT output as a result of the encoder 18 compressing and encoding the delayed video data S16. .

【図7】ピクチャータイプ制御部128(図2)が、シ
ーンチェンジ部分で前のシーンの最後のIピクチャーを
Pピクチャーに変更する方法を示す図である。
FIG. 7 is a diagram illustrating a method in which a picture type control unit 128 (FIG. 2) changes a last I picture of a previous scene to a P picture in a scene change portion.

【図8】第2の実施形態における映像データ圧縮装置
(図1)の処理内容を示すフローチャートである。
FIG. 8 is a flowchart showing processing contents of a video data compression device (FIG. 1) in a second embodiment.

【図9】第3の実施形態における本発明に係る映像デー
タ圧縮装置の構成を示す図である。
FIG. 9 is a diagram illustrating a configuration of a video data compression device according to the present invention in a third embodiment.

【符号の説明】[Explanation of symbols]

1…映像データ圧縮装置、10,22…圧縮符号化部、
12…エンコーダ制御部、120…ピクチャー並びかえ
回路、122…走査変換ブロック化回路、124…フレ
ームメモリ回路、126…加算回路、128…ピクチャ
ータイプ制御部、14…動き検出器、16,24a,2
4b…遅延・圧縮符号化部、160…FIFOメモリ、
162,18…エンコーダ、164…加算回路、166
…DCT回路、168…量子化回路、170…可変長符
号化回路、172…逆量子化回路172、174…逆D
CT回路、176…加算回路、178…動き補償回路、
180…動き補償回路、20…ホストコンピュータ
1 video data compression device, 10, 22 compression encoding unit,
12: encoder control unit, 120: picture rearrangement circuit, 122: scan conversion block circuit, 124: frame memory circuit, 126: addition circuit, 128: picture type control unit, 14: motion detector, 16, 24a, 2
4b: delay / compression encoding unit, 160: FIFO memory,
162, 18 ... encoder, 164 ... addition circuit, 166
.. DCT circuit, 168 quantization circuit, 170 variable length coding circuit, 172 inverse quantization circuit 172, 174 inverse D
CT circuit, 176 ... addition circuit, 178 ... motion compensation circuit,
180: motion compensation circuit, 20: host computer

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】非圧縮映像データを順次、それぞれ所定の
遅延時間Tk ずつ(n−1)段階に遅延する(n−1)
個の遅延手段と(但し、n,kは整数、2≦n,1≦k
≦n)、 それぞれ前記非圧縮映像データ、または、前記(n−
1)個の遅延手段それぞれが順次、遅延した前記非圧縮
映像データを、所定の圧縮符号化方法により圧縮符号化
して圧縮映像データを生成するn個の圧縮符号化手段
と、 第1番目〜第n−1番目の前記圧縮符号化手段が生成し
た前記圧縮映像データから所定の付加データを生成する
付加データ生成手段とを有し、 第k番目の前記圧縮符号化手段は、前記付加データ生成
手段が、第(k−1)番目の前記圧縮符号化手段が生成
した前記圧縮映像データから生成した前記付加データに
基づいて、第1番目〜第(k−1)番目の前記遅延手段
が順次、遅延した前記非圧縮映像データを圧縮符号化す
る映像データ圧縮装置。
1. A sequentially uncompressed video data, each by a predetermined delay time T k (n-1) to delay stage (n-1)
And delay means (where n and k are integers, 2 ≦ n, 1 ≦ k
≦ n), the uncompressed video data, or the (n−
1) Each of the delay units sequentially compresses the uncompressed video data delayed by a predetermined compression encoding method to generate compressed video data, and n first and second compression encoding units; additional data generation means for generating predetermined additional data from the compressed video data generated by the (n-1) th compression encoding means, wherein the k-th compression encoding means comprises: However, based on the additional data generated from the compressed video data generated by the (k-1) th compression encoding means, the first to (k-1) th delay means sequentially perform A video data compression device for compressing and encoding the delayed uncompressed video data.
【請求項2】1(n=2)個の前記遅延手段および2個
の前記圧縮符号化手段を有し、 連続する複数の非圧縮映像データそれぞれを圧縮符号化
した後の先頭のピクチャーがPピクチャーまたはIピク
チャーになるように、前記複数の非圧縮映像データのピ
クチャーの順序を変更する順序変更手段と、 ピクチャーの順序を変更した前記複数の非圧縮映像デー
タのフレーム間の差分値または予測誤差値を算出する差
分値・予測誤差算出手段とをさらに有し、 2個の前記圧縮符号化手段の内、第1の圧縮符号化手段
は、ピクチャーの順序を変更した前記複数の非圧縮映像
データを、一定のピクチャータイプシーケンスを有する
所定の圧縮符号化方法により圧縮符号化し、複数の種類
のピクチャーを含む第1の圧縮映像データを生成し、 前記遅延手段は、前記非圧縮映像データが所定の数のピ
クチャー入力される時間だけ、前記非圧縮映像データを
遅延し、 前記付加データ生成手段は、算出した前記差分値または
前記予測誤差値、および、前記非圧縮映像データが所定
の数のピクチャー入力される間に生成した前記第1の圧
縮映像データのデータ量に基づいて、前記複数の非圧縮
映像データを圧縮符号化した後の圧縮映像データのデー
タ量の目標値を示す目標値データを、前記付加データと
して、同じ非圧縮映像データを圧縮符号化した圧縮映像
データのピクチャーのデータ量のみと相関を有するよう
に、ピクチャーごとに生成し、 2個の前記圧縮符号化手段の内、第2の圧縮符号化手段
は、遅延した前記複数の非圧縮映像データを、前記第1
の圧縮符号化手段の圧縮符号化方法に対応する圧縮符号
化方法により圧縮符号化し、前記複数の非圧縮映像デー
タそれぞれに対応する第2の圧縮映像データを生成する
請求項1に記載の映像データ圧縮装置。
2. The image processing apparatus according to claim 1, further comprising 1 (n = 2) delay means and two compression encoding means, wherein the first picture after compression encoding of each of a plurality of continuous uncompressed video data is P Order changing means for changing the order of pictures of the plurality of uncompressed video data so as to become a picture or an I picture; and a difference value or prediction error between frames of the plurality of uncompressed video data having changed the order of pictures. Further comprising a difference value / prediction error calculating means for calculating a value, wherein the first one of the two compression coding means is a plurality of the non-compressed video data in which a picture order is changed. Is compression-encoded by a predetermined compression-encoding method having a certain picture type sequence to generate first compressed video data including a plurality of types of pictures, The stage delays the uncompressed video data by a time during which the uncompressed video data is input by a predetermined number of pictures, and the additional data generation unit calculates the calculated difference value or the prediction error value, and Data of compressed video data after compression encoding of the plurality of non-compressed video data based on the data amount of the first compressed video data generated while a predetermined number of pictures of uncompressed video data are input Target value data indicating a target value of the amount is generated for each picture as the additional data so as to have a correlation only with the data amount of the picture of the compressed video data obtained by compression-coding the same uncompressed video data. Out of the compression encoding means, the second compression encoding means converts the plurality of delayed uncompressed video data into the first
2. The video data according to claim 1, wherein the compression encoding is performed by a compression encoding method corresponding to the compression encoding method of the compression encoding means, and second compressed video data corresponding to each of the plurality of uncompressed video data is generated. Compression device.
【請求項3】前記第1の圧縮符号化手段は、ピクチャー
の順序を変更した前記複数の非圧縮映像データを圧縮符
号化して、少なくともIピクチャーとPピクチャーとを
含む前記第1の圧縮映像データを生成し、 前記付加データ生成手段は、 算出した前記差分値または前記予測誤差値の変化に基づ
いて、前記複数の非圧縮映像データの時間方向の境界を
検出する境界検出手段と、 前記複数の非圧縮映像データの時間方向の境界のピクチ
ャーを圧縮符号化した後の圧縮映像データのデータ量の
目標値を示す目標値データを、同じ非圧縮映像データか
ら生成された前記第1の圧縮映像データに含まれるピク
チャーのデータ量に基づいて算出する目標値データ算出
手段とを有し、 前記第2の圧縮符号化手段は、遅延した前記複数の非圧
縮映像データそれぞれの最初のピクチャーをIピクチャ
ーに圧縮符号化し、前記第2の圧縮映像データを生成す
る請求項2に記載の映像データ圧縮装置。
3. The first compression-encoding means compresses and encodes the plurality of uncompressed video data in which the order of pictures is changed, and the first compression-encoding means includes at least an I picture and a P picture. The additional data generation means, based on the calculated difference value or the change in the prediction error value, detects a boundary in the time direction of the plurality of uncompressed video data, the boundary detection means, The first compressed video data generated from the same non-compressed video data includes target value data indicating a target value of the data amount of the compressed video data after compression-encoding the picture at the boundary in the time direction of the non-compressed video data. And a target value data calculating means for calculating based on a data amount of a picture included in the plurality of compressed non-compressed video data. 3. The video data compression apparatus according to claim 2, wherein each of the first pictures is compression-encoded into an I picture to generate the second compressed video data.
【請求項4】前記第2の圧縮符号化手段は、前記複数の
非圧縮映像データそれぞれに対応する前記第2の圧縮映
像データの最後のIピクチャーをPピクチャーに変更し
て圧縮符号化し、前記第2の圧縮映像データを生成する
請求項3に記載の映像データ圧縮装置。
4. The second compression-encoding means changes the last I picture of the second compressed video data corresponding to each of the plurality of uncompressed video data into a P-picture, and compression-encodes the picture. 4. The video data compression device according to claim 3, wherein the video data compression device generates the second compressed video data.
【請求項5】非圧縮映像データを順次、所定の遅延時間
k ずつ順次、(n−1)段階に遅延し(但し、n,k
は整数、2≦n,1≦k≦n)、 それぞれ前記非圧縮映像データ、または、k段階に遅延
した前記非圧縮映像データを、所定の圧縮符号化方法に
より圧縮符号化して、n個の圧縮映像データを生成し、 第1段階〜第n−1段階に遅延した前記非圧縮映像デー
タそれぞれから生成した前記圧縮映像データから所定の
付加データを生成する映像データ圧縮方法であって、 第k段階に遅延した前記非圧縮映像データに対する圧縮
符号化は、第(k−1)段階に遅延した前記非圧縮映像
データから生成した前記付加データに基づいて行なわれ
る映像データ圧縮方法。
5. Sequential uncompressed video data sequentially by a predetermined delay time T k, and delayed (n-1) stages (where, n, k
Is an integer, 2 ≦ n, 1 ≦ k ≦ n). Each of the uncompressed video data or the uncompressed video data delayed in k stages is compression-coded by a predetermined compression coding method, and n A video data compression method for generating compressed video data and generating predetermined additional data from the compressed video data generated from each of the non-compressed video data delayed from the first stage to the (n-1) th stage, A video data compression method, wherein the compression encoding of the uncompressed video data delayed in the step is performed based on the additional data generated from the uncompressed video data delayed in the (k-1) th step.
【請求項6】連続する複数の非圧縮映像データそれぞれ
を圧縮符号化した後の先頭のピクチャーがPピクチャー
またはIピクチャーになるように、前記複数の非圧縮映
像データのピクチャーの順序を変更し、 ピクチャーの順序を変更した前記複数の非圧縮映像デー
タのフレーム間の差分値または予測誤差値を算出し、 ピクチャーの順序を変更した前記複数の非圧縮映像デー
タを、一定のピクチャータイプシーケンスを有する所定
の圧縮符号化方法により圧縮符号化し、複数の種類のピ
クチャーを含む第1の圧縮映像データを生成し、 前記複数の非圧縮映像データが所定の数のピクチャー入
力される時間だけ、1段階(n=1)に、ピクチャーの
順序を変更した前記複数の非圧縮映像データを遅延し、 算出した前記差分値または前記予測誤差値、および、前
記非圧縮映像データが所定の数のピクチャー入力される
間に生成した前記第1の圧縮映像データのデータ量に基
づいて、前記複数の非圧縮映像データを圧縮符号化した
後の圧縮映像データのデータ量の目標値を示す目標値デ
ータを、前記付加データとして、同じ非圧縮映像データ
を圧縮符号化した圧縮映像データのピクチャーのデータ
量のみと相関を有するように、ピクチャーごとに生成
し、 遅延した前記複数の非圧縮映像データを、前記所定の圧
縮符号化方法に対応する圧縮符号化方法により圧縮符号
化し、前記複数の非圧縮映像データそれぞれに対応する
第2の圧縮映像データを生成する請求項5に記載の映像
データ圧縮方法。
6. The picture sequence of the plurality of uncompressed video data is changed so that the first picture after compression coding of each of the plurality of continuous non-compressed video data is a P picture or an I picture. Calculating a difference value or a prediction error value between frames of the plurality of uncompressed video data in which the order of pictures has been changed, and converting the plurality of uncompressed video data in which the order of pictures has been changed into a predetermined picture type sequence To generate first compressed video data including a plurality of types of pictures, and a plurality of uncompressed video data is input by a predetermined number of pictures in one step (n). = 1), the plurality of uncompressed video data in which the order of pictures has been changed is delayed, and the calculated difference value or the prediction error is calculated. After compressing and encoding the plurality of uncompressed video data based on the value and the data amount of the first compressed video data generated while a predetermined number of pictures of the uncompressed video data are input. The target value data indicating the target value of the data amount of the compressed video data is used as the additional data, so that it has a correlation with only the data amount of the picture of the compressed video data obtained by compression-coding the same non-compressed video data. The generated and delayed plurality of uncompressed video data are compression-encoded by a compression encoding method corresponding to the predetermined compression encoding method, and second compressed video data corresponding to each of the plurality of uncompressed video data 6. The video data compression method according to claim 5, wherein
【請求項7】ピクチャーの順序を変更した前記複数の非
圧縮映像データを圧縮符号化して、少なくともIピクチ
ャーとPピクチャーとを含む前記第1の圧縮映像データ
を生成し、 算出した前記差分値または前記予測誤差値の変化に基づ
いて、前記複数の非圧縮映像データの時間方向の境界を
検出し、 前記複数の非圧縮映像データの時間方向の境界のピクチ
ャーを圧縮符号化した後の圧縮映像データのデータ量の
目標値を示す目標値データを、同じ非圧縮映像データか
ら生成された前記第1の圧縮映像データに含まれるピク
チャーのデータ量に基づいて算出し、 遅延した前記複数の非圧縮映像データそれぞれの最初の
ピクチャーをIピクチャーに圧縮符号化し、前記第2の
圧縮映像データを生成する請求項6に記載の映像データ
圧縮方法。
7. A method for compressing and encoding the plurality of uncompressed video data in which the order of pictures has been changed to generate the first compressed video data including at least an I picture and a P picture; Based on a change in the prediction error value, detecting a temporal boundary of the plurality of uncompressed video data, and compressing and encoding a picture of a temporal boundary of the plurality of uncompressed video data, Calculating target value data indicating a target value of the data amount of the plurality of delayed uncompressed video images based on the data amount of pictures included in the first compressed video data generated from the same uncompressed video data. 7. The video data compression method according to claim 6, wherein the first picture of each data is compression-encoded into an I picture to generate the second compressed video data.
【請求項8】前記複数の非圧縮映像データそれぞれに対
応する前記第2の圧縮映像データの最後のIピクチャー
をPピクチャーに変更して圧縮符号化し、前記第2の圧
縮映像データを生成する請求項7に記載の映像データ圧
縮方法。
8. The second compressed video data is generated by changing the last I picture of the second compressed video data corresponding to each of the plurality of uncompressed video data to a P picture and compression encoding the same. Item 8. The video data compression method according to Item 7.
JP9105739A 1996-04-23 1997-04-23 Video data compressor and its method Pending JPH1066092A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9105739A JPH1066092A (en) 1996-04-23 1997-04-23 Video data compressor and its method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10093496 1996-04-23
JP8-100934 1996-04-23
JP9105739A JPH1066092A (en) 1996-04-23 1997-04-23 Video data compressor and its method

Publications (1)

Publication Number Publication Date
JPH1066092A true JPH1066092A (en) 1998-03-06

Family

ID=26441873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9105739A Pending JPH1066092A (en) 1996-04-23 1997-04-23 Video data compressor and its method

Country Status (1)

Country Link
JP (1) JPH1066092A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2353426A (en) * 1999-08-17 2001-02-21 British Broadcasting Corp Mutiple output variable bit rate encoding
JP2001251630A (en) * 2000-03-06 2001-09-14 Nec Corp Image signal coder and its method
JP2002010266A (en) * 2000-06-23 2002-01-11 Sony Corp Image information conversion apparatus and its method
JP2007124586A (en) * 2005-10-31 2007-05-17 Fujitsu Ltd Apparatus and program for encoding moving picture

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2353426A (en) * 1999-08-17 2001-02-21 British Broadcasting Corp Mutiple output variable bit rate encoding
JP2001251630A (en) * 2000-03-06 2001-09-14 Nec Corp Image signal coder and its method
JP2002010266A (en) * 2000-06-23 2002-01-11 Sony Corp Image information conversion apparatus and its method
JP4517465B2 (en) * 2000-06-23 2010-08-04 ソニー株式会社 Image information converting apparatus and method, and encoding apparatus and method
JP2007124586A (en) * 2005-10-31 2007-05-17 Fujitsu Ltd Apparatus and program for encoding moving picture
US7881366B2 (en) 2005-10-31 2011-02-01 Fujitsu Semiconductor Limited Moving picture encoder
JP4668767B2 (en) * 2005-10-31 2011-04-13 富士通セミコンダクター株式会社 Moving picture coding apparatus and moving picture coding program

Similar Documents

Publication Publication Date Title
JP3072035B2 (en) Two-stage video film compression method and system
JP3864461B2 (en) Video data compression apparatus and method
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
KR19990082456A (en) Image data compression device and method
KR19980018698A (en) Image data compression apparatus and method thereof
US5844607A (en) Method and apparatus for scene change detection in digital video compression
JP3911035B2 (en) Moving picture coding method and moving picture coding apparatus
WO2002080574A1 (en) Image processing device, image processing method, image processing program, and recording medium
JP4114210B2 (en) Video data compression apparatus and method
WO2000001158A1 (en) Encoder and encoding method
JPH1066092A (en) Video data compressor and its method
JP4032446B2 (en) Video data compression apparatus and method
JP2004521547A (en) Video encoder and recording device
JP3879134B2 (en) Encoding apparatus and method thereof
JPH10108197A (en) Image coder, image coding control method, and medium storing image coding control program
JP2001008207A (en) Dynamic image coder and method therefor
JPH09200769A (en) Inter-motion compensation frame encoding system
JPH0951538A (en) Encoding method for image signal
JP3765129B2 (en) Encoding apparatus and encoding method
JPH09284772A (en) Device and method for compressing video data
JPH09261634A (en) Video data compression device and method therefor
JPH08317387A (en) Dynamic image compression encoding system
JP4000581B2 (en) Image coding apparatus and method
JPH1066084A (en) Video data compressing device and its method
JP3765130B2 (en) Encoding apparatus and encoding method