JP3864461B2 - 映像データ圧縮装置およびその方法 - Google Patents

映像データ圧縮装置およびその方法 Download PDF

Info

Publication number
JP3864461B2
JP3864461B2 JP22965096A JP22965096A JP3864461B2 JP 3864461 B2 JP3864461 B2 JP 3864461B2 JP 22965096 A JP22965096 A JP 22965096A JP 22965096 A JP22965096 A JP 22965096A JP 3864461 B2 JP3864461 B2 JP 3864461B2
Authority
JP
Japan
Prior art keywords
data
picture
video data
difficulty
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22965096A
Other languages
English (en)
Other versions
JPH1075451A (ja
Inventor
寛司 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22965096A priority Critical patent/JP3864461B2/ja
Priority to US08/918,813 priority patent/US5933532A/en
Priority to EP19970306674 priority patent/EP0827343B1/en
Priority to DE69739816T priority patent/DE69739816D1/de
Priority to KR19970044603A priority patent/KR19980019201A/ko
Publication of JPH1075451A publication Critical patent/JPH1075451A/ja
Application granted granted Critical
Publication of JP3864461B2 publication Critical patent/JP3864461B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly predictive coded picture)およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、第１の観点の発明の符号化装置は、映像データを符号化処理して符号化映像データを生成する符号化装置であって、上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出手段と、上記映像データを所定ピクチャ分遅延させる遅延手段と、上記符号化映像データのデータレートに対するGOP単位の上記実難度データの比率が所定しきい値より大きい場合に、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの実難度データに対する P ピクチャの実難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの実難度データに対する B ピクチャの実難度データの比率と比例するように更新する重み付け係数更新手段と、ピクチャタイプ毎の上記実難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプごとに算出する目標データ量算出手段と、上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段により遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段とを有する。
【０００７】
第２の観点の発明の符号化装置は、映像データを符号化処理して符号化映像データを生成する符号化装置であって、上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出手段と、上記映像データから、上記映像データの動きの大きさを検出する動き検出手段と、上記映像データを所定ピクチャ分遅延させる遅延手段と、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記実難度データ算出手段により算出された上記実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出手段により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出手段により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新手段と、ピクチャタイプ毎の上記実難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ算出手段と、上記目標データ算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段とを有する。
【０００８】
第３の観点の発明の符号化装置は、映像データを符号化処理して符号化映像データを生成する符号化装置であって、上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出手段と、上記統計量算出手段により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延手段と、上記統計量算出手段により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出手段と、上記符号化映像データのデータレートに対するGOP単位の上記近似難度データの比率が所定しきい値より大きい場合に、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する P ピクチャの近似難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する B ピクチャの近似難度データの比率と比例するように更新する重み付け係数更新手段と、ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出手段と、上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段とを有する。
【０００９】
第４の観点の発明の符号化装置は、映像データを符号化処理して符号化映像データを生成する符号化装置であって、上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出手段と、上記映像データから、上記映像データの動きの大きさを検出する動き検出手段と、上記統計量算出手段により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延手段と、上記統計量算出手段により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出手段と、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記近似実難度データ算出手段により算出された上記近似実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出手段により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出手段により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新手段と、ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出手段と、上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段とを有する。
【００１０】
第５の観点の発明の符号化方法は、映像データを符号化処理して符号化映像データを生成する符号化方法であって、上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出工程と、上記映像データを所定ピクチャ分遅延させる遅延工程と、上記符号化映像データのデータレートに対するGOP単位の上記実難度データの比率が所定しきい値より大きい場合に、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの実難度データに対する P ピクチャの実難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの実難度データに対する B ピクチャの実難度データの比率と比例するように更新する重み付け係数更新工程と、ピクチャタイプ毎の上記実難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程とを有する。
【００１１】
第６の観点の発明の符号化方法は、映像データを符号化処理して符号化映像データを生成する符号化方法であって、上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出工程と、上記映像データから、上記映像データの動きの大きさを検出する動き検出工程と、上記映像データを所定ピクチャ分遅延させる遅延工程と、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記実難度データ算出工程により算出された上記実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出工程により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出工程により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新工程と、ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程とを有する。
【００１２】
第７の観点の発明の符号化方法は、映像データを符号化処理して符号化映像データを生成する符号化方法であって、上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出工程と、上記統計量算出工程により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延工程と、上記統計量算出工程により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出工程と、上記符号化映像データのデータレートに対するGOP単位の上記近似難度データの比率が所定しきい値より大きい場合に、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する P ピクチャの近似難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する B ピクチャの近似難度データの比率と比例するように更新する重み付け係数更新工程と、ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程とを有する。
【００１３】
第８の観点の発明の符号化方法は、映像データを符号化処理して符号化映像データを生成する符号化方法であって、上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出工程と、上記映像データから、上記映像データの動きの大きさを検出する動き検出工程と、上記統計量算出工程により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延工程と、上記統計量算出工程により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出工程と、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記近似実難度データ算出工程により算出された上記近似難度データの値が大きい絵柄の上記映像データのうち、上記動き検出工程により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出工程により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新工程と、ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程とを有する。
【００１７】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００１８】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００１９】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２０】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および交流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２１】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２２】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２３】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００２４】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００２５】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００２６】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００２７】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００２８】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００２９】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３０】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３１】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３２】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３３】
【数１】
Figure 0003864461
【００３４】
但し、式１において、Ｄｊは映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のＬ個のピクチャに割り当てられる目標データ量の映像データ全体における平均であり、Ｒ’ｊの初期値（Ｒ’１）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データであり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３５】
【数２】
Figure 0003864461
【００３６】
【数３】
Figure 0003864461
【００３７】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００３８】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００３９】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４０】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４１】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４２】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔj の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４３】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔj の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤj 〜Ｄj+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄj+L 〜Ｄj+L+B を算出し、実際に得られた難度データＤj 〜Ｄj+L-1 （実難度データ）および予測によって得られた難度データＤ’j+L 〜Ｄ’j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔj の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４４】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４５】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４６】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００４７】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００４８】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００４９】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５０】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤj を順次、算出する。
【００５１】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５２】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄj-A ，Ｄj-A+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 の算出を既に終了している。なお、Ａは整数であり、正負を問わない。
【００５３】
ホストコンピュータ２０は、実難度データＤj-A ，Ｄj-a+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’j+L ，Ｄ’j+L+1 ，Ｄ’j+L+2 ，…，Ｄ’j+L+B を予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、予測難度データＤj ’は、例えば、実難度データＤj を直線近似し、近似により得られた直線を外挿する等の方法により算出されうる。
【００５４】
【数４】
Figure 0003864461
【００５５】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔj に基づいて、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤj-A+1 ，Ｄj-A+2 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’j+L+1 ，Ｄ’j+L+2 ，Ｄ’j+L+3 ，…，Ｄ’j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５６】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’1 を、ｊ＝−（Ｌ−１），Ｒ’1 ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００５７】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤj+L を生成する。
【００５８】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００５９】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤj-A 〜Ｄj+L-1 に基づいて、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ1 〜Ｄj+L-1 から、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
【００６０】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓj を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤj+L を出力する。
【００６１】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆj+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’j+1 ＝Ｒ’j −Ｓj ＋Ｆj+L ）を行う。
【００６２】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６３】
第３実施形態
以下、本発明の第３の実施形態として、編集処理により、複数の非圧縮映像データ（以下、非圧縮映像データをシーンとも記す）を連続的に接続して１つの非圧縮映像データ（編集映像データ）とし、この複数のシーンからなる編集映像データを、第１の実施形態に示した映像データ圧縮装置１（図１）を用いた簡易２パスエンコード方式により圧縮符号化する方法を説明する。
【００６４】
図７（Ａ）〜（Ｃ）は、第２の実施形態における予測簡易２パスエンコード方式、および、第３の実施形態における改良予測簡易２パスエンコード方式による、シーンチェンジの前後のピクチャーに対する圧縮符号化を示す図である。
第２の実施形態に示した予測簡易２パスエンコード方式は、図７（Ａ）に示すように入力される映像データに含まれるピクチャー間の時間的な相関性を利用し、圧縮映像データのピクチャーそれぞれのデータ量を予測する。しかしながら、図７（Ｂ）に示すタイミングでシーンチェンジ(scene change)が生じた場合、シーンチェンジの前後では、ピクチャー間に相関性がないので、図７（Ｃ）に示すように、シーンチェンジの前の難度データに基づいてシーンチェンジの後のピクチャーに対する目標データ量Ｔj を算出することとなり、第２の実施形態に示した予測簡易２パスエンコード方式の効果を得ることができないばかりか、却って、伸長復号後の映像の品質が悪化してしまう可能性がある。
【００６５】
つまり、具体例を挙げると、予測簡易２パスエンコード方式において、絵柄が簡単なシーンが入力されている間にシーンチェンジが生じ、絵柄が難しいシーンに代わった場合、ホストコンピュータ２０は、シーンチェンジ後も、入力される編集映像データの難度データの値を小さく予測するにも関わらず、実際には、絵柄が難しいピクチャーが入力され、後のシーンの各ピクチャーに割り当てるデータ量が不足してしまう。このように、割り当てるデータ量が不足した場合、シーンチェンジ部分の圧縮映像データに著しい符号化歪みが生じ、伸長復号して得られる映像の品質が著しく低下してしまう。
【００６６】
第３の実施形態に示す予測簡易２パスエンコード方式（改良予測簡易２パスエンコード方式）は、かかる観点からなされたものであって、シーンチェンジの前後等において編集映像データの時間的な相関性が失われた場合に、編集映像データの時間的な相関性が失われた部分に生じる難度データの予測に基づくデータ量の割り当てに起因する悪影響を除去し、さらに、シーンチェンジ直後のピクチャーに割り当てる符号量を精度よく予測し、効率的な圧縮符号化を行うことを目的とする。
【００６７】
この目的を達成するために、改良予測簡易２パスエンコード方式は、第２の実施形態に示した映像データ圧縮装置１（図１）を用いた予測簡易２パスエンコード方式を改良し、シーンチェンジを検出し、圧縮映像データのピクチャーに割り当てるデータ量の算出に用いることができなくなったシーンチェンジ前の実難度データではなく、シーンチェンジ後に求めた実難度データを用いて、可能な限り正確に、その後の所定数のピクチャーの難度を予測する。
【００６８】
まず、図８および図９を参照して、改良予測簡易２パスエンコード方式を概念的に説明する。
図８（Ａ）〜（Ｃ）は、エンコーダ制御部１２（図１）による編集映像データのピクチャーの順序の入れ替え処理、および、ホストコンピュータ２０によるピクチャーの種類（ピクチャータイプ）の変更処理を示す図である。
図９は、編集映像データのシーンチェンジ部分付近の実難度データの値の経時的な変化を例示する図である。なお、図９において、Ｉピクチャー、ＰピクチャーおよびＢピクチャーは、編集映像データを圧縮符号化した後のピクチャータイプを示す。
【００６９】
編集映像データのシーンチェンジが圧縮符号化後にＰピクチャーとなるピクチャー（以下、「圧縮符号化後にＰピクチャーとなるピクチャー」等を、単に「Ｐピクチャー」等とも記す）で生じると、エンコーダ制御部１２（図１）が、図８（Ａ），（Ｂ）に示すように編集映像データのピクチャーの順序を並び替えた映像データＳ１２からエンコーダ１６２およびホストコンピュータ２０が生成する実難度データＤj の値は、例えば、図９に示すように変化する。つまり、シーンチェンジの直後、編集映像データの先頭のＰピクチャーの実難度データＤj は、このピクチャーから生成される圧縮映像データのＰピクチャーが、前方のピクチャーを参照することができないため増加し、Ｉピクチャーとほぼ、同様の処理によって生成されることになる。従って、シーンの先頭のＰピクチャーの実難度データＤj の値は、例えば、Ｉピクチャーの難度データＤj と同程度の値になる。
【００７０】
従って、ホストコンピュータ２０は、エンコーダ１６２が生成する圧縮映像データのピクチャータイプシーケンスに基づいて、実難度データＤj の値の経時的な変化を監視し、例えば、Ｐピクチャーの実難度データＤj の値が、直前のＰピクチャーの実難度データＤj の１．５倍以上になった場合、直前のＩピクチャーの実難度データＤj の０．７倍以上になった場合、あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においてと同じ方法でホストコンピュータ２０が予測した値に比べ、実際の実難度データの値が１．５倍以上になった場合に、そのＰピクチャーに対応する編集映像データのピクチャーでシーンチェンジが生じたと判断することができる。
【００７１】
しかしながら、編集映像データのシーンチェンジが圧縮符号化後にＩピクチャーとなるピクチャーで生じると、ホストコンピュータ２０が生成する実難度データＤj の値はほとんど変化しないことがあり、逆に、シーンチェンジ後の編集映像データの絵柄が単純な場合等には、かえって、実難度データＤj の値が減少する可能性がある。また、シーンチェンジ前の編集映像データの絵柄が複雑で、シーンチェンジ後の編集映像データの絵柄が平坦である場合、あるいは、シーンチェンジ前後の編集映像データに非常に動きが大きい場合等には、Ｐピクチャーの実難度データＤj の値が顕著に増加しない場合がある。しかしながら、事実上、シーンチェンジの直後は後方のピクチャーのみしか参照できないので、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、Ｐピクチャーの実難度データＤj の値と同程度にまで増大する。
【００７２】
従って、ホストコンピュータ２０は、実難度データＤj の値の経時的な変化を監視し、例えば、Ｂピクチャーの実難度データＤj の値が、直前のＢピクチャーの実難度データＤj の１．５倍以上になった場合、あるいは、予測した値と比べ実際の実難度データＤj の値が１．５倍以上になった場合に、そのＢピクチャーの直前のＩピクチャーおよびＰピクチャーに対応する編集映像データのピクチャーでシーンチェンジが生じたと判断することができる。
なお、Ｐピクチャーの実難度データＤj の変化に基づいてシーンチェンジを検出する方法、および、Ｂピクチャーの実難度データＤj の変化に基づいてシーンチェンジを検出する方法を併用することにより、ホストコンピュータ２０は、シーンチェンジの検出を確実に行うことができる。
【００７３】
一方、シーンチェンジの発生により、編集映像データのシーンチェンジ以前のピクチャーとシーンチェンジ以降のピクチャーの相関性はなくなるので、第２の実施形態に示した予測簡易２パスエンコード方式におけるシーンチェンジ以前の実難度データＤj を用いた、シーンチェンジ以降のピクチャーに対する予測難度データＤ’j は意味を有さなくなる。
しかしながら、編集映像データのシーンチェンジ直後の数枚のピクチャーは、それ以降のピクチャーと充分な相関性を有し、従って、シーンチェンジ直後の数枚のピクチャーの実難度データＤj に基づいて、それ以降の所定枚数のピクチャーの難度データＤj の値を予測することが可能である。
【００７４】
さらに、第２の実施形態に示した予測簡易２パスエンコード方式においては、式４に示したように目標データ量Ｔj を算出する。従って、目標データ量Ｔj を算出するためには、下に示す式５において定義される総和値Ｓｕｍj を用いればよく、必ずしも個々の予測難度データＤ’j を求める必要はない。
【００７５】
【数５】
Figure 0003864461
【００７６】
式５において定義した総和値Ｓｕｍj を用いると、式４は、下に示す式６に書き換えることができる。
【００７７】
【数６】
Figure 0003864461
【００７８】
つまり、ホストコンピュータ２０は、個々の予測難度データＤ’j ではなく、総和値Ｓｕｍj を予測することができさえすれば、目標データ量Ｔj を算出することができる。
【００７９】
第３の実施形態における改良予測簡易２パスエンコード方式において、ホストコンピュータ２０は、シーンチェンジ直後に生成した実難度データＤj に基づいて総和値Ｓｕｍj を予測し、予測した総和値Ｓｕｍj に基づいて、目標データ量Ｔj を精度よく算出する。続いて所定数の編集映像データのピクチャーが入力される間、ホストコンピュータ２０は、その後に生成した実難度データＤj に基づいて、総和値Ｓｕｍj の値を順次、補正する。さらに、ホストコンピュータ２０は、シーンチェンジ以降、さらに所定数のピクチャーが入力され、充分な数の実難度データＤj を生成した後には、第２の実施形態に示した予測簡易２パスエンコード方式においてと同じ方法により、目標データ量Ｔj を生成する。
【００８０】
次に、第３の実施形態における映像データ圧縮装置１（図１）の動作を説明する。なお、説明の簡略化のために、第３の実施形態においても、図７に示したように、映像データ圧縮装置１は、第２の実施形態においてと同じピクチャータイプシーケンス（Ｎ＝１５，Ｍ＝３；Ｎは１ＧＯＰに含まれるピクチャー数、ＭはＰピクチャーの間のＢピクチャー数）に編集映像データを圧縮符号化し、第２の実施形態においてと同様に、１５個のピクチャーの実難度データＤj から、次の１５個のピクチャーの予測難度データＤ’j を生成する場合を例に説明する。
【００８１】
エンコーダ制御部１２は、第１の実施形態および第２の実施形態においてと同様の処理を行い、例えば、図８（Ａ）に示したピクチャータイプシーケンスで入力される非圧縮映像データのピクチャーの順番を、図８（Ｂ）に示すように、エンコーダ１６２およびエンコーダ１８における圧縮符号化に適した順番、つまり、Ｂピクチャーが直後のＩピクチャーまたはＰピクチャーの後ろになる順番に入れ替えて、映像データＳ１２としてエンコーダ１６２およびＦＩＦＯメモリ１６０に対して出力する。従って、例えば、図８（Ａ）に示したように、第１のシーンのデータと第２のシーンのデータとの間のシーンチェンジがＢピクチャーに圧縮符号化されるべきピクチャーであっても、エンコーダ１６２およびエンコーダ１８に入力される後ろのシーンの最初のピクチャータイプは必ずＰピクチャーまたはＩピクチャーになる。
ＦＩＦＯメモリ１６０は、第１の実施形態および第２の実施形態においてと同様に、例えば、入力される編集映像データを１５ピクチャー分、遅延してエンコーダ１８に対して出力する。
【００８２】
エンコーダ１６２は、第１の実施形態および第２の実施形態においてと同様に、シーンチェンジの有無にかかわらず、映像データＳ１２をピクチャータイプシーケンスＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂで圧縮符号化し、実難度データＤj を生成してホストコンピュータ２０に対して出力する。エンコーダ１６２が生成する実難度データＤj の値の経時的な変化は、例えば、図９に示したようになり、一般的に、シーンチェンジが発生した直後の後ろのシーンの最初のＰピクチャーの実難度データの値は、他のＰピクチャーの実難度データの値と比べて大きくなる。
【００８３】
ホストコンピュータ２０は、エンコーダ１６２から入力される実難度データの値の経時的な変化を監視し、第３の実施形態において上述したように、実難度データＤj の値が、直前のＰピクチャーの実難度データＤj-1 の、例えば１．５倍（実用的には１．４倍〜１．８倍の間の値とすると好適）以上の値を示すＰピクチャーを検出する等の方法によりＰピクチャーでシーンチェンジが発生したことを判断する。シーンチェンジを検出した場合、ホストコンピュータ２０はさらに、図８（Ｃ）に示したように、後ろのシーンの最初のＰピクチャーを前のシーンの最後のピクチャーを参照しないＩピクチャーに変更し、前のシーンの最後のＩピクチャーをＰピクチャーに変更するように、エンコーダ１８を制御して編集映像データのシーンチェンジの前後の部分を圧縮符号化する際のピクチャータイプシーケンスを変更させる。
【００８４】
なお、シーンチェンジが生じてもＩピクチャー自体のデータ量には大きな変化は生じるとは限らない。しかし、ホストコンピュータ２０は、第３の実施形態において上述したように、Ｂピクチャーの実難度データの値の経時的な変化を監視し、例えば、直前のＢピクチャーの実難度データの１．５倍の値の実難度データを有するＢピクチャーを検出する等の方法により、Ｉピクチャーでシーンチェンジが生じたことを判断することができる。
【００８５】
図１０は、ホストコンピュータ２０が、編集映像データにシーンチェンジが発生する場合に、実難度データＤ1 〜Ｄ15に基づいて予測難度データＤ’16〜Ｄ’30を算出する方法、および、編集映像データにシーンチェンジが発生しない場合の予測難度データＤ’16〜Ｄ’30を算出する方法を示す図である。
ホストコンピュータ２０は、編集映像データにシーンチェンジが発生しない場合には、エンコーダ１６２から得られたデータから、図１０中に○印で示す実難度データＤ1 〜Ｄ15を生成し、生成した実難度データＤ1 〜Ｄ15に基づいて、図１０中に×印で示す予測難度データＤ’16〜Ｄ’30をピクチャーの種類（ピクチャータイプ）ごとに算出する。
【００８６】
つまり、編集映像データにシーンチェンジが発生しない場合には、ホストコンピュータ２０は、Ｂピクチャーの実難度データＤ2 ，Ｄ3 ，…，Ｄ13，Ｄ14の値を、図１０中の点線Ａで直線近似して外挿し、Ｂピクチャーの予測難度データＤ’16，Ｄ’17，…，Ｄ’29，Ｄ’30を生成し、Ｉピクチャーの実難度データＤ4 、および、必要に応じてこれ以前のＩピクチャーの実難度データＤj の値を直線近似して外挿し、Ｉピクチャーの予測難度データＤ’18を生成し、Ｐピクチャーの実難度データＤ1 ，Ｄ7 ，…，Ｄ12、および、必要に応じてこれ以前のＰピクチャーの実難度データＤj の値を直線近似して外挿し、Ｐピクチャーの予測難度データＤ’15，Ｄ’21，…，Ｄ’27を生成する。さらに、ホストコンピュータ２０は、これらの実難度データＤj および予測難度データＤ’j を用いて、第２の実施形態に示した予測簡易２パス方式により目標データ量Ｔj を算出する。
【００８７】
以下、ホストコンピュータ２０が、Ｐピクチャーで編集映像データのシーンチェンジを検出した場合の処理内容を、段階に分けて説明する。
第１段階
ホストコンピュータ２０が、Ｐピクチャーでシーンチェンジが発生したことを検出した場合、図１０中に●で示すＰピクチャーの実難度データＤ15のみからでは、ピクチャー間の動きの量等によって左右されるＢピクチャーおよびＰピクチャーの難度を予測することができない。そこで、ホストコンピュータ２０は、予め実験等により求められたＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データの値の比率（ｉ：ｐ：ｂ）を用いて、式５に定義した総和値Ｓｕｍj を求める。
【００８８】
つまり、ホストコンピュータ２０は、第（ｊ＋１）番目（図１０においてはｊ＝１）のピクチャーに対する目標データ量を算出するために、例えば、下に示す予め求めたＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データの値の比率（ｉ：ｐ：ｂ）を用いた式７に、シーンチェンジが生じたＰピクチャーの実難度データＤj+15を代入して、第（ｊ＋１）番目のピクチャーに対する目標データ量Ｔj+1 の算出に用いる総和値Ｓｕｍj+1 を予測し、さらに、予測した総和値Ｓｕｍj+1 を式４に代入して、第（ｊ＋１）番目のピクチャーに対する目標データ量Ｔj+1 を算出する。
【００８９】
【数７】
Figure 0003864461
【００９０】
式７においては、シーンチェンジが発生したＰピクチャーの実難度データＤj+15の値が、第３の実施形態において上述したように、直後のＩピクチャーの実難度データＤj+18と等しいことを前提とし、ホストコンピュータ２０が、予め求めた比率（ｉ：ｐ：ｂ）、および、１ＧＯＰに含まれるＩピクチャー、ＰピクチャーおよびＢピクチャーの枚数を乗じた係数を、シーンチェンジ後に最初に算出したＰピクチャーの実難度データＤj+15に乗算し、さらに、所定の定数αを加算して総和値Ｓｕｍj+1 を算出することを意味している。
【００９１】
なお、式７においては、定数αは、実験等により予め求められる所定の値をとり、図１０中の第（ｊ＋１５）番目のＰピクチャーの直後、つまり、シーンチェンジ直後の第（ｊ＋１６）番目および第（ｊ＋１７）番目のＢピクチャーが、前方予測または後方予測のみにより生成されるために、他のＢピクチャーに比べてデータ量が多いことを見越したマージンとしての意味を有する。
【００９２】
ホストコンピュータ２０が、式７により求めた総和値Ｓｕｍj を用いて、第（ｊ＋１５）番目〜第（ｊ＋３０）番目の難度データの直線予測を変更したと仮定すると、予測難度データＤ’j+15〜Ｄ’j+30の値は、シーンチェンジにより増加し、図１０中に点線Ｂで示した値になる。ただし、目標データ量Ｔj の算出のためには総和値Ｓｕｍj の値のみを予測すればよく、また、後述するように、定数αの値は、第（ｊ＋２）番目のピクチャーに対する総和値Ｓｕｍj+1 を算出する際に補正されるので、ホストコンピュータ２０は、シーンチェンジが発生しない場合と異なり、シーンチェンジが発生した場合、難度データの予測をピクチャーの種類（ピクチャータイプ）別に敢えて行わない。
【００９３】
第２段階
ホストコンピュータ２０が、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する際には、第（ｊ＋１６）番目のＢピクチャーの実難度データＤj+16が算出されている。図１０に示した例においては、第（ｊ＋１６）番目のＢピクチャーは、後ろのシーンに属するが、図８（Ａ），（Ｂ）に示したように、エンコーダ制御部１２がピクチャーの順序を入れ替えているため、第（ｊ＋１６）番目のＢピクチャーが、前のシーンに属している可能性があり、また、前方予測または後方予測のみにより生成されているため、ホストコンピュータ２０は、第（ｊ＋１６）番目のＢピクチャーの実難度データＤj+16を、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する際の総和値Ｓｕｍj+2 の予測に用いることはできない。
【００９４】
しかしながら、式７において、定数αとしてマージンを考慮した２枚のＢピクチャーの内の最初の１枚のＢピクチャーの実難度データＤj+16の値を用いて、式７の定数αを補正することは可能である。そこで、ホストコンピュータ２０は、下に式８として示すように、式７の定数αを、実難度データＤj+16に基づいて補正して定数α’を算出し、さらに精度が高い総和値Ｓｕｍj+2 を予測することができる。ホストコンピュータ２０は、予測した総和値Ｓｕｍj+2 を式４に代入して、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する。
【００９５】
【数８】
Figure 0003864461
【００９６】
第３段階
ホストコンピュータ２０が、第（ｊ＋３）番目のピクチャーに対する目標データ量Ｔj+3 を算出する際には、第（ｊ＋１７）番目のＢピクチャーの実難度データＤj+17が算出されている。従って、式７において、定数αとしてマージンを考慮した２枚のＢピクチャーの両方、つまり、図８（Ａ）〜（Ｃ）に示したピクチャータイプシーケンスにおいて、ＩピクチャーおよびＰピクチャーに挟まれる１組のＢピクチャー全ての実難度データＤj+16，Ｄj+16の値が判明したので、下に式９として示すように、式７の定数αあるいは式８の定数α’は不要になる。
【００９７】
【数９】
Figure 0003864461
【００９８】
第４段階
ホストコンピュータ２０が、第（ｊ＋４）番目のピクチャーに対する目標データ量Ｔj+3 を算出する際には、第（ｊ＋１８）番目のＩピクチャーの実難度データＤj+18が算出されている。この段階で、図１０に示した例においては、シーンチェンジ以降の全ての種類（ピクチャータイプ）のピクチャーの実難度データＤi の値が判明する。そこで、式７〜式９において用いられた予め求められた比率（ｉ：ｐ：ｂ）の値を、ホストコンピュータ２０が実際に算出したＩピクチャーの実難度データＤj+18、Ｐピクチャーの実難度データＤj+15およびＰピクチャーの実難度データＤj+16（Ｄj+17）に置き換えることが可能になる。
【００９９】
このように、ホストコンピュータ２０は、予め求めた比率（ｉ：ｐ：ｂ）を、実際の比率〔Ｄj+18：Ｄj+15：Ｄj+16（Ｄj+17）〕に置換した式９を用いて、さらに精度よく総和値Ｓｕｍj+18を予測し、式４に代入して第（ｊ＋４）番目のピクチャーに対する目標データ量Ｔj+4 を算出する。
【０１００】
第５段階
第４段階と同様に、第（ｊ＋５）番目以降の数枚（例えば６〜９枚）のピクチャーに対する目標データ量Ｔj+3 を算出し、予測難度データＤ’i の算出に充分な数量の実難度データＤi が得られた後は、ホストコンピュータ２０は、シーンチェンジが発生しない場合と同様に、直線近似により予測難度データＤ’i を算出し、算出した予測難度データＤ’i を式４に代入して、目標データ量Ｔi を算出する。
【０１０１】
ホストコンピュータ２０が、第３の実施形態において上述したように、Ｉピクチャーの実難度データＤi の変化に基づいて、Ｉピクチャーでシーンチェンジが発生したと判断した場合、Ｐピクチャーでシーンチェンジが発生したと判断した場合と同じ処理、つまり、上述した第１段階〜第５段階の処理を行うことにより、各ピクチャーに対する目標データ量Ｔi を算出することができる。
【０１０２】
一方、ホストコンピュータ２０が、第３の実施形態において上述したように、Ｂチャネルの実難度データＤi の値の変化に基づいて、Ｉピクチャーでシーンチェンジが発生したと判断した場合、ホストコンピュータ２０は、Ｐピクチャーでシーンチェンジが発生したと判断した場合における第１段階または第２段階の処理を行うことができない。従って、Ｂチャネルの実難度データＤi の値の変化に基づいてＩピクチャーでシーンチェンジが発生したと判断した場合、ホストコンピュータ２０は、Ｐピクチャーでシーンチェンジが発生したと判断した場合における第２段階または第３段階の処理を行い、各ピクチャーに対する目標データ量Ｔi を算出する。
【０１０３】
以上説明した総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理の内容を、フローチャートを参照して、さらに説明する。
図１１および図１２は、第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示すフローチャート図である。
【０１０４】
なお、図１１および図１２において、データＳＣ＿Ｆｌａｇは、過去１５ピクチャー以内にシーンチェンジが生じている場合にはシーンチェンジの位置を示し、これ以外の場合には０に設定される。また、データＩ＿Ｆｌａｇの値は、図８（Ａ）〜（Ｃ）に示したピクチャータイプシーケンスにおいて、Ｉピクチャーの直後、３ピクチャーに対する処理が終了するまでは１となり、それ以外の場合には０になる。また、係数Ｉｔｈ１，Ｉｔｈ２，Ｐｔｈ，Ｂｔｈは、シーンチェンジの検出の際に、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーの値を判断するために用いる係数を示す。
【０１０５】
図１１に示すように、ステップ１００（Ｓ１００）において、ホストコンピュータ２０は、エンコーダ１６２から所定のデータを得て、実難度データＤi を生成する。
ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇの値が０であるか否かを判断する。データＳＣ＿Ｆｌａｇの値が０である場合にはＳ２００（図１２）の処理に進み、０でない場合にはＳ１０４の処理に進む。
【０１０６】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、第ｉ番目のピクチャーの種類（ピクチャータイプ）を判断し、第ｉ番目のピクチャーがＢピクチャー、Ｐピクチャー、Ｉピクチャーである場合には、それぞれＳ１０６，Ｓ１２０，Ｓ１２８の処理に進む。
ステップ１０６（Ｓ１０６）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値が０であるか否かを判断する。データＩ＿Ｆｌａｇの値が０である場合にはＳ１１０の処理に進み、０でない場合にはＳ１０８の処理に進む。
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は、Ｂピクチャーの実難度データＤi が予測難度データＤ’i ×Ｂｔｈより大きいか否かを判断し、大きい場合にはＳ１１２の処理に進み、小さい場合にはＳ１１０の処理に進む。
【０１０７】
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、シーンチェンジが発生しない場合と同じ処理を行って、予測難度データＤ’i を算出する。
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇの値を１にする。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、第ｉ番目のピクチャーが、シーンチェンジ後の１枚目のＢピクチャーである場合には、式８により総和値Ｓｕｍi を算出し、シーンチェンジ後の２枚目のＢピクチャーである場合には、式９により総和値Ｓｕｍi を算出する。
【０１０８】
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は、予測した総和値Ｓｕｍi または予測難度データＤ’i を式４に代入して、第ｉ番目のピクチャーに対する目標データ量Ｔi （target bit) を算出する。
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、データｉをインクリメントする。
【０１０９】
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、Ｐピクチャーの実難度データＤi が予測難度データＤ’i ×Ｐｔｈより大きいか否かを判断し、大きい場合にはＳ１２２の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１２２（Ｓ１２２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇにデータｉを代入する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値を０にする。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式７を用いて、総和値Ｓｕｍi を予測する。
【０１１０】
ステップ１２８（Ｓ２２０）において、ホストコンピュータ２０は、Ｉピクチャーの実難度データＤi が予測難度データＤ’i ×Ｉｔｈ１〜予測難度データＤ’i ×Ｉｔｈ２の範囲外か否かを判断し、範囲外の場合にはＳ１３０の処理に進み、範囲内の場合にはＳ１１０の処理に進む。
ステップ１３０（Ｓ１３０）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇにデータｉを代入する。
ステップ１３２（Ｓ１３２）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値を１にして、Ｓ１２６の処理に進む。
【０１１１】
図１２に示すように、ステップ２００（Ｓ２００）において、ホストコンピュータ２０は、データｉからデータＳＣ＿Ｆｌａｇを減算した値が１，２，３〜９，９以上である場合にそれぞれ、Ｓ２０２，Ｓ２０４，Ｓ２０６，Ｓ２１０の処理に進む。
ステップ２０２（Ｓ２０２）において、ホストコンピュータ２０は、式８により総和値Ｓｕｍi を予測し、Ｓ１１６（図１１）の処理に進む。
ステップ２０４（Ｓ２０４）において、ホストコンピュータ２０は、式９により総和値Ｓｕｍi を予測し、Ｓ１１６（図１１）の処理に進む。
【０１１２】
ステップ２０６（Ｓ２０６）において、ホストコンピュータ２０は、式９の於ける予め求めた比率（ｉ：ｐ：ｂ）を、算出した実難度データに置換する。
ステップ２０８（Ｓ２０８）において、ホストコンピュータ２０は、比率（ｉ：ｐ：ｂ）を、算出した実難度データに置換した式９を用いて、総和値Ｓｕｍi を予測する。
【０１１３】
ステップ２１０（Ｓ２１０）において、ホストコンピュータ２０は、ピクチャー（ｉ−ＳＣ＿Ｆｌａｇ）枚分の実難度データを用いて、直線近似を行い、総和値Ｓｕｍi （予測難度データＤ’i ）を算出する。
ステップ２１２（Ｓ２１２）において、ホストコンピュータ２０は、（ｉ−ＳＣ＿Ｆｌａｇ）＝１５であるか否かを判断する。（ｉ−ＳＣ＿Ｆｌａｇ）＝１５である場合にはＳ２１４の処理に進み、（ｉ−ＳＣ＿Ｆｌａｇ）＝１５でない場合にはＳ１１０（図１１）の処理に進む。
【０１１４】
ホストコンピュータ２０は、以上説明した処理により生成した目標データ量Ｔj を、エンコーダ１８の量子化制御回路１８０に設定する。
エンコーダ１８は、第１の実施形態および第２の実施形態においてと同様に、ホストコンピュータ２０から設定された目標データ量Ｔj に基づいて、図８（Ｃ）に示すように、後ろのシーンの最初のＰピクチャーが、前のシーンの最後のピクチャーを参照しないように、Ｉピクチャーに変更し、前のシーンの最後のＩピクチャーをＰピクチャーに変更して圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１１５】
以上、第３の実施形態に示した改良予測簡易２パスエンコード方式によれば、シーンチェンジやカメラフラッシュ等を含む映像データにより多くのデータ量を割り当てて圧縮符号化可能である上に、シーンチェンジやカメラフラッシュの前後に発生する符号化歪みを顕著に低減することができる。従って、第３の実施形態に示した改良予測簡易２パスエンコード方式によって生成した圧縮映像データを伸長復号して得られる映像の品質を向上させることができる。
【０１１６】
なお、第３の実施形態においては、Ｎ＝１５，Ｍ＝３のピクチャーシーケンスに対する処理に適合する式７〜式９を例示したが、式７〜式９を適切に変更する（式７〜式９中の係数４，１０をピクチャーシーケンスに合わせて変更する）ことにより、他のピクチャーシーケンスに対しても、改良予測簡易２パスエンコードを適用することができる。
【０１１７】
第４実施形態
以下、本発明の第４の実施形態として、第３の実施形態に示した改良予測簡易２パスエンコード方式のシーンチェンジ検出方法の変形例を説明する。
まず、本発明の第４の実施形態におけるシーンチェンジ検出方法の原理を説明する。
【０１１８】
映像データ圧縮装置１（図１）が、シーンチェンジ付近の編集映像データから、第２の実施形態および第３の実施形態にそれぞれ示した予測簡易２パスエンコード方式および改良予測簡易２パスエンコード方式において、映像データのピクチャー間の時間的相関性を用いて生成される予測難度データＤj ’は、実難度データＤj-1 以前の映像データの難度の変化の傾向をよく反映しており、その実難度データＤj との誤差は、シーンチェンジがないかぎり非常に少なくなる。例えば、図１０に示した場合においては、予測難度データＤ16’は、１５個の実難度データＤ1 〜Ｄ15に基づいて、これらの１つ先のピクチャーの難度を予測した値であり、シーンチェンジがない場合には、精度が非常に高いと期待できる。
【０１１９】
図１３は、シーンチェンジがＰピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
一方、図１３に示すように、シーンチェンジがＰピクチャーで生じた場合、シーンチェンジ直後のＰピクチャーの実難度データＤj は、多くの場合、前方のピクチャーを参照した圧縮符号化ができなくなるために、予測難度データＤj ’よりも大幅に大きな値となる。
【０１２０】
逆に、シーンチェンジ部分のＰピクチャーの実難度データＤj は、例えば、シーンチェンジ前の絵柄に比べて、シーンチェンジ後の絵柄が平坦である場合等には、予測難度データＤj ’よりも大幅に小さな値となる場合もある。
また、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、後方のピクチャーのみを参照して圧縮符号化されるために、予測難度データＤj ’に比べて大幅に、例えばＰピクチャー並みに大きくなる。
【０１２１】
図１４は、シーンチェンジがＩピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
また、図１４に示すように、シーンチェンジが、第ｊ（１６）番目のＩピクチャーで生じた場合、シーンチェンジ前後のＩピクチャーには時間的相関関係がないので、シーンチェンジ直後のＩピクチャーの予測難度データＤj ’と実難度データＤj との間に誤差が生じる。
【０１２２】
しかしながら、Ｉピクチャーは、元々、他のピクチャーを参照せずに圧縮符号化されるので、Ｐピクチャーでシーンチェンジが生じた場合に比べて、予測難度データＤj ’と実難度データＤj との差は少ない。
一方、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、Ｐフレームでシーンチェンジが生じた場合と同様に、予測難度データＤj ’に比べて大幅に大きくなる。
【０１２３】
このように、ＰピクチャーおよびＩピクチャーの予測難度データＤj ’と難度データＤj の値に大きな誤差が生じない場合であっても、Ｂピクチャー自体の予測難度データＤj ’と難度データＤj の値に大きな誤差が生じた場合には、その直前のＩピクチャーまたはＰピクチャーでシーンチェンジが生じたと判断することができる。
【０１２４】
第４の実施形態に示すシーンチェンジ検出方法は、以上説明した実難度データＤj と予測難度データＤj ’との関係を利用しており、第３の実施形態にそれぞれ示した改良簡易２パスエンコード方式において、より正確にシーンチェンジの検出を可能とする。つまり、第４の実施形態に示すシーンチェンジ検出方法は、第３の実施形態に示した映像データ圧縮装置１を用いた改良予測簡易２パスエンコード方式において、予測難度データＤj ’と実難度データＤj との値を比較してシーンチェンジを正確に検出するようになっている。
【０１２５】
具体的には、第４の実施形態におけるシーンチェンジの検出は、Ｉピクチャーの実難度データＤjIに対する予測難度データＤjI’の比の値（ＤjI／ＤjI’）、および、Ｐピクチャーの実難度データＤjpに対する予測難度データＤjp’の比の値（Ｄjp／Ｄjp’）が、所定の閾値の範囲外にある場合〔ＴｈI1＜（Ｄj ／Ｄj ’）または（ＤjP／ＤjP’）＜ＴｈI2，Ｔｈp1＜（ＤjP／ＤjP’）または（Ｄj ／Ｄj ’）＜Ｔｈp2。ただし、ＴｈI1＞１＞ＴｈI2＞０，Ｔｈp1＞１＞Ｔｈp2＞０〕には、シーンチェンジの発生をそのピクチャーで検出する。但し、通常、ＰピクチャーのＰピクチャーの実難度データＤjpに対する予測難度データＤjp’の比の値（Ｄjp／Ｄjp’）が、加減値ＴｈP2以下になることは殆どない。
【０１２６】
また、第４の実施形態におけるシーンチェンジ検出方法は、ＩピクチャーおよびＰピクチャーの実難度データＤjI，ＤjPに対する予測難度データＤjI’，ＤjP’の比の値が、上記所定の閾値の範囲内である場合であっても、Ｂピクチャーの実難度データＤjBに対する予測難度データＤjB’の比の値（ＤjB／ＤjB’）が、所定の範囲外にある場合に〔ＴｈB ＜（ＤjB／ＤjB’）。但し、ＴｈB ＞１〕、シーンチェンジの発生を、そのＢピクチャーの直前のＩピクチャーまたはＰピクチャーでシーンチェンジが生じたと検出する。
【０１２７】
次に、第４の実施形態における映像データ圧縮装置１（図１）の動作を説明する。
エンコーダ制御部１２は、第１の実施形態〜第３の実施形態においてと同様に、非圧縮映像データのピクチャーを、例えば、図８（Ａ）に示した順番から図８（Ｂ）に示した順番に入れ替える。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第３の実施形態においてと同様に、例えば、入力される編集映像データを１５ピクチャー分、遅延する。
エンコーダ１６２は、第１の実施形態〜第３の実施形態においてと同様に、シーンチェンジの有無にかかわらず、映像データＳ１２を圧縮符号化し、実難度データＤj を生成する。
【０１２８】
ホストコンピュータ２０は、エンコーダ１６２から入力される実難度データＤj と予測難度データＤj ’とを比較し、第４の実施形態において上述したように、ＰピクチャーおよびＩピクチャーの予測難度データＤj ’の実難度データＤj に対する比の値、および、Ｂピクチャーの予測難度データＤj ’の実難度データＤj に対する比の値が、上記所定の範囲外となる位置でシーンチェンジが発生したことを検出する。
【０１２９】
シーンチェンジを検出した場合、ホストコンピュータ２０はさらに、第３の実施形態においてと同様に、後ろのシーンの最初のＰピクチャーを前のシーンの最後のピクチャーを参照しないＩピクチャーに変更し（図８（Ｃ））、前のシーンの最後のＩピクチャーをＰピクチャーに変更するように、ピクチャータイプシーケンスを変更させる。
【０１３０】
ホストコンピュータ２０は、第３の実施形態においてと同様に、編集映像データにシーンチェンジが発生しない場合には、エンコーダ１６２から得られたデータから実難度データＤj を生成し、予測難度データＤ’16〜Ｄ’30をピクチャータイプごとに算出する。
また、ホストコンピュータ２０は、シーンチェンジが発生した場合には、シーンチェンジ前後でピクチャーの相関性がなくなるので、第３の実施形態においと同様に、シーンチェンジ直後の所定数枚のピクチャーの実難度データＤj から、式６により、総和値Ｓｕｍj （式５）を算出し、算出した総和値Ｓｕｍj に基づいて、目標データ量Ｔj を算出する。
エンコーダ１２は、圧縮符号化後のデータ量が、ホストコンピュータ２０が生成した目標データ量Ｔj が示す値に近くなるように遅延された非圧縮映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１３１】
以下、フローチャートを参照して、第４の実施形態に示した映像データ圧縮装置１のホストコンピュータ２０によるシーンチェンジ検出処理の内容をさらに説明する。
図１５は、第４の実施形態における映像データ圧縮装置１（図１）のホストコンピュータ２０によるシーンチェンジ検出処理の内容を示すフローチャート図である。
【０１３２】
図１５に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第ｊ番目の実難度データＤj を算出する。
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第ｊ番目のピクチャーがあるか否かを判断する。第ｊ番目のピクチャーがある場合には、Ｓ３０４の処理に進み、ない場合には処理を終了する。
ステップ３０４（Ｓ３０４）において、ホストコンピュータ２０は、第ｊ番目のピクチャーのピクチャータイプを判断する。第ｊ番目のピクチャーのピクチャータイプがＢピクチャー、ＩピクチャーまたはＰピクチャーである場合、それぞれ、Ｓ３０６，Ｓ３１６，Ｓ３２０の処理に進む。
【０１３３】
ステップ３０６（Ｓ３０６）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔをインクリメントする。
ステップ３０８（Ｓ３０８）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値が１であるか否かを判断する。数値Ｂ＿ｃｏｕｎｔの値が１である場合には、Ｓ３１２の処理に進み、数値Ｂ＿ｃｏｕｎｔの値が１でない場合には、Ｓ３１０の処理に進む。
【０１３４】
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、シーンチェンジが発生しなかったと判断する。
ステップ３１２（Ｓ３１２）において、ホストコンピュータ２０は、Ｂピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈB ×Ｄj ’（ＤjB／ＤjB’＞ＴｈB ）であるか否かを判断する。Ｄj ＞ＴｈB ×Ｄj ’である場合、Ｓ３１０の処理に進み、Ｄj ＞ＴｈB ×Ｄj ’でない場合、Ｓ３１４の処理に進む。
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、直前のＩピクチャーまたはＰピクチャー〔第（ｊ−１）番目のピクチャー〕でシーンチェンジが発生したと判定する。
【０１３５】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値をゼロクリアする。
ステップ３１８（Ｓ３１８）において、ホストコンピュータ２０は、Ｐピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’であるか否かを判断する。Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’である場合、Ｓ３２４の処理に進み、Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’でない場合、Ｓ３１０の処理に進む。
【０１３６】
ステップ３２０（Ｓ３２０）において、ホストコンピュータ２０は、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値をゼロクリアする。
ステップ３２２（Ｓ３２２）において、ホストコンピュータ２０は、Ｉピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’であるか否かを判断する。Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’である場合、Ｓ３２４の処理に進み、Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’でない場合、Ｓ３１０の処理に進む。
【０１３７】
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、第ｊ番目のピクチャーでシーンチェンジが発生したとを判断する。
ステップ３２６（Ｓ３２６）において、ホストコンピュータ２０は、実難度データＤj までを用いて、次の予測難度データＤj+1 を算出する。
ステップ３２８（Ｓ３２８）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１３８】
なお、第４の実施形態においては、予測難度データＤj ’の予測方法として、第３の実施形態に示した直線近似を用いたが、予測難度データＤj ’の予測方法は、これに限らず、例えば、実難度データＤj の差分値に基づいて、実難度データＤj の変化を予測することにより予測難度データＤj ’を算出する方法を採ってもよい。
また、第４の実施形態においては、シーンチェンジを検出する際に、Ｂピクチャーの前のピクチャーがＩピクチャーであろうとＰピクチャーであろうと、同じＢピクチャーの予測難度データＤj ’と実難度データＤj との比較の際に、同じ閾値ＴｈB を用いたが、前のピクチャーのピクチャータイプに応じて、閾値を変更してもよい。
【０１３９】
以上第４の実施形態において説明したシーンチェンジの検出方法によれば、第３の実施形態に示した実難度データＤj の経時的な変化の監視によっては、検出しにくかったＩピクチャーでのシーンチェンジ、あるいは、シーンチェンジの前の絵柄が難しく、シーンチェンジ後の絵柄が優しい場合のＰピクチャーでのシーンチェンジを、確実に検出することができる。従って、第３の実施形態に示したシーンチェンジの検出方法を採用する場合に比べて、圧縮符号化後の映像データの品質を向上させることができる。
【０１４０】
第５実施形態
以下、本発明の第５の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式、および、第２の実施形態に示した予測簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【０１４１】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj ’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【０１４２】
第５の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【０１４３】
図１６は、第５の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図１７は、図１６に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図１６および図１７において、映像データ圧縮装置２の構成部分のうち、第１の実施形態および第２の実施形態において説明した映像データ圧縮装置１（図１，図２）の構成部分と同一のものには同一の符号を付して示してある。
【０１４４】
図１６に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１，図２）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図１７に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【０１４５】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【０１４６】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【０１４７】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【０１４８】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【０１４９】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【０１５０】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態および第２の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【０１５１】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図１７）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【０１５２】
ＭＥ残差と実難度データＤ j との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）と参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるように動きベクトルを求める。ＭＥ残差は、動きベクトルを求める際の２つのピクチャー間の誤差成分の電力パワーとして定義される。
【０１５３】
図１８は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図１９は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図１８および図１９は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図１８および図１９において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図１８および図１９を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【０１５４】
フラットネスと実難度データＤ j との関係
図２０は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図２０に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。
なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【０１５５】
図２１は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図２１は、図１８および図１９と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図２１において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図２１に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【０１５６】
イントラＡＣと実難度データＤ j との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式１０により求めることができる。
【０１５７】
【数１０】
Figure 0003864461
【０１５８】
図２２は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図２２は、図１８および図１９と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図２２において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がイントラＡＣを示す。
図２２に示すように、イントラＡＣと実難度データＤj との間には強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【０１５９】
Ｐピクチャーについては下に示す式１１により、Ｂピクチャーについては下に示す式１２により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式１１および式１２と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【０１６０】
【数１１】
Figure 0003864461
【０１６１】
【数１２】
Figure 0003864461
【０１６２】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１または式４に代入することにより目標データ量Ｔj が算出される。
あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj から予測難度データＤj ’が算出され、実難度データＤj および予測難度データＤj ’を式４に代入することにより目標データ量Ｔj が算出される。
【０１６３】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図２０および式１０に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【０１６４】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【０１６５】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１１および式１２に示した演算処理を行って実難度データＤj を近似し、式１１および式１２と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１または式４に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【０１６６】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【０１６７】
なお、ＭＰＥＧのＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式１３に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【０１６８】
【数１３】
Figure 0003864461
【０１６９】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第５の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１に対してと同様の変形が可能である。
【０１７０】
第６実施形態
以下、本発明の第６の実施形態を説明する。
第５の実施形態に示したＦＦＲＣ方式においては、統計的に求められた指標データ（統計量）、つまり、ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティを、式１１および式１２等の一次関数に代入して実難度データＤj を近似する。
これらの指標データと難度データＤj とは、図１８、図１９、図２１および図２２に示したように、強い相関関係を有するが、映像データの絵柄によっては、上記一次関数から若干の誤差が生じる。
【０１７１】
第６の実施形態における映像データ圧縮装置２の処理は、かかる問題点を解決するためになされたものであり、映像データの絵柄等に応じて、式１１および式１２等に示した重み付け係数ａp ，ａB 等を、適応的に刻一刻と調節して、第５の実施形態においてより高い精度で実難度データＤj を指標データで近似することができ、より高い品質の圧縮映像データを生成することができるように改良されている。
【０１７２】
以下、第６の実施形態における映像データ圧縮装置２の処理の概要を説明する。
映像データ圧縮装置２（図１６）のエンコーダ１８が、１ピクチャー分の圧縮符号化を終了するたびに、ホストコンピュータ２０には、生成した圧縮映像データの１ピクチャー分のデータ量が判明し、さらに、圧縮符号化時の量子化値Ｑj の平均値、および、以下に説明するグローバルコンプレクシティ(GC; global complexity) を算出することができる。
グローバルコンプレクシティは、ＭＰＥＧのＴＭ５において、圧縮映像データのデータ量と量子化値Ｑj とを乗算した値として、下の式１４−１〜式１４−３に示すように定義され、映像の絵柄の複雑さを示す。
【０１７３】
【数１４】
Figure 0003864461
【０１７４】
なお、式１４−１〜式１４−３において、ＳI ，ＳB ，Ｓp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのデータ量を示し、ＱI ，ＱB ，Ｑp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーを生成する際の量子化値Ｑj の平均値を示し、ＸI ，ＸB ，Ｘp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのグローバルコンプレクシティを示す。
式１４−１〜式１４−３に示したグローバルコンプレクシティは、実難度データＤj とは必ずしも一致しないが、量子化値Ｑj の平均値が極端に大きかったり小さかったりしない限り、実難度データＤj とほぼ一致する。
【０１７５】
ここで、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの指標データ、例えばイントラＡＣ（他のパラメータでも可）およびＭＥ残差と、グローバルコンプレクシティとが比例関係にあるとすると、これらの指標データとグローバルコンプレクシティとの比例係数εI ，εP ，εB は、下の式１５−１〜式１５−３により算出できる。
【０１７６】
【数１５】
Figure 0003864461
【０１７７】
各ピクチャータイプの実難度データＤj は、式１５−１〜式１５−３により算出した比例係数εI ，εP ，εB を用いて、下の式１６−１〜式１６−３に示すように近似され、算出される。
【０１７８】
【数１６】
Figure 0003864461
【０１７９】
ホストコンピュータ２０が、式１５−１〜式１５−３に示したように、比例係数εI ，εP ，εB を、エンコーダ１８がピクチャーを１枚圧縮符号化するたびに算出して最適化し、式１６−１〜式１６−３により各ピクチャータイプの実難度データＤj の値を求めることにより、映像データの絵柄に関わらず、指標データにより実難度データＤj を、常に最適に近似することができる。
【０１８０】
ホストコンピュータ２０は、式１５−１〜式１５−３および式１６−１〜式１６−３に示したように近似された実難度データＤj に対して、式１または式４に示した演算処理を行って目標データ量Ｔj を算出する。
なお、ＭＰＥＧのＴＭ５におけるように、実難度データＤj に基づいて定める値に対して、意図的に、実際に算出する目標データ量Ｔj の値を一定の比率で変更する場合には、下の式１７−１〜式１７−３により、目標データ量Ｔj を算出することができる。
【０１８１】
【数１７】
Figure 0003864461
【０１８２】
なお、式１７−１〜式１７−３全ての分母において、ＤI,P,B は、エンコーダ１８に入力される前のＦＩＦＯメモリ１６０にバッファリングされているＬピクチャー分の非圧縮映像データから生成された指標データにより近似された実難度データＤj を示し、Ｒj は、第ｊ番目のピクチャー以降のＬ枚のピクチャーに割り当てることができるデータ量の平均値を示す。
【０１８３】
以下、図２３を参照して、第６の実施形態における映像データ圧縮装置２の処理内容を説明する。
図２３は、第６の実施形態における映像データ圧縮装置２（図１６，図１７）の圧縮符号化処理の内容を、ピクチャーの符号化順に示す図である。
エンコーダ制御部２２は、第５の実施形態においてと同様に、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、ピクチャー・フィールド変換等を行い、Ｉピクチャーに圧縮符号化される第（ｊ＋Ｌ）番目のピクチャーからフラットネスおよびイントラＡＣ等の統計量を算出する（図２３ａ）。
【０１８４】
動き検出器１４は、第１の実施形態〜第５の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第（ｊ＋Ｌ）番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図２３ａ）。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第５の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１６−１および式１６−２に示した演算処理を行って実難度データＤj を近似し、式１６−３に示した演算処理を行って、イントラＡＣ等により実難度データＤj を近似する（図２３ｂ）。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１あるいは式１７−１〜式１７−３に代入し、目標データ量Ｔj を算出して、エンコーダ１８の量子化制御回路１８０に設定する（図２３ｃ）。
【０１８５】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第５の実施形態においてと同様に、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化するとともに、第ｊ番目のピクチャーの圧縮符号化に用いた量子化値Ｑj の平均値を算出し、ホストコンピュータ２０に対して出力する。
可変長符号化回路１７０は、第１の実施形態〜第５の実施形態においてと同様に、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０１８６】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化制御回路１８０から入力される第ｊ番目のピクチャーに対する量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式１４−１〜式１４−３に示したようにグローバルコンプレクシティを算出する（図２３ｄ）。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１５−１〜式１５−３に示したように比例係数εI ，εP ，εB を更新する（図２３ｅ）。更新された比例係数εI ，εP ，εB は、次のピクチャーの圧縮符号化の際の変換式（式１６−１〜式１６−３）に反映される。
【０１８７】
図２４を参照して、第６の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図２４は、第６の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図１８）の処理内容を示すフローチャート図である。
図２４に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーのＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込む。
【０１８８】
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第（ｊ＋Ｌ）番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３０４の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３０６の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３０８の処理に進む。
【０１８９】
ステップ３０４（Ｓ３０４）、ステップ３０６（Ｓ３０６）およびステップ３０８（Ｓ３０８）それぞれにおいて、ホストコンピュータ２０は、式１６−１〜式１６−３により実難度データＤj を近似する。
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、近似した実難度データＤj を用いて、式１あるいは式１７−１〜式１７−３により、目標データ量Ｔj を算出する。
ステップ３１２（Ｓ３１２）において、エンコーダ１８は、第ｊ番目のピクチャーを圧縮符号化する。
【０１９０】
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、エンコーダ１８が圧縮した第ｊ番目のピクチャーのデータ量、および、量子化制御回路１８０が量子化回路１６８に設定する量子化値Ｑj の平均値から、グローバルコンプレクシティＸI ，ＸB ，Ｘp 〔Ｘ（Ｉ，Ｂ，Ｐ）〕を算出する。
【０１９１】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、第ｊ番目のピクチャーがいずれのピクチャータイプに圧縮符号化されたかを判断する。第ｊ番目のピクチャーがＩピクチャーに圧縮符号化された場合にはＳ３１８の処理に進み、Ｐピクチャーに圧縮符号化された場合にはＳ３２０の処理に進み、Ｂピクチャーに圧縮符号化された場合にはＳ３２０の処理に進む。
ステップ３１８（Ｓ３１８）、ステップ３２０（Ｓ３２０）およびステップ３２２（Ｓ３２２）それぞれにおいて、ホストコンピュータ２０は、式１５−１〜式１５−３により比例係数εI ，εP ，εB を更新する。
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１９２】
なお、第５の実施形態においてと同様に、例えば、下の式１８に示すように、実難度データＤj と、比例係数εI ，εP ，εB と指標データとの乗算値との間にオフセット（δP ）が存在する場合がある。このような場合には、下の式１９に示すように、グローバルコンプレクシティＸI ，ＸB ，Ｘp からオフセット値δI ，δB ，δP を減算した値を指標データで除算することにより、比例係数εI ，εP ，εB を算出することができる。
【０１９３】
【数１８】
Figure 0003864461
【０１９４】
【数１９】
Figure 0003864461
【０１９５】
また、第６の実施形態に示した映像データ圧縮装置２の動作についても、第５の実施形態等に示したものと同様な変形が可能である。
以上述べたように、第６の実施形態における映像データ圧縮装置２の動作によれば、第５の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、第５の実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、この結果、圧縮映像データの品質を向上させることができる。
【０１９６】
第７実施形態
以下、本発明の第７の実施形態を説明する。
ＭＰＥＧ方式等のＴＭ５(test model 5)の処理の第１段階（ステップ１）においては、式１４−１〜式１４−３（第６の実施形態）に示したグローバルコンプレクシティＸI ，Ｘp ，ＸB 〔Ｘ（Ｉ，Ｐ，Ｂ）〕を用いて、圧縮後のピクチャーそれぞれに割り当てる目標データ量Ｔj が算出される。
【０１９７】
グローバルコンプレクシティＸI ，Ｘp ，ＸB から目標データ量Ｔj を求める際には、式１７−１〜式１７−３が用いられる。式１７−１〜式１７−３には、ピクチャーの種類（ピクチャータイプ）ごとに目標データ量Ｔj に異なった重み付けを行うために、Ｋp ，ＫB という係数が導入されている。式１７−１〜式１７−３を参照してわかるように、重み付け係数Ｋp ，ＫB の値をそれぞれ大きくすればするほど、Ｉピクチャーの目標データ量Ｔj と比較して、ＰピクチャおよびＢピクチャーの目標データ量Ｔj が少なくなる。
【０１９８】
例えば、ＭＰＥＧ方式のＴＭ５においては、重み付け係数Ｋp ，ＫB は固定値であり、それぞれ１．０，１．４（Ｋp ＝１．０，ＫB ＝１．４、デフォルト値）である。つまり、ＭＰＥＧ方式のＴＭ５においては、Ｐピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＰピクチャーのグローバルコンプレクシティＸp の比率の通りの目標データ量Ｔj が与えられ、Ｂピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＢピクチャーのグローバルコンプレクシティＸB の比率よりも意図的に小さい目標データ量Ｔj が与えられる。
【０１９９】
多くの場合、固定の重み付け係数Ｋp ，ＫB を用いることにより、各ピクチャータイプに対して適切な値の目標データ量Ｔj が算出される。しかしながら、固定値の重み付け係数Ｋp ，ＫB は、圧縮語のデータレートの値、および、非圧縮映像データの絵柄によっては、最適な値でなくなる可能性がある。
【０２００】
一方、「ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用」（甲藤，太田、信学技報 IE95-10, DSP95-10 (1995-04) p71〜p78 ；文献１）において、非圧縮映像データの動きの大きさ、絵柄の複雑さに応じて、重み付け係数Ｋp ，ＫB （式１７−１〜式１７−３；第６の実施形態）を最適化することにより、圧縮映像データの品質を改善することができる旨が報告されている。しかしながら、文献１には、圧縮映像データのデータレートおよび非圧縮映像データの動きに応じて重み付け係数Ｋp ，ＫB を変更する方法は開示されいない。
【０２０１】
また、実際には、圧縮映像データのデータレートを充分高い値にすることができる場合は、重み付け係数Ｋp ，ＫB の値にデフォルト値を用いて目標データ量Ｔj を求める場合に、圧縮映像データの品質が最良になる。一方、圧縮映像データのデータレートを充分高い値にすることができない場合は、重み付け係数Ｋp ，ＫB の値を非圧縮映像データの動きの大きさ、絵柄の複雑さに応じて、重み付け係数Ｋp ，ＫB を最適化して目標データ量Ｔj を求める方が、圧縮映像データの品質が向上する。
【０２０２】
具体的には、例えば、動きが大きくても絵柄が簡単な映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB を変更するよりもデフォルト値とした方が圧縮映像データの品質が結果として向上する。また、動きが小さい映像データを圧縮符号化する場合は、Ｉピクチャーに多くのデータ量を割り当てるような重み付け係数Ｋp ，ＫB 、つまり、値が大きい重み付け係数Ｋp ，ＫB を用いると圧縮映像データの品質が向上する。逆に、動きが大きい映像データを圧縮符号化する場合は、ＰピクチャーおよびＢピクチャーに多くのデータ量を割り当てるような重み付け係数Ｋp ，ＫB 、つまり、値が小さい重み付け係数Ｋp ，ＫB を用いると圧縮映像データの品質が向上する。
【０２０３】
第７の実施形態においては、映像データ圧縮装置１，２（図１〜図３，図１６，図１７）を改良し、これらと同様にＦＦＲＣ方式により映像データを圧縮する装置であって、ピクチャータイプごとの目標データ量Ｔj を算出する際に用いられる重み付け係数Ｋp ，ＫB を、非圧縮映像データの動き・絵柄に応じて適応的に変更・調節し、圧縮映像データの品質を改善した映像データ圧縮装置３を説明する。
【０２０４】
図２５は、第７の実施形態における本発明に係る映像データ圧縮装置３の構成を示す図である。
図２６は、図２５に示したエンコーダ２６の構成を示す図である。
図２５に示すように、映像データ圧縮装置３は、映像データ圧縮装置２（図１６，図１７）のエンコーダ１８を、エンコーダ２６で置換した構成を採る。
なお、図２５および図２６においては、映像データ圧縮装置３の構成部分の内、図１〜図３に示した映像データ圧縮装置１および図１６，図１７に示した映像データ圧縮装置２の構成部分と同一のものには同一の符号を付してある。
【０２０５】
また、図２６に示すように、エンコーダ２６は、量子化制御回路１８０の代わりに、グローバルコンプレクシティ算出回路（ＧＣ算出回路）２６２、目標データ量算出（Ｔj 算出）回路２６４および量子化インデックス生成回路２６６を含む量子化制御部２６０を有し、ホストコンピュータ２０によらずに、実難度データＤj またはグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj を算出可能に構成されている。
映像データ圧縮装置３は、これらの構成部分により、第５の実施形態および第６の実施形態において説明したＦＦＲＣ方式により非圧縮映像データを圧縮符号化し、出力する。
【０２０６】
以下、量子化制御部２６０の各構成部分の動作を説明する。
ＧＣ算出回路２６２は、可変長符号化回路１７０から出力される圧縮映像データのデータ量ＳI ，Ｓp ，ＳB と、量子化回路１６８が量子化に用いた量子化値の平均値ＱI ，Ｑp ，ＱB とに基づいて、式１４−１〜式１４−３（第６実施形態）に示したように、各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出し、目標データ量算出回路２６４、量子化インデックス生成回路２６６、および、必要に応じてホストコンピュータ２０に対して出力する。
【０２０７】
目標データ量算出回路２６４は、例えば、ＭＰＥＧ方式のＴＭ５の第１段階（ステップ１）と同様に、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB により各ピクチャータイプの実難度データＤj を近似し、式１７−１〜式１７−３（第６実施形態）に示したように、各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出し、量子化インデックス生成回路２６６に対して出力する。
【０２０８】
具体例を挙げて上述したように、例えば、動きが大きくても絵柄が簡単な映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB を変更するよりもデフォルト値とし、符号化難度が高い（実難度データＤj の値が大きい）絵柄の映像データの内、動きが小さい部分を圧縮符号化する際には重み付け係数Ｋp ，ＫB の値を大きくし、逆に、動きが大きい映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB の値を比較的、小さくすることが望ましい。
【０２０９】
式２０、式２１−１および式２１−２を参照して、目標データ量算出回路２６４における重み付け係数Ｋp ，ＫB の更新処理の内容をさらに説明する。
重み付け係数Ｋp ，ＫB を、どの程度変更すべきかを判断するために、下に示す圧縮映像データＶＯＵＴのデータレートに対する実難度データＤj の比率ｘというパラメータを導入する。
【０２１０】
【数２０】
Figure 0003864461
【０２１１】
ただし、式２０において、bitrate は、１秒間当たりの発生データ量（データレート）であり、Ｎは１ＧＯＰ当たりのピクチャーの枚数であり、picture rateは１秒間あたりのピクチャーの枚数である。
【０２１２】
また、非圧縮映像データの動きの大小は、Ｉピクチャーの実難度データＤI に対するＰピクチャーの実難度データＤP の比率（ＤI ／Ｄp ）、および、Ｉピクチャーの実難度データＤI に対するＢピクチャーの実難度データＤB の比率（ＤI ／ＤB ）により判断することができる。
従って、目標データ量算出回路２６４は、例えば、最新のＩピクチャーの実難度データＤI とＰピクチャーの実難度データＤp との比率（ＤI ／Ｄp ）に比例するようにＰピクチャーの重み付け係数Ｋp を算出し、最新のＩピクチャーの実難度データＤI とＢピクチャーの実難度データＤB との比率（ＤI ／ＤB ）に比例するようにＢピクチャーの重み付け係数ＫB を算出する。
【０２１３】
図２７は、目標データ量算出回路２６４（図２６）が算出するＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を示す図である。
しかしながら、非圧縮映像データの絵柄の複雑さおよび動きの大きさによっては、単純に重み付け係数Ｋp ，ＫB と比率（ＤI ／Ｄp ，ＤI ／ＤB ）とを比例させた場合、重み付け係数Ｋp ，ＫB の値が極端に大きくなりすぎる場合および小さくなりすぎる場合がある。従って、比率ｘ（式２０）に所定の閾値δ1 ，δ2 ，δ3 （δ1 ＜δ2 ，δ3 ）を設ける。
【０２１４】
比率ｘが閾値δ1 よりも小さい場合には、圧縮映像データＶＯＵＴのデータレートが充分に大きい、あるいは、非圧縮映像データの絵柄が単純または動きが小さいと判断できるので、重み付け係数Ｋp ，ＫB の値が小さくなりすぎないように（但し、割り当てられるデータ量は多くなりすぎる）、デフォルト値を用いる。一方、非圧縮映像データの絵柄が複雑であるにもかかわらず、動きがごく少ない場合には、Ｉピクチャーの実難度データＤI の値は、ＰピクチャーおよびＢピクチャーの実難度データＤP ，ＤB に比べて非常に大きくなる。
【０２１５】
これらの場合に対応するために、重み付け係数Ｋp ，ＫB が必要以上に大きくなりすぎる（但し、割り当てられるデータ量は少なくなりすぎる）ので、Ｐピクチャーについて比率ｘに閾値δ3 、Ｂピクチャーについて比率ｘに閾値δ2 を設け、比率ｘがこれらの閾値δ3 ，δ2 を超える部分について、重み付け係数Ｋp ，ＫB を上限値Ｌp ，ＬB として制限する。
なお、重み付け係数Ｋp ，ＫB と比率ｘとの関係は、それぞれ閾値δ1 〜閾値δ3 および閾値δ1 〜閾値δ2 の範囲内で、下の式２１−１および式２１−２に示す通りとなる。
【０２１６】
【数２１】
Figure 0003864461
【０２１７】
目標データ量算出回路２６４は、ＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を、以上述べたように、それぞれ閾値δ1 〜閾値δ3 および閾値δ1 〜閾値δ2 の範囲内で式２１−１および式２１−２を用いて算出し、これらの範囲外ではデフォルト値または上限値Ｌp ，ＬB （＝ＤI ／Ｄp ，ＤI ／ＤB ）に制限する。
【０２１８】
量子化インデックス生成回路２６６は、例えば、ＭＰＥＧ方式のＴＭ５の第２段階および第３段階（ステップ２，ステップ３）と同様に、目標データ量算出回路２６４から入力された目標データ量Ｔj 、および、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB から量子化インデックスを生成し、量子化回路１６８に対して出力する。
【０２１９】
なお、量子化インデックスは、量子化回路１６８において、量子化処理の単位となるマクロブロックごとに変化する量子化値Ｑj の組み合わせを示すインデックスとして用いられるデータであって、量子化値Ｑj と１対１に対応する。つまり、量子化インデックス生成回路２６６から量子化インデックスを受けた量子化回路１６８は、受けた量子化インデックスが示す量子化値Ｑj の組み合わせに変換し、ＤＣＴ回路１６６から入力される映像データを量子化する。
【０２２０】
以下、映像データ圧縮装置３（図２５，図２６）の動作を説明する。
動き検出器１４は、第１の実施形態〜第６の実施形態においてと同様に、動きベクトルの生成等を行う。
エンコーダ制御部２２は、第５の実施形態および第６の実施形態においてと同様に、ピクチャーの並び替え等の前処理を行う。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第７の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０２２１】
エンコーダ２６（図２６）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量を、式１４−１〜式１４−３（第６実施形態）に代入し、グローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
【０２２２】
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、最も新しく生成された各ピクチャータイプのピクチャーの実難度データＤj （ＤI ，ＤP ，ＤB ）に基づいて、式２０、式２１−２および式２１−２に示した処理を行い、各ピクチャータイプの重み付け係数Ｋp ，ＫB を更新し、式１７−１〜式１７−３（第６実施形態）に示したように、次のピクチャーの目標データ量Ｔj を算出する。
【０２２３】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態〜第６の実施形態においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０２２４】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、変化により得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態〜第６の実施形態においてと同様に、可変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０２２５】
なお、映像データ圧縮装置３の目標データ量算出回路２６４を、実難度データＤj の代わりに、ＧＣ算出回路２６２から入力されるグローバルコンプレクシティＸI ，Ｘp ，ＸB を用いて重み付け係数Ｋp ，ＫB の更新を行うように変形することができる。
また、このような場合、式２１−１および式２１−２において用いられる比率（ＤI ／Ｄp ，ＤI ／ＤB ）を、グローバルコンプレクシティＸI ，Ｘp ，ＸB を用いた（ＸI ／Ｘp ，ＸI ／ＸB ）に置き換えることも可能である。
【０２２６】
また、第７の実施形態においては、図２７に示したように、重み付け係数Ｋp ，ＫB と比率ｘとの所定の範囲内の関係を、一次関数（式２１−１，式２１−２）で表したが、この範囲の重み付け係数Ｋp ，ＫB と比率ｘの関係を表すためにより適切な関数があれば、目標データ量算出回路２６４が、その関数を用いて重み付け係数Ｋp ，ＫB を更新するように変形してもよい。
また、第７の実施形態として示した映像データ圧縮装置３の処理の内容は、第１の実施形態〜第６の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図１６，図１７）にも応用可能である。
【０２２７】
また、第７の実施形態に示した比率ｘの定義式（式２０）、および、重み付け係数Ｋp ，ＫB の算出式（式２１−１，式２１−２）は例示であって、同様な意味を有する他のパラメータを、他の数式により算出するように目標データ量算出回路２６４の動作を変形することも可能である。
また、比率ｘと重み付け係数Ｋp ，ＫB との関係を、予め実験等により求めておき、これらの数値の関係を示すテーブルを作成し、比率ｘに基づいてテーブルを参照することにより、重み付け係数Ｋp ，ＫB を得るように目標データ量算出回路２６４の処理内容を変形してもよい。
【０２２８】
また、映像データ圧縮装置３において量子化制御部２６０が行った処理を、映像データ圧縮装置１，２においてホストコンピュータ２０が行うことも可能である。
また、第７の実施形態に示した映像データ圧縮装置３に対しては、第１の実施形態〜第６の実施形態に示した変形が可能である。
【０２２９】
第８実施形態
以下、本発明の第８の実施形態を説明する。
ここまでに、第５の実施形態および第６の実施形態として、指標データ（統計量）、つまり、フラットネス、イントラＡＣ、アクティビティおよびＭＥ残差を用い、圧縮映像データの品質の向上と、圧縮符号化処理の実時間性とを両立させるフィード・フォワード・レート・コントロール（ＦＦＲＣ）方式を説明した。また、第３の実施形態および第４の実施形態として、簡易２パスエンコード方式または予測簡易２パスエンコード方式を改良して、編集映像データを圧縮符号化するために好適な改良予測簡易２パスエンコード方式を説明した。
【０２３０】
第８の実施形態においては、これらの実施形態に示したＦＦＲＣ方式および改良予測簡易２パスエンコード方式を組み合わせ、映像データ圧縮装置２（図１６，図１７）を用い、これらの方式両方の特徴を兼ね備え、実難度データＤj を得るためのエンコーダが不要で、しかも、編集映像データに含まれる映像データ（シーン）の境界（シーンチェンジ）部分の圧縮映像データの品質が低下することがない映像データ圧縮方式（改良ＦＦＲＣ方式）を説明する。
【０２３１】
改良予測簡易２パスエンコード方式においては、実難度データＤj が時間的に大きく変化する部分をシーンチェンジ部分として検出し、ピクチャータイプシーケンスを変更して圧縮符号化を行う。このようなシーンチェンジの検出は、ＦＦＲＣ方式においても、実難度データＤj の代わりに指標データにより近似した実難度データＤj の経時的な変化を監視することにより可能である。
【０２３２】
しかしながら、シーンチェンジの有無を判断するためには、シーンチェンジ部分の前後、１ＧＯＰ程度の範囲の指標データの時間的変化を監視する必要があり、映像データ圧縮装置２において、動き検出器１４が指標データを算出した後、かなりの時間が経過した後にシーンチェンジ部分の検出が可能となり、実際には、エンコーダ１８における圧縮符号化処理の直前になって、初めて、シーンチェンジ部分の検出が可能となる可能性もある。
従って、ホストコンピュータ２０は、処理時間を確保するために、指標データによる実難度データＤj の近似する処理（第５の実施形態において示した式１１，式１２等、および、第６の実施形態において示した式１６−１〜式１６−３）を、シーンチェンジの検出の前にほぼ終了している必要がある。
【０２３３】
第８の実施形態における映像データ圧縮装置２は、シーンチェンジの検出結果が確定していない状態で、指標データあるいはグローバルコンプレクシティによる実難度データＤj の近似処理を仮に行い、仮に算出した実難度データＤj の内、シーンチェンジに伴う変更を要する部分だけを、シーンチェンジの有無およびピクチャータイプシーケンスの変更の有無が確定した後に補正し、目標データ量Ｔj を算出する処理を行う。
【０２３４】
以下、Ｎ枚〔説明の簡略化のために、以下、例えばＮ＝Ｌ（ＬはＦＩＦＯメモリ１６０の遅延時間に対応するピクチャー数）とする〕のピクチャーのＭＥ残差の算出を行う度に、このＮ枚のピクチャーに対するピクチャータイプシーケンスを最終的に決定する場合を例として、第８の実施形態における映像データ圧縮装置２の圧縮符号化処理の内容を説明する。なお、ピクチャータイプシーケンスの決定に用いられるＮ枚のピクチャーは、ピクチャータイプシーケンスの決定する処理の処理単位であり、必ずしもエンコーダ１８におけるピクチャータイプシーケンスと一致していなくてもよく、また、通常のＧＯＰと異なり、先頭がＩピクチャーでなくともよい。また、以下、このようなＮ枚のピクチャ一１組を、レート・コントロールＧＯＰ（ＲＧＣＯＰ;rate control GOP ）とも記す。
【０２３５】
図２８は、第８の実施形態における映像データ圧縮装置２（図１６，図１７）の圧縮符号化動作を符号化順に示す図である。
動き検出器１４は、第１の実施形態〜第７の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第（ｊ＋Ｎ）番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図２３ａ）。
エンコーダ制御部２２は、第５の実施形態〜第７の実施形態においてと同様に、ピクチャーの並び替え等の前処理を行い、さらに、フラットネス、イントラＡＣおよびアクティビティ等の指標データを算出する。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第７の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０２３６】
映像データ圧縮装置２（図１６，図１７）の１ピクチャー分の圧縮符号化が終了するたびに、ホストコンピュータ２０には、第５の実施形態〜第７の実施形態においてと同様に、エンコーダ制御部２２が算出したフラットネス、イントラＡＣおよびアクティビティ、および、動き検出器１４が算出したＭＥ残差（統計量）が入力される。ホストコンピュータ２０は、これらの指標データを記憶する（図２８ａ）。さらに、ホストコンピュータ２０は、シーンチェンジが発生しておらず、ピクチャーシーケンスに変更が生じないと仮定して、第６の実施形態においてと同様に、最適化された比例係数εI ，εP ，εB （第６の実施形態に示した式１４−１〜式１４−３）を用いて、式１６−１〜式１６−３により、シーンチェンジがないと仮定した場合の実難度データＤj の値を近似し、予測する（図２８ｂ）。
【０２３７】
具体的には、ホストコンピュータ２０は、第１のＲＧＣＯＰのＩピクチャーからＮ枚目のピクチャーはＩピクチャーに圧縮符号化され、Ｍの整数倍（ｎ×Ｍ）番目のピクチャーはＰピクチャーに圧縮符号化され、これら以外のピクチャーはＢピクチャーに圧縮符号化されると仮定し、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーから生成された指標データ、および、比例係数εI ，εP ，εB を、式１６−１〜式１６−３に代入して実難度データＤj を近似し、算出する。但し、Ｍは、エンコーダ１８におけるシーンチェンジがない場合のＰピクチャーの間隔を示す。
【０２３８】
つまり、例えば、ホストコンピュータ２０は、前のＲＧＣＯＰ（第１のＲＧＣＯＰ；ＲＧＣＯＰ＃１）のＩピクチャーを基準としてピクチャーの枚数を計数し、エンコーダ１８が、第２のＲＧＣＯＰ（ＲＧＣＯＰ＃２）の各ピクチャーをいずれのピクチャータイプに圧縮符号化するかを仮定し、仮定したピクチャータイプに応じて、式１６−１〜式１６−３に示したように、指標データにより実難度データＤj の値を近似し、予測する。
【０２３９】
なお、ＲＧＣＯＰ内にシーンチェンジ部分が存在する確率は、比較的、少ないと考えられるので、ホストコンピュータ２０は、予測した実難度データＤj に基づいて、ほとんどのＲＧＣＯＰに対する目標データ量Ｔj を算出することになる（図２８ｆ）。
また、実難度データＤj は、式１（第１の実施形態）、式４（第２の実施形態）または式１７−１〜式１７−３（第６の実施形態）の分母の計算に用いられるのみであり、また、後述するように、ホストコンピュータ２０は、ピクチャータイプシーケンスの変更の有無が確定した段階で補正を行うので、常に、目標データ量Ｔj の値を正確に算出することができる。
【０２４０】
第２のＲＧＣＯＰ（ＲＧＣＯＰ＃２）の各ピクチャーの実難度データＤj の算出が終了すると、算出した実難度データＤj または指標データに対して、第３の実施形態および第４の実施形態に示した方法を適用することにより、ホストコンピュータ２０は、第２のＲＧＣＯＰにおけるシーンチェンジを検出することができる。第２のＲＧＣＯＰにおけるシーンチェンジの有無に応じて、ホストコンピュータ２０は、シーンチェンジの有無に応じて、エンコーダ１８を制御してピクチャータイプシーケンスの変更〔図８（Ｃ）〕を行う。
このようなホストコンピュータ２０の処理により、ピクチャータイプシーケンスの変更の有無が分かり、各ピクチャーをいずれのピクチャータイプに圧縮符号化するかが確定する（図２８ｃ）。
【０２４１】
ホストコンピュータ２０は、ピクチャータイプシーケンスに変更がある場合には、記憶した指標データおよび変更後のピクチャータイプに基づいて、第２のＲＧＣＯＰについて実難度データＤj の値を補正して、正しい実難度データＤj を算出し（図２８ｄ）、さらに、式１、式４または式１７−１〜式１７−３を用いて、各ピクチャータイプに応じた第（Ｎ＋１）番目のピクチャーの目標データ量ＴN+1 (target bit)を算出し（図２８ｅ）、エンコーダ１８の量子化制御回路１８０に設定する。
【０２４２】
具体的には、図８（Ｃ）に示したように、ホストコンピュータ２０は、圧縮後にＰピクチャーではなく、Ｉピクチャーになるように変更されたピクチャーの指標データを、式１６−１の代わりに式１６−２に代入し、逆に、圧縮後にＩピクチャーではなく、Ｐピクチャーになるように変更されたピクチャーの指標データを、式１６−２の代わりに式１６−１に代入して実難度データＤj の値を補正する。
【０２４３】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第７の実施形態においてと同様に、ＤＣＴ処理を行う。
量子化回路１６８は、ＤＣＴ処理された映像データを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化値Ｑj の平均値を算出する。
可変長符号化回路１７０は、第１の実施形態〜第７の実施形態においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０２４４】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式１４−１〜式１４−３に示したようにグローバルコンプレクシティを算出する。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１５−１〜式１５−３に示したように比例係数εI ，εP ，εB を更新し、最適化する。第６の実施形態においてと同様に、更新された比例係数εI ，εP ，εB は、次のピクチャーの圧縮符号化の際の変換式（式１６−１〜式１６−３）に反映される。
【０２４５】
図２９を参照して、第８の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図２９は、第８の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図１６）の処理内容を示すフローチャート図である。なお、図７においては、第６の実施形態に示したグローバルコンプレクシティの算出処理等は省略されている。
【０２４６】
図２９に示すように、第８の実施形態におけるホストコンピュータ２０の処理は、第１段階（Ｓ４００）および第２段階（Ｓ４２０）に分かれており、第１段階においては、シーンチェンジがなく、ピクチャータイプシーケンスに変更がない仮定して実難度データＤj を予測する処理が行われ、第２段階においては、シーンチェンジが生じ、ピクチャータイプシーケンスが変更された場合に、実難度データＤj の値を補正する処理が行われる。
【０２４７】
第１段階（Ｓ４００；Ｓ４０２〜Ｓ４１２）は、シーンチェンジがない場合の実難度データＤj を予測する処理であって、第１段階のステップ４０２（Ｓ４０２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーのＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込み、記憶する。
ステップ４０４（Ｓ４０４）において、ホストコンピュータ２０は、第〔ｊ＋Ｌ（ｊ＋Ｎ）〕番目のピクチャーがＢピクチャーに圧縮符号化されるか否かを判断する。第（ｊ＋Ｌ）番目のピクチャーがＢピクチャーに圧縮符号化される場合にはＳ４０６の処理に進み、Ｂピクチャーに圧縮符号化されない場合にはＳ４０８の処理に進む。
【０２４８】
ステップ４０６（Ｓ４０６）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＢピクチャーに圧縮符号化されると予測し、式１６−３により実難度データＤj を近似し、算出する。
ステップ４０８（Ｓ４０８）において、ホストコンピュータ２０は、前のＲＧＣＯＰにおいてＩピクチャーに圧縮符号化されるピクチャーから、現在のＲＧＣＯＰの第（ｊ＋Ｌ）番目のピクチャーまでの間のピクチャーの枚数（間隔）が、Ｎ枚であるか否かを判断する。間隔がＮ枚である場合には、Ｓ４１２の処理に進み、Ｎ枚でない場合にはＳ４１０の処理に進む。
【０２４９】
ステップ４１０（Ｓ４１０）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＰピクチャーに圧縮符号化されると予測し、式１６−２により実難度データＤj を近似し、算出する。
ステップ４１２（Ｓ４１２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＩピクチャーに圧縮符号化されると予測し、式１６−１により実難度データＤj を近似し、算出する。
【０２５０】
第２段階（Ｓ４２０；Ｓ４２２〜Ｓ４３４）は、第１段階で予測した実難度データＤj を補正する処理であって、第２段階のステップ４２２（Ｓ４２２）において、ホストコンピュータ２０は、新たなＲＧＣＯＰが始まったか否かを判断し、始まらない場合にはＳ４３０の処理に進み、始まった場合にはＳ４２４の処理に進む。
ステップ４２４（Ｓ４２４）において、ホストコンピュータ２０は、Ｉピクチャーの位置が変わるようにピクチャータイプシーケンスが変更されたか否かを判断し、Ｉピクチャーの位置が変わるようにピクチャータイプシーケンスが変更された場合にはＳ４２６の処理に進み、変更されない場合にはＳ４３０の処理に進む。
【０２５１】
ステップ４２６（Ｓ４２６）において、ホストコンピュータ２０は、新たにＩピクチャーに圧縮符号化されるピクチャーについて、式１６−１により実難度データＤj を近似し、算出する。
ステップ４２８（Ｓ４２８）において、ホストコンピュータ２０は、新たにＰピクチャーに圧縮符号化されるピクチャーについて、式１６−２により実難度データＤj を近似し、算出する。
【０２５２】
ステップ４３０（Ｓ４３０）において、ホストコンピュータ２０は、式１、式４または式１７−１〜式１７−３により、第ｊ番目のピクチャーに対する目標データ量Ｔj を算出し、エンコーダ１８（図１６，図１７）の量子化制御回路１８０に設定する。
ステップ４３２（Ｓ４３２）において、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて第ｊ番目のピクチャーを圧縮符号化する。
ステップ４３４（Ｓ４３４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０２５３】
なお、第８の実施形態においては、映像データ圧縮装置２のホストコンピュータ２０は、シーンチェンジがあった場合に、圧縮後のピクチャーが変更されたピクチャーの実難度データＤj のみを補正する処理を行うが、処理時間に余裕があれば、ピクチャータイプシーケンスが確定した後に、全てのピクチャーの実難度データＤj を算出するように変形することができる。
また、第８の実施形態に示した映像データ圧縮装置２の動作についても、第３の実施形態〜第７の実施形態に示したものと同様な変形が可能である。
また、第１の実施形態〜第７の実施形態においてそれぞれ説明した映像データ圧縮装置１，２，３（図１〜図３，図１６，図１７，図２５，図２６）の処理内容は、互いに矛盾を生じない限り、組み合わせることが可能である。
【０２５４】
以上述べたように、第８の実施形態における映像データ圧縮装置２の動作によれば、第５の実施形態〜第７の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、これらの実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、しかも、シーンチェンジ部分の圧縮映像データの品質が低下しない。
【０２５５】
【発明の効果】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】（Ａ）〜（Ｃ）は、第２の実施形態における予測簡易２パスエンコード方式、および、第３の実施形態における改良予測簡易２パスエンコード方式による、シーンチェンジの前後のピクチャーに対する圧縮符号化を示す図である。
【図８】（Ａ）〜（Ｃ）は、エンコーダ制御部（図１）による編集映像データのピクチャーの順序の入れ替え処理、および、ホストコンピュータによるピクチャータイプの変更処理を示す図である。
【図９】編集映像データのシーンチェンジ部分付近の実難度データの値の経時的な変化を例示する図である。
【図１０】ホストコンピュータ（図１）が、編集映像データにシーンチェンジが発生する場合に、実難度データＤ1 〜Ｄ15に基づいて予測難度データＤ’16〜Ｄ’30を算出する方法、および、編集映像データにシーンチェンジが発生しない場合の予測難度データＤ’16〜Ｄ’30を算出する方法を示す図である。
【図１１】第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示す第１のフローチャート図である。
【図１２】第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示す第２のフローチャート図である。
【図１３】シーンチェンジがＰピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
【図１４】シーンチェンジがＩピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
【図１５】第４の実施形態における映像データ圧縮装置（図１）のホストコンピュータによるシーンチェンジ検出処理の内容を示すフローチャート図である。
【図１６】第５の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図１７】図１６に示した映像データ圧縮装置の圧縮符号化部の詳細な構成を示す図である。
【図１８】図１および図１６に示した映像データ圧縮装置により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１９】図１および図１６に示した映像データ圧縮装置により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図２０】フラットネスの計算方法を示す図である。
【図２１】図１および図１６に示した映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図２２】図１および図１６に映像データ圧縮装置により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
【図２３】第６の実施形態における映像データ圧縮装置（図１７）の圧縮符号化処理の内容を、ピクチャーの符号化順に示す図である。
【図２４】第６の実施形態における映像データ圧縮装置のホストコンピュータ（図１７）の処理内容を示すフローチャート図である。
【図２５】第７の実施形態における本発明に係る映像データ圧縮装置の構成を示す図である。
【図２６】図２５に示したエンコーダの構成を示す図である。
【図２７】目標データ量算出回路（図２６）が算出するＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を示す図である。
【図２８】第８の実施形態における映像データ圧縮装置（図１７）の圧縮符号化動作を符号化順に示す図である。
【図２９】第８の実施形態における映像データ圧縮装置のホストコンピュータ（図１７）の処理内容を示すフローチャート図である。
【符号の説明】
１，２…映像データ圧縮装置、１０，２４…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８，２６…エンコーダ、２６０…量子化制御部、２６２…ＧＣ算出回路、２６４…目標データ量算出回路、２６６…量子化インデックス生成回路、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。

Claims (11)

  1. 映像データを符号化処理して符号化映像データを生成する符号化装置において、
    上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出手段と、
    上記映像データを所定ピクチャ分遅延させる遅延手段と、
    上記符号化映像データのデータレートに対するGOP単位の上記実難度データの比率が所定しきい値より大きい場合に、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの実難度データに対する P ピクチャの実難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの実難度データに対する B ピクチャの実難度データの比率と比例するように更新する重み付け係数更新手段と、
    ピクチャタイプ毎の上記実難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプごとに算出する目標データ量算出手段と、
    上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段により遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段と
    を有する符号化装置。
  2. 上記重み付け係数更新手段は、上記重み付け係数が所定の上限値を超える部分について、上記重み付け係数を上限値に制限する
    請求項１に記載の符号化装置。
  3. 上記符号化映像データのデータレートに対するGOP単位の上記実難度データの比率は、次式に示されるパラメータxである
    請求項１に記載の符号化装置。
    Figure 0003864461
    Bitrate：1秒あたりの発生ビット量（データレート）
    N：1GOPあたりのピクチャ枚数
    Picture_rate：1秒あたりのピクチャ枚数
  4. 映像データを符号化処理して符号化映像データを生成する符号化装置において、
    上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出手段と、
    上記映像データから、上記映像データの動きの大きさを検出する動き検出手段と、
    上記映像データを所定ピクチャ分遅延させる遅延手段と、
    上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記実難度データ算出手段により算出された上記実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出手段により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出手段により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新手段と、
    ピクチャタイプ毎の上記実難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ算出手段と、
    上記目標データ算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段と
    を有する符号化装置。
  5. 上記動き検出手段は、Iピクチャの実難度データに対するPピクチャの実難度データの比率及びIピクチャの実難度データに対するBピクチャの実難度データの比率から、上記映像データの動きの大きさを検出する
    請求項４に記載の符号化装置。
  6. 映像データを符号化処理して符号化映像データを生成する符号化装置において、
    上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出手段と、
    上記統計量算出手段により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延手段と、
    上記統計量算出手段により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出手段と、
    上記符号化映像データのデータレートに対するGOP単位の上記近似難度データの比率が所定しきい値より大きい場合に、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する P ピクチャの近似難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する B ピクチャの近似難度データの比率と比例するように更新する重み付け係数更新手段と、
    ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出手段と、
    上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段と
    を有する符号化装置。
  7. 映像データを符号化処理して符号化映像データを生成する符号化装置において、
    上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出手段と、
    上記映像データから、上記映像データの動きの大きさを検出する動き検出手段と、
    上記統計量算出手段により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延手段と、
    上記統計量算出手段により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出手段と、
    上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記近似実難度データ算出手段により算出された上記近似実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出手段により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出手段により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新手段と、
    ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新手段により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延手段により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延手段により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延手段により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出手段と、
    上記目標データ量算出手段により算出された上記目標データ量となるように、上記遅延手段より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化手段と
    を有する符号化装置。
  8. 映像データを符号化処理して符号化映像データを生成する符号化方法において、
    上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出工程と、
    上記映像データを所定ピクチャ分遅延させる遅延工程と、
    上記符号化映像データのデータレートに対するGOP単位の上記実難度データの比率が所定しきい値より大きい場合に、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの実難度データに対する P ピクチャの実難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの実難度データに対する B ピクチャの実難度データの比率と比例するように更新する重み付け係数更新工程と、
    ピクチャタイプ毎の上記実難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、
    上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程と
    を有する符号化方法。
  9. 映像データを符号化処理して符号化映像データを生成する符号化方法において、
    上記映像データを符号化処理することにより、上記映像データの絵柄の難度を示す実難度データをピクチャ単位又はGOP単位で算出する実難度データ算出工程と、
    上記映像データから、上記映像データの動きの大きさを検出する動き検出工程と、
    上記映像データを所定ピクチャ分遅延させる遅延工程と、
    上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記実難度データ算出工程により算出された上記実難度データの値が大きい絵柄の上記映像データのうち、上記動き検出工程により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出工程により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新工程と、
    ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記実難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の実難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、
    上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程と
    を有する符号化方法。
  10. 映像データを符号化処理して符号化映像データを生成する符号化方法において、
    上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出工程と、
    上記統計量算出工程により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延工程と、
    上記統計量算出工程により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出工程と、
    上記符号化映像データのデータレートに対するGOP単位の上記近似難度データの比率が所定しきい値より大きい場合に、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対する P ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する P ピクチャの近似難度データの比率と比例するように更新し、上記目標データ量に対する B ピクチャの重み付け係数を、 I ピクチャの近似難度データに対する B ピクチャの近似難度データの比率と比例するように更新する重み付け係数更新工程と、
    ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、
    上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程と
    を有する符号化方法。
  11. 映像データを符号化処理して符号化映像データを生成する符号化方法において、
    上記映像データから、上記映像データの絵柄の難度及び上記映像データの符号化処理後のデータ量と相関性を有する統計量をピクチャ毎又はGOP毎に算出する統計量算出工程と、
    上記映像データから、上記映像データの動きの大きさを検出する動き検出工程と、
    上記統計量算出工程により上記統計量が算出された上記映像データを所定ピクチャ分遅延させる遅延工程と、
    上記統計量算出工程により算出された上記統計量を用いて上記映像データの実難度データをピクチャ毎に近似することにより、上記映像データの近似難度データをピクチャ毎又はGOP毎に算出する近似難度データ算出工程と、
    上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる目標データ量に対してピクチャタイプ毎に異なった重み付けを行う重み付け係数の値を、上記近似実難度データ算出工程により算出された上記近似難度データの値が大きい絵柄の上記映像データのうち、上記動き検出工程により検出された動きが小さい絵柄には上記重み付け係数が大きくなるように、かつ、上記動き検出工程により検出された動きが大きい絵柄には上記重み付け係数が小さくなるように更新する重み付け係数更新工程と、
    ピクチャタイプ毎の上記近似難度データと上記重み付け係数更新工程により更新されたピクチャタイプ毎の上記重み付け係数とを利用して、上記遅延工程により遅延された上記映像データの複数ピクチャ分に割り当てることのできるデータ量に対して符号化対象ピクチャの上記近似難度データと上記遅延工程により遅延された上記映像データの複数ピクチャ分の近似難度データとの比率を乗じることにより、上記遅延工程により遅延された上記映像データを符号化処理する際に割り当てる上記目標データ量をピクチャタイプ毎に算出する目標データ量算出工程と、
    上記目標データ量算出工程により算出された上記目標データ量となるように、上記遅延工程より遅延された上記映像データをピクチャタイプに応じて符号化処理する符号化工程と
    を有する符号化方法。
JP22965096A 1996-08-30 1996-08-30 映像データ圧縮装置およびその方法 Expired - Fee Related JP3864461B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP22965096A JP3864461B2 (ja) 1996-08-30 1996-08-30 映像データ圧縮装置およびその方法
US08/918,813 US5933532A (en) 1996-08-30 1997-08-26 Video data compression apparatus and method of same
EP19970306674 EP0827343B1 (en) 1996-08-30 1997-08-29 Video data compression apparatus and method
DE69739816T DE69739816D1 (de) 1996-08-30 1997-08-29 Vorrichtung und Verfahren zur Videodatenkompression
KR19970044603A KR19980019201A (ja) 1996-08-30 1997-08-30

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22965096A JP3864461B2 (ja) 1996-08-30 1996-08-30 映像データ圧縮装置およびその方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005351360A Division JP2006148953A (ja) 2005-12-05 2005-12-05 映像データ圧縮装置およびその方法

Publications (2)

Publication Number Publication Date
JPH1075451A JPH1075451A (ja) 1998-03-17
JP3864461B2 true JP3864461B2 (ja) 2006-12-27

Family

ID=16895529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22965096A Expired - Fee Related JP3864461B2 (ja) 1996-08-30 1996-08-30 映像データ圧縮装置およびその方法

Country Status (5)

Country Link
US (1) US5933532A (ja)
EP (1) EP0827343B1 (ja)
JP (1) JP3864461B2 (ja)
KR (1) KR19980019201A (ja)
DE (1) DE69739816D1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337879B1 (en) * 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
KR100756596B1 (ko) 1997-07-08 2007-09-10 소니 가부시끼 가이샤 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
US7367042B1 (en) 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
JP4769392B2 (ja) * 2001-09-25 2011-09-07 キヤノン株式会社 信号処理装置
US20040202249A1 (en) * 2003-04-08 2004-10-14 Newsoft Technology Corporation Real-time MPEG video encoding method of maintaining synchronization between video and audio
US7391916B2 (en) * 2003-05-21 2008-06-24 Silicon Integrated Systems Corp. Quantization matrix adjusting method for quality improvement
US7388995B2 (en) * 2003-05-21 2008-06-17 Silicon Integrated Systems Corp. Quantization matrix adjusting method for avoiding underflow of data
US7373004B2 (en) * 2003-05-23 2008-05-13 Silicon Integrated Systems Corp. Apparatus for constant quality rate control in video compression and target bit allocator thereof
JP4629329B2 (ja) * 2003-11-28 2011-02-09 株式会社日立製作所 動き検出可能な映像信号切替装置
US7574055B2 (en) * 2004-09-07 2009-08-11 Lexmark International, Inc. Encoding documents using pixel classification-based preprocessing and JPEG encoding
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US8116577B2 (en) 2005-03-07 2012-02-14 Sony Corporation Encoding method, encoding device, encoding process program, and recording medium on which encoding process program is recorded
JP2008004980A (ja) * 2006-06-20 2008-01-10 Fujitsu Ltd 符号化装置、符号化方法、プログラム記録媒体、プログラム、シーン変化検知装置、およびシーン変化検知方法
CA2664668C (en) * 2006-10-10 2014-04-01 Nippon Telegraph And Telephone Corporation Intra prediction encoding control method and apparatus, program therefor, and storage medium which stores the program
JP5212373B2 (ja) 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
US8238423B2 (en) * 2007-09-12 2012-08-07 Sony Corporation Image processing apparatus and method
JP5212372B2 (ja) * 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
US7876968B2 (en) * 2007-10-15 2011-01-25 Himax Technologies Limited Apparatus of compressing image data and a method thereof
TWI436648B (zh) * 2008-06-05 2014-05-01 Nippon Telegraph & Telephone 影像編碼量控制方法、影像編碼量控制裝置，影像編碼量控制程式及記錄有該程式之電腦可讀取之記錄媒體
US8270745B2 (en) * 2008-06-27 2012-09-18 Sony Corporation Image processing device and image processing method
JP5472105B2 (ja) * 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
BRPI0904320A2 (pt) 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem
BRPI0904325A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem.
JP4878052B2 (ja) * 2008-12-04 2012-02-15 日本電信電話株式会社 映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体
US8879623B2 (en) 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
JP2011259248A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像処理装置および方法、並びにプログラム
WO2015095166A2 (en) * 2013-12-16 2015-06-25 Arris Enterprises, Inc. Producing an output need parameter for an encoder
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170264A (en) * 1988-12-10 1992-12-08 Fuji Photo Film Co., Ltd. Compression coding device and expansion decoding device for a picture signal
CA2068751C (en) * 1991-05-24 1998-05-19 Tokumichi Murakami Image coding system
US5144424A (en) * 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
KR0186142B1 (ko) * 1995-12-28 1999-05-01 구자홍 가변율 부호화기의 비트율 할당 방법 및 장치

Also Published As

Publication number Publication date
JPH1075451A (ja) 1998-03-17
EP0827343A2 (en) 1998-03-04
EP0827343B1 (en) 2010-03-24
EP0827343A3 (en) 2006-04-05
US5933532A (en) 1999-08-03
DE69739816D1 (de) 2010-05-06
KR19980019201A (ja) 1998-06-05

Similar Documents

Publication Publication Date Title
JP3864461B2 (ja) 映像データ圧縮装置およびその方法
KR100512389B1 (ko) 영상데이터의 압축장치 및 그 방법
KR100756596B1 (ko) 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
EP1445958A1 (en) Quantization method and system, for instance for video MPEG applications, and computer program product therefor
EP1515564A2 (en) Systems and methods for adaptively filtering DCT coefficients in a video encoder
JPH0898179A (ja) 画像符号化装置
JP3960451B2 (ja) シーン特性検出型動画像符号化装置
EP1143737A2 (en) Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus
EP1382208A1 (en) Dynamic complexity prediction and regulation of mpeg2 decoding in a media processor
JPH08102938A (ja) 画像符号化装置
JP3765129B2 (ja) 符号化装置および符号化方法
JP3800965B2 (ja) データレート変換装置
JP3879134B2 (ja) 符号化装置およびその方法
JP3765130B2 (ja) 符号化装置および符号化方法
JP3918208B2 (ja) 映像データ圧縮装置およびその方法
JP2002354484A (ja) 符号化画像のレート変換方法、及び符号化画像レート変換装置
JP2006148953A (ja) 映像データ圧縮装置およびその方法
JPH1066092A (ja) 映像データ圧縮装置およびその方法
JPH1075452A (ja) 映像データ圧縮装置およびその方法
JPH07284097A (ja) 画像符号化方法及び画像符号化装置
JPH1066084A (ja) 映像データ圧縮装置およびその方法
JPH09284772A (ja) 映像データ圧縮装置およびその方法
JP2006136010A (ja) 映像データ圧縮装置およびその方法
EP1944980A2 (en) Bit rate control algorithm
JP4264790B2 (ja) 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131013

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees