JPH11177978A - 画像符号化方法および画像符号化装置 - Google Patents

画像符号化方法および画像符号化装置

Info

Publication number
JPH11177978A
JPH11177978A JP34344197A JP34344197A JPH11177978A JP H11177978 A JPH11177978 A JP H11177978A JP 34344197 A JP34344197 A JP 34344197A JP 34344197 A JP34344197 A JP 34344197A JP H11177978 A JPH11177978 A JP H11177978A
Authority
JP
Japan
Prior art keywords
pull
encoding
down pattern
processing
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34344197A
Other languages
English (en)
Other versions
JP3740813B2 (ja
Inventor
Masaaki Isozaki
正明 五十崎
Atsuo Yada
敦雄 矢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34344197A priority Critical patent/JP3740813B2/ja
Priority to PCT/JP1998/005626 priority patent/WO1999031886A1/ja
Publication of JPH11177978A publication Critical patent/JPH11177978A/ja
Priority to US09/374,134 priority patent/US6275528B1/en
Application granted granted Critical
Publication of JP3740813B2 publication Critical patent/JP3740813B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 プルダウン処理による2パス可変レートエン
コード時に、エンコード条件の適否をその実行前に判別
できる画像符号化方法および装置を提供する。 【解決手段】 S31,S32で入力されたエンコード
の条件,素材の符号化難易度パラメータに基づいて、S
33でプルダウンパターンの安定性が算出されてS34
で判定される。安定でないとされる場合はS35でワー
ニングが表示され、S36で当初の条件によるエンコー
ド処理を続けるかどうか判断される。処理を続けない場
合はS44でプルダウン処理なしのエンコード等を行
う。処理を続ける場合やS34で安定とされた場合は、
S37からS41でシーンチェンジ検出/処理,チャプ
タ境界処理,符号化難易度の補間/補正処理,ターゲッ
トビット数計算,アドレス計算が行われ、S42でター
ゲットレートが算出され、S43でエンコーダ用コント
ロールファイルが作成されて処理が終了する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオ素材を符号
化する画像符号化方法および画像符号化装置に関し、特
にプルダウンパターンに基づいて符号化を行う画像符号
化方法および画像符号化装置に関する。
【0002】
【従来の技術】ビデオ情報をディジタルビデオディスク
(Digital Video Disk:DVD)やビデオCDのような
パッケージメディアに蓄積する際に、ビデオ情報に圧縮
符号化処理を施すエンコードシステムでは、まず、ビデ
オ素材の画像の符号化難易度(difficulty)を測定し、
次に、その符号化難易度に基づいてパッケージメディア
の記録容量の範囲内の与えられたバイト数に収まるよう
に、各ビデオ情報のフレームごとにビット配分(Bit as
sign)処理を行うエンコード方法が一般に採用されてい
る。以下、このエンコード方法を2パスエンコーディン
グ方法という。
【0003】図7は、ビデオ情報を圧縮符号化してディ
ジタルビデオディスク(DVD)のオーサリングなどを
行うために用いられる、従来のビデオエンコードシステ
ムの構成例を示している。
【0004】スーパーバイザ103は、ビデオエンコー
ドシステムの全体を管理するものであり、ビデオ,オー
ディオ,メニューなどの各エンコードシステムにエンコ
ード条件を与え、エンコード結果の報告を受ける。この
例では、ファイル「v.enc 」によってビデオエンコード
条件が指定され、ビデオエンコーダ側からはエンコード
結果のビットストリームが書き込まれたRAID104
上のアドレス「v.adr」と、ビットストリームをマルチ
プレックスする際に必要なデータ「vxxx.aui」が報告さ
れる。
【0005】主コントローラ111は、ネットワーク1
02を介して接続されるスーパーバイザ103との間の
データ通信により、このビデオエンコードシステム全体
の動作を制御する。
【0006】具体的には、主コントローラ111は、グ
ラフィカルユーザーインターフェース(GUI:Graphi
cal User Interface)部114の管理により、スーパー
バイザ103からの制御を受け付けると共に、オペレー
タの操作を受け付け、このGUI部114により管理さ
れるビットアサイン部115,エンコーダコントロール
部116,VTRコントロール部117により、エンコ
ーダ112,ビデオテープレコーダ(VTR)110の
動作を制御する。これにより主コントローラ111は、
スーパーバイザ103から通知されたエンコード条件に
従って、処理対象の素材を符号化処理し、その処理結果
をスーパーバイザ3に通知する。さらに、主コントロー
ラ111は、GUI部114を介してオペレータの設定
を受け付けて、上記の符号化の詳細な条件を変更できる
ようにされている。
【0007】上記の主コントローラ111のGUI部1
14は、ビットアサイン部115のビット配分プログラ
ム「BIT_ASSIGN」,エンコーダコントロール部116の
エンコーダコントロールプログラム「CTRL_ENC」および
VTRコントロール部117のVTRコントロールプロ
グラムの3つのプログラムを管理している。
【0008】また、ビットアサイン部115は、スーパ
ーバイザ103から通知されるエンコード条件のファイ
ル「v.enc 」に従って符号化処理の条件をフレーム単位
で決定し、この条件による制御データをファイル形式
「CTL file」によりコントロール部116に通知する。
【0009】このとき、ビットアサイン部115は、符
号化処理におけるビット配分(ビットアサイン)を設定
し、さらに設定された条件をオペレータの操作に応じて
変更する。さらに、ビットアサイン部115は、データ
圧縮されたビデオデータD2がRAID104に記録さ
れると、そのビデオデータD2が書き込まれたRAID
104上のアドレスのデータ「v.adr 」を、後段におけ
る多重化処理に必要なデータ量等の情報「vxxx.aui」と
共にスーパーバイザ103に通知する。
【0010】エンコーダコントロール部116は、ビッ
トアサイン部115から通知される制御ファイル「CTL
file」に従ってエンコーダ112の動作を制御する。さ
らに、エンコーダコントロール部116は、符号化処理
に要する符号化難易度「difficulty」のデータをフレー
ム単位でビットアサイン部115に通知し、RAID1
04にビデオデータD2が記録されると、その記録アド
レスのデータ「v.adr」,後の多重化処理に必要なデー
タ「vxxx.aui 」をビットアサイン部115に通知す
る。
【0011】VTRコントロール部117は、スーパー
バイザ3から通知される編集リストに従ってビデオテー
プレコーダ(VTR)110の動作を制御し、所望の編
集対象の素材を再生する。
【0012】ビデオテープレコーダ(VTR)110
は、主コントローラ111を介してスーパーバイザ10
3から通知される編集リストに従って、磁気テープに記
録されたビデオデータD1を再生してエンコーダ112
に出力する。
【0013】エンコーダ112は、スーパーバイザ10
3から主コントローラ111を介して通知される条件に
従って動作を切り換え、VTR110から出力されるビ
デオデータD1を、MPEG(Moving Picture Experts
Group)の手法により圧縮符号化する。
【0014】このとき、エンコーダ112は、符号化処
理の結果を主コントローラ111に通知し、主コントロ
ーラ111は、そのデータ圧縮における符号化の条件を
制御し、発生するビット量を制御する。これにより、主
コントローラ111は、データ圧縮により発生するビッ
ト量をフレーム単位で把握できる。
【0015】また、エンコーダ112は、2パスエンコ
ードにおける事前のエンコード条件設定の処理時(仮エ
ンコード時)には、単にビデオデータD1をデータ圧縮
して処理結果を主コントローラ111に通知するだけで
あるが、最終的なデータ圧縮処理時(本エンコード時)
には、圧縮処理されたビデオデータD2をRAID10
4に記録し、さらにそのデータが記録されたアドレス,
データ量等を主コントローラ11に通知する。
【0016】モニタ装置113は、エンコーダ112に
よりデータ圧縮されたビデオデータD2をモニタできる
ように構成される。このモニタ装置113により、この
ビデオエンコードシステムでは、オペレータがデータ圧
縮処理の結果を必要に応じて確認する、いわゆるプレビ
ューを行うことができる。そして、オペレータが、この
プレビュー結果に基づいて主コントローラ111を操作
して、符号化の条件を詳細に変更できるようにされてい
る。
【0017】上述したように、DVDでは、ビデオデー
タの圧縮方式としてMPEG(Moving Picture Experts
Group)を採用している。
【0018】MPEGは、動き補償予測による時間方向
の冗長度を除去することによりデータ圧縮する方式であ
り、フレーム内だけで符号化されるI(Intra )ピクチ
ャ,過去の画面から現在を予測して符号化されるP(Pr
edictive)ピクチャ,過去の画像と未来の画像とから現
在を予測して符号化されるB(Bidirectionally Predic
tive)ピクチャの3種類の符号化画像が用いられる。
【0019】また、これらの画像は、Iピクチャを必ず
1つ含むまとまりであるGOP(Group of Pictures )
とされる。
【0020】図8は、GOP構造の一例を示している。
この例では、1つのGOPを構成するピクチャ(フレー
ム)の数Nが15である。GOPの各ピクチャが表示さ
れる順序は、符号化される順序とは異なっており、表示
順におけるGOPの先頭のピクチャは、Iピクチャの前
であってPピクチャまたはIピクチャの次にあるBピク
チャである。また、表示順におけるGOPの最後は、次
のIピクチャの前にある最初のPピクチャである。
【0021】次に、2パスエンコードについて、図7に
例示のビデオエンコードシステムの構成を参照しながら
説明する。
【0022】図9は、上記のビデオエンコードシステム
における2パスエンコードの基本的な処理手順を示して
いる。
【0023】まず、ステップS51で、スーパーバイザ
3からネットワーク2を経由して、ビデオ情報に割り当
てられるビット総量や最大レートなどのエンコード条件
「v.enc 」が与えられ、エンコーダコントロール部16
はこのエンコード条件に従って設定される。
【0024】次に、ステップS52で、エンコーダコン
トロール部16が、エンコーダ12を使ってエンコード
素材の符号化難易度(difficulty)を測定する。ここで
は、素材の各画素のDC値や動きベクトル量MEも併せ
て測定される。そして、これらの測定結果に基づいてフ
ァイルが作成される。
【0025】実際の符号化難易度の測定は、以下のよう
に行われる。
【0026】エンコード素材となるビデオ情報は、マス
ターテープであるディジタルビデオカセットからVTR
10により再生される。
【0027】エンコーダコントロール部16は、エンコ
ーダ12を介して、VTR10により再生されたビデオ
情報D1の符号化難易度を測定する。ここでは、符号化
の際に量子化ステップ数を固定値に設定して発生ビット
量が測定される。動きが多く、高い周波数成分が多い画
像では発生ビット量が多くなり、静止画や平坦な部分が
多い画像では発生ビット量が少なくなる。この発生ビッ
ト量の大きさを符号化難易度としている。
【0028】次に、ステップS53では、ステップS5
1で設定されたエンコード条件によってステップS52
で測定された、各ピクチャの符号化難易度の大きさに応
じて、エンコーダコントロール部16が、ビットアサイ
ン部15内のビット配分計算プログラム「BIT_ASSIGN」
を実行し、割り当てビット量(ターゲット量)の配分計
算を行う。
【0029】そして、ステップS54で、上記のビット
配分計算の結果を使って仮エンコードを行い、エンコー
ダ12に内蔵されているローカルデコーダ出力の画質に
よって、本エンコードを実行するかどうかをオペレータ
に判断させるようにする。実際には、上記のビット配分
によるビットストリームをRAID4に出力しないで、
オペレータが、任意の処理範囲を指定できるモードであ
るプレビユー(Preview )モードで画質が確認される。
【0030】そして、ステップS55で、画質評価が行
われ、画質に問題がある場合(NG)にはステップS5
6に進み、問題がある部分のビットレートを上げたりフ
ィルターレベルを調整するといった画質調整のためのカ
スタマイズ作業を行った後に、ステップS57でビット
配分再計算が実行される。
【0031】その後、ステップS54に戻り、カスタマ
イズされた部分がプレビューされ、ステップS55で画
質が確認される。ここで、全ての部分の画質が良好であ
ればステップS58に進み、エンコーダ12によって、
ステップS57で再計算されたビット配分による素材全
体についてのエンコードが実行される。
【0032】一方、ステップS55で、画質に問題がな
いと判断された場合には、そのままステップS58に進
み、エンコーダ12により、ステップS53で計算され
たビット配分によるエンコード処理が実行される。
【0033】そして、ステップS59で、エンコード結
果であるビットストリームがSCSI(Small Computer
System Interface )等を介してRAID4に書き込ま
れる等の後処理が行われ、2パスエンコード処理が終了
する。
【0034】ステップS58におけるエンコードの実行
後、ビデオエンコーダコントロール部16は、上述した
ようなエンコード結果の情報をネットワーク2経由でス
ーパーバイザ3に報告する。
【0035】なお、この図9の各ステップSのうち、ス
テップS52,ステップS54およびステップS58を
除く各ステップの処理は、オフラインで行われる。
【0036】次に、上述した2パスエンコーディングに
おいて、ビットアサイン部15で実行されるビット配分
計算についてさらに説明する。
【0037】図10は、ビット配分計算における余りビ
ットの処理例を示している。
【0038】まず、ディジタルビデオディスク(DV
D)などのパッケージメディアの記録容量のうちのビデ
オ情報に割り当てられるビット総量「QTY_BYTES 」(図
10(a))および最大ビットレート「MAXRATE 」が、
スーパーバイザ3から指定される。
【0039】これに対して、エンコーダコントロール部
16は、ビットアサイン部15内のビット配分計算プロ
グラム「BIT_ASSIGN」を実行し、まず、最大ビットレー
ト「MAXRATE 」以下になるように制限が加えられた総ビ
ット数「USB_BYTES 」を求め(図10(b))、この値
からGOPのヘッダ(Header)に必要なビット数「TOTA
L_HEADER」を引いた値と、素材全体のフレーム総数から
ターゲット数の総和の目標値となる「SUPPLY_BYTES」を
算出する(図10(c))。
【0040】そして、この「SUPPLY_BYTES」の大きさに
収まるように、各ピクチャへの割当てビット量(ターゲ
ット量)が配分される。全てのピクチャへの割当てビッ
ト量の総和を「TARGET_BYTES」とすると、図10(d)
〜図10(f)に示すように、ターゲット数の総和の目
標値「SUPPLY_BYTES」から、上記の「TARGET_BYTES」を
引いた値が、ビット配分の際の余り(Remain)を示す量
「REMAIN_BYTES」となる。
【0041】そして、図10(g)に示すように、「TA
RGET_BYTES」とHeaderの和が「TARGET_OUT_BYTES」とさ
れる。
【0042】図11は、図9のステップS53におけ
る、ビット配分計算処理の手順の一具体例を示してい
る。
【0043】まず、ステップS61で、前述したように
スーパーバイザ3から送られるビット総量「QTY_BYTES
」と最大ビットレート「MAXRATE 」が入力される。
【0044】次に、ステップS62で、図9のステップ
S52で作成された符号化難易度(difficulty)の測定
結果のファイルがそのまま読み込まれる。
【0045】そして、ステップS63で、符号化難易度
と共に測定された各画像のDC値や動きベクトル量ME
の大きさのパラメータの変化量から、シーンが変化する
ポイントが検出される。
【0046】なお、このステップS63におけるシーン
チェンジの検出/処理には、本件出願人がすでに特願平
8−274094号明細書および図面にて開示した「映
像信号処理装置」におけるシーンチェンジ点を検出する
ための処理を適用できる。この「映像信号処理装置」
は、映像信号の各フレームの直流レベルを検出し、この
直流レベルを曲線近似して得られる誤差値から、その映
像信号のシーンチェンジのフレームを検出してシーンチ
ェンジ点を明らかにするというものである。そして、シ
ーンがチェンジしたとして検出されたポイントでは、P
ピクチャがIピクチャに変更されて、画質改善が図られ
る。
【0047】次に、ステップS64では、チャプター
(CHAPTER )境界処理が行われる。DVD再生装置での
チャプターサーチ時には、再生されるピクチャが、特定
されないピクチャからジャンプしてくることになる。そ
の場合でも再生画像が乱れないようにするため、このチ
ャプタ境界処理によってチャプターの位置が必ずGOP
の先頭になるようにピクチャタイプが変更されたり、G
OP長が制限される。
【0048】ステップS65では、上記の一連の作業の
結果として変更された、Iピクチャ,Pピクチャ,Bピ
クチャなどのピクチャタイプに合わせた符号化難易度
(Difficulty)の値に対して補間/補正が行われる。こ
れは、DVDでは、1GOPのデコード時の、表示され
る最大のフィールド数が制限されていることから、ピク
チャタイプの変更に伴ってGOP構造が変化したことに
より1GOPの長さがこの制限を越えることがあるため
である。そのような場合には、制限を満たすように、P
ピクチャをIピクチャに変更してGOP長が短くされる
GOP制約処理が行われる。
【0049】ステップS66では、ステップS65にお
ける補間/補正処理によって得られた符号化難易度、お
よびエンコードされる素材全体に与えられたビット数
「SUPPLY_BYTES」に応じて、各ピクチャごとのターゲッ
トビット(Target bit)数が計算される。
【0050】そして、ステップS67で、エンコード結
果のビットストリームを書き込む際のRAID4のアド
レス(ADDRESS)を計算した上で、ステップS68に進
み、エンコーダ用のコントロールファイルが作成されて
処理が終了する。
【0051】上記のような手順により、素材の符号化難
易度(Difficulty)および素材全体に与えられたビット
数「SUPPLY_BYTES」に応じて、各ピクチャごとのターゲ
ットビット数が計算され、エンコーダ用のコントロール
ファイルが作成される。
【0052】以下では、このような一連のビット配分の
手順について、さらに詳しく説明する。ここでは、ビッ
ト配分の計算例として、まずGOPを単位としてビット
量が配分され、その後、各GOP内で各ピクチャの符号
化難易度(Difficulty)に応じたビット配分が行われる
ものとしており、各GOPごとの符号化難易度の和であ
る「gop_diff」に応じて、エンコード時のGOP単位の
ビット割当て量「gop_target」が配分される。
【0053】図12は、このGOPごとの符号化難易度
の和「gop_diff」とエンコード時のGOP単位のビット
割当て量「gop_target」とを変換するための、最も簡単
な関数の例を示している。
【0054】この例では、「gop_target」をY とし、
「gop_diff」をX として、 Y = AX + B という形で表される評価関数が用いられる。
【0055】許容される最大ビットレート以下に制限さ
れた総ビット数「USB_BYTES 」は、 USB_BYTES = min(QTY_BYTES - MAXRATE × KT × total_frame_number) ・・・(1) で与えられる。ここで、NTSC方式の場合には KT =
1/8(bits)/30(Hz),PAL方式の場合には 1/8(b
its)/25(Hz)である。また、「total_frame_number
」はエンコードされる素材のフレーム総数,min(s,
t)はsまたはtの小さい方を選択する関数である。ま
た、「DIFFICULTY_SUM」は、全てのピクチャの符号化難
易度の総和である。
【0056】 SUPPLY_BYTES = USB_BYTES - TOTAL_HEADER ・・・(2) DIFFICULTY_SUM = Σdifficulty ・・・(3) B = GOP_MINBYTES ・・・(4) Σy = A × Σx + B×n ここで、Σy = SUPPLY_BYTES,Σx = DIFFICULTY_SUM,
nはGOPの総数である。よって A = (SUPPLY_BYTES - B×n)/ DIFFICULTY_SUM となる。従って、各ピクチャのターゲット量は、 gop_target = A × gop_diff + B ・・・(5) で与えられる。
【0057】その後、各GOP内で各ピクチャの符号化
難易度に応じたビット配分が行われる。GOP内での各
ピクチャの配分は符号化難易度の大きさに比例させた場
合には、各ピクチャのターゲット量は以下の式で求めら
れる。
【0058】 target(k) = GOP_TARGET × diffuculty(k)/ GOP_diff ・・・(6) (1≦k≦GOP内のピクチャ数) そして、このようなビット配分計算の後、エンコード結
果のビットストリームが書き込まれるRAID4のアド
レスが設定され、エンコーダ用コントロールファイルが
出力される。このようにして作成されたコントロールフ
ァイルによってエンコード処理を行うことにより、素材
の画像の難しさに応じた可変ビットレートエンコーディ
ングが実行される。
【0059】以上が2パス可変ビットレートエンコーデ
ィングの概要である。
【0060】次に、映画(フィルム)素材のプルダウン
(pulldown)処理について説明する。
【0061】24コマ/秒で構成されている映画フィル
ムを、30フレーム/秒で構成されるNTSC方式のテ
レビ・ビデオ信号に変換するために、同じフィールド画
像を周期的に繰り返す処理が行われる。以下では、この
処理を2−3プルダウン変換という。
【0062】図13は、この2−3プルダウン変換の原
理を示している。
【0063】プルダウンのパターンの位相は、フィルム
素材からNTSC方式のビデオ素材への変換時に決定さ
れる。多くの場合はパターンが規則的に変換されてい
る。
【0064】ビデオ素材の1フレームは2フィールドで
構成されるが、そのうちの第1フィールド(1st field
)をトップフィールド(top_field )とし、第2フィ
ールド(2nd field )をボトムフィールド(bottom_fie
ld)とする。また、同じフィールド画を繰り返す場所を
リピートファーストフィールド(repeat_first_field)
と呼ぶ。
【0065】このような映画素材では、同じフィールド
が繰り返される位置が分かっていれば、エンコードの際
にそのフィールドを符号化しないようにして圧縮効率を
高めることができる。
【0066】符号化の際の2−3プルダウンパターンの
組合せは、以下の4通りである。
【0067】 0: bottom_field_first 1: bottom_field_first, repeat_field_first 2: top_field_first 3: top_field_first, repeat_field_first ここでは、これらのパターンの組合せを「ピクチャモー
ド」と定義する。
【0068】次に、2−3プルダウンパターンと、NT
SC方式に従う素材のロールの先頭からのビデオフレー
ム番号kとの関係について説明する。
【0069】上述したピクチャモードを、リピートされ
ていないトップフィールドを含む位置とフレーム番号k
との関係を p_mode[k]とすると、図13からも分かるよ
うに、上記の0〜3のピクチャモードに属さないフレー
ム番号が存在する。この場合のp_mode[k] の値を4とす
る。
【0070】図14は、プルダウンにおけるp_mode[k]
の状態遷移図である。
【0071】プルダウンが規則正しく連続している場合
には、p_mode[k] の値は、フレーム番号kの増加に伴っ
て、5で割った余りの体(mod 5)において1ずつ増加
していく。 p_mode[k+1] = (p_mode[k] + 1 )mod 5 ・・・(7) プルダウンパターンが乱れた場合には、p_mode が0ま
たは2のときのみ、その値を繰り返すことができる。
【0072】 p_mode[k+1] = (p_mode[k] + 1 ) mod 5 ・・・(8) (p_mode[k] が0または2の場合に限る) 2パスエンコーディングにおいては、符号化難易度(di
fficulty)の測定を行う際にプルダウンパターンが自動
検出される。このとき、測定されたプルダウンパターン
をもとにビット配分が行われ、コントロールファイルが
作成される。
【0073】そして、最終的なエンコード時には、上記
のコントロールファイルに記述されたプルダウンパター
ンに従って符号化が行われる。
【0074】
【発明が解決しようとする課題】しかし、上述したよう
なプルダウンパターンの自動検出手法は、現在のフレー
ムと1つ前のフレームの、トップフィールドおよびボト
ムフィールドの差分をもとにしているという原理上、素
材が静止画像に近い場合にはプルダウンパターンを正し
く検出できないことがある。
【0075】例えば、映画の最初の部分について考える
と、最初のタイトルシーンから始まる映像は黒からフェ
ードインし、映画会社のロゴが現れ、黒にフェードアウ
トする。このような場合には、黒へのフェードイン/ア
ウトのような動きが少ない部分については、プルダウン
位相の正確な検出が困難であり、検出を誤ることが多
い。
【0076】さらに、フィルム素材からビデオ素材に変
換するコンバータに撮像管を用いている古い装置が使用
された素材では、フレーム間の残像によってプルダウン
位相を正しく検出できない場合がある。
【0077】同様の理由で、前のフレームの画像と現在
のフレームの画像とを加算してランダムノイズを減らす
ようなノイズレデューサを用いた素材でも、プルダウン
位相が正しく検出できない場合がある。
【0078】また、プルダウン位相が異なるフィルム素
材を多数編集したような素材では、編集ポイントでプル
ダウンパターンの検出のディレイから、誤ったプルダウ
ン位相として検出されるおそれがある。
【0079】このように、誤った位相でエンコードを行
うと、正しい位相にロックするまでの間は誤ったプルダ
ウンパターンで処理されるため、エンコード結果の画像
の動きがぎこちなくなるなどの問題がある。
【0080】プルダウン処理によってエンコードを実行
しても問題ないかどうかは、素材のプルダウンパターン
の安定性に大きく依存する。
【0081】しかし、事前にその判定を行うことは困難
であるため、オペレータが、エンコード後の画像の動き
を見て適性を判断するしかなく、エンコード条件が不適
切であったと判断された場合には、条件を変えて最初か
らエンコードし直さなければならないことが問題となっ
ていた。
【0082】本発明は、このような問題を解決するため
に行われたものであり、2パス可変レートエンコードに
おいて、プルダウン処理によるエンコード条件の適否
を、エンコードの実行前に判定できる画像符号化方法お
よび画像符号化装置を提供することを目的とする。
【0083】
【課題を解決するための手段】上記の課題を解決するた
めに提案する本発明の画像符号化方法は、入力されるビ
デオ素材に対してプルダウン処理を施しながら、プルダ
ウンパターンに基づく符号化を施す2パス画像符号化方
法において、上記プルダウン変換が施されるビデオ素材
のプルダウンパターンを測定する測定工程と、上記測定
されたプルダウンパターンと想定される複数の初期位相
に基づく各プルダウンパターンとを比較して、上記各プ
ルダウンパターンのうちの上記測定されたプルダウンパ
ターンに最も近いプルダウンパターンを与える初期位相
を選択する選択工程と、上記選択された初期位相に基づ
くプルダウンパターンの、上記ビデオ素材の総フレーム
数に対する誤差を算出する誤差算出工程と、上記算出さ
れた誤差に基づいて、上記選択された初期位相に基づく
プルダウンパターンの安定性をエンコード前に判定する
安定性判定工程とを有することを特徴とするものであ
る。
【0084】また、上記の課題を解決するために提案す
る本発明の画像符号化装置は、入力されるビデオ素材に
対してプルダウン処理を施しながら、プルダウンパター
ンに基づく符号化を施す2パス画像符号化装置におい
て、上記プルダウン変換が施されるビデオ素材のプルダ
ウンパターンを測定する測定手段と、上記測定されたプ
ルダウンパターンと想定される複数の初期位相に基づく
各プルダウンパターンとを比較して、上記各プルダウン
パターンのうちの上記測定されたプルダウンパターンに
最も近いプルダウンパターンを与える初期位相を選択す
る選択手段と、上記選択された初期位相に基づくプルダ
ウンパターンの、上記ビデオ素材の総フレーム数に対す
る誤差を算出する誤差算出手段と、上記算出された誤差
に基づいて、上記選択された初期位相に基づくプルダウ
ンパターンの安定性をエンコード前に判定する安定性判
定手段とを有することを特徴とするものである。
【0085】上記の本発明によれば、2パス可変レート
エンコードにおいて、プルダウン処理によるエンコード
条件の適否を、エンコードの実行前に判定できるように
なる。
【0086】
【発明の実施の形態】以下に、本発明の好ましい実施の
形態について図面を参照しながら説明する。
【0087】まず、本発明に係る画像符号化方法の実施
の形態について、前述した2−3プルダウン変換が施さ
れるビデオ素材のエンコード処理を例として説明する。
【0088】図1は、前述した2−3プルダウンパター
ンの初期位相を示している。
【0089】フィルム素材からビデオ信号にフレーム変
換する際の2−3プルダウンは、ほとんどの場合に規則
正しく行われている。そこで、エンコードされる素材の
プルダウンパターンは規則正しいとする。
【0090】また、エンコードされる素材の最初はチャ
プター指定され、必ず p_mode が2の状態でエンコード
されなければならないと規定されていることを考慮する
と、プルダウンパターンの初期位相は、乱れがない場合
には、この図に示す7通りのいずれかのパターンで表す
ことができる。
【0091】これらのプルダウンのプルダウンパターン
は、初期位相のモードを p_start(0≦ p_start ≦
6) とすると、k番目のフレームのピクチャモード p_
mode[k]は、以下の式で表される。
【0092】 pd_cycle[7][10] = {{2,2,2,2,2,2,2,2,2,2}, {2,3,4,0,0,0,0,0,0,0}, {2,3,4,0,1,2,3,4,0,1}, {2,2,3,4,0,1,2,3,4,0}, {2,2,2,3,4,0,1,2,3,4}, {2,2,2,2,3,4,0,1,2,3}, {2,2,2,2,2,3,4,0,1,2}} p_mode[k] = pd_cycle[pd_start][k mod 5] (k<5のとき) p_mode[k] = pd_cycle[pd_start][k mod 5 + 5] (k≧5のとき) そこで、本発明の画像符号化方法では、フレーム番号k
(0≦k≦kend)に対して想定される上記の7通りの初
期位相に基づくプルダウンパターンと、測定されたプル
ダウンパターンとを比較し、その7通りのうちの最もエ
ラーが少ないものを選択する。
【0093】以下に、このような本発明に係る画像符号
化方法の実施の一形態としてのビデオエンコード処理の
流れを説明する。
【0094】(1) まず、ps番目のプルダウンパター
ンと測定されたプルダウンパターンとを比較して、一致
していたら pd_match[ps] を1だけ増加する。一方、比
較結果が違っていたら、位相がずれはじめたポイントの
個数(エラーの立ち上がりエッジ)を pd_errnb[ps] と
してカウントする。
【0095】(2) 上記(1)の処理を 0≦k≦ken
d の範囲で繰り返す。
【0096】(3) 上記(1)および(2)の処理を
0≦ps≦6 の範囲で繰り返す。
【0097】(4) 0≦ps≦6 の範囲での pd_match
[ps] の最大値を求める。 最大となった ps についての
位相がずれはじめたポイントの個数 pd_errnb[ps] を p
d_error_max とする。
【0098】(5) 測定された総フレーム数 frame_n
bに対するパターンマッチング率 pd_match_ratio と、
エラー発生率 pd_error_ratio を、以下のように求め
る。 pd_error_ratio = pd_error_max / frame_nb * 100 (%) pd_match_ratio = pd_match_max / frame_nb * 100 (%)
【0099】(6) パターンマッチング率pd_match_r
atio がしきい値PD_MATCH_LIMIT 以下である場合、また
は、総フレーム数frame_nb が、しきい値PD_FRAME_LIMI
T 以上で、かつ、エラー発生率pd_error_ratio がしき
い値PD_ERROR_LIMIT 以上である場合に、エンコード素
材のプルダウンパターンは安定していない(従って、プ
ルダウン処理を指定してエンコードすると画質に問題が
生じる可能性が大きい)と判定して、オペレータに警告
を示すメッセージを表示する。
【0100】(7) オペレーターが、上記の警告を見
て、当初のエンコード条件で処理を続けるかどうかを判
断する。処理を中止する場合には、エンコード条件から
プルダウン処理の指定をはずして、エンコード作業を最
初からやり直す。
【0101】上記のような手順により行われる、本発明
に係るビデオエンコードにおいて、エンコード素材のプ
ルダウンパターンの安定性を判定するためのしきい値
は、例えば以下のように設定される。 PD_MATCH_LIMIT = 75 (%) PD_ERROR_LIMIT = 0.5 (%) PD_FRAME_LIMIT = 10000 (frame) また、初期値は、次のように設定される。
【0102】 pd_match[ps] = 0; ( p_mode が同じであった回数 ) pd_errnb[ps] = 0; ( pd_mode が変化した回数 ) (0 ≦ ps ≦ 6) pd_error = pd_error_back = 0; pd_match_max = 0 次に、プルダウンパターンの測定について説明する。
【0103】図2は、本実施の形態における、仮エンコ
ード時に測定される、エンコード素材のプルダウンパタ
ーンを、前述した7通りの初期位相に基づくプルダウン
パターンと比較した結果の一例を示している。
【0104】この図において、error は、測定結果とプ
ルダウンパターンが異なっている場合に1とされる。 p
d_match[ps] は、error が0の個数、すなわち p_mode
が同じであった回数を示す。また、pd_error[ps] は、
error が0から1になるところのエッジの数と同じであ
る。
【0105】この例では、PS=2で示される初期位相
に基づくプルダウンパターンが、測定されたプルダウン
パターンに最も近いことが分かる。
【0106】ここでは、total_frame =13なので、 パターンマッチング率 pd_match_ratio = 84.5% エラー発生率 pd_error_ratio = 7.7% となる。
【0107】この結果を、前述の設定されたしきい値を
用いて判定すると、この測定された素材のプルダウンパ
ターンは安定していると判断される。このように、プル
ダウンパターンの測定値に対する pd_match の値が最大
のものが、初期位相として選択される。
【0108】図3および図4は、上述した本発明の実施
の一形態としてのビデオエンコード処理における、プル
ダウンパターンの安定性を判断するアルゴリズムの一具
体例を示している。
【0109】図3のステップS1では、p_mode が同じ
であった回数 pd_match[ps]およびpd_error[ps]が初期
化されて、いずれも値が0にされる。ただし、psで示さ
れるプルダウンパターンの初期位相は、前述したように
7通りに限られることから、0≦ps≦6である。また、
pd_error,pd_error_back,pd_match_max,psの値が、
いずれも0にされる。
【0110】次に、ステップS2では、ビデオのフレー
ム番号kの値が0にされる。
【0111】次に、ステップS3では、k<5であるか
どうかが判断される。k<5であればステップS4に進
む。一方、k<5を満たさないときはステップS5に進
む。これは、図1に示すプルダウンパターンの初期位相
において、最初の4フレームまでが特異点となるためで
ある。
【0112】そして、ステップS4では pm = pd_cycle
[st][k mod 5] とされ、ステップS5では pm = pd_cyc
le[st][k mod 5+5] とされる。
【0113】次に、ステップS6で pd_error_back = p
d_error とされる。
【0114】そして、ステップS7では、pm == p mode
[k] であるかどうかが判断され、この条件を満たす場合
にはステップS8に進み、この条件を満たさない場合に
はステップS9に進む。ここで、「=」は代入を意味し
ているのに対し、「==」はC言語等で用いられるのと同
様に等しいかどうかの条件判定を意味するものである。
【0115】次に、ステップS8では、pd_match[ps]の
値が1だけインクリメントされ、また pd_error の値が
0にされる。
【0116】一方、ステップS9では、pd_error の値
が1にされる。
【0117】そして、ステップS10では、pd error =
=1 かつ pd error back ==0 であるかどうかが判断さ
れる。この条件を満たす場合にはステップS11に進
み、pderrnb[ps]の値が1だけインクリメントされる。
一方、ステップS10の条件を満たさない場合にはステ
ップS11をスキップしてステップS12に進む。
【0118】次に、ステップS12で、フレーム番号k
が1だけインクリメントされる。
【0119】ステップS13では、フレーム番号kがke
ndを越えたかどうかが判断され、この条件を満たさない
場合、すなわち最後のフレームまで至っていない場合に
はステップS3に戻って上記の手順が繰り返される。一
方、この条件を満たす場合、すなわち最後のフレームま
で至った場合にはステップS14に進み、psの値が1だ
けインクリメントされて、次の初期位相に基づくプルダ
ウンパターンについて同様の処理が行われる。
【0120】ステップS15では、ps>6であるかどう
かが判断され、この条件を満たさない場合、すなわち前
述の7通りの初期位相に基づくプルダウンパターンの全
てについての処理が終了していない場合にはステップS
2に戻って上記の手順が繰り返される。一方、この条件
を満たす場合、すなわち前述の7通りの初期位相に基づ
くプルダウンパターンの全てについて処理が終了した場
合には図4のステップS16に進み、ps=0とされる。
【0121】ステップS17では、pd_match_max が、p
d_match[ps] よりも小であるかどうかが判断され、この
条件を満たす場合には、ステップS18に進み、pd_mat
ch_max = pd_match[ps],pd_error_max = pd_errnb[p
s]とされる。一方、ステップS17の条件を満たさない
場合には、ステップS18をスキップしてステップS1
9に進む。
【0122】ステップS19では、psの値が1だけイン
クリメントされて、次の初期位相に基づくプルダウンパ
ターンについて同様の処理が行われる。
【0123】ステップS20では、ps>6であるかどう
か、すなわち前述の7通りの初期位相に基づくプルダウ
ンパターンの全てについての処理が終了したかどうかが
判断され、この条件を満たさない場合にはステップS1
7に戻って上記の手順が繰り返される。一方、この条件
を満たす場合にはステップS21に進み、エラー発生率
pd_error_ratio,パターンマッチング率pd_match_ratio
が計算される。
【0124】そして、ステップS22では、パターンマ
ッチング率pd_match_ratio がしきい値PD_MATCH_LIMIT
よりも小である、または、測定された総フレーム数fram
e_nb がしきい値PD_FRAME_LIMIT およびエラー発生率dp
_error_ratio がしきい値PD_ERROR_RIMITより大である
かどうかが判断される。この条件を満たしている場合に
は、測定されたプルダウンパターンが安定していないと
判断されてステップS23で pd_stable=0 とされる。
一方、この条件を満たしている場合には、測定されたプ
ルダウンパターンが安定していると判断されてステップ
S24で pd_stable=1 とされる。
【0125】図5は、以上説明したプルダウンパターン
の安定性の算出を含む、本発明に係るビデオエンコード
の基本的な処理手順を示している。
【0126】まず、ステップS31でエンコード条件が
入力され、ステップS32で符号化難易度(Difficult
y)パラメータが入力され、ステップS33でこれらに
基づく仮エンコードによりプルダウン素材のプルダウン
(pulldown)パターンの安定性が算出される。
【0127】ステップS34で、上記の算出されたプル
ダウンパターンの安定性が判断され、安定していないと
判断された場合にはステップS35でワーニング(警
告)が表示され、ステップS36でエンコードを続ける
かどうかがオペレータにより判断される。そして、ステ
ップS36で、当初のエンコード条件で処理を続けると
された場合にはステップS37に進む。一方、ステップ
S34で、算出されたプルダウンパターンが安定してい
ると判断された場合にはそのままステップS37に進
む。
【0128】なお、ステップS36でエンコードを続け
ないとされた場合には、ステップS44でプルダウン処
理なしのエンコードを行う等してビデオエンコード処理
を終了する。
【0129】次に、ステップS37では、シーンチェン
ジの検出/処理が行われる。
【0130】ステップS38では、境界をPピクチャ,
Iピクチャの並びに変換するチャプタ(CHAPTER )境界
処理が行われる。ステップS39では、符号化難易度
(Difficulty)の補間/補正処理が行われる。ステップ
S40では、ターゲットビット(Target bit)数が計算
される。ステップS41では、アドレス(ADDRESS )が
計算される。ステップS42では、tg_rateが算出され
る。
【0131】なお、ステップS37からステップS41
までの各ステップにおける処理は、図11に示した従来
の処理手順における処理と同様に行うことができる。
【0132】そして、ステップS43で、エンコーダ用
コントロールファイルが作成されてビデオエンコード処
理が終了する。
【0133】次に、本発明に係る画像符号化装置につい
て説明する。
【0134】図6は、本発明に係る画像符号化装置の実
施の一形態としてのビデオエンコードシステムの構成例
を示している。
【0135】このビデオエンコードシステムは、上述し
た本発明に係る画像符号化方法を適用して、ディジタル
ビデオディスク(DVD)用にビデオ情報を圧縮符号化
してオーサリングなどを行うために用いることができる
ものであり、その基本的な構成は図7に示した従来のビ
デオエンコードシステムの構成とほぼ同様とすることが
できる。
【0136】主コントローラ11は、このビデオエンコ
ードシステムに割り当てられた計算機により構成され、
ネットワーク2を介して接続されるスーパーバイザ3と
の間でデータ通信を行って、このビデオエンコードシス
テム全体の動作を制御する。
【0137】具体的には、主コントローラ11は、グラ
フィカルユーザーインターフェース(GUI:Graphica
l User Interface)部14の管理により、スーパーバイ
ザ3からの制御を受け付けると共に、図示していないオ
ペレータの操作を受け付け、このGUI部14により管
理されるビットアサイン部15,エンコーダコントロー
ル部16,VTRコントロール部17により、エンコー
ダ12,ビデオテープレコーダ(VTR)10の動作を
制御する。これにより、主コントローラ11は、スーパ
ーバイザ3から通知されたエンコード条件に従って、処
理対象の素材を符号化処理し、その処理結果をスーパー
バイザ3に通知する。さらに、主コントローラ11は、
GUI部14を介してオペレータの設定を受け付けて、
上記の符号化の詳細な条件を変更できるようにされてい
る。
【0138】具体的には、主コントローラ11のGUI
部14は、ビットアサイン部15のビット配分プログラ
ム「BIT_ASSIGN」,エンコーダコントロール部16のエ
ンコーダコントロールプログラム「CTRL_ENC」およびV
TRコントロール部17のVTRコントロールプログラ
ムの3つのプログラムを管理している。
【0139】また、ビットアサイン部15は、スーパー
バイザ3から通知される符号化ファイル「v.enc 」に従
って符号化処理の条件をフレーム単位で決定し、この条
件による制御データをファイル形式「CTL file」により
コントロール部16に通知する。
【0140】このとき、ビットアサイン部15は、符号
化処理におけるビット配分を設定し、さらに設定された
条件をオペレータの操作に応じて変更する。さらに、ビ
ットアサイン部15は、データ圧縮されたビデオデータ
D2が、エンコーダ12かあSCSIなどを介してRA
ID4に記録されると、RAID4上のアドレスデータ
「v.adr 」を、後段における多重化処理に必要なデータ
量等の情報「vxxx.aui」と共にスーパーバイザ3に通知
する。
【0141】エンコーダコントロール部16は、ビット
アサイン部15から通知される制御ファイル「CTL fil
e」に従って、イーサネットETHER などを介してエンコ
ーダ12の動作を制御する。さらに、エンコーダコント
ロール部16は、符号化処理に要する符号化難易度「di
fficulty」のデータをフレーム単位でビットアサイン部
15に通知し、ビデオデータD2が記録されたRAID
4の記録アドレスのデータ「v.adr 」,後の多重化処理
に必要なデータ「vxxx.aui 」をビットアサイン部15
に通知する。
【0142】VTRコントロール部17は、スーパーバ
イザ3から通知される編集リストに従って、RS−42
2(9ピンリモート)などを介してビデオテープレコー
ダ(VTR)10の動作を制御し、所望の編集対象の素
材を再生する。
【0143】ビデオテープレコーダ(VTR)10は、
主コントローラ11を介してスーパーバイザ3から通知
される編集リストに従って、磁気テープに記録されたビ
デオデータD1を再生して、処理対象の「SDI 」,「RE
F V 」,「TIME CODE 」をエンコーダ12に出力する。
このVTR10としては、通常はディジタルVTRが用
いられる。
【0144】エンコーダ12は、スーパーバイザ3から
主コントローラ11を介して通知される条件に従って動
作を切り換え、VTR10から出力されるビデオデータ
D1を、MPEG(Moving Picture Experts Group)の
手法により圧縮符号化する。
【0145】このとき、エンコーダ12は、符号化処理
の結果を主コントローラ11に通知し、主コントローラ
11は、そのデータ圧縮における符号化の条件を制御
し、発生するビット量を制御する。これにより、主コン
トローラ11は、データ圧縮により発生するビット量を
フレーム単位で把握できる。
【0146】また、エンコーダ12は、2パスエンコー
ドにおける事前のエンコード条件設定の処理時(仮エン
コード時)には、VTR10からはビデオデータを単に
データ圧縮して処理結果を主コントローラ11に通知す
るだけであるが、最終的なデータ圧縮処理時(本エンコ
ード時)には、圧縮処理されたビデオデータD2をRA
ID4に記録し、さらにそのデータが記録されたアドレ
ス,データ量等を主コントローラ11に通知する。
【0147】モニタ装置13は、エンコーダ12により
データ圧縮されたビデオデータD2をモニタできるよう
に構成される。このモニタ装置13ににより、このビデ
オエンコードシステムでは、オペレータがデータ圧縮処
理の結果を必要に応じて確認する、いわゆるプレビュー
を行うことができる。そして、オペレータが、このプレ
ビュー結果に基づいて主コントローラ11を操作して、
符号化の条件を詳細に変更できるようにされている。
【0148】以上説明したような画像符号化方法および
画像符号化装置によれば、2パス可変レートエンコード
の条件としてプルダウン処理が指定された場合に、エン
コード対象となる素材の適性を、本エンコードを実行す
る前に判断できるため、DVDのオーサリングなどを行
う際に発生するエンコード条件の見直しなどの作業工数
を削減できる。
【0149】
【発明の効果】本発明の画像符号化方法および画像符号
化装置によれば、2−3プルダウンによる2パス可変レ
ートエンコードにおいて、プリエンコード(仮エンコー
ド)時に、素材の複雑さを示す符号化難易度の測定と共
に、プルダウンパターンの安定度を求めてエンコード素
材の適性を本エンコード前に判定するようにしたため、
早い時点でエンコード条件の見直しを促すことができる
ようになる。
【図面の簡単な説明】
【図1】2−3プルダウンパターンの初期位相を示す図
である。
【図2】測定されたプルダウンパターンと想定されるプ
ルダウンパターンとの比較結果の一例を示す図である。
【図3】プルダウンパターンの安定性を判断するアルゴ
リズムの一例を示すフローチャートである。
【図4】プルダウンパターンの安定性を判断するアルゴ
リズムの一例を示す、図3に続くフローチャートであ
る。
【図5】本発明に係るビデオエンコードの基本的な処理
手順を示すフローチャートである。
【図6】本発明に係るビデオエンコードシステムの構成
例を示す図である。
【図7】従来のビデオエンコードシステムの構成例を示
す図である。
【図8】GOP構造について説明するための図である。
【図9】従来のビデオエンコードシステムにおける2パ
スエンコードの基本的な処理手順を示すフローチャート
である。
【図10】ビット配分計算における余りビットの処理例
を説明するための図である。
【図11】ビット配分計算処理の手順の一具体例を示す
フローチャートである。
【図12】GOPごとの符号化難易度の和「gop_diff」
とエンコード時のGOP単位のビット割当て量「gop_ta
rget」とを変換するための関数の一例を示す図である。
【図13】2−3プルダウン変換について説明するため
の図である。
【図14】プルダウンにおけるp_mode[k] の状態遷移図
である。
【符号の説明】
2 ネットワーク、 3 スーパーバイザ、 4 RA
ID、 10 ビデオテープレコーダ(VTR)、 1
1 主コントローラ、 12 エンコーダ、14 GU
I(グラフィカルユーザインターフェース)部、 15
ビットアサイン部、 16 エンコーダコントロール
部、 17 VTRコントロール部、

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 入力されるビデオ素材に対してプルダウ
    ン処理を施しながら、プルダウンパターンに基づく符号
    化を施す2パス画像符号化方法において、 上記プルダウン変換が施されるビデオ素材のプルダウン
    パターンを測定する測定工程と、 上記測定されたプルダウンパターンと想定される複数の
    初期位相に基づく各プルダウンパターンとを比較して、
    上記各プルダウンパターンのうちの上記測定されたプル
    ダウンパターンに最も近いプルダウンパターンを与える
    初期位相を選択する選択工程と、 上記選択された初期位相に基づくプルダウンパターン
    の、上記ビデオ素材の総フレーム数に対する誤差を算出
    する誤差算出工程と、 上記算出された誤差に基づいて、上記選択された初期位
    相に基づくプルダウンパターンの安定性をエンコード前
    に判定する安定性判定工程とを有することを特徴とする
    画像符号化方法。
  2. 【請求項2】 上記安定性判定工程における判定結果に
    基づいて、上記ビデオ素材のプルダウン処理によるエン
    コードの適否を表示する表示工程をさらに有することを
    特徴とする請求項1記載の画像符号化方法。
  3. 【請求項3】 上記安定性判定工程では、上記測定され
    たビデオ素材のプルダウンパターンと上記選択された初
    期位相に基づくプルダウンパターンとのマッチング率お
    よびエラー発生率を、それぞれしきい値と比較して、上
    記ビデオ素材のプルダウン処理によるエンコードの安定
    度を判定することを特徴とする請求項1記載の画像符号
    化方法。
  4. 【請求項4】 入力されるビデオ素材に対してプルダウ
    ン処理を施しながら、プルダウンパターンに基づく符号
    化を施す2パス画像符号化装置において、 上記プルダウン変換が施されるビデオ素材のプルダウン
    パターンを測定する測定手段と、 上記測定されたプルダウンパターンと想定される複数の
    初期位相に基づく各プルダウンパターンとを比較して、
    上記各プルダウンパターンのうちの上記測定されたプル
    ダウンパターンに最も近いプルダウンパターンを与える
    初期位相を選択する選択手段と、 上記選択された初期位相に基づくプルダウンパターン
    の、上記ビデオ素材の総フレーム数に対する誤差を算出
    する誤差算出手段と、 上記算出された誤差に基づいて、上記選択された初期位
    相に基づくプルダウンパターンの安定性をエンコード前
    に判定する安定性判定手段とを有することを特徴とする
    画像符号化装置。
  5. 【請求項5】 上記安定性判定手段における判定結果に
    基づいて、上記ビデオ素材のプルダウン処理によるエン
    コードの適否を表示する表示手段をさらに有することを
    特徴とする請求項4記載の画像符号化装置。
  6. 【請求項6】 上記安定性判定手段では、上記測定され
    たビデオ素材のプルダウンパターンと上記選択された初
    期位相に基づくプルダウンパターンとのマッチング率お
    よびエラー発生率を、それぞれしきい値と比較して、上
    記ビデオ素材のプルダウン処理によるエンコードの安定
    度を判定することを特徴とする請求項4記載の画像符号
    化装置。
JP34344197A 1997-12-12 1997-12-12 画像符号化方法および画像符号化装置 Expired - Fee Related JP3740813B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP34344197A JP3740813B2 (ja) 1997-12-12 1997-12-12 画像符号化方法および画像符号化装置
PCT/JP1998/005626 WO1999031886A1 (en) 1997-12-12 1998-12-11 Image encoding method and device
US09/374,134 US6275528B1 (en) 1997-12-12 1999-08-10 Picture encoding method and picture encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34344197A JP3740813B2 (ja) 1997-12-12 1997-12-12 画像符号化方法および画像符号化装置

Publications (2)

Publication Number Publication Date
JPH11177978A true JPH11177978A (ja) 1999-07-02
JP3740813B2 JP3740813B2 (ja) 2006-02-01

Family

ID=18361545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34344197A Expired - Fee Related JP3740813B2 (ja) 1997-12-12 1997-12-12 画像符号化方法および画像符号化装置

Country Status (3)

Country Link
US (1) US6275528B1 (ja)
JP (1) JP3740813B2 (ja)
WO (1) WO1999031886A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
US6940540B2 (en) * 2002-06-27 2005-09-06 Microsoft Corporation Speaker detection and tracking using audiovisual data
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
JP4655191B2 (ja) * 2004-09-02 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
EP1848220A3 (en) * 2006-04-18 2011-09-28 Pioneer Corporation Block noise removal device
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461420A (en) * 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
GB9303369D0 (en) * 1993-02-19 1993-04-07 Philips Electronics Uk Ltd Identifying film frames in a video sequence
US5691771A (en) * 1994-12-29 1997-11-25 Sony Corporation Processing of redundant fields in a moving picture to achieve synchronized system operation
JPH08265639A (ja) * 1995-03-24 1996-10-11 Mitsubishi Electric Corp 映像信号変換装置および再変換装置
JPH09168148A (ja) * 1995-09-20 1997-06-24 Sony Corp 動画像符号化方法及び装置、並びに記録媒体
JPH09284757A (ja) * 1996-04-11 1997-10-31 Sony Corp 画像符号化装置および方法

Also Published As

Publication number Publication date
WO1999031886A1 (en) 1999-06-24
US6275528B1 (en) 2001-08-14
JP3740813B2 (ja) 2006-02-01

Similar Documents

Publication Publication Date Title
JP3740813B2 (ja) 画像符号化方法および画像符号化装置
EP0584991B1 (en) Apparatus and method for recording digital data
JP3953574B2 (ja) 番組符号化装置及び記録装置
US7313283B2 (en) Image coding apparatus
EP0861490B1 (en) Recording and reproducing system for simultaneous recording and reproduction via an information carrier
KR20030056783A (ko) 비디오 하이라이트 자동 생성 방법 및 장치
JPH06153152A (ja) 動画像符号化装置および方法
JP3911768B2 (ja) 画像符号化方法及び画像符号化装置
JP3837889B2 (ja) エンコード方法およびエンコード装置
JP3956394B2 (ja) 音声・映像データ符号化装置およびその方法
US6343153B1 (en) Coding compression method and coding compression apparatus
US6795640B1 (en) Data recording device, data reproducing device and data recording medium for managing encoded data over a plurality of recording media
EP2112663A2 (en) Information processing apparatus and information processing method
US6282242B1 (en) Data compression device that switches between intra-frame coding and inter-frame coding
JP3951152B2 (ja) 画像符号化装置および方法
JP2000358219A (ja) 記録装置
JPH10304372A (ja) 画像符号化方法および装置、画像伝送方法
JP4462643B2 (ja) 画像符号化方法及び画像符号化装置
JP2007259493A (ja) 符号化装置及び符号化方法
JP4161385B2 (ja) 画像符号化方法及び装置並びに画像処理装置及び画像処理方法
JPH11346365A (ja) 符号化圧縮方法、および符号化圧縮装置
KR20000000611A (ko) 기록매체의 잔량 검출 및 검출잔량에 따른 신호의 압축 기록방법과 그 장치
US20050053363A1 (en) Method of and device for encoding an information stream
JPH08331556A (ja) 画像符号化装置および画像符号化方法
JP2000115786A (ja) 符号化装置、記録装置および符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees