JP3930176B2 - 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 - Google Patents
符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3930176B2 JP3930176B2 JP36093098A JP36093098A JP3930176B2 JP 3930176 B2 JP3930176 B2 JP 3930176B2 JP 36093098 A JP36093098 A JP 36093098A JP 36093098 A JP36093098 A JP 36093098A JP 3930176 B2 JP3930176 B2 JP 3930176B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- encoding
- original
- bit rate
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、画像符号化の符号化データの符号化ビットレート変更方法に関する。
【0002】
【従来の技術】
あるビットレートにて符号化された符号化データから、異なるビットレートの符号化データを生成する方法として、符号化データを再符号化する方法がある。図5にそのシステム図を示す。
【0003】
再符号化方法では、一旦、元の符号化データの一部または全部を復号し、復号画像を目的の再符号化ビットレートで符号化することで、符号化ビットレートを変更する。復号画像だけを用いて符号化データを再符号化する場合は、通常の符号化処理と同様の処理を行う。
【0004】
再符号化方法では、元の符号化データの情報を利用することで、演算量を削減できる。本出願人が先に出願した「復号信号の符号化方法」(特開平10−112865)は、小ブロック単位に動き補償予測符号化を行った符号化データの再符号化方法であり、符号化フレームレートの変更に伴う再符号化対象小ブロックにおいて、動きベクトルの再探索を行わず、元の符号化データの動きベクトル情報から再符号化対象小ブロックの動きベクトルを推定している。この方法では、動きベクトルの再探索を行わないため、再符号化時の演算量を削減できる。
【0005】
ISO/IEC13818−2(MPEG−2)では、インタレース信号を符号化するため、動き補償予測方法として、フィールド予測とフレーム予測の2種類の方法を利用できる。フィールド信号とフレーム信号の関係を図6に示す。フレーム信号は2つのフィールド信号からなり、両フィールド信号が交互に並んだものである。MPEG−2では、フレーム単位の符号化であっても動き補償予測方法をフレーム予測とフィールド予測の切り替えができる。
【0006】
MPEG−2の符号化データのように、フィールド予測とフレーム予測が混在する符号化データを再符号化する場合、フィールド予測の動きベクトルとフレーム予測の動きベクトルを相互に変換する必要がある。フィールド予測の動きベクトルをフレーム予測の動きベクトルに変換する場合、垂直成分を2倍し、フレーム予測の動きベクトルをフィールド予測の動きベクトルに変換する場合、垂直成分を1/2倍する。このように動きベクトルを変換し、「復号信号の符号化方法」と同様の方法で動きベクトルを推定することで、MPEG−2のようにフィールド予測とフレーム予測が混在する符号化データの符号化ビットレートの変更ができる。
【0007】
【発明が解決しようとする課題】
動画像の動き補償予測において、動きベクトルは、符号化対象画像と参照画像の間で移動した距離を示している。今、符号化対象画像と参照画像の間隔(画像間距離)をt[sec]、動きベクトルの大きさをmv[pel]とすると、移動速度v[pel/sec]は、次式から求まる。
【0008】
v=mv/t (1)
物体が等速度運動をしているとき、画像間距離がΔtだけ長くなると、動きベクトルmv′は、
mv′=mv+v・Δt (2)
となる。画像間距離が大きい場合、動きベクトルが長くなる。逆に、画像間距離が小さい場合、小さい動きベクトルになる。従来の方法では、動きベクトルを推定する際、もとの符号化データの参照画像と符号化対象画像の画像間距離を考慮していないため、画像間距離が一定でない場合、正しい動きベクトルが推定できない問題があった。
【0009】
次に、フィールド予測の画像間距離について述べる。フィールド信号とフレーム信号の時間関係を図7に示す。各信号の画像間の間隔は、フレーム信号が約30[フレーム/sec](NTSCの場合)、フィールド信号は、約60[フィールド/sec](NTSCの場合)となる。
【0010】
ここで、例としてMPEG−2のフレーム構造符号化時のフレーム予測とフィールド予測の参照関係を図8に示す。このフィールド予測の参照関係A〜Dの画像間距離を表1に示す。
【0011】
【表1】
このように、フィールド予測の動きベクトルであっても参照関係によって画像間距離が異なる。このため、もとの符号化データから抽出した動きベクトルを、画像間距離を考慮せずに動きベクトル推定に用いた場合、正しい動きベクトルが推定できない。例えば、参照関係Cの動きベクトルをフレーム予測の動きベクトルに変換する場合を考える。この動きベクトルの画像間距離は3フィールド、フレーム単位にすると1.5フレームである。このため、単純に垂直成分を2倍しただけでは、画像間距離が1.5フレームの動きベクトルとなり、0.5フレーム分長い動きベクトルになる。このベクトルを、フレーム予測の動きベクトル推定に用いた場合、正しい動きベクトルが算出されない。
【0012】
このように、参照関係による画像間距離を無視して、動きベクトル推定を行った場合、新たな動きベクトルが正しく推定できない問題があった。
【0013】
本発明の目的は、新たな動きベクトルを正しく推定できる符号化ビットレート変更方法を提供することにある。
【0014】
【課題を解決するための手段】
上記目的を達成するために、本発明の符号化ビットレートの変更方法は、フィールド予測とフレーム予測を利用可能な動画像符号化方式の符号化データについて、インタレース構造を有する符号化データに対し、元の符号化フレームを間引いて再符号化して符号化ビットレートを変更する符号化ビットレート変更方法であって、
元の符号化フレームを間引くことで参照関係が変化する際、元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップと、
補正後の動きのベクトルにより再符号化対象小ブロックの新たな動きベクトルを推定するステップと、
を有する。
【0015】
例として、フレーム/フィールド予測を併用した符号化データの場合について述べる。元の符号化データでの各符号化フレームの参照関係を図3に示す。図3では、符号化フレームfn+1は、符号化フレームfn+2の参照フレームとなっている。よって、符号化フレームfn+1を間引く場合、符号化フレームfn+2は、符号化フレームfnを参照フレームとするように変更する必要がある。前記「復号信号の符号化方法」では、符号化フレームfn+2およびfn+1の動きベクトルから新たな動きベクトルを推定し、参照フレームを変更する。
【0016】
本発明では、新たな動きベクトルを推定する際、もとの動きベクトルの画像間距離を、推定する動きベクトルの画像間距離に補正する。参照関係変更の詳細を図4に示す。例として、fn+1−fn+2間のフレーム予測の動きベクトル
【0017】
【外1】
と、fon−fen+1間のフィールド予測の動きベクトル
【0018】
【外2】
から、fn−fn+2のフレーム予測の動きベクトル
【0019】
【外3】
を推定する場合を述べる。fn+1−fn+2間の画像間距離は2フィールド、fon−fen+1間の画像間距離は3フィールド、fn−fn+2間の画像間距離は4フィールドである。したがって、画像間距離により動きベクトルを補正して、新たな動きベクトルを次式より算出する。
【0020】
【数1】
また、動きベクトル
【0021】
【外4】
の代わりに、fen−fon+1間のフィールド予測の動きベクトル
【0022】
【外5】
を用いた場合、fen−fon+1間の画像間距離は1フィールドなので、次式より算出する。
【0023】
【数2】
このように、本発明では、もとの符号化データに含まれる動きベクトルを、その動きベクトルの画像間距離により補正した後、再符号化対象小ブロックの動きベクトルを推定し、推定された動きベクトルを利用して再符号化処理を行う。
【0024】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。本例では、フレーム予測とフィールド予測をもつ動画像符号化方式において、全ての動きベクトルをフレーム予測の動きベクトルとして推定する方法を示す。動きベクトル推定方法は、「復号信号の符号化方法」と同様の方法で行う。本実施形態のフローチャートを図1に示す。
【0025】
1.動きベクトルの抽出(ステップ11)
もとの符号化データから動きベクトルを抽出する。
【0026】
2.動きベクトル表現の変換(ステップ12)
フィールド予測の動きベクトルの場合、垂直成分を2倍する。
【0027】
3.フィールド間距離による補正(ステップ13)
フィールド間距離がt[フィールド]の時、動きベクトル(x0,y0)は、次式により補正する。
【0028】
【数3】
ここで、(xC,yC)は、補正後の動きベクトルを示す。
【0029】
4.動きベクトルの推定(ステップ14)
補正後の動きベクトルを用い、再符号化対象小ブロックの動きベクトルを推定する。
【0030】
5.再符号化処理(ステップ15)
求めた動きベクトルを用いて、再符号化対象小ブロックをフレーム間予測符号化方法で再符号化する。
【0031】
これにより、画像間距離を考慮した動きベクトルの補正が可能となる。
【0032】
本実施形態では、全ての動きベクトルをフレーム予測の動きベクトルとして補正を行っているが、これは、再符号化対象小ブロックを全てフレーム間予測符号化で再符号化しているためである。動きベクトルの変換および補正は、再符号化対象小ブロックの予測方法により異なる。また、推定方法を「復号信号の符号化方法」(特開平10−112865)としているが、これに限定されるものではない。もとの符号化データから動きベクトルを抽出して再利用する再符号化方法では、本発明を利用できる。
【0033】
図2は図1に示した符号化ビットレート変更方法を実施する装置のブロック図である。この装置は入力装置21と記憶装置22,23と出力装置24と記録媒体25とデータ処理装置26で構成されている。入力装置21からは元の符号化データが入力される。記憶装置22はハードディスクである。記憶装置23には途中の演算結果が格納される。出力装置24には再符号化された符号化データが出力される。記録媒体25は以上説明した処理からなる符号化ビットレート変更プログラムを記録した、フロッピィ・ディスク(FD)、CD−ROM、光磁気ディスク(MO)などの記録媒体である。データ処理装置26は記録媒体25からの符号化ビットレート変更プログラムを記憶装置22に読み込んで、これを実行するCPUである。
【0034】
【発明の効果】
以上説明したように、本発明によれば、再符号化時に、画像間距離を考慮して動きベクトル推定を行うことにより、再符号化による符号化効率の低下を抑えた符号化ビットレート変更が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態の符号化ビットレート変更方法を示すフローチャートである。
【図2】図1に示した符号化ビットレート変更方法を実施する装置のブロック図である。
【図3】元の符号化データでの各符号化フレームの参照関係を示す図である。
【図4】本発明で、元の動きベクトルの画像間距離を、推定する動きベクトルの画像間距離に補正する場合の参照関係変更の詳細を示す図である。
【図5】再符号化のシステム図である。
【図6】フィールド信号とフレーム信号の関係を示す図である。
【図7】フィールド信号とフレーム信号の時間関係を示す図である。
【図8】MPEG−2のフレーム構造符号化時のフレーム予測とフィールド予測の参照関係を示す図である。
【符号の説明】
11〜15 ステップ
21 入力装置
22,23 記憶装置
24 出力装置
25 記録媒体
26 データ処理装置
Claims (3)
- フィールド予測とフレーム予測を利用可能な動画像符号化方式の符号化データについて、インタレース構造を有する符号化データに対し、元の符号化フレームを間引いて再符号化して符号化ビットレートを変更する符号化ビットレート変更方法であって、
元の符号化フレームを間引くことで参照関係が変化する際、元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップと、
補正後の動きのベクトルにより再符号化対象小ブロックの新たな動きベクトルを推定するステップと、
を有する符号化ビットレート変更方法。 - 元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップが、元の符号化データに含まれる動きベクトルをフレーム予測の表現に変換するステップと、画像間距離tに応じて、フレーム予測の表現に変換した動きベクトル(xo,yo)を(2*xo/t,2*yo/t)と補正するステップを含む、請求項1記載の符号化ビットレート変更方法。
- 請求項1または2に記載の符号化ビットレート変更方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36093098A JP3930176B2 (ja) | 1998-12-18 | 1998-12-18 | 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36093098A JP3930176B2 (ja) | 1998-12-18 | 1998-12-18 | 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000184379A JP2000184379A (ja) | 2000-06-30 |
JP3930176B2 true JP3930176B2 (ja) | 2007-06-13 |
Family
ID=18471508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36093098A Expired - Lifetime JP3930176B2 (ja) | 1998-12-18 | 1998-12-18 | 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3930176B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
-
1998
- 1998-12-18 JP JP36093098A patent/JP3930176B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000184379A (ja) | 2000-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3092610B2 (ja) | 動画像の復号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び、動画像の復号化装置 | |
JPH10322705A (ja) | 動き検出及び動き補償予測回路 | |
JP3532709B2 (ja) | 動画像符号化方法および装置 | |
JP3200196B2 (ja) | 動きベクトル検出方法 | |
JP2000023164A (ja) | デジタルビデオ処理方式 | |
JP3930176B2 (ja) | 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体 | |
JP2998741B2 (ja) | 動画像の符号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び動画像の符号化装置 | |
JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
JPH10174094A (ja) | 映像復号化装置 | |
JP2000078563A (ja) | 被写体認識装置及び自動追尾装置 | |
JPH1023420A (ja) | 動き検出方法および動き検出装置 | |
JP3150627B2 (ja) | 復号信号の再符号化方法 | |
JP3329768B2 (ja) | 画像符号化データの再符号化方法およびそのプログラム記録媒体 | |
JPH0366278A (ja) | 映像信号の高能率符号化方法 | |
JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
JP3407727B2 (ja) | 記録媒体 | |
JP3289695B2 (ja) | 動画符号化方法および装置 | |
JP2746645B2 (ja) | 動画像符号化処理装置 | |
JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
JP2001251628A (ja) | ディゾルブ画像の符号化装置 | |
JP3092614B2 (ja) | ディジタル携帯端末 | |
JP3092612B2 (ja) | 動画像の復号化方法、及び、動画像の復号化装置 | |
JP2003032685A (ja) | ノイズ低減方法および映像処理装置 | |
JP3092613B2 (ja) | 記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040326 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040326 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |