JP4236654B2 - 動画像符号化装置及びその方法 - Google Patents

動画像符号化装置及びその方法 Download PDF

Info

Publication number
JP4236654B2
JP4236654B2 JP2005265911A JP2005265911A JP4236654B2 JP 4236654 B2 JP4236654 B2 JP 4236654B2 JP 2005265911 A JP2005265911 A JP 2005265911A JP 2005265911 A JP2005265911 A JP 2005265911A JP 4236654 B2 JP4236654 B2 JP 4236654B2
Authority
JP
Japan
Prior art keywords
motion vector
images
fade
order
reverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005265911A
Other languages
English (en)
Other versions
JP2007081726A (ja
Inventor
直人 伊達
渉 浅野
晋一郎 古藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005265911A priority Critical patent/JP4236654B2/ja
Priority to US11/411,032 priority patent/US8090029B2/en
Publication of JP2007081726A publication Critical patent/JP2007081726A/ja
Application granted granted Critical
Publication of JP4236654B2 publication Critical patent/JP4236654B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Description

本発明は、動画像のフェード部分を効果的に符号化する動画像符号化装置及びその方法に関するものである。
動画像符号化では、時間方向の冗長性を削減するために、画像間の予測を用いて符号化を行う。しかし、フェードインやフェードアウトなどの映像部分では、画像間の差分値が通常の動画像よりも大きくなり、時間方向の冗長性を削減することが難しく、結果、符号化効率の低下を招き、画質劣化や符号量の増加を招く。
そこで、動画像の映像品質を一定に保つために、下記の方法が提案されている。
(1)フェードイン部分では画像内予測のみで符号化を行う方法(例えば、特許文献1参照)
(2)M=3のGOP構造をM=2のGOP構造に変える方法(例えば、特許文献2参照)
特開平11−177989号公報 特開2002−84544公報
しかしながら、(1)の方法では、映像品質を保つために画像内予測のみでフェードイン部分を符号化するので、時間方向の冗長性を削減できず、画質を維持するためには符号量の増加を招いてしまう。
また、(2)の方法では、フェードインを符号化する際、Bピクチャについては、時間的に前方と後方の参照画像との距離が一定となり、線形なフェード映像については、双方向予測により効率のよい予測が可能となる。しかし、輝度変化が非線形なフェード映像では、予測効率の改善は期待できず、また、Pピクチャについては、フェード画像での符号化効率の改善は期待できない。
そこで、本発明は、上記に鑑みてなされたものであって、フェード画像について、効率よく予測する方向を決定し、また効率のよい予測方向の処理を重視し効率の悪い予測方向の処理は軽減させることで演算量を削減しつつ性能を維持することを目的とする。
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードインを検出するフェードイン検出部と、前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を用いて符号化する符号化部と、を有することを特徴とする動画像符号化装置である。
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードインを検出するフェードイン検出部と、前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするうに制御する検出精度制御部と、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う符号化部と、を有することを特徴とする動画像符号化装置である。
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードアウトを検出するフェードアウト検出部と、前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするうに制御する検出精度制御部と、前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う符号化部と、を有することを特徴とする動画像符号化装置である。
本発明によれば、動画像のフェードにおいて、符号化効率を大幅に向上することができる。
以下に添付図面を参照して、本発明に係る動画像符号化装置の実施形態を詳細に説明する。
なお、本明細書において、「画像」とは「ピクチャ」「フレーム」「フィールド」を含む概念である。
(第1の実施形態)
以下、第1の実施形態の動画像符号化装置100について図1、図2、図10、図11、図13に基づいて説明する。
(1)動画像符号化装置100の構成
図1は、本実施形態に関わる動画像符号化装置100の構成を示すブロック図である。
図1に示すように動画像符号化装置100は、入力画像メモリ102と、フェード検出部103と、符号化順序制御部104と、動き検出部105と、直交変換及び量子化部106と、エントロピー符号化部107と、逆量子化及び逆直交変換部108と、参照画像メモリ109とを備えている。
入力画像メモリ102は、入力される符号化対象となる入力画像101を格納する。
フェード検出部103は、入力画像メモリ102に格納されている画像信号から、各画像の情報量を算出し、算出された情報量を元に画像信号がフェードか否かを判定する。
符号化制御部104は、画像信号がフェードである場合、情報量が多い画像信号から情報量が少ない画像信号への画像間予測を優先するように符号化を制御する。
動き検出部105は、参照画像メモリ109の画像信号から入力画像メモリ102を予測するための動きベクトル探索及び予測誤差信号生成を行う。
直交変換及び量子化部106は、入力された予測誤差信号に対して直交変換を行うと共に、その変換係数の量子化を行う。
エントロピー符号化部107は、入力された変換係数や動きベクトル情報などのエントロピー符号化を行い、符号列を生成する。
逆量子化及び逆直交変換部108は、上記直交変換及び量子化部106によって量子化された変換係数を逆量子化し、変換係数を復合し、復合した変換係数に対して逆直交変換処理を行い、予測誤差信号を復合し、復合された予測誤差信号と参照画像信号とを加算し復合画像信号を生成する。
参照画像メモリ109は、生成された復合画像信号を格納する。
図2に、フェード検出部103と符号化制御部104の構成を示す。
図2に示すように、フェード検出部103は、情報量算出部201と、フェード判定部202と、フェード情報バッファ203を備えている。
(2)フェード検出部103及び符号化制御部104の処理の流れ
図13に、フェード検出部103及び符号化制御部104のフローチャートを示す。
(2−1)ステップS1301
情報量算出部201は、入力画像メモリ101から読み込み、読み込んだ画像の情報量を算出する。
情報量の例は、(1)式に示される画像の輝度値分散等が該当する。
Figure 0004236654
ここで、σは画像の輝度値分散であり、Y(x,y)は画像の位置(x,y)の画素の輝度成分であり、Hは画像の縦方向の画素数であり、Wは画像の横方向の画素数であり、Eは画像の輝度成分の画面内平均値である。
(2−2)ステップS1302
算出された情報量と画像IDは、フェード情報バッファ203に格納される。ここで、画像IDは、画像IDから画像を一意に識別できる値で、例えば画像の表示番号がこれにあたる。
(2−3)ステップS1303
フェード判定部202は、前記画像がフェードか否かを判定する。すなわち、フェード情報バッファ203に格納されている、時間的に連続するN枚(例えば、N=15)の画像に対応した情報量を参照して、前記画像がフェードか否かを判定する。
時間的に連続するN枚の画像に対応した情報量が、N枚連続して単調増加した場合、フェードインと判定する。
逆に、時間的に連続するN枚の画像に対応した情報量がN枚連続して単調減少した場合、フェードアウトと判定する。
(2−4)ステップS1304
フェードインまたはフェードアウトと判定されたN枚の画像に対しては、フェードタイプをフェード情報バッファ203に格納する。
フェードタイプは、「フェードでない」、「フェードイン」、「フェードアウト」を識別するための値であり、初期値としは「フェードでない状態」にある。「フェードイン」または「フェードアウト」が判定されて、初めてフェードタイプが変更される。
フェード判定部202が機能した後、フェード情報バッファ203は、画像IDと、情報量と、フェードタイプとを格納している。
(2−5)ステップS1305
図2に示す符号化制御部104は、符号化順序制御部204を備えている。符号化順序制御部204は、フェード情報バッファ203の情報を元に、効果的に画像を符号化する順序を決定する。
フェードインと判定された画像に対しては、情報量の大きい画像から、情報量の小さい画像を予測する順序で符号化するように動き検出部105に伝える。これは、フェードインを表示順序と逆順で符号化することと該当する。例えば、まずフェードイン部分の最後の画像を画面内予測のみで符号化し(Iピクチャ)、次いで、最後から2番目の画像を画像間予測で符号化し(Pピクチャ)、そして、最後から3番目の画像を画像間予測で符号化し(Pピクチャ)、という処理を続けて、最後に時間的にフェード部分の最初の画像の符号化を行うような順番で画像IDを動き検出部105に伝える。
この符号化順序を図10に示す。これは、従来のMPEG−2,MPEG−4等の動画符号化方式で行うことができないが、近年標準化が進められたH.264等に関しては可能になった。前述した例は、Pピクチャのみを用いる場合の例であるが、Bピクチャを伴う符号化でも同様に逆順符号化を適用することができる。
動き検出部105は、符号化順序制御部104によって示される順序に従い入力画像メモリ101から入力画像を読み込んでいき、動き検出処理を行う。
(3)本実施形態の効果
本実施形態であると、フェードインと判定された画像を表示順序と逆順で予測符号化することができる。この表示順序と逆順で予測符号化を行うということは、情報量の大きい画像から情報量の小さい画像を予測するための効率が良い。
これは、図11に示すように、情報量の少ない(絵柄が詳細でない)画像からの動き検出をする予測方向よりも、情報量の多い(絵柄が詳細な)画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすいためである。
これにより、フェードインを時間方向と正順で符号化する場合と比較して、Pピクチャの符号化効率が改善する。
(第2の実施形態)
次に、本発明の第2の実施形態について図3と図12に基づいて説明する。
(1)動画像符号化装置100の構成
第2の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであるが、図1に示す第1の実施形態における動き検出部105が、図3に示すように重み係数算出部303と動き検出部304とを有する。
重み係数算出部303は、当該画像301と、参照画像302から、前記情報量の比を基に重み係数を算出する。重み係数とは、動画像符号化における重み付き予測を行う場合に必要な値である。
(2)重み付き予測の例
重み付き予測の例としては、H.264のWeighted Predictionが挙げられる。
図12に示すように、情報量の小さいほうの画像(図12中、参照2画像)に、1より大きい重み係数w(w>1)で重み付けをして生成した画像(図12中、重み付参照2画像)は、符号化歪みが拡大する。
逆に、情報量の大きいほうの画像(図12中、参照1画像)に、1より小さい重み係数w(w<1)で重み付けをして生成した画像(図12中、重み付参照1画像)は、符号化歪みが縮小する。
これにより、重み付き参照2画像からよりも重み付き参照1画像から予測を行うほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことが分かる。この性質を利用するために、本実施形態は、フェードインを検出した際に、表示順序と逆順で重み付き予測を用いて符号化を行う。
(3)動き検出部304
動き検出部304では、当該画像と重み付けされた参照画像で動き検出処理と予測誤差信号生成を行う。また、重み係数算出部303で参照画像を重み付けせずに、通常の動き検出を行うことも可能とする。動き検出部304で算出された予測誤差信号は、直交変換及び量子化部106に送られる。
(4)本実施形態の効果
本実施形態であると、フェードインと判定された画像を表示順序と逆順で重み付き予測を要する予測符号化を行う。これにより、フェードインを時間方向と正順で符号化した場合と比較して、Pピクチャの符号化効率が改善する。
(第3の実施形態)
次に、本発明の第3の実施形態について図4、図11、図14に基づいて説明する。
第3の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであり、図2に示す第1の実施形態における符号化順序制御部204が、図4に示すように動き検出精度制御部404に置き換わった構成となる。
また、動き検出部105は、動き検出の精度を、動き検出精度制御部404からの指示により変更することが可能な構成となっている。
図14は、フェード検出部103及び符号化制御部104のフローチャートである。
動き検出精度制御部404は、フェードインを検出した際に、時間的に正順の動き検出精度よりも、時間的に逆順の動き検出精度を上げて符号化を行うように動き検出部105に伝える(ステップS1405)。
また、動き検出精度制御部404は、フェードアウトを検出した際に、時間的に逆順の動き検出精度よりも時間的に正順の動き検出精度を上げて符号化を行うように動き検出部105に伝える(ステップS1405)。
図11に示すように、情報量の少ない(絵柄が詳細でない)画像からの動き検出をする予測方向よりも、情報量の多い(絵柄が詳細な)画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。例えば、フェードインのときにBピクチャの動き検出を行う場合を考える。Bピクチャは、前方画像と後方画像を参照画像として取りうるが、情報量の少ない前方画像からの予測方向の方が、情報量の多い後方画像からの予測方向の方が、望ましい動きベクトルが検出されやすいからである。
そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Bピクチャの演算量を削減している。
(第4の実施形態)
次に、本発明の第4の実施形態について図5、図11、図15に基づいて説明する。
第4の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであり、図2に示す第1の実施形態における符号化順序制御部204が、図5に示すように動き検出探索範囲制御部504に置き換わった構成となる。
また、動き検出部105は、動き検出の探索範囲を、動き検出探索範囲制御部504からの指示により変更することが可能な構成となっている。
図15は、フェード検出部103及び符号化制御部104のフローチャートである。
動き検出探索範囲制御部504は、フェードインを検出した際に、時間的に正順の動き検出探索範囲よりも、時間的に逆順の動き検出探索範囲を拡げて符号化を行うように動き検出部105に伝える(ステップS1505)。
また、動き検出探索範囲制御部504は、フェードアウトを検出した際に、時間的に逆順の動き検出探索範囲よりも、時間的に正順の動き検出探索範囲を拡げて符号化を行うように動き検出部105に伝える(ステップS1505)。
図11に示すように、情報量の少ない(絵柄が詳細でない)画像からの動き検出をする予測方向よりも、情報量の多い(絵柄が詳細な)画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすいためである。
本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Bピクチャの演算量を削減している。
(第5の実施形態)
次に、本発明の第5の実施形態について図6、図11、図16に基づいて説明する。
第5の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであり、図2に示す第1の実施形態における符号化順序制御部204が、図6に示すように動き検出演算量制御部604に置き換わった構成となる。
また、動き検出部105は、動き検出の演算量を動き検出演算量制御部604からの指示により変更することが可能な構成となっている。
ここで演算量の多少とは、動きベクトル探索の粗密、階層的探索の深浅、ブロックマッチングの際のブロック画素の間引き度の高低を示す。
動きベクトル探索の粗密とは、例えば、1画素精度(例えば、1pel)探索(粗、演算量少)等と、1/2画素精度探索(密、演算量多)である。
階層的探索の深浅とは、例えば、全探索(浅、演算量多)と、荒く探索した後に細かく探索する2ステップサーチ(深、演算量少)等がある。
ブロックマッチングの際のブロック画素の間引き度の高低とは、例えば、2画素間引き(低、演算量多)と、4画素間引き(高、演算量少)等がある。
図16はフェード検出部103及び符号化制御部104のフローチャートである。
動き検出演算量制御部604は、フェードインを検出した際に、時間的に正順の動き検出の演算量よりも、時間的に逆順の動き検出の演算量を多くして符号化を行うように動き検出部105に伝える(ステップS1605)。
また、動き検出演算量制御部604は、フェードアウトを検出した際に、時間的に逆順の動き検出の演算量よりも、時間的に正順の動き検出の演算量を多くして符号化を行うように動き検出部105に伝える(ステップS1605)。
図11に示すように、情報量の少ない(絵柄が詳細でない)画像からの動き検出をする予測方向よりも、情報量の多い(絵柄が詳細な)画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Bピクチャの演算量を削減している。
(第6の実施形態)
次に、本発明の第6の実施形態について図7、図11、図17に基づいて説明する。
第6の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであり、図2に示す第1の実施形態における符号化順序制御部204が、図7に示すように動き検出参照画像制御部704に置き換わった構成となる。
また、動き検出部105は、動き検出の参照画像枚数を動き検出参照画像制御部704からの指示により変更することが可能な構成となっている。
図17は、フェード検出部103及び符号化制御部104のフローチャートである。
動き検出参照画像制御部704は、フェードインを検出した際に、時間的に正順の動き検出処理の参照画像枚数よりも、時間的に逆順の動き検出処理の参照画像枚数を多くして符号化を行うように動き検出部105に伝える(ステップS1705)。
また、動き検出参照画像制御部704は、フェードアウトを検出した際に、時間的に逆順の動き検出処理の参照画像枚数よりも、時間的に正順の動き検出の参照画像枚数を多くして符号化を行うように動き検出部105に伝える(ステップS1705)。
図11に示すように、情報量の少ない(絵柄が詳細でない)画像からの動き検出をする予測方向よりも、情報量の多い(絵柄が詳細な)画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像からの動き検出の処理量を削減することで、符号化効率を維持しつつ、Bピクチャの演算量を削減している。
(第7の実施形態)
次に、本発明の第7の実施形態について図8、図12,図18に基づいて説明する。
第7の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであり、図2に示す第1の実施形態における符号化順序制御部204が、図8に示すように重み付き予想制御部804に置き換わった構成となる。
図18は、本発明に関わるフェード検出部103及び符号化制御部104のフローチャートである。
重み付き予想制御部804は、フェードインを検出した際に、時間的に正順の動き検出を行う際には重み付き予想を適用せず、時間的に逆順の動き検出を行う際に重み付き予想を適用するように動き検出部105に伝える(ステップS1805)。
また、重み付き予想制御部804は、フェードアウトを検出した際に、時間的に逆順の動き検出を行う際に重み付き予想を適用せず、時間的に正順の動き検出を行う際に重み付き予想を適用して符号化を行うように動き検出部105に伝える(ステップS1705)。
図12に示すように、情報量の小さいほうの画像(図12中、参照2画像)に重み付けをして生成した画像(図12中、重み付き参照2画像)は、符号化歪みが拡大する。情報量の大きい方の画像(図12中、参照1画像)に重み付けをして生成した画像(図12中、重み付き参照1画像)は、符号化歪みが縮小する。よって、図12によって情報量の小さい重み付き参照2画像からよりも情報量の大きい重み付き参照1画像から予測したほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことがわかる。
本実施形態では、情報量の少ない画像には重み付き予測を適用せず、情報量の多い画像には重み付き予測を適用することで、符号化性能を維持しつつ、Bピクチャにおける重み付き予測の処理量を削減できる。
(第8の実施形態)
次に、本発明の第8の実施形態について図9、図19に基づいて説明する。
第8の実施形態では、図1で示した第1の実施形態と基本的に構成は同じであるが、図1に示す第1の実施形態における動き検出部105の構成が、図9に示されるものとなっている。
動き検出部105への入力は、当該画像901、参照1画像902、参照2画像903である。動き検出部906は、参照1画像902、参照2画像903、重み付けした参照1画像902または重み付けした参照2画像903の3枚に対して動き検出を行えるスペックを有するものとする。よって、重み付き予測を参照1画像902、参照2画像903のいずれかに適用することになるが、この制御は重み付き予想制御部905が担当する。
(1)動き検出部105の構成
図9は、動き検出部105の構成を示すブロック図である。
動き検出部105は、重み付き予測係数算出部904と、重み付き予測制御部905と、動き検出部906とを備えている。重み付き予測には、例えば、H.264の規格のWeighted Predictionがある。
(2)動き検出部105の処理
図19は、図9に示す動き検出部105のフローチャートである。
(2−1)ステップS1901
重み付き予測係数算出部904は当該画像901と参照1画像902の差分が最小になるような重み付き予測係数を算出する。また、重み付き予測係数算出部904は当該画像901と参照2画像903に対しても重み付き予測係数を算出する。
(2−2)ステップS1902
重み付き予測制御部905は、参照1画像902の重み付き予測係数と参照2画像903の重み付き予測係数を比較し、重み付き予測係数が小さいほうの画像に重み付けを行う。
このように選択を行う理由を図12に示す。
情報量の小さいほうの画像(図12中、参照2画像)に重み付けをして生成した画像(図12中、重み付き参照2画像)は、符号化歪みが拡大する。情報量の大きい方の画像(図12中、参照1画像)に重み付けをして生成した画像(図12中、重み付き参照1画像)は、符号化歪みが縮小する。すなわち、情報量の小さい重み付き参照2画像からよりも情報量の大きい重み付き参照1画像から予測したほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことがわかる。
(2−3)ステップS1903
動き検出部906は、参照1画像902、参照2画像903、重み付けした参照1画像902または重み付けした参照2画像903の3枚に対して動き検出を行う。
(3)本実施形態の効果
本実施形態であると、情報量の少ない画像には重み付き予測を適用せず、情報量の多い画像には重み付き予測を適用することで、符号化性能を維持しつつ、Bピクチャにおける重み付き予測の処理量を削減できる。
本発明の第1の実施形態に関わる動画像符号化装置の構成を示すブロック図である。 第1の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第2の実施形態に関わる動き検出部の構成を示すブロック図である。 第3の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第4の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第5の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第6の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第7の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。 第8の実施形態に関わる動き検出部の構成を示すブロック図である。 フェードインの予測構造を示す図である。 動き検出の様子を示す図である。 重み付き予測の予測効率を示す図である。 第1の実施形態に関わるフェード検出部及び符号化順序制御部の処理を示すフローチャートである。 第3の実施形態に関わるフェード検出部及び動き検出精度制御部の処理を示すフローチャートである。 第4の実施形態に関わるフェード検出部及び動き検出探索範囲制御部の処理を示すフローチャートである。 第5の実施形態に関わるフェード検出部及び動き検出演算量制御部の処理を示すフローチャートである。 第6の実施形態に関わるフェード検出部及び動き検出参照画像制御部の処理を示すフローチャートである。 第7の実施形態に関わるフェード検出部及び重み付き予測制御部の処理を示すフローチャートである。 第8の実施形態に関わる動き検出部の処理を示すフローチャートである。
符号の説明
103 フェード検出手段
104 符号化制御部
105 動き検出部
201 情報量算出部
202 フェード判定部
203 フェード情報バッファ
303 重み係数算出部
304 動き検出部
404 動き検出精度制御部
504 動き検出探索範囲制御部
604 動き検出算出量制御部
704 動き検出参照画像制御部
804 重み付き予測制御部
904 重み付き予測係数算出部
905 重み付き予測制御部
906 動き検出部

Claims (20)

  1. 画像間予測を行う動画像符号化装置において、
    前記動画像におけるフェードインを検出するフェードイン検出部と、
    前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を用いて符号化する符号化部と、
    を有することを特徴とする動画像符号化装置。
  2. 前記符号化部は、
    前記フェードインとして検出された動画像に関して前記フェードイン区間の末尾にある画像から順番に取り出し、前記動画像を時間的に逆順にする動画像逆順部と、
    前記逆順にした動画像を順番に符号化する逆順符号化部と、
    を有することを特徴とする請求項1記載の動画像符号化装置。
  3. 前記逆順符号化部は、
    前記逆順にした動画像に対して重み付き予測を行い符号化する
    ことを特徴とする請求項2記載の動画像符号化装置。
  4. 画像間予測を行う動画像符号化装置において、
    前記動画像におけるフェードインを検出するフェードイン検出部と、
    前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、
    前記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするように制御する検出精度制御部と、
    前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う符号化部と、
    を有することを特徴とする動画像符号化装置。
  5. 画像間予測を行う動画像符号化装置において、
    前記動画像におけるフェードアウトを検出するフェードアウト検出部と、
    前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、
    前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするように制御する検出精度制御部と、
    前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う符号化部と、
    を有することを特徴とする動画像符号化装置。
  6. 前記検出精度制御部は、前記逆順の動きベクトルに関する前記画像の探索範囲を、前記正順の動きベクトルに関する前記画像の探索範囲より拡げて、前記逆順の動きベクトル検出精度を前記正順の動きベクトル検出精度より高くする
    ことを特徴とする請求項4記載の動画像符号化装置。
  7. 前記検出精度制御部は、前記正順の動きベクトルに関する前記画像の探索範囲を、前記逆順の動きベクトルに関する前記画像の探索範囲より拡げて、前記正順の動きベクトル検出精度を前記逆順の動きベクトル検出精度より高くする
    ことを特徴とする請求項5記載の動画像符号化装置。
  8. 前記検出精度制御部は、前記逆順の動きベクトルの検出のときの演算量を、前記正順の動きベクトルの検出のときの演算量より多くして、前記逆順の動きベクトル検出精度を前記正順の動きベクトル検出精度より高くする
    ことを特徴とする請求項4記載の動画像符号化装置。
  9. 前記検出精度制御部は、前記正順の動きベクトルの検出のときの演算量を、前記逆順の動きベクトルの検出のときの演算量より多くして、前記正順の動きベクトル検出精度を前記逆順の動きベクトル検出精度より高くする
    ことを特徴とする請求項5記載の動画像符号化装置。
  10. 前記検出精度制御部は、前記逆順の動きベクトルの検出で参照する前記画像の枚数を、前記正順の動きベクトルの検出で参照する前記画像の枚数より多くして、前記逆順の動きベクトル検出精度を前記正順の動きベクトル検出精度より高くする
    ことを特徴とする請求項4記載の動画像符号化装置。
  11. 前記検出精度制御部は、前記正順の動きベクトルの検出で参照する前記画像の枚数を、前記逆順の動きベクトルの検出で参照する前記画像の枚数より多くして、前記正順の動きベクトル検出精度を前記逆順の動きベクトル検出精度より高くする
    ことを特徴とする請求項5記載の動画像符号化装置。
  12. 前記符号化部は、前記時間的に逆順の関係にある画像間の動きベクトルを用いて符号化するときに、前記時間的に逆順の重み付き予測を行う、
    ことを特徴とする請求項4記載の動画像符号化装置。
  13. 前記符号化部は、前記時間的に正順の関係にある画像間の動きベクトルを用いて符号化するときに、前記時間的に正順の重み付き予測を行う、
    ことを特徴とする請求項5記載の動画像符号化装置。
  14. 前記検出精度制御部は、前記時間的に正順の動き検出を行う際には重み付き予測を適用せず、前記時間的に逆順の動き検出を行う際には重み付き予測を適用するように前記動きベクトル検出部を制御して、前記逆順の動きベクトル検出精度を前記正順の動きベクトル検出精度より高くする
    ことを特徴とする請求項4記載の動画像符号化装置。
  15. 前記検出精度制御部は、前記時間的に逆順の動き検出を行う際には重み付き予測を適用せず、前記時間的に正順の動き検出を行う際には重み付き予測を適用するように前記動きベクトル検出部を制御して、前記正順の動きベクトル検出精度を前記逆順の動きベクトル検出精度より高くする
    ことを特徴とする請求項5記載の動画像符号化装置。
  16. 画像間予測を行う動画像符号化方法において、
    前記動画像におけるフェードインを検出し、
    前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を行う
    ことを特徴とする動画像符号化方法。
  17. 前記符号化するときに、
    前記フェードインとして検出された動画像に関して前記フェードイン区間の末尾にある画像から順番に取り出し、前記動画像を時間的に逆順にし、
    前記逆順にした動画像を順番に符号化する
    ことを特徴とする請求項16記載の動画像符号化方法。
  18. 前記逆順に符号化するときに、
    前記逆順にした動画像に対して重み付き予測を行う
    ことを特徴とする請求項17記載の動画像符号化方法。
  19. 画像間予測を行う動画像符号化方法において、
    前記動画像におけるフェードインを検出し、
    前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出し、
    前記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするように制御し、
    前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う
    ことを特徴とする動画像符号化方法。
  20. 画像間予測を行う動画像符号化方法において、
    前記動画像におけるフェードアウトを検出し、
    前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出し、
    前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするように制御し、
    前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う
    ことを特徴とする動画像符号化方法。
JP2005265911A 2005-09-13 2005-09-13 動画像符号化装置及びその方法 Expired - Fee Related JP4236654B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005265911A JP4236654B2 (ja) 2005-09-13 2005-09-13 動画像符号化装置及びその方法
US11/411,032 US8090029B2 (en) 2005-09-13 2006-04-26 Dynamic image encoding device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005265911A JP4236654B2 (ja) 2005-09-13 2005-09-13 動画像符号化装置及びその方法

Publications (2)

Publication Number Publication Date
JP2007081726A JP2007081726A (ja) 2007-03-29
JP4236654B2 true JP4236654B2 (ja) 2009-03-11

Family

ID=37855071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005265911A Expired - Fee Related JP4236654B2 (ja) 2005-09-13 2005-09-13 動画像符号化装置及びその方法

Country Status (2)

Country Link
US (1) US8090029B2 (ja)
JP (1) JP4236654B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US7277486B2 (en) * 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
JP5524063B2 (ja) * 2007-09-28 2014-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ情報処理
EP2223530A2 (en) 2007-11-30 2010-09-01 Dolby Laboratories Licensing Corp. Temporal image prediction
JP2010010915A (ja) * 2008-06-25 2010-01-14 Sony Corp 画像処理装置および方法、並びにプログラム
EP2345258A4 (en) * 2008-11-12 2012-04-25 Thomson Licensing ELIMINATION OF FRAME SCINTILLE I FOR MULTIPHREAD VIDEO CODING PARALLEL TO THE GOP
EP2347518A4 (en) * 2008-11-12 2012-10-17 Thomson Licensing LIGHT CHANGE CODING
WO2010056315A1 (en) 2008-11-13 2010-05-20 Thomson Licensing Multiple thread video encoding using gop merging and bit allocation
US8269885B2 (en) * 2009-04-03 2012-09-18 Samsung Electronics Co., Ltd. Fade in/fade-out fallback in frame rate conversion and motion judder cancellation
CN104125477B (zh) 2013-04-27 2017-08-18 华为技术有限公司 一种视频帧淡入/淡出检测方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6040861A (en) 1997-10-10 2000-03-21 International Business Machines Corporation Adaptive real-time encoding of video sequence employing image statistics
US5978029A (en) 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
JP2000059792A (ja) * 1998-08-06 2000-02-25 Pioneer Electron Corp 動画像信号の高能率符号化装置
JP3166716B2 (ja) * 1998-08-12 2001-05-14 日本電気株式会社 フェード画像対応動画像符号化装置及び符号化方法
JP3957915B2 (ja) * 1999-03-08 2007-08-15 パイオニア株式会社 フェード検出装置及び情報符号化装置
JP2002084544A (ja) 2000-09-06 2002-03-22 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法
CN1897703A (zh) 2002-01-18 2007-01-17 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
JP2004179687A (ja) 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置

Also Published As

Publication number Publication date
US20070058719A1 (en) 2007-03-15
US8090029B2 (en) 2012-01-03
JP2007081726A (ja) 2007-03-29

Similar Documents

Publication Publication Date Title
JP4236654B2 (ja) 動画像符号化装置及びその方法
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
TWI399097B (zh) 用於編碼視訊之系統及方法,以及電腦可讀取媒體
KR102400078B1 (ko) 비디오 코딩에서 모션 보상 예측을 위한 광흐름 추정
US8649438B2 (en) Selective motion vector prediction method, motion estimation method and device thereof applicable to scalable video coding system
JP4901772B2 (ja) 動画像符号化方法及び動画像符号化装置
US8599929B2 (en) Distributed video decoder and distributed video decoding method
US20110038419A1 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
JP2013225892A (ja) 直接モード符号化及び復号化装置
JP5216710B2 (ja) 復号化処理方法
JP2006054857A (ja) 3d分解を用いてフレームシーケンスを符号化および復号する方法、使用方法、装置、およびコンピュータプログラム
Kim et al. A selective block encoding scheme based on motion information feedback in distributed video coding
US8731055B2 (en) Method and apparatus for encoding and decoding an image based on plurality of reference pictures
JP2008167449A (ja) 映像の符号化、復号化方法及び装置
Skorupa et al. Efficient low-delay distributed video coding
JP4884703B2 (ja) 画像の空間予測符号化方法、符号化装置、復号化方法及び復号化装置
JP2006100871A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP2006246277A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP2008301270A (ja) 動画像符号化装置及び動画像符号化方法
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
Ates Enhanced low bitrate H. 264 video coding using decoder-side super-resolution and frame interpolation
JP2006295502A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP2006262075A (ja) 画像符号化装置、画像符号化方法、および画像符号化用プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees