JPWO2011142236A1 - 符号量制御方法および装置 - Google Patents

符号量制御方法および装置 Download PDF

Info

Publication number
JPWO2011142236A1
JPWO2011142236A1 JP2012514753A JP2012514753A JPWO2011142236A1 JP WO2011142236 A1 JPWO2011142236 A1 JP WO2011142236A1 JP 2012514753 A JP2012514753 A JP 2012514753A JP 2012514753 A JP2012514753 A JP 2012514753A JP WO2011142236 A1 JPWO2011142236 A1 JP WO2011142236A1
Authority
JP
Japan
Prior art keywords
picture
code amount
encoded
amount control
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012514753A
Other languages
English (en)
Other versions
JP5580887B2 (ja
Inventor
清水 淳
淳 清水
尚紀 小野
尚紀 小野
正樹 北原
正樹 北原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012514753A priority Critical patent/JP5580887B2/ja
Publication of JPWO2011142236A1 publication Critical patent/JPWO2011142236A1/ja
Application granted granted Critical
Publication of JP5580887B2 publication Critical patent/JP5580887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式における符号量制御方法。符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較するステップと、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップとを有する。

Description

本発明は、映像符号化の技術に関し、特に、映像の性質が大きく変化した場合でも、画質劣化を防止できるようにした符号量制御方法、符号量制御装置および符号量制御プログラムに関するものである。
本願は、2010年5月12日に出願された特願2010−109879号に基づき優先権を主張し、その内容をここに援用する。
入力映像を決められたビットレートで符号化する際、符号化対象ピクチャの目標符号量を決定した後、その符号化対象ピクチャの複雑さから量子化幅を決定する必要がある。例えば、テクスチャが多い(複雑な)映像や動きが激しい映像は、符号化が難しく、発生符号量が増加しやすい。逆に、輝度変化が少ない映像や動きがない映像は、符号化が容易であるなど、映像ごとに符号化の複雑さは異なる。
多くの符号化方法では、符号化対象ピクチャの複雑さとして、既に符号化済みピクチャの発生符号量などの符号化結果から複雑さを推定し、量子化幅を決定していた。同じような性質の映像が連続していることを前提に、符号化済みピクチャの符号化結果から、符号化対象ピクチャの複雑さを推定する。
しかし、映像の性質が変化するような映像では、符号化済みピクチャの符号化結果を利用すると予測精度が低下し、符号化制御が不安定になったり、符号量割り当てが正しく行われず、画質が劣化する問題がある。
そこで、特許文献1では、符号化済みピクチャと符号化対象ピクチャの画面内特徴量を利用して、“複雑さ指標”を補正する方法が提案されている。
すなわち、符号化済みピクチャの符号化結果から符号化対象ピクチャの発生符号量を推定する際、推定に用いる符号化済みピクチャと符号化対象ピクチャのそれぞれで画面内特徴量を算出し、符号量推定に用いる複雑さ指数を、画面内特徴量を用いて補正する。
これにより、フェードの様な徐々に複雑さが変化する映像でも安定した符号量制御を実現している。
標準的な動画像符号化方式では、ピクチャ間予測やピクチャ内予測などの違いにより複数のピクチャタイプが存在する。ピクチャタイプが異なると複雑さも異なるため、複雑さの推定には、同一ピクチャタイプの符号化結果を用いる。
特許文献1でも、ピクチャタイプが考慮されており、ピクチャタイプ毎に処理を切り替える工夫がなされている。
図4は、従来方法による複雑さ指標の推定方法を示すフローチャートである。
まず、符号化対象ピクチャの特徴量を算出する(ステップS101)。
次に、符号化済みピクチャの中で符号化対象ピクチャと同一ピクチャタイプの特徴量を抽出する(ステップS102)。
また、同一ピクチャタイプの複雑さ指標を抽出する(ステップS103)。
抽出した複雑さ指標を、ステップS101、S102で取得した特徴量を用いて補正する(ステップS104)。
補正した複雑さ指標を用いて、符号化対象ピクチャの符号化で発生する符号量を制御する(ステップS105)。
特開2009−55262号公報
特許文献1にもあるように、各ピクチャタイプの中でもイントラピクチャ(以下、I ピクチャ)は、挿入回数が少ないために挿入の間隔が広くなることが多い。そのため、特許文献1のように、複雑さ指標を補正する意味がある。
しかし、映像の変化が速い場合や、上述のようにIピクチャの挿入間隔が長い場合、シーンチェンジと同様に、推定に用いる符号化済みピクチャと符号化対象ピクチャとが、完全に異なるシーンになっている可能性がある。
この場合、同一ピクチャタイプであっても、複雑さ指標の傾向が異なる可能性があり、符号化済みピクチャの情報を参照しても推定精度は向上しない可能性がある。場合によっては、推定精度が悪化することも考えられる。
図5に、映像の変化の例を示す。二重線で囲まれたピクチャがIピクチャである。
図5中(A)では、フェードインの映像に対するIピクチャの位置を示す。Iピクチャの間隔に対し、フェードインの期間が短い場合、2つのIピクチャは、全く別の映像となる。
図5中(B)は、短い期間でクロスフェードが発生している映像である。この例でも、2つのIピクチャの映像は別のシーンとなる。
このように、映像は徐々に変化していても、推定に用いる符号化済みピクチャと符号化対象ピクチャのピクチャ間距離によっては、まったく異なるシーンとなる可能性がある。全く異なるシーンでは、量子化幅と発生符号量の関係も大きく異なる可能性があり、複雑さの推定精度が低下する問題がある。
なお、この課題はIピクチャに限らず、他のピクチャタイプでも同じである。
本発明は、上記課題の解決を図り、映像の性質が大きく変化するような場合でも、適切な符号量制御により画質の劣化を防止できるようにすることを目的とする。
本発明は、上記課題を解決するため、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式における符号量制御方法において、符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較するステップと、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップとを有する符号量制御方法を提供する。
前記符号化対象ピクチャの発生符号量を推定するステップでは、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するようにしても良い。
符号化対象ピクチャおよび符号化済みピクチャの特徴量として、映像信号(輝度信号または色差信号)の分散、平均値またはフーリエ変換後の係数を用いることができる。
前記符号化対象ピクチャの発生符号量を推定するステップにおいて、両特徴量の差異が所定の基準より大きいか否かを判断する際、両特徴量の比率に対して閾値を与えて判定するようにしてもよい。
この場合、更に、前記特徴量の大きさに対しても閾値を与えて判定するようにしても良い。
前記発生符号量の推定に用いる符号化済みピクチャを決定する際に、符号化対象ピクチャと同一ピクチャタイプの符号化済みピクチャを利用することが望ましい。
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を制御する際、事前に符号量制御パラメータを初期化するようにしてもよい。
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を制御する際、符号化対象ピクチャの特徴量から発生符号量を推定するようにしてもよい。
本発明はまた、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、符号化対象ピクチャの特徴量を算出する手段と、参照された符号化対象ピクチャの特徴量を記憶する記憶装置と、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較する手段と、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段とを備えることを特徴とする符号量制御装置も提供する。
以上のように、本発明では、発生符号量の推定に用いる符号化済みピクチャと符号化対象ピクチャ間の映像の性質の違いを特徴量を使って判別し、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を符号量制御に利用しない。性質が大きく異なる映像に限って、符号化結果を利用しないことで、性質の異なる符号化結果から符号量推定を行うことがなくなり、符号量制御時における発生符号量の推定誤差が小さくなり、適切な符号量割り当てが可能となる。
本発明により、性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。
本発明による基本的な処理のフローチャートである。 本発明の実施例に係るフローチャートである。 本発明の実施例に係る装置の構成例を示す図である。 従来方法による複雑さ指標の推定方法を示すフローチャートである。 映像の変化例を示す図である。
本発明の実施形態について説明するに先立ち、本発明による処理の大筋について説明する。
上述のように、映像は徐々に変化していても、推定に用いる符号化済みピクチャと符号化対象ピクチャのピクチャ間距離によっては、まったく異なるシーンとなる可能性がある。全く異なるシーンでは、量子化幅と発生符号量の関係も大きく異なる可能性があり、従来の方法では、複雑さの推定精度が低下する可能性がある。
そこで、本発明では、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を用いずに符号量制御を行う。
性質が大きく異なる場合でも、複雑さが増すケースと減るケースがあり、複雑さが増すケースのみ、符号化済みピクチャの符号化結果を用いずに符号量制御を行うこともできる。これは、複雑さが減るケースでは、過剰に符号量が発生することがないため、大きな問題とならない可能性があるからである。
性質の変化の度合いは、各ピクチャの特徴量を用いる。この特徴量としては、輝度信号または色差信号の分散や平均値、フーリエ変換後の係数など符号化開始前に算出可能な値を用いる。
特徴量の比較方法としては、2つのピクチャ間の差分や比率を算出し、閾値と比較を行う。例えば、比較結果が閾値を越えている場合、符号量制御関連のパラメータを初期化する。
加えて、特徴量の絶対的な値も条件に加えてもよい。例えば、輝度分散の比率で比較している場合、0.01と1とでは、100倍の違いがあるものの、どちらも輝度分散は小さく、必ずしも性質が異なるとは言えない。同じ100倍でも、輝度分散が10と1000とでは、性質が大きく異なる可能性が高い。そのため、特徴量の絶対的な値も条件に加える。
先の例では、「符号化済みピクチャの輝度分散が10以上で、比率が100倍の場合」のようにできる。
なお、絶対的な値の比較は、符号化済みピクチャでなく符号化対象ピクチャで比較してもよい。先の例では、「符号化対象ピクチャの輝度分散が1000以上で、比率が100倍の場合」のようにできる。
符号化済みピクチャの符号化結果を用いずに符号量制御を行う際、符号化対象ピクチャの特徴量から周知の方法により発生符号量を推定してもよい。加えて、符号量制御に関するパラメータを初期化してもよい。
例えば、Iピクチャの符号化結果から続くPピクチャやBピクチャの発生符号量を決定している場合、Iピクチャの性質が大きく異なっている場合、PピクチャやBピクチャについても、符号化済みピクチャの符号化結果を用いずに初期化した状態で符号量制御を行う。
図1は、本発明による基本的な処理のフローチャートである。
最初に符号化対象ピクチャの特徴量を算出する(ステップS1)。
続いて、符号化時に蓄積しておいた符号化済みピクチャの特徴量を取り出す(ステップS2)。
ステップS1とステップS2で求めた2つの特徴量を比較し(ステップS3)、性質が大きく異なると判断された場合には、符号化済みピクチャの符号化結果を用いずに符号量制御を行い(ステップS4)、似通っていると判断された場合には、符号化済みピクチャの符号化結果を利用して符号量制御を行う(ステップS5)。
なお、算出した特徴量は、後から利用するため、メモリに保持しておく。
以下、本発明の具体的な実施例について説明する。本実施例では、Iピクチャを対象にし、特徴量として輝度信号の分散を用いる。そして、比較対象とする符号化済みピクチャは、直前に符号化された符号化済みIピクチャとする。
符号化済みピクチャの符号化結果を用いない条件として、
・輝度信号の分散(以下、輝度分散)が、X倍以上に増加していること、
・符号化済みピクチャの輝度分散が、TH以上であること、
の2つが同時に成立する場合とする。
ここで、Xは比率の閾値、THは輝度分散の閾値である。
また、性質が大きく異なると判断された場合には、Iピクチャだけでなく、他のピクチャタイプについても符号量制御に関する情報を初期化する。
本実施例に係るフローチャートを図2に示す。
最初に、符号化対象ピクチャがIピクチャかどうかを確認する(ステップS10)。
Iピクチャ以外の場合には、そのまま符号量制御を行う(ステップS15)。
Iピクチャの場合には、符号化対象ピクチャの輝度分散Act(t)を算出する(ステップS11)。
続いて、直前に符号化済みのIピクチャについて、その輝度分散Act(t−N)を、符号化済みピクチャの特徴量を記憶しているメモリから取り出す(ステップS12)。
2つの輝度分散Act(t)とAct(t−N)を比較する(ステップS13)。
ここでは、符号化済みピクチャの輝度分散Act(t−N)が閾値THより大きく、かつ、Act(t−N)をX倍した値が、符号化対象ピクチャの輝度分散Act(t)より小さいかを確認する。
2つの条件式が同時に満たされた場合、符号化対象であるIピクチャの発生符号量は、輝度分散から推定し、符号量制御に関するパラメータを初期化し(ステップS14)、符号量制御を行う(ステップS15)。
それ以外の場合には、そのまま符号量制御を行う(ステップS15)。
なお、本実施例では、Iピクチャのみ輝度分散を算出しているが、輝度分散を量子化制御等に用いる場合には、全てのピクチャタイプで算出してもよい。
または、他の用途で算出している輝度分散や色差分散などの映像の複雑さを示す特徴量があれば、流用してもよい。
図3は、本実施例に係る装置の構成例を示す。
図3において、特に本実施例で従来の一般的な符号量制御を行う映像符号化装置と異なる特徴的な部分は、輝度分散算出部101、輝度分散メモリ102、特徴量比較部103、符号量制御部104の部分である。
輝度分散算出部101では、入力された映像の輝度分散を算出し、輝度分散メモリ102に記憶するとともに、特徴量比較部103に送る。
特徴量比較部103では、符号化対象ピクチャの輝度分散と、輝度分散メモリ102に蓄積された符号化済みピクチャの輝度分散を取り出し、両者を比較する。
比較の結果、性質が大きく異なると判断された場合には、初期化情報を出力し、符号量制御部104を初期化する。
符号量制御部104は、ビットレートと発生符号量から量子化ステップサイズを決定し、符号量を制御するが、初期化情報を受信した場合、内部状態を初期化してから符号量制御を行う。
図3において、点線で囲った部分以外は、従来のMPEG−2、H.264その他の映像符号化を行う装置とほぼ同様である。
予測残差信号生成部110は、入力した映像信号とフレーム間予測信号との差分から予測残差信号を生成する。この予測残差信号は直交変換部111に入力され、DCT変換等の直交変換による変換係数が出力される。変換係数は、量子化部112に入力され、量子化部112で、符号量制御部104によって設定された量子化ステップサイズに従って量子化される。この量子化された変換係数は、情報源符号化部113に入力され、情報源符号化部113においてエントロピ符号化される。
一方、量子化された変換係数は、逆量子化部114で逆量子化され、逆直交変換部115で逆直交変換されて、復号予測残差信号が生成される。この復号予測残差信号は、加算器116でフレーム間予測信号と加算され、復号信号が生成される。復号信号は、クリッピング部117でクリッピングされ、続くフレームの予測符号化における参照画像として用いるために、フレームメモリ118に格納される。
動き検出部119は、入力映像信号について動き探索により動き検出を行い、求まった動きベクトルを動き補償部120と情報源符号化部113へ出力する。情報源符号化部113では、動きベクトルについてエントロピ符号化する。動き補償部120では、動きベクトルに従ってフレームメモリ118を参照し、フレーム間予測信号を生成する。
以上の符号量制御の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを通して提供することも可能である。
本発明によれば、符号化対象ピクチャと性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。
101 輝度分散算出部
102 輝度分散メモリ
103 特徴量比較部
104 符号量制御部
110 予測残差信号生成部
111 直交変換部
112 量子化部
113 情報源符号化部
114 逆量子化部
115 逆直交変換部
116 加算器
117 クリッピング部
118 フレームメモリ
119 動き検出部
120 動き補償部
【0005】
号量を推定する際、事前に符号量制御パラメータを初期化するようにしてもよい。
[0020]
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、符号化対象ピクチャの特徴量から発生符号量を推定するようにしてもよい。
[0021]
本発明はまた、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、符号化対象ピクチャの特徴量を算出する手段と、算出された符号化対象ピクチャの特徴量を記憶する記憶装置と、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較する手段と、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段とを備えることを特徴とする符号量制御装置も提供する。
[0022]
以上のように、本発明では、発生符号量の推定に用いる符号化済みピクチャと符号化対象ピクチャ間の映像の性質の違いを特徴量を使って判別し、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を符号量制御に利用しない。性質が大きく異なる映像に限って、符号化結果を利用しないことで、性質の異なる符号化結果から符号量推定を行うことがなくなり、符号量制御時における発生符号量の推定誤差が小さくなり、適切な符号量割り当てが可能となる。
発明の効果
[0023]
本発明により、性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。
【0004】
推定し、符号量制御を行う映像符号化方式における符号量制御方法において、符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較するステップと、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップとを有する符号量制御方法を提供する。
[0015]
[0016]
符号化対象ピクチャおよび符号化済みピクチャの特徴量として、映像信号(輝度信号または色差信号)の分散、平均値またはフーリエ変換後の係数を用いることができる。
[0017]
前記符号化対象ピクチャの発生符号量を推定するステップにおいて、両特徴量の差異が所定の基準より大きいか否かを判断する際、両特徴量の比率に対して閾値を与えて判定するようにしてもよい。
この場合、更に、前記特徴量の大きさに対しても閾値を与えて判定するようにしても良い。
[0018]
前記発生符号量の推定に用いる符号化済みピクチャを決定する際に、符号化対象ピクチャと同一ピクチャタイプの符号化済みピクチャを利用することが望ましい。
[0019]
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符
【0005】
号量を推定する際、事前に符号量制御パラメータを初期化するようにしてもよい。
[0020]
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、符号化対象ピクチャの特徴量から発生符号量を推定するようにしてもよい。
[0021]
本発明はまた、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、符号化対象ピクチャの特徴量を算出する手段と、算出された符号化対象ピクチャの特徴量を記憶する記憶装置と、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較する手段と、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段とを備えることを特徴とする符号量制御装置も提供する。
[0022]
以上のように、本発明では、発生符号量の推定に用いる符号化済みピクチャと符号化対象ピクチャ間の映像の性質の違いを特徴量を使って判別し、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を符号量制御に利用しない。性質が大きく異なる映像に限って、符号化結果を利用しないことで、性質の異なる符号化結果から符号量推定を行うことがなくなり、符号量制御時における発生符号量の推定誤差が小さくなり、適切な符号量割り当てが可能となる。
発明の効果
[0023]
本発明により、性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。

Claims (12)

  1. 符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式における符号量制御方法において、
    符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、
    前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、
    前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較するステップと、
    前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップとを有する
    ことを特徴とする符号量制御方法。
  2. 請求項1に記載の符号量制御方法において、
    前記符号化対象ピクチャの発生符号量を推定するステップでは、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する
    ことを特徴とする符号量制御方法。
  3. 請求項1に記載の符号量制御方法において、
    前記特徴量として、輝度信号もしくは色差信号の、分散、平均値、およびフーリエ変換後の係数のうちのいずれかを用いる
    ことを特徴とする符号量制御方法。
  4. 請求項1に記載の符号量制御方法において、
    前記符号化対象ピクチャの発生符号量を推定するステップにおいて、両特徴量の差異が所定の基準より大きいか否かを判断する際、両特徴量の比率に対して閾値を与えて判定する
    ことを特徴とする符号量制御方法。
  5. 請求項4に記載の符号量制御方法において、
    前記符号化対象ピクチャの発生符号量を推定するステップにおいて、更に、前記特徴量の大きさに対しても閾値を与えて判定する
    ことを特徴とする符号量制御方法。
  6. 請求項1に記載の符号量制御方法において、
    前記発生符号量の推定に用いる符号化済みピクチャを決定する際、前記符号化対象ピクチャと同一ピクチャタイプの符号化済みピクチャを利用する
    ことを特徴とする符号量制御方法。
  7. 請求項1に記載の符号量制御方法において、
    前記符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、事前に符号量制御パラメータを初期化する
    ことを特徴とする符号量制御方法。
  8. 請求項1に記載の符号量制御方法において、
    前記符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、前記符号化対象ピクチャの特徴量から発生符号量を推定する
    ことを特徴とする符号量制御方法。
  9. 符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、
    符号化対象ピクチャの特徴量を算出する手段と、
    参照された符号化対象ピクチャの特徴量を記憶する記憶装置と、
    前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、
    前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較する手段と、
    前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段とを備える
    ことを特徴とする符号量制御装置。
  10. 請求項9に記載の符号量制御方法において、
    前記符号化対象ピクチャの発生符号量を推定する手段は、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する
    ことを特徴とする符号量制御装置。
  11. 請求項1に記載の符号量制御方法を、コンピュータに実行させるための符号量制御プログラム。
  12. 請求項1に記載の符号量制御方法を、コンピュータに実行させるための符号量制御プログラム。
JP2012514753A 2010-05-12 2011-04-22 符号量制御方法および装置 Active JP5580887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012514753A JP5580887B2 (ja) 2010-05-12 2011-04-22 符号量制御方法および装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010109879 2010-05-12
JP2010109879 2010-05-12
JP2012514753A JP5580887B2 (ja) 2010-05-12 2011-04-22 符号量制御方法および装置
PCT/JP2011/059953 WO2011142236A1 (ja) 2010-05-12 2011-04-22 符号量制御方法および装置

Publications (2)

Publication Number Publication Date
JPWO2011142236A1 true JPWO2011142236A1 (ja) 2013-07-22
JP5580887B2 JP5580887B2 (ja) 2014-08-27

Family

ID=44914292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012514753A Active JP5580887B2 (ja) 2010-05-12 2011-04-22 符号量制御方法および装置

Country Status (11)

Country Link
US (1) US9131236B2 (ja)
EP (1) EP2571267B1 (ja)
JP (1) JP5580887B2 (ja)
KR (1) KR101391397B1 (ja)
CN (1) CN102893605B (ja)
BR (1) BR112012028568A2 (ja)
CA (1) CA2798349A1 (ja)
ES (1) ES2627431T3 (ja)
RU (1) RU2538285C2 (ja)
TW (1) TWI580256B (ja)
WO (1) WO2011142236A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438918B2 (en) * 2012-04-23 2016-09-06 Intel Corporation Frame level rate control using motion estimated distortions
CN110909737A (zh) * 2019-11-14 2020-03-24 武汉虹旭信息技术有限责任公司 图片文字识别方法及系统
CN111770330B (zh) * 2020-06-10 2022-11-04 北京达佳互联信息技术有限公司 图像压缩方法、装置以及电子设备
CN112351252B (zh) * 2020-10-27 2023-10-20 重庆中星微人工智能芯片技术有限公司 监控视频编解码装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177989A (ja) * 1997-10-10 1999-07-02 Internatl Business Mach Corp <Ibm> 2つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
JP2004007498A (ja) * 2002-04-05 2004-01-08 Sony Corp 符号化装置および符号化方法、プログラム、並びに記録媒体
JP2004266640A (ja) * 2003-03-03 2004-09-24 Nec Corp 動画像符号化装置、動画像符号化方法、およびプログラム
US20050175093A1 (en) * 2004-02-06 2005-08-11 Haskell Barin G. Target bitrate estimator, picture activity and buffer management in rate control for video coder
JP2006135557A (ja) * 2004-11-04 2006-05-25 Victor Co Of Japan Ltd 動画像符号化装置
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577680B2 (en) * 1997-03-12 2003-06-10 Matsushita Electric Industrial Co., Ltd. Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
US6587506B1 (en) 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
JP4221655B2 (ja) * 2003-03-06 2009-02-12 ソニー株式会社 符号化装置および符号化方法、プログラム、並びに記録媒体
US7474701B2 (en) * 2004-09-23 2009-01-06 International Business Machines Corporation Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames
FI123739B (fi) 2007-04-04 2013-10-15 Sandvik Mining & Constr Oy Kallionporauslaitteen suojusrakenne melun vaimentamiseksi
US8396311B2 (en) 2007-05-21 2013-03-12 Nec Corporation Image encoding apparatus, image encoding method, and image encoding program
JP4527756B2 (ja) 2007-08-27 2010-08-18 日本電信電話株式会社 映像符号化制御装置、映像符号化制御方法、映像符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
US8938005B2 (en) 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177989A (ja) * 1997-10-10 1999-07-02 Internatl Business Mach Corp <Ibm> 2つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
JP2004007498A (ja) * 2002-04-05 2004-01-08 Sony Corp 符号化装置および符号化方法、プログラム、並びに記録媒体
JP2004266640A (ja) * 2003-03-03 2004-09-24 Nec Corp 動画像符号化装置、動画像符号化方法、およびプログラム
US20050175093A1 (en) * 2004-02-06 2005-08-11 Haskell Barin G. Target bitrate estimator, picture activity and buffer management in rate control for video coder
JP2006135557A (ja) * 2004-11-04 2006-05-25 Victor Co Of Japan Ltd 動画像符号化装置
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム

Also Published As

Publication number Publication date
RU2012147241A (ru) 2014-10-20
CN102893605B (zh) 2015-07-08
KR20130006502A (ko) 2013-01-16
TWI580256B (zh) 2017-04-21
BR112012028568A2 (pt) 2016-08-02
EP2571267B1 (en) 2017-03-01
WO2011142236A1 (ja) 2011-11-17
US9131236B2 (en) 2015-09-08
TW201208385A (en) 2012-02-16
JP5580887B2 (ja) 2014-08-27
EP2571267A4 (en) 2014-03-19
CA2798349A1 (en) 2011-11-17
EP2571267A1 (en) 2013-03-20
KR101391397B1 (ko) 2014-05-07
RU2538285C2 (ru) 2015-01-10
ES2627431T3 (es) 2017-07-28
CN102893605A (zh) 2013-01-23
US20130051460A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
US10178390B2 (en) Advanced picture quality oriented rate control for low-latency streaming applications
US9386317B2 (en) Adaptive picture section encoding mode decision control
TWI376159B (en) Method for video coding
US11470351B2 (en) Bit depth variable for high precision data in weighted prediction syntax and semantics
TW201334567A (zh) 視訊信號編碼方法
US9094687B2 (en) Video encoder and video decoder
US9445089B2 (en) Video encoding device, video encoding method and video encoding program
JP5580887B2 (ja) 符号量制御方法および装置
JP2000201354A (ja) 動画像符号化装置
US20170070555A1 (en) Video data flow compression method
US9179154B2 (en) Video encoding control method and apparatus
JP2006135557A (ja) 動画像符号化装置
US7876816B2 (en) Moving picture coding program, program storage medium, and coding apparatus
US7983337B2 (en) Moving picture coding device, moving picture coding method, and recording medium with moving picture coding program recorded thereon
US20090237569A1 (en) Transcoder
CN109788288B (zh) 码率控制中i帧量化步长的估算方法及装置
JP5189618B2 (ja) 映像符号化方法,映像符号化装置および映像符号化プログラム
WO2020008858A1 (ja) 動画像符号化装置、動画像符号化方法、プログラム
US9165380B2 (en) Image encoding method using binary partition tree
JP4676513B2 (ja) 符号化ピクチャタイプ決定方法,装置,そのプログラムおよびその記録媒体
JP2005217499A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140711

R150 Certificate of patent or registration of utility model

Ref document number: 5580887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150