JP4800712B2 - 動画符号化装置、動画符号化方法及び動画撮像装置 - Google Patents
動画符号化装置、動画符号化方法及び動画撮像装置 Download PDFInfo
- Publication number
- JP4800712B2 JP4800712B2 JP2005255228A JP2005255228A JP4800712B2 JP 4800712 B2 JP4800712 B2 JP 4800712B2 JP 2005255228 A JP2005255228 A JP 2005255228A JP 2005255228 A JP2005255228 A JP 2005255228A JP 4800712 B2 JP4800712 B2 JP 4800712B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- code amount
- quantization
- encoding
- quantization scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000013139 quantization Methods 0.000 claims description 299
- 238000012937 correction Methods 0.000 claims description 112
- 230000001186 cumulative effect Effects 0.000 claims description 21
- 238000009795 derivation Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 49
- 101100332288 Dictyostelium discoideum dst3 gene Proteins 0.000 description 46
- 101100366891 Dictyostelium discoideum dstC gene Proteins 0.000 description 46
- 230000000694 effects Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
本発明は、動画データを符号化する動画符号化装置、動画符号化方法及び動画撮像装置に関し、特に、動画データの量子化に用いられる量子化スケールを決定する技術に関する。
通常、動画撮像装置は、撮像して得た動画データを圧縮する動画符号化装置を搭載している。動画符号化装置は、量子化を用いて動画データを圧縮する。量子化とは、データ値を離散的な代表値に置き換えることでデータの圧縮を図る手法である。代表値どうしの間隔は量子化スケールと称されるパラメータにより規定され、これが大きいほどデータの符号量が小さくなる（圧縮率が高まる）という関係がある。
従来の動画符号化装置には、イントラ符号化フレーム（いわゆるＩピクチャ）の量子化スケールについては固定値とし、インター符号化フレーム（いわゆるＰピクチャ、Ｂピクチャ）の量子化スケールについてはフレーム毎に調整するという機種がある（例えば、非特許文献１参照）。量子化スケールの調整は、例えば、数式１が用いられる。
Qp[n+1]=(Cn/dstC)*Qp[n] （数式１）
Qp[n]は、フレームｎの量子化に用いた量子化スケールである。Cnは、フレームｎの発生符号量、dstCは、予め定められた１フレームの目標符号量である。
Qp[n+1]=(Cn/dstC)*Qp[n] （数式１）
Qp[n]は、フレームｎの量子化に用いた量子化スケールである。Cnは、フレームｎの発生符号量、dstCは、予め定められた１フレームの目標符号量である。
これによれば、目標符号量dstCに対してフレームｎの発生符号量Cnが大きいほど、フレーム（ｎ＋１）の量子化スケールQn[n+1]が大きくなる。これは、フレーム（ｎ＋１）の発生符号量を抑える方向に働く。このような調整をフレーム毎に行うことで、動画符号化装置は、適応的にインター符号化フレームの発生符号量を目標符号量に近づけることができる。
ISO/IEC-14496-2
ISO/IEC-14496-2
ところで、イントラ符号化フレームの発生符号量は画質に大きく影響するため、一般的に、目標符号量に比べて大きくなるように量子化スケールが設定されている。この場合、上記の動画符号化装置は、イントラ符号化フレーム（フレーム１）に続くフレーム２の発生符号量を小さく抑えようとする。その結果、フレーム２の発生符号量が目標符号量よりもはるかに小さくなる。すると、今度は、動画符号化装置は、フレーム３の発生符号量を目標符号量よりも大きくしようとする。このように、従来の動画符号化装置では、イントラ符号化フレームの直後の数フレームにわたり、発生符号量のハンチングが生じる。
図１は、従来の動画符号化装置における発生符号量及び画質の推移を示す図である。
この例では、フレーム１、１１、２１はイントラ符号化フレームであり、それ以外はインター符号化フレームである。上述の理由により、イントラ符号化フレームの直後、４フレームにわたり発生符号量にハンチングが生じている（図１（ａ））。
一般には、発生符号量が大きいほど画質が向上する関係にあるので、発生符号量のハンチングに伴い画質が不安定となる（図１（ｂ））。その結果、映像が見苦しくなるという問題が生じる。
この例では、フレーム１、１１、２１はイントラ符号化フレームであり、それ以外はインター符号化フレームである。上述の理由により、イントラ符号化フレームの直後、４フレームにわたり発生符号量にハンチングが生じている（図１（ａ））。
一般には、発生符号量が大きいほど画質が向上する関係にあるので、発生符号量のハンチングに伴い画質が不安定となる（図１（ｂ））。その結果、映像が見苦しくなるという問題が生じる。
また、この問題は、フレーム毎に量子化スケールを調整する機種だけでなく、ブロックライン（画像中において行列状に配されたマクロブロックの一行分）毎に量子化スケールを調整する機種にも共通する。
本発明は、イントラ符号化フレーム直後の数フレームにわたる発生符号量のハンチングを抑制することができる動画符号化装置、動画符号化方法及び動画撮像装置を提供することを目的とする。
本発明は、イントラ符号化フレーム直後の数フレームにわたる発生符号量のハンチングを抑制することができる動画符号化装置、動画符号化方法及び動画撮像装置を提供することを目的とする。
本発明に係る動画符号化装置は、動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化手段と、前記符号化手段が第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、前記符号化手段が第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出手段とを備える。
上記構成によれば、第１のフレームがイントラ符号化された場合、第２の方式を用いて第２のフレームの量子化スケールを導出する。そうすると第１の方式を用いる場合に比べて第２のフレームの量子化スケールが小さくなる。
従来技術では、第２のフレームの量子化スケールは、第１のフレームの予測符号化方式に関わらず、同じ方式（すなわち第１の方式）により導出される。
従来技術では、第２のフレームの量子化スケールは、第１のフレームの予測符号化方式に関わらず、同じ方式（すなわち第１の方式）により導出される。
本発明は従来技術よりも第２のフレームの量子化スケールが小さくなるので、第２のフレームの発生符号量の急激な低下を軽減することができる。その結果、イントラ符号化フレーム直後の数フレームにわたる発生符号量のハンチングを抑制することができる。
また、 前記第１の補正係数は、１であり、前記第２の補正係数は、１／５乃至１／３の範囲内で予め定められた固定値であることとしてもよい。
また、 前記第１の補正係数は、１であり、前記第２の補正係数は、１／５乃至１／３の範囲内で予め定められた固定値であることとしてもよい。
一般に、量子化スケールが同一であれば、フレームをイントラ符号化した場合にはインター符号化した場合よりも３倍乃至５倍の符号量が発生する。上記構成によれば、第１のフレームがイントラ及びインターのいずれで符号化されていても、第２のフレームの量子化スケールが同程度の大きさとなる。すなわち、第１のフレームがイントラ符号化されていても、インター符号化されたように取り扱われることとなる。通常、インター符号化フレームが連続する区間では、ハンチングの問題があまり生じない。したがって、上記構成とすることで、第２のフレーム以降の発生符号量のハンチングを抑制することができる。
また、前記動画符号化装置は、さらに、第１のフレーム以前の各フレームで発生した発生符号量の累積量と当該各フレームに定められた目標符号量の累積量との差分を取得する差分取得手段を備え、前記導出手段における第１の方式及び第２の方式は、前記差分が前記第１のフレームの発生符号量に対して大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすることとしてもよい。
上記構成によれば、発生符号量の累積量と目標符号量の累積量との差分が大きいほど、第２のフレームの量子化スケールを大きくする。すなわち、第２のフレームの発生符号量を抑える方向に働く。この結果、発生符号量の累積量が目標符号量の累積量とほぼ一致する水準で推移する。したがって、動画データ全体で発生符号量を目標量にほぼ一致させることができる。
また、前記導出手段における第１の方式及び第２の方式は、さらに、前記発生符号量の累積量が前記目標符号量の累積量を超過していなければ、前記差分に関わらず、前記第１のフレームの発生符号量が大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすることとしてもよい。
動画データでは、フレーム間の相関が高い場合、各フレームの発生符号量が目標符号量に対して低下する。上記構成によれば、このような場合であっても、発生符号量を増加させるような措置はとらない。したがって、動画データを記憶しておく記憶容量に余裕をもたせることができる。このようにすることで、フレーム間の相関が急に低下したとしても、記憶容量がオーバーフローする事態を回避することができる。
動画データでは、フレーム間の相関が高い場合、各フレームの発生符号量が目標符号量に対して低下する。上記構成によれば、このような場合であっても、発生符号量を増加させるような措置はとらない。したがって、動画データを記憶しておく記憶容量に余裕をもたせることができる。このようにすることで、フレーム間の相関が急に低下したとしても、記憶容量がオーバーフローする事態を回避することができる。
また、前記動画符号化装置は、さらに、前記符号化手段により符号化された動画データを記憶するバッファを備え、前記導出手段における第１の方式及び第２の方式は、さらに、前記バッファの空き容量が所定量より大きければ、前記差分に関わらず、前記第１のフレームの発生符号量が大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすることとしてもよい。
上記構成によれば、バッファの空き容量が所定量よりも大きければ、第２のフレームの発生符号量を抑える方向に働かせる。したがって、バッファがオーバーフローする事態を回避することができる。
また、前記導出手段は、さらに、前記符号化手段がフレームをイントラ符号化しようとする場合には、当該フレームの量子化に用いる量子化スケールを、予め定められた固定値とすることとしてもよい。
また、前記導出手段は、さらに、前記符号化手段がフレームをイントラ符号化しようとする場合には、当該フレームの量子化に用いる量子化スケールを、予め定められた固定値とすることとしてもよい。
上記構成によれば、イントラ符号化のたびにその量子化スケールを導出する必要がないので、その分だけ動画符号化装置の回路規模を小さくすることができる。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出することとしてもよい。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出することとしてもよい。
上記構成によれば、第３の方式を用いて第２のフレームの量子化スケールを導出する。そうすると第１の方式を用いる場合に比べて第２のフレームの量子化スケールが大きくなる。その結果、第２のフレームの発生符号量が第１の方式を用いる場合に比べて小さくなり、第２のフレームの発生符号量が大きくなりすぎることを防止することができる。
また、前記動画符号化装置は、さらに、前記符号化手段により符号化された動画データを記憶するバッファを備え、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合において、前記バッファの空き容量が所定量より大きければ、第２のフレームの量子化に用いる量子化スケールを、予め定められた固定値とし、前記バッファの空き容量が所定量以下であれば、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出することとしてもよい。
また、前記動画符号化装置は、さらに、前記符号化手段により符号化された動画データを記憶するバッファを備え、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合において、前記バッファの空き容量が所定量より大きければ、第２のフレームの量子化に用いる量子化スケールを、予め定められた固定値とし、前記バッファの空き容量が所定量以下であれば、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出することとしてもよい。
上記構成によれば、バッファの空き容量に応じて、イントラ符号化フレームの発生符号量を調整することができる。したがって、バッファがオーバーフローする事態を防止することができる。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第１のフレームの発生符号量に関わらず、第１のフレームの量子化に用いられた量子化スケールに予め定められた係数を乗算することにより第２のフレームの量子化に用いる量子化スケールを導出することとしてもよい。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第１のフレームの発生符号量に関わらず、第１のフレームの量子化に用いられた量子化スケールに予め定められた係数を乗算することにより第２のフレームの量子化に用いる量子化スケールを導出することとしてもよい。
上記構成によれば、量子化スケールは、第１のフレームの発生符号量に関係なく導出される。したがって、発生符号量に応じて量子化スケールを導出する場合に比べて、動画符号化装置の処理負荷を軽減することができる。
上記構成によれば、第１のフレームの量子化スケールから第２のフレームの量子化スケールを導出することができる。
また、 前記係数は、５／４乃至４／３であることとしてもよい。
所定値が大きいほど、イントラ符号化フレームの発生符号量の抑制効果が高くなるが、画質が低くなる。シミュレーションの結果、所定値が５／４乃至４／３の範囲内であれば、発生符号量の抑制効果と画質とを両立させることができることが判明した。
また、 前記係数は、５／４乃至４／３であることとしてもよい。
所定値が大きいほど、イントラ符号化フレームの発生符号量の抑制効果が高くなるが、画質が低くなる。シミュレーションの結果、所定値が５／４乃至４／３の範囲内であれば、発生符号量の抑制効果と画質とを両立させることができることが判明した。
また、 前記動画符号化装置は、さらに、第１のフレームの量子化スケールと第２のフレームの量子化スケールとが対応付けられたテーブルを記憶している記憶手段を備え、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、前記テーブルを参照することにより、第１のフレームの量子化に用いた量子化スケールから第２のフレームの量子化に用いる量子化スケールを導出することとしてもよい。
上記構成によれば、第１のフレームの量子化スケールから第２のフレームの量子化スケールを導出することができる。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、前記第１のフレームの量子化スケールのみならず、第１のフレーム以前の所定数のフレームのそれぞれの量子化スケールに基づいて、前記イントラ符号化しようとするフレームの量子化に用いる量子化スケールを導出することとしてもよい。
また、前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、前記第１のフレームの量子化スケールのみならず、第１のフレーム以前の所定数のフレームのそれぞれの量子化スケールに基づいて、前記イントラ符号化しようとするフレームの量子化に用いる量子化スケールを導出することとしてもよい。
複数のフレームに基づいて量子化スケールを導出すれば、動画符号化装置の処理負荷は増加するが、ハンチング抑制効果をより増大させることができる。
本発明に係る動画撮像装置は、被写体を撮像して動画データを生成する撮像素子と、前記撮像素子が生成した動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化手段と、前記符号化手段が第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、前記符号化手段が第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出手段とを備える。
上記構成によれば、上述した動画符号化装置と同様の効果を奏することができる。
本発明に係る動画符号化方法は、動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化ステップと、前記符号化ステップが第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、前記符号化ステップが第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出ステップとを備える。
本発明に係る動画符号化方法は、動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化ステップと、前記符号化ステップが第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、前記符号化ステップが第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出ステップとを備える。
上記構成によれば、上述した動画符号化装置と同様の効果を奏することができる。
本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
（実施の形態１）
＜構成＞
図２は、実施の形態１に係る動画撮像装置の構成を示す図である。
動画撮像装置は、撮影レンズ１、撮像素子２、動画符号化装置３１、制御マイコン４、プログラム記憶メモリ５、動画ストリーム記憶メモリ６を備える。撮影レンズ１は、撮像素子２に被写体像を結像する。撮像素子２は、被写体を撮影して動画データを生成する。動画符号化装置３１は、撮像素子２が生成した動画データを圧縮符号化して動画ストリームを生成する。制御マイコン４は、プログラム記憶メモリ５に記憶されたプログラムに従って動画撮像装置全体を制御する。動画ストリーム記憶メモリ６は、動画符号化装置３１が生成した動画ストリームを記憶する。
（実施の形態１）
＜構成＞
図２は、実施の形態１に係る動画撮像装置の構成を示す図である。
動画撮像装置は、撮影レンズ１、撮像素子２、動画符号化装置３１、制御マイコン４、プログラム記憶メモリ５、動画ストリーム記憶メモリ６を備える。撮影レンズ１は、撮像素子２に被写体像を結像する。撮像素子２は、被写体を撮影して動画データを生成する。動画符号化装置３１は、撮像素子２が生成した動画データを圧縮符号化して動画ストリームを生成する。制御マイコン４は、プログラム記憶メモリ５に記憶されたプログラムに従って動画撮像装置全体を制御する。動画ストリーム記憶メモリ６は、動画符号化装置３１が生成した動画ストリームを記憶する。
動画符号化装置３１は、符号化部１１、符号量補正部１２、量子化スケール決定部１３を備える。
符号化部１１は、いわゆるMPEGエンコーダであり、動画データのフレーム毎に、インター符号化及びイントラ符号化を選択的に施す。インター符号化は、フレーム間予測符号化、DCT(Discrete Cosine Transform) 、量子化、可変長符号化を含む。イントラ符号化は、フレーム内予測符号化、DCT、量子化、可変長符号化を含む。インター符号化及びイントラ符号化の選択は制御マイコン４からの指示に従う。実施の形態１では、１０フレーム毎に１フレームだけイントラ符号化し、残りの９フレームはインター符号化する例で説明する。
符号化部１１は、いわゆるMPEGエンコーダであり、動画データのフレーム毎に、インター符号化及びイントラ符号化を選択的に施す。インター符号化は、フレーム間予測符号化、DCT(Discrete Cosine Transform) 、量子化、可変長符号化を含む。イントラ符号化は、フレーム内予測符号化、DCT、量子化、可変長符号化を含む。インター符号化及びイントラ符号化の選択は制御マイコン４からの指示に従う。実施の形態１では、１０フレーム毎に１フレームだけイントラ符号化し、残りの９フレームはインター符号化する例で説明する。
フレームの量子化に用いる量子化スケールは、量子化スケール決定部１３から供給される。
符号量補正部１２は、各フレームの発生符号量を測定し、以下の補正方式（数式２、３）に従って発生符号量を補正する。
フレームｎがイントラ符号化フレームの場合
Cn'=Cn*P1 （数式２）
フレームｎがインター符号化フレームの場合
Cn'=Cn *P2 （数式３）
Cnは、フレームｎが符号化されて発生した発生符号量である。P1及びP2は、補正係数であり、P1<P2の関係がある。実施の形態１では、P1=Pただし(0<P<1)、P2=1の場合について説明する。補正係数Pは、数式４を満たす係数とする。
符号量補正部１２は、各フレームの発生符号量を測定し、以下の補正方式（数式２、３）に従って発生符号量を補正する。
フレームｎがイントラ符号化フレームの場合
Cn'=Cn*P1 （数式２）
フレームｎがインター符号化フレームの場合
Cn'=Cn *P2 （数式３）
Cnは、フレームｎが符号化されて発生した発生符号量である。P1及びP2は、補正係数であり、P1<P2の関係がある。実施の形態１では、P1=Pただし(0<P<1)、P2=1の場合について説明する。補正係数Pは、数式４を満たす係数とする。
P=Cinter/Cintra （数式４）
Cinterは、あるフレームを、ある量子化スケールを用いてインター符号化した場合に発生する発生符号量である。Cintraは、同じフレームを、同じ量子化スケールを用いてイントラ符号化した場合に発生する発生符号量である。補正係数Pは、イントラ符号化した場合の発生符号量をインター符号化した場合の発生符号量に換算するための係数を意味する。
Cinterは、あるフレームを、ある量子化スケールを用いてインター符号化した場合に発生する発生符号量である。Cintraは、同じフレームを、同じ量子化スケールを用いてイントラ符号化した場合に発生する発生符号量である。補正係数Pは、イントラ符号化した場合の発生符号量をインター符号化した場合の発生符号量に換算するための係数を意味する。
一般には、あるフレームをイントラ符号化した場合には、同じ量子化スケールでインター符号化した場合よりも３倍乃至５倍の符号量が発生する。これを受けて、実施の形態１では、補正係数Pは、１／５乃至１／３の範囲内で予め定められた固定値として与えられる。なお、符号量補正部１２も制御マイコン４からの指示を受けることにより、イントラ符号化フレームであるかインター符号化フレームであるかを識別する。
量子化スケール決定部１３は、以下の数式５、６によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式５）
フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式６）
Qpintraは、予め定められた固定値である。dstCは、予め定められた目標符号量である。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式５）
フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式６）
Qpintraは、予め定められた固定値である。dstCは、予め定められた目標符号量である。
実施の形態１では、フレーム（ｎ＋１）がイントラ符号化フレームの場合には、Qpintraを量子化スケールとして用いる。また、フレーム（ｎ＋１）がインター符号化フレームの場合には、符号量補正部１２により補正された補正符号量Cn'及び量子化スケールQp[n]に基づいて量子化スケールを決定する。
符号量補正部１２は、上述のようにフレームｎがイントラ符号化フレームの場合には数式２に従って発生符号量を補正し、インター符号化フレームの場合には数式３に従って発生符号量を補正する。以下に、これを実現するための構成の一例を示す。
符号量補正部１２は、上述のようにフレームｎがイントラ符号化フレームの場合には数式２に従って発生符号量を補正し、インター符号化フレームの場合には数式３に従って発生符号量を補正する。以下に、これを実現するための構成の一例を示す。
図３は、符号量補正部１２の詳細な構成の一例を示す図である。
符号量補正部１２は、符号量測定部１２１、フレーム符号量記憶メモリ１２２、レジスタＲ１、Ｒ２、セレクタＳ１、乗算器Ｍ１を備える。
符号量測定部１２１は、符号化部１１により符号化されたフレームｎの発生符号量Cnを測定する。レジスタＲ１には補正係数Pが保持され、レジスタＲ２には補正係数１が保持されている。セレクタＳ１は、制御マイコン４からの指示によりフレームｎがイントラ符号化フレームであれば乗算器Ｍ１に補正係数Pを与え、フレームｎがインター符号化フレームであれば乗算器Ｍ１に補正係数１を与える。
符号量補正部１２は、符号量測定部１２１、フレーム符号量記憶メモリ１２２、レジスタＲ１、Ｒ２、セレクタＳ１、乗算器Ｍ１を備える。
符号量測定部１２１は、符号化部１１により符号化されたフレームｎの発生符号量Cnを測定する。レジスタＲ１には補正係数Pが保持され、レジスタＲ２には補正係数１が保持されている。セレクタＳ１は、制御マイコン４からの指示によりフレームｎがイントラ符号化フレームであれば乗算器Ｍ１に補正係数Pを与え、フレームｎがインター符号化フレームであれば乗算器Ｍ１に補正係数１を与える。
乗算器Ｍ１は、発生符号量Cnと補正係数とを掛け合わせる。フレーム符号量記憶メモリ１２２は、乗算器Ｍ１による乗算結果を記憶し、量子化スケール決定部１３に与える。
上記構成により、符号量補正部１２は、フレームｎがイントラ符号化フレームの場合には補正符号量Cn'=Cn*Pを出力し、フレームｎがインター符号化フレームの場合には補正符号量Cn'=Cnを出力することができる。
＜動作＞
図４は、実施の形態１に係る動画符号化装置３１の動作を示す図である。
上記構成により、符号量補正部１２は、フレームｎがイントラ符号化フレームの場合には補正符号量Cn'=Cn*Pを出力し、フレームｎがインター符号化フレームの場合には補正符号量Cn'=Cnを出力することができる。
＜動作＞
図４は、実施の形態１に係る動画符号化装置３１の動作を示す図である。
動画符号化装置３１は、制御マイコン４からの指示により符号化を開始し、最初にフレーム１をイントラ符号化する（ステップＳ１１）。フレーム１は先行するフレームがないため必然的にイントラ符号化フレームとなる。量子化スケールの初期値は、イントラ符号化する場合の量子化スケールであるQpintraを用いる。その後、動画符号化装置３１は、フレーム符号量記憶メモリ１２２においてフレーム１の符号量を記憶する（ステップＳ１２）。ここでは、イントラ符号化されているので、C1*Pが記憶される。
動画符号化装置３１は、フレーム１の符号量及び量子化スケールに基づいてフレーム２の量子化スケールを決定し（ステップＳ１４）、決定された量子化スケールを用いてフレーム２をインター符号化する（ステップＳ１５）。
動画符号化装置３１は、フレーム符号量記憶メモリ１２２においてフレーム２の符号量を記憶する（ステップＳ１６）。ここでは、インター符号化されているので、C2が記憶される。これ以降、動画符号化装置３１は、制御マイコン４から撮像停止の指示があるまでステップＳ１３からステップＳ１７までの処理を繰り返す。
動画符号化装置３１は、フレーム符号量記憶メモリ１２２においてフレーム２の符号量を記憶する（ステップＳ１６）。ここでは、インター符号化されているので、C2が記憶される。これ以降、動画符号化装置３１は、制御マイコン４から撮像停止の指示があるまでステップＳ１３からステップＳ１７までの処理を繰り返す。
図５は、実施の形態１に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ１４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ１４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ１４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ１４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ１４４）。
動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ１４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ１４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ１４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ１４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ１４４）。
一方、動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をイントラ符号化する指示であれば（ステップＳ１４１：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]をQpintraとする（ステップＳ１４５）。
＜効果＞
図６は、実施の形態１に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
＜効果＞
図６は、実施の形態１に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
フレーム１、１１、２１は、イントラ符号化フレームであり、それ以外のフレームは、インター符号化フレームである。
図６（ａ）は、量子化スケールを示す。実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである（図５：ステップＳ１４５参照）。したがって、図６（ａ）に示すように、フレーム１、１１、２１の量子化スケールは同じ大きさになっている。通常、固定値Qpintraは、イントラ符号化フレームの発生符号量が目標符号量よりも大きくなるような値に設定される。これは、イントラ符号化フレームの発生符号量は、動画全体の画質に与える影響が大きく、発生符号量が小さすぎると動画全体にわたり画質が劣化するからである。
図６（ａ）は、量子化スケールを示す。実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである（図５：ステップＳ１４５参照）。したがって、図６（ａ）に示すように、フレーム１、１１、２１の量子化スケールは同じ大きさになっている。通常、固定値Qpintraは、イントラ符号化フレームの発生符号量が目標符号量よりも大きくなるような値に設定される。これは、イントラ符号化フレームの発生符号量は、動画全体の画質に与える影響が大きく、発生符号量が小さすぎると動画全体にわたり画質が劣化するからである。
図６（ｂ）は、符号量を示す。発生符号量C1は、目標符号量に比べてはるかに大きい。発生符号量C1に重ねて表している補正符号量C1*Pは、符号量補正部１２により補正された符号量である。補正符号量C1*Pは、インター符号化による発生符号量に換算されているので、フレーム２などのインター符号化フレームの発生符号量と同程度の大きさとなる。したがって、フレーム２の量子化スケールは、第１のフレームの発生符号量を補正しない場合に比べて小さくなる。その結果、フレーム２の発生符号量が、第１のフレームの発生符号量を補正しない場合に比べて大きくなり、目標符号量にほぼ一致する。フレーム２の発生符号量が目標符号量にほぼ一致するので、フレーム３からフレーム１０までの発生符号量も目標符号量にほぼ沿うように推移する。このように、イントラ符号化フレーム直後の数フレームにわたる発生符号量のハンチングが抑制される。
図６（ｃ）は、画質を示す。上述のように、イントラ符号化フレーム直後における発生符号量のハンチングが軽減されるため画質が安定する。
図６（ｄ）は、総符号量を示す。実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。Qpintraは、イントラ符号化フレームの発生符号量は目標符号量よりも大きくなるように設定されている。したがって、総符号量は累積目標符号量よりも大きくなる。
（実施の形態２）
実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。実施の形態２では、イントラ符号化フレームの量子化スケールも適宜調整することとする。
＜構成＞
実施の形態２に係る動画符号化装置は、その構成については実施の形態１に係る動画符号化装置とほぼ同様なので、実施の形態１と同じく図２を用いて説明する。
図６（ｄ）は、総符号量を示す。実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。Qpintraは、イントラ符号化フレームの発生符号量は目標符号量よりも大きくなるように設定されている。したがって、総符号量は累積目標符号量よりも大きくなる。
（実施の形態２）
実施の形態１では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。実施の形態２では、イントラ符号化フレームの量子化スケールも適宜調整することとする。
＜構成＞
実施の形態２に係る動画符号化装置は、その構成については実施の形態１に係る動画符号化装置とほぼ同様なので、実施の形態１と同じく図２を用いて説明する。
符号量補正部１２は、各フレームの発生符号量を測定し、以下の補正方式（数式７、８、９）に従って発生符号量を補正する。
フレーム（ｎ＋１）がインター符号化フレームであり、フレームｎがイントラ符号化フレームの場合
Cn'=Cn*P1 （数式７）
フレーム（ｎ＋１）がインター符号化フレームであり、フレームｎがインター符号化フレームの場合
Cn'=Cn *P2 （数式８）
フレーム（ｎ＋１）がイントラ符号化フレームである場合
Cn'=Cn*P3 （数式９）
P1、P2、P3は、補正係数であり、P1<P2<P3の関係がある。実施の形態２では、P1=Pただし(0<P<1)、P2=1、P3=1/Pの場合について説明する。補正係数Pは、数式４を満たす係数である。
フレーム（ｎ＋１）がインター符号化フレームであり、フレームｎがイントラ符号化フレームの場合
Cn'=Cn*P1 （数式７）
フレーム（ｎ＋１）がインター符号化フレームであり、フレームｎがインター符号化フレームの場合
Cn'=Cn *P2 （数式８）
フレーム（ｎ＋１）がイントラ符号化フレームである場合
Cn'=Cn*P3 （数式９）
P1、P2、P3は、補正係数であり、P1<P2<P3の関係がある。実施の形態２では、P1=Pただし(0<P<1)、P2=1、P3=1/Pの場合について説明する。補正係数Pは、数式４を満たす係数である。
量子化スケール決定部１３は、以下の数式１０によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１０）
＜動作＞
図７は、実施の形態２に係る量子化スケール決定処理の詳細を示す図である。
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１０）
＜動作＞
図７は、実施の形態２に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ２４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ２４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ２４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ２４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ２４４）。
一方、動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）の予測符号化方式をイントラ符号化とする指示であれば（ステップＳ２４１：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]を(Cn /dstC*P)*Qp[n]とする（ステップＳ２４５）。
＜効果＞
図８は、実施の形態２に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
＜効果＞
図８は、実施の形態２に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
図８（ａ）は、量子化スケールを示す。実施の形態２では、イントラ符号化フレームの量子化スケールは適宜調整される（図７：ステップＳ２４５参照）。したがって、図８（ａ）に示すように、フレーム１、１１、２１の量子化スケールは同じ大きさにはならない。例えば、フレーム１１の量子化スケールは、先行するフレーム１０の発生符号量に基づいて決定される。なお、フレーム１には先行するフレームがないので、量子化スケールの初期値として予め決められた値が与えられる。
図８（ｂ）は、符号量を示す。フレーム１からフレーム１０までは実施の形態１と同様である。フレーム１１以降のイントラ符号化フレームの発生符号量は目標符号量にほぼ一致する。
図８（ｃ）は、画質を示す。発生符号量のハンチングが抑制されるため画質は安定するが、イントラ符号化フレーム（フレーム１１、２１）の発生符号量が小さく抑えられているため、画像全体の画質は悪くなる。
図８（ｃ）は、画質を示す。発生符号量のハンチングが抑制されるため画質は安定するが、イントラ符号化フレーム（フレーム１１、２１）の発生符号量が小さく抑えられているため、画像全体の画質は悪くなる。
図８（ｄ）は、総符号量を示す。実施の形態２では、イントラ符号化フレームの量子化スケールはその発生符号量が目標符号量にほぼ一致するように適宜調整される。したがって、総符号量が累積目標符号量に近づく。
（実施の形態３）
実施の形態１では、画質劣化を防止するためイントラ符号化フレームの発生符号量を目標符号量よりも大きくなるように設定する。そのため、総符号量が累積目標符号量を上回ることとなる。
（実施の形態３）
実施の形態１では、画質劣化を防止するためイントラ符号化フレームの発生符号量を目標符号量よりも大きくなるように設定する。そのため、総符号量が累積目標符号量を上回ることとなる。
実施の形態３では、画質の劣化を極力抑えつつ、総符号量が累積目標符号量にほぼ一致させる技術を説明する。
＜構成＞
図９は、実施の形態３に係る動画撮像装置の構成を示す図である。
実施の形態３に係る動画符号化装置３３は、実施の形態１に係る動画符号化装置３１に累積差分符号量算出部１４と目標符号量補正部１５とを追加した構成となっている。それ以外の構成要素については、実施の形態１と同様なので説明を省略する。
＜構成＞
図９は、実施の形態３に係る動画撮像装置の構成を示す図である。
実施の形態３に係る動画符号化装置３３は、実施の形態１に係る動画符号化装置３１に累積差分符号量算出部１４と目標符号量補正部１５とを追加した構成となっている。それ以外の構成要素については、実施の形態１と同様なので説明を省略する。
累積差分符号量算出部１４は、フレーム（ｎ＋１）を符号化するに際して、フレームｎまでに生じた発生符号量の累積値からフレームｎまでの目標符号量の累積値を差し引いた累積差分IntCを算出する。
IntC=Σ(Cn-dstC) （数式１１）
目標符号量補正部１５は、累積差分が０より大きい場合には、累積差分が大きいほど目標符号量が小さくなるように補正し、累積差分が０以下の場合には、目標符号量の補正をしない。具体的には、以下の数式１２、１３に従う。
IntC=Σ(Cn-dstC) （数式１１）
目標符号量補正部１５は、累積差分が０より大きい場合には、累積差分が大きいほど目標符号量が小さくなるように補正し、累積差分が０以下の場合には、目標符号量の補正をしない。具体的には、以下の数式１２、１３に従う。
IntCが０より大きい場合
dstC'=dstC-IntC/d （数式１２）
IntCが０以下である場合
dstC'=dstC （数式１３）
dは、１よりも大きな範囲内で予め定められた調整パラメータである。
dstC'=dstC-IntC/d （数式１２）
IntCが０以下である場合
dstC'=dstC （数式１３）
dは、１よりも大きな範囲内で予め定められた調整パラメータである。
量子化スケール決定部１３は、以下の数式１４、１５によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式１４）
フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC')*Qp[n] （数式１５）
なお、符号量補正部１２は実施の形態１と同様に動作し、補正符号量Cn'を量子化スケール決定部１３に与える。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式１４）
フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC')*Qp[n] （数式１５）
なお、符号量補正部１２は実施の形態１と同様に動作し、補正符号量Cn'を量子化スケール決定部１３に与える。
以下に、累積差分符号量算出部１４と目標符号量補正部１５とを実現するための構成の一例を示す。
図１０は、累積差分符号量算出部１４と目標符号量補正部１５との詳細な構成の一例を示す図である。
累積差分符号量算出部１４は、符号量測定部１４１、レジスタＲ１、Ｒ２、加算器Ａ１、Ａ２を備える。
図１０は、累積差分符号量算出部１４と目標符号量補正部１５との詳細な構成の一例を示す図である。
累積差分符号量算出部１４は、符号量測定部１４１、レジスタＲ１、Ｒ２、加算器Ａ１、Ａ２を備える。
符号量測定部１４１は、符号化部１１により符号化されたフレームｎの発生符号量Cnを測定する。レジスタＲ１には目標符号量dstCが保持され、レジスタＲ２にはフレームｎまでの累積差分が保持されている。
発生符号量Cnは、加算器Ａ１においてdstCが差し引かれる。加算器Ａ１から出力された(Cn-dstC)は、加算器Ａ２においてレジスタＲ２に保持されている累積差分と加算される。加算器Ａ２の出力する累積差分IntCは、レジスタＲ２に新たに保持されるとともに目標符号量補正部１５に出力される。
発生符号量Cnは、加算器Ａ１においてdstCが差し引かれる。加算器Ａ１から出力された(Cn-dstC)は、加算器Ａ２においてレジスタＲ２に保持されている累積差分と加算される。加算器Ａ２の出力する累積差分IntCは、レジスタＲ２に新たに保持されるとともに目標符号量補正部１５に出力される。
目標符号量補正部１５は、判定部１５１、レジスタＲ３、Ｒ４、Ｒ５、セレクタＳ１、加算器Ａ３を備える。
判定部１５１は、累積差分IntCが０より大きいか否かを判定して、判定結果をセレクタＳ１の制御端子に出力する。
セレクタＳ１は、判定部１５１からの判定結果によりIntCが０より大きければ乗算器Ｍ１に累積差分IntCを与え、IntCが０以下であれば乗算器Ｍ１にレジスタＲ４に保持されている０を与える。
判定部１５１は、累積差分IntCが０より大きいか否かを判定して、判定結果をセレクタＳ１の制御端子に出力する。
セレクタＳ１は、判定部１５１からの判定結果によりIntCが０より大きければ乗算器Ｍ１に累積差分IntCを与え、IntCが０以下であれば乗算器Ｍ１にレジスタＲ４に保持されている０を与える。
乗算器Ｍ１は、累積差分IntCと調整パラメータ1/dとを掛け合わせる。加算器Ａ３は、レジスタＲ５に保持されている目標符号量dstCから乗算器Ｍ１の乗算結果を差し引いて、その結果を量子化スケール決定部１３に出力する。
上記構成により、目標符号量補正部１５は、累積差分が０より大きい場合には、累積差分が大きいほど目標符号量が小さくなるように補正し、累積差分が０以下の場合には、目標符号量の補正をしないという処理を実現することができる。
＜動作＞
図１１は、実施の形態３に係る動画符号化装置３３の動作を示す図である。
上記構成により、目標符号量補正部１５は、累積差分が０より大きい場合には、累積差分が大きいほど目標符号量が小さくなるように補正し、累積差分が０以下の場合には、目標符号量の補正をしないという処理を実現することができる。
＜動作＞
図１１は、実施の形態３に係る動画符号化装置３３の動作を示す図である。
動画符号化装置３３は、制御マイコン４からの指示により符号化を開始し、最初にフレーム１をイントラ符号化する（ステップＳ３１）。フレーム１は先行するフレームがないため必然的にイントラ符号化フレームとなる。量子化スケールの初期値は、実施の形態３ではイントラ符号化する場合の量子化スケールであるQpintraを用いる。その後、動画符号化装置３３は、フレーム符号量記憶メモリ１２２においてフレーム１の符号量を記憶する（ステップＳ３２）。ここでは、イントラ符号化されているので、C1*Pが記憶される。
動画符号化装置３３は、目標符号量を補正し（ステップＳ３４）、フレーム１の符号量、量子化スケール及び補正後の目標符号量に基づいてフレーム２の量子化スケールを決定する（ステップＳ３５）。そして決定された量子化スケールを用いてフレーム２をインター符号化する（ステップＳ３６）。
動画符号化装置３３は、フレーム符号量記憶メモリ１２２においてフレーム２の符号量を記憶する（ステップＳ３７）。ここでは、インター符号化されているので、C2が記憶される。これ以降、動画符号化装置３３は、制御マイコン４から撮像停止の指示があるまでステップＳ３３からステップＳ３８までの処理を繰り返す。
動画符号化装置３３は、フレーム符号量記憶メモリ１２２においてフレーム２の符号量を記憶する（ステップＳ３７）。ここでは、インター符号化されているので、C2が記憶される。これ以降、動画符号化装置３３は、制御マイコン４から撮像停止の指示があるまでステップＳ３３からステップＳ３８までの処理を繰り返す。
図１２は、実施の形態３に係る目標符号量補正処理の詳細を示す図である。
累積差分符号量算出部１４は、累積差分IntCを算出する（ステップＳ３４１）。
目標符号量補正部１５は、累積差分IntCが０より大きければ（ステップＳ３４２：Ｙｅｓ）、目標符号量を補正してdstC-IntC/dとする（ステップＳ３４３）。一方、目標符号量補正部１５は、累積差分IntCが０以下であれば（ステップＳ３４２：Ｎｏ）、目標符号量を補正せずにdstCのままとする（ステップＳ３４４）。
累積差分符号量算出部１４は、累積差分IntCを算出する（ステップＳ３４１）。
目標符号量補正部１５は、累積差分IntCが０より大きければ（ステップＳ３４２：Ｙｅｓ）、目標符号量を補正してdstC-IntC/dとする（ステップＳ３４３）。一方、目標符号量補正部１５は、累積差分IntCが０以下であれば（ステップＳ３４２：Ｎｏ）、目標符号量を補正せずにdstCのままとする（ステップＳ３４４）。
量子化スケール決定処理については、実施の形態１と同様なので、説明を省略する。
＜効果＞
図１３は、実施の形態３に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
図１３（ａ）は、量子化スケールを示す。実施の形態３では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。
＜効果＞
図１３は、実施の形態３に係る量子化スケール、符号量、画質及び総符号量の時間的推移を示す図である。
図１３（ａ）は、量子化スケールを示す。実施の形態３では、イントラ符号化フレームの量子化スケールは固定値Qpintraである。
図１３（ｂ）は、符号量を示す。フレーム１の発生符号量C1は、補正符号量C1*Pに補正される。また、目標符号量dstCは、補正目標符号量dstC'に補正される。補正目標符号量dstC'は、発生符号量C1が目標符号量dstCを超過しているのでその分だけ目標符号量dstCよりも小さくなる。
フレーム２の発生符号量C2は、補正目標符号量dstC'にほぼ一致する。
フレーム２の発生符号量C2は、補正目標符号量dstC'にほぼ一致する。
フレーム３の発生符号量C3は、フレーム２の発生符号量C2に比べて目標符号量dstCに近づく。これは、フレーム３はフレーム２に比べてその累積差分IntCが小さいので、補正目標符号量dstC'がフレーム２の場合よりも目標符号量dstCに近づくからである。
また、実施の形態３は、累積差分IntCを用いるので、あるフレームにおいて急激に符号量が増加した場合であっても、その後のフレームの符号量をなめらかに推移させることができる。このことは、イントラ符号化フレーム直後に限らず、インター符号化フレームが続く範囲であっても同様である。例えば、フレーム２６では、発生符号量が急激に増加しているが、その後のフレーム２７、２８では、発生符号量がなめらかに推移している。
また、実施の形態３は、累積差分IntCを用いるので、あるフレームにおいて急激に符号量が増加した場合であっても、その後のフレームの符号量をなめらかに推移させることができる。このことは、イントラ符号化フレーム直後に限らず、インター符号化フレームが続く範囲であっても同様である。例えば、フレーム２６では、発生符号量が急激に増加しているが、その後のフレーム２７、２８では、発生符号量がなめらかに推移している。
図１３（ｃ）は、画質を示す。イントラ符号化フレーム直後における発生符号量のハンチングが抑制されるため画質が安定する。また、インター符号化フレームの発生符号量は実施の形態１と同等なので、実施の形態２のように画質が大きく劣化することがない。
図１３（ｄ）は、総符号量を示す。実施の形態３では、累積差分IntCが０より大きい場合に、それが大きいほど目標符号量が小さくなるように補正する。イントラ符号化フレームで発生符号量が超過したとしても、その後の数フレームの発生符号量が目標符号量よりも小さくなるので、総符号量は累積目標符号量に近づく。
（実施の形態４）
実施の形態４では、イントラ符号化フレームの量子化スケールを固定値とする第１モードと、適宜調整する第２モードとを、バッファの空き容量に応じて切り替える。
＜構成＞
図１４は、実施の形態４に係る動画撮像装置の構成を示す図である。
図１３（ｄ）は、総符号量を示す。実施の形態３では、累積差分IntCが０より大きい場合に、それが大きいほど目標符号量が小さくなるように補正する。イントラ符号化フレームで発生符号量が超過したとしても、その後の数フレームの発生符号量が目標符号量よりも小さくなるので、総符号量は累積目標符号量に近づく。
（実施の形態４）
実施の形態４では、イントラ符号化フレームの量子化スケールを固定値とする第１モードと、適宜調整する第２モードとを、バッファの空き容量に応じて切り替える。
＜構成＞
図１４は、実施の形態４に係る動画撮像装置の構成を示す図である。
実施の形態４に係る動画符号化装置３４は、実施の形態１に係る動画符号化装置３１に、空き容量測定部１６、バッファ１７及び転送部１８を追加した構成となっている。それ以外の構成要素については、実施の形態１と同様なので説明を省略する。
空き容量測定部１６は、バッファ１７の空き容量を測定して、量子化スケール決定部に測定結果を通知する。
空き容量測定部１６は、バッファ１７の空き容量を測定して、量子化スケール決定部に測定結果を通知する。
バッファ１７は、符号化部１１により生成された動画ストリームを一時記憶する。転送部１８は、バッファ１７に記憶された動画ストリームを動画ストリーム記憶メモリ６に転送する。
量子化スケール決定部１３は、以下の数式１６、１７によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
量子化スケール決定部１３は、以下の数式１６、１７によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
フレーム（ｎ＋１）がイントラ符号化フレームの場合であって、バッファ１７の空き容量が所定量（例えば、バッファ容量の２０パーセント）よりも大きい場合
Qp[n+1]=Qpintra （数式１６）
フレーム（ｎ＋１）がイントラ符号化フレームの場合であってバッファ１７の空き容量が所定量以下である場合、及び、フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１７）
Cn'は、数式７、８、９に従う。
Qp[n+1]=Qpintra （数式１６）
フレーム（ｎ＋１）がイントラ符号化フレームの場合であってバッファ１７の空き容量が所定量以下である場合、及び、フレーム（ｎ＋１）がインター符号化フレームの場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１７）
Cn'は、数式７、８、９に従う。
これは、バッファ１７の空き容量が所定量よりも大きい場合には、実施の形態１と同様の処理（第１モード）であり、バッファ１７の空き容量が所定量以下の場合には、実施の形態２と同様の処理（第２モード）であることを意味する。
＜動作＞
図１５は、実施の形態４に係る量子化スケール決定処理の詳細を示す図である。
＜動作＞
図１５は、実施の形態４に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３４は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ４４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ４４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ４４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ４４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ４４４）。
一方、動画符号化装置３４は、制御マイコン４からの指示がフレーム（ｎ＋１）をイントラ符号化する指示であり（ステップＳ４４１：イントラ）、かつ、空き容量が所定量以下であれば（ステップＳ４４５：Ｎｏ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]を(Cn /dstC*P)*Qp[n]とする（ステップＳ４４６）。また、空き容量が所定量より大きければ（ステップＳ４４５：Ｙｅｓ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]をQpintraとする（ステップＳ４４７）。
＜効果＞
イントラ符号化フレームの量子化に用いる量子化スケールが固定値の場合、バッファがオーバーフローしそうであっても、イントラ符号化フレームの発生符号量を調整することができない。一方、イントラ符号化フレームの量子化に用いる量子化スケールを適宜調整する場合、その発生符号量を小さく抑えることができる。
＜効果＞
イントラ符号化フレームの量子化に用いる量子化スケールが固定値の場合、バッファがオーバーフローしそうであっても、イントラ符号化フレームの発生符号量を調整することができない。一方、イントラ符号化フレームの量子化に用いる量子化スケールを適宜調整する場合、その発生符号量を小さく抑えることができる。
したがって、本発明は、バッファがオーバーフローしそうになれば、イントラ符号化フレームの量子化に用いる量子化スケールを適宜調整することにより、オーバーフローする確率を下げることができる。
（実施の形態５）
実施の形態５では、目標符号量の補正をしない第１モードと、目標符号量の補正をする第２モードとを、バッファの空き容量に応じて切り替える。
＜構成＞
図１６は、実施の形態５に係る動画撮像装置の構成を示す図である。
（実施の形態５）
実施の形態５では、目標符号量の補正をしない第１モードと、目標符号量の補正をする第２モードとを、バッファの空き容量に応じて切り替える。
＜構成＞
図１６は、実施の形態５に係る動画撮像装置の構成を示す図である。
実施の形態５に係る動画符号化装置３５は、実施の形態３に係る動画符号化装置３３に、空き容量測定部１６、バッファ１７及び転送部１８を追加した構成となっている。それ以外の構成要素については、実施の形態３と同様なので説明を省略する。
空き容量測定部１６、バッファ１７、転送部１８は実施の形態４で説明したものと同様である。
空き容量測定部１６、バッファ１７、転送部１８は実施の形態４で説明したものと同様である。
量子化スケール決定部１３は、以下の数式１８、１９、２０によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式１８）
フレーム（ｎ＋１）がインター符号化フレームの場合であってバッファ１７の空き容量が所定量より大きい場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１９）
フレーム（ｎ＋１）がインター符号化フレームの場合であってバッファ１７の空き容量が所定量以下の場合
Qp[n+1]=(Cn'/dstC')*Qp[n] （数式２０）
Cn'は、数式７、８、９に従う。dstC'は、数式１２、１３に従う。
フレーム（ｎ＋１）がイントラ符号化フレームの場合
Qp[n+1]=Qpintra （数式１８）
フレーム（ｎ＋１）がインター符号化フレームの場合であってバッファ１７の空き容量が所定量より大きい場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式１９）
フレーム（ｎ＋１）がインター符号化フレームの場合であってバッファ１７の空き容量が所定量以下の場合
Qp[n+1]=(Cn'/dstC')*Qp[n] （数式２０）
Cn'は、数式７、８、９に従う。dstC'は、数式１２、１３に従う。
これは、バッファ１７の空き容量が所定量よりも大きい場合には、実施の形態１と同様の処理（第１モード）であり、バッファ１７の空き容量が所定量以下の場合には、実施の形態３と同様の処理（第２モード）であることを意味する。
＜動作＞
図１７は、実施の形態５に係る動画符号化装置３５の動作を示す図である。
＜動作＞
図１７は、実施の形態５に係る動画符号化装置３５の動作を示す図である。
動画符号化装置３５は、制御マイコン４からの指示により符号化を開始し、最初にフレーム１をイントラ符号化する（ステップＳ５１）。フレーム１は先行するフレームがないため必然的にイントラ符号化フレームとなる。量子化スケールの初期値は、実施の形態５ではイントラ符号化する場合の量子化スケールであるQpintraを用いる。その後、動画符号化装置３５は、フレーム符号量記憶メモリ１２２においてフレーム１の符号量を記憶する（ステップＳ５２）。ここでは、イントラ符号化されているので、C1*Pが記憶される。
動画符号化装置３５は、バッファ１７の空き容量が所定量以下の場合（ステップＳ５４：Ｎｏ）、目標符号量を補正し（ステップＳ５５）、バッファ１７の空き容量が所定量より大きい場合（ステップＳ５４：Ｙｅｓ）、目標符号量補正処理Ｓ５５をスキップする。
動画符号化装置３５は、得られた目標符号量に基づいてフレーム２の量子化スケールを決定する（ステップＳ５６）。そして決定された量子化スケールを用いてフレーム２をインター符号化する（ステップＳ５７）。
動画符号化装置３５は、得られた目標符号量に基づいてフレーム２の量子化スケールを決定する（ステップＳ５６）。そして決定された量子化スケールを用いてフレーム２をインター符号化する（ステップＳ５７）。
動画符号化装置３５は、フレーム符号量記憶メモリ１２２においてフレーム２の符号量を記憶する（ステップＳ５８）。ここでは、インター符号化されているので、C2が記憶される。これ以降、動画符号化装置３５は、制御マイコン４から撮像停止の指示があるまでステップＳ５３からステップＳ５９までのステップを繰り返す。
＜効果＞
実施の形態５に係る動画符号化装置は、バッファがオーバーフローしそうになれば、フレームｎ以前の超過量に応じてフレーム（ｎ＋１）の発生符号量を減少させる方向に働かせる。したがって、バッファがオーバーフローする確率を下げることができる。
（実施の形態６）
実施の形態６では、フレーム（ｎ＋１）をイントラ符号化する場合、量子化スケールは、フレームｎの量子化スケールに基づいて決定される。この点が実施の形態１と異なる。これ以外については、実施の形態１と同様なので説明を省略する。
＜構成＞
符号量補正部１２は、フレーム（ｎ＋１）がイントラ符号化フレームである場合、発生符号量の補正を行わない。
＜効果＞
実施の形態５に係る動画符号化装置は、バッファがオーバーフローしそうになれば、フレームｎ以前の超過量に応じてフレーム（ｎ＋１）の発生符号量を減少させる方向に働かせる。したがって、バッファがオーバーフローする確率を下げることができる。
（実施の形態６）
実施の形態６では、フレーム（ｎ＋１）をイントラ符号化する場合、量子化スケールは、フレームｎの量子化スケールに基づいて決定される。この点が実施の形態１と異なる。これ以外については、実施の形態１と同様なので説明を省略する。
＜構成＞
符号量補正部１２は、フレーム（ｎ＋１）がイントラ符号化フレームである場合、発生符号量の補正を行わない。
量子化スケール決定部１３は、以下の数式２１、２２、２３によりフレーム（ｎ＋１）の量子化に用いる量子化スケールを決定する。
フレーム（ｎ＋１）を、インター符号化する場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式２１）
フレーム（ｎ＋１）を、イントラ符号化する場合であって、フレームｎがインター符号化されている場合
Qp[n+1]=Pq1 *Qp[n] （数式２２）
フレーム（ｎ＋１）を、イントラ符号化する場合であって、フレームｎがイントラ符号化されている場合
Qp[n+1]=Pq2 *Qp[n] （数式２３）
ここで、Pq1、Pq2は、それぞれ、予め定められた係数である。具体的には、係数は、５／４乃至４／３の範囲内で定められている。
フレーム（ｎ＋１）を、インター符号化する場合
Qp[n+1]=(Cn'/dstC)*Qp[n] （数式２１）
フレーム（ｎ＋１）を、イントラ符号化する場合であって、フレームｎがインター符号化されている場合
Qp[n+1]=Pq1 *Qp[n] （数式２２）
フレーム（ｎ＋１）を、イントラ符号化する場合であって、フレームｎがイントラ符号化されている場合
Qp[n+1]=Pq2 *Qp[n] （数式２３）
ここで、Pq1、Pq2は、それぞれ、予め定められた係数である。具体的には、係数は、５／４乃至４／３の範囲内で定められている。
Pq1、Pq2が大きいほど、イントラ符号化フレームの発生符号量の抑制効果が高くなるが、画質が低くなる。シミュレーションの結果、Pq1、Pq2が５／４乃至４／３の範囲内であれば、発生符号量の抑制効果と画質とを両立させることができることが判明した。
＜動作＞
図１８は、実施の形態６に係る量子化スケール決定処理の詳細を示す図である。
＜動作＞
図１８は、実施の形態６に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ６４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ６４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ６４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ６４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ６４４）。
一方、動画符号化装置３１は、制御マイコン４からの指示がフレーム（ｎ＋１）をイントラ符号化する指示であり（ステップＳ６４１：イントラ）、かつ、フレームｎがインター符号化されていれば（ステップＳ６４５：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]をPq1*Qp[n]とする（ステップＳ６４６）。また、フレームｎがイントラ符号化されていれば（ステップＳ６４５：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]をPq2*Qp[n]とする（ステップＳ６４７）。
＜効果＞
図１９は、実施の形態６に係る量子化スケール、符号量、画質の時間的推移を示す図である。
＜効果＞
図１９は、実施の形態６に係る量子化スケール、符号量、画質の時間的推移を示す図である。
図１９（ａ）は、量子化スケールを示す。実施の形態６では、イントラ符号化フレームの量子化スケールは適宜調整される（図１８：ステップＳ６４５参照）。したがって、図１９（ａ）に示すように、フレーム１、１１、２１の量子化スケールは同じ大きさにはならない。例えば、フレーム１１の量子化スケールは、先行するフレーム１０の量子化スケールに基づいて決定される。なお、フレーム１には先行するフレームがないので、量子化スケールの初期値として予め決められた値が与えられる。
図１９（ｂ）は、符号量を示す。フレーム１からフレーム１０までは実施の形態１と同様である。フレーム１１以降のイントラ符号化フレームの発生符号量は目標符号量にほぼ一致する。
図１９（ｃ）は、画質を示す。発生符号量のハンチングが抑制されるため画質は安定するが、イントラ符号化フレーム（フレーム１１、２１）の発生符号量が小さく抑えられているため、画像全体の画質は悪くなる。
図１９（ｃ）は、画質を示す。発生符号量のハンチングが抑制されるため画質は安定するが、イントラ符号化フレーム（フレーム１１、２１）の発生符号量が小さく抑えられているため、画像全体の画質は悪くなる。
なお、総符号量の推移については、実施の形態２とほぼ同様なので説明を省略する。
実施の形態６では、イントラ符号化する場合、量子化スケールが適応的に調整される。したがって、実施の形態２と同様に、画質や符号量が安定するという効果を得ることができる。
さらに、実施の形態６では、イントラ符号化する場合、量子化スケールは、直前のフレームの発生符号量に関わらずに導出される。したがって、実施の形態２に比べて、動画符号化装置の処理負荷を軽減することができる。
（実施の形態７）
実施の形態７では、フレーム（ｎ＋１）をイントラ符号化する場合、量子化スケールは、フレームｎの量子化スケールに基づいて決定される。この点が実施の形態１と異なる。これ以外については、実施の形態１と同様なので説明を省略する。
＜構成＞
図２０は、実施の形態７に係る動画撮像装置の構成を示す図である。
実施の形態６では、イントラ符号化する場合、量子化スケールが適応的に調整される。したがって、実施の形態２と同様に、画質や符号量が安定するという効果を得ることができる。
さらに、実施の形態６では、イントラ符号化する場合、量子化スケールは、直前のフレームの発生符号量に関わらずに導出される。したがって、実施の形態２に比べて、動画符号化装置の処理負荷を軽減することができる。
（実施の形態７）
実施の形態７では、フレーム（ｎ＋１）をイントラ符号化する場合、量子化スケールは、フレームｎの量子化スケールに基づいて決定される。この点が実施の形態１と異なる。これ以外については、実施の形態１と同様なので説明を省略する。
＜構成＞
図２０は、実施の形態７に係る動画撮像装置の構成を示す図である。
動画符号化装置３７は、符号化部１１、符号量補正部１２、量子化スケール決定部１３及びテーブル記憶部１９を備える。
テーブル記憶部１９は、フレームｎの量子化スケールとフレーム（ｎ＋１）の量子化スケールとを対応付けて記憶している。
量子化スケール決定部１３は、フレーム（ｎ＋１）をイントラ符号化する場合には、テーブル記憶部１９を参照して、フレームｎの量子化スケールからフレーム（ｎ＋１）の量子化スケールを決定する。
テーブル記憶部１９は、フレームｎの量子化スケールとフレーム（ｎ＋１）の量子化スケールとを対応付けて記憶している。
量子化スケール決定部１３は、フレーム（ｎ＋１）をイントラ符号化する場合には、テーブル記憶部１９を参照して、フレームｎの量子化スケールからフレーム（ｎ＋１）の量子化スケールを決定する。
図２１は、テーブル記憶部１９に記憶されているテーブルの例を示す図である。
フレームｎがインター符号化されていれば、フレーム（ｎ＋１）の量子化スケールは、Qnew1の中から決定される。フレームｎがイントラ符号化されていれば、フレーム（ｎ＋１）の量子化スケールは、Qnew2の中から決定される。
＜動作＞
図２２は、実施の形態７に係る量子化スケール決定処理の詳細を示す図である。
フレームｎがインター符号化されていれば、フレーム（ｎ＋１）の量子化スケールは、Qnew1の中から決定される。フレームｎがイントラ符号化されていれば、フレーム（ｎ＋１）の量子化スケールは、Qnew2の中から決定される。
＜動作＞
図２２は、実施の形態７に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３７は、制御マイコン４からの指示がフレーム（ｎ＋１）をインター符号化する指示であり（ステップＳ７４１：インター）、かつ、フレームｎがインター符号化されていれば（ステップＳ７４２：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn/dstC)*Qp[n]とする（ステップＳ７４３）。また、フレームｎがイントラ符号化されていれば（ステップＳ７４２：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]を(Cn*P/dstC)*Qp[n]とする（ステップＳ７４４）。
一方、動画符号化装置３７は、制御マイコン４からの指示がフレーム（ｎ＋１）をイントラ符号化する指示であり（ステップＳ７４１：イントラ）、かつ、フレームｎがインター符号化されていれば（ステップＳ７４５：インター）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]をQnew1とする（ステップＳ７４６）。また、フレームｎがイントラ符号化されていれば（ステップＳ７４５：イントラ）、フレーム（ｎ＋１）の量子化に用いる量子化スケールQp[n+1]をQnew2とする（ステップＳ７４７）。
＜効果＞
実施の形態７では、実施の形態６と同様の効果を得ることができる。
（実施の形態８）
実施の形態８では、ブロックライン毎に量子化スケールを調整する。ブロックラインとは、画像中において行列状に配されたマクロブロックの一行分のことである。
＜構成＞
図２３は、実施の形態８に係る動画撮像装置の構成を示す図である。
＜効果＞
実施の形態７では、実施の形態６と同様の効果を得ることができる。
（実施の形態８）
実施の形態８では、ブロックライン毎に量子化スケールを調整する。ブロックラインとは、画像中において行列状に配されたマクロブロックの一行分のことである。
＜構成＞
図２３は、実施の形態８に係る動画撮像装置の構成を示す図である。
実施の形態８に係る動画符号化装置３８は、実施の形態３に係る動画符号化装置３３とは符号量補正部１２、量子化スケール決定部１３が異なる。それ以外の構成要素については、実施の形態３と同様なので説明を省略する。
符号量補正部１２は、各ブロックラインの発生符号量を測定し、以下の補正方式（数式２４）に従って発生符号量Cnを補正する。なお、実施の形態８では、ブロックライン（ｎ＋１）の量子化スケールを決定するために、先行する所定数のブロックラインの発生符号量を参照する。ここでは、１フレームが７ブロックラインからなり、量子化スケールを決定するために参照するブロックラインを、直前の７ブロックラインとする例で説明する。
符号量補正部１２は、各ブロックラインの発生符号量を測定し、以下の補正方式（数式２４）に従って発生符号量Cnを補正する。なお、実施の形態８では、ブロックライン（ｎ＋１）の量子化スケールを決定するために、先行する所定数のブロックラインの発生符号量を参照する。ここでは、１フレームが７ブロックラインからなり、量子化スケールを決定するために参照するブロックラインを、直前の７ブロックラインとする例で説明する。
Cn'=CAna*P1+CAnb*P2 （数式２４）
CAnaは、７ブロックラインにおいて発生した発生符号量のうち、イントラ符号化されたブロックライン相当分の発生符号量である。CAnbは、７ブロックラインにおいて発生した発生符号量のうち、インター符号化されたブロックライン相当分の発生符号量である。P1及びP2は、補正係数であり、P1<P2の関係がある。実施の形態８では、P1=Pただし(0<P<1)、P2=1の場合について説明する。補正係数Pは、数式４を満たす係数とする。
CAnaは、７ブロックラインにおいて発生した発生符号量のうち、イントラ符号化されたブロックライン相当分の発生符号量である。CAnbは、７ブロックラインにおいて発生した発生符号量のうち、インター符号化されたブロックライン相当分の発生符号量である。P1及びP2は、補正係数であり、P1<P2の関係がある。実施の形態８では、P1=Pただし(0<P<1)、P2=1の場合について説明する。補正係数Pは、数式４を満たす係数とする。
量子化スケール決定部１３は、以下の数式２５、２６によりブロックライン（ｎ＋１）の量子化に用いる量子化スケールを決定する。
ブロックライン（ｎ＋１）がイントラ符号化される場合
Qp[n+1]=Qpintra （数式２５）
ブロックライン（ｎ＋１）がインター符号化される場合
Qp[n+1]=(Cn'/dstC')*Qp[An] （数式２６）
Qp[An]は、参照する７つのブロックラインに係る量子化スケールの平均値、又は、７つのブロックラインに係る量子化スケールの最頻値である。
ブロックライン（ｎ＋１）がイントラ符号化される場合
Qp[n+1]=Qpintra （数式２５）
ブロックライン（ｎ＋１）がインター符号化される場合
Qp[n+1]=(Cn'/dstC')*Qp[An] （数式２６）
Qp[An]は、参照する７つのブロックラインに係る量子化スケールの平均値、又は、７つのブロックラインに係る量子化スケールの最頻値である。
以下に、数式２４の演算を実現するための構成の一例を示す。
図２４は、符号量補正部１２の詳細な構成の一例を示す図である。
符号量補正部１２は、符号量測定部１２１、ブロックライン符号量記憶メモリ１２３、レジスタＲ１、Ｒ２、セレクタＳ１、乗算器Ｍ１、加算器Ａ１を備える。
符号量測定部１２１は、符号化部１１により符号化されたブロックラインｎの発生符号量Cnを測定する。レジスタＲ１には補正係数Pが保持され、レジスタＲ２には補正係数１が保持されている。セレクタＳ１は、制御マイコン４からの指示によりブロックラインｎがイントラ符号化フレームであれば乗算器Ｍ１に補正係数Pを与え、ブロックラインｎがインター符号化フレームであれば乗算器Ｍ１に補正係数１を与える。
図２４は、符号量補正部１２の詳細な構成の一例を示す図である。
符号量補正部１２は、符号量測定部１２１、ブロックライン符号量記憶メモリ１２３、レジスタＲ１、Ｒ２、セレクタＳ１、乗算器Ｍ１、加算器Ａ１を備える。
符号量測定部１２１は、符号化部１１により符号化されたブロックラインｎの発生符号量Cnを測定する。レジスタＲ１には補正係数Pが保持され、レジスタＲ２には補正係数１が保持されている。セレクタＳ１は、制御マイコン４からの指示によりブロックラインｎがイントラ符号化フレームであれば乗算器Ｍ１に補正係数Pを与え、ブロックラインｎがインター符号化フレームであれば乗算器Ｍ１に補正係数１を与える。
乗算器Ｍ１は、発生符号量Cnと補正係数とを掛け合わせる。
ブロックライン符号量記憶メモリ１２３は、７つのレジスタからなるシフトレジスタである。乗算器Ｍ１からの乗算結果は順番にブロックライン符号量記憶メモリ１２３に記憶される。加算器Ａ１は、ブロックライン符号量記憶メモリ１２３の各レジスタの記憶値を加算する。加算結果が補正符号量Cn'となる。
ブロックライン符号量記憶メモリ１２３は、７つのレジスタからなるシフトレジスタである。乗算器Ｍ１からの乗算結果は順番にブロックライン符号量記憶メモリ１２３に記憶される。加算器Ａ１は、ブロックライン符号量記憶メモリ１２３の各レジスタの記憶値を加算する。加算結果が補正符号量Cn'となる。
図２４には、ブロックライン５から１１までの符号量が記憶されている様子を示す。なお、ブロックラインはC5からC7までがイントラ符号化されており、C8からC11までがインター符号化されているものとする。
この場合、加算器Ａ１の加算結果は、数式２７のようになる。
Cn'=(C5+C6+C7)*P+(C8+C9+C10+C11) （数式２７）
C5+C6+C7は、イントラ符号化されている各ブロックラインの発生符号量の合計CAnaである。また、C8+C9+C10+C11は、インター符号化されている各ブロックラインの発生符号量の合計CAnbである。
この場合、加算器Ａ１の加算結果は、数式２７のようになる。
Cn'=(C5+C6+C7)*P+(C8+C9+C10+C11) （数式２７）
C5+C6+C7は、イントラ符号化されている各ブロックラインの発生符号量の合計CAnaである。また、C8+C9+C10+C11は、インター符号化されている各ブロックラインの発生符号量の合計CAnbである。
上記構成により、符号量補正部１２は、数式２４により得られる補正符号量Cn'を出力することができる。
＜動作＞
図２５は、実施の形態８に係る動画符号化装置３８の動作を示す図である。
動画符号化装置３８は、制御マイコン４からの指示により符号化を開始し、最初にブロックライン１をイントラ符号化する（ステップＳ８２）。ブロックライン１は先行するブロックラインがないため必然的にイントラ符号化される。量子化スケールの初期値は、実施の形態８ではイントラ符号化する場合の量子化スケールであるQpintraを用いる。その後、動画符号化装置３８は、ブロックライン符号量記憶メモリ１２３においてブロックライン１の符号量を記憶する（ステップＳ８３）。ここでは、イントラ符号化されているので、C1*Pが記憶される。
＜動作＞
図２５は、実施の形態８に係る動画符号化装置３８の動作を示す図である。
動画符号化装置３８は、制御マイコン４からの指示により符号化を開始し、最初にブロックライン１をイントラ符号化する（ステップＳ８２）。ブロックライン１は先行するブロックラインがないため必然的にイントラ符号化される。量子化スケールの初期値は、実施の形態８ではイントラ符号化する場合の量子化スケールであるQpintraを用いる。その後、動画符号化装置３８は、ブロックライン符号量記憶メモリ１２３においてブロックライン１の符号量を記憶する（ステップＳ８３）。ここでは、イントラ符号化されているので、C1*Pが記憶される。
これ以降、動画符号化装置３８は、ステップＳ８１からステップＳ８４までの処理をブロックライン７まで繰り返す。これにより、フレーム１のイントラ符号化が完了する。
ブロックライン７のイントラ符号化が完了すれば、動画符号化装置３８は、目標符号量を補正し（ステップＳ８６）、ブロックライン１から７までの符号量の合計、量子化スケール及び補正後の目標符号量に基づいてブロックライン８の量子化スケールを決定する（ステップＳ８７）。そして決定された量子化スケールを用いてブロックライン８をインター符号化する（ステップＳ８８）。
ブロックライン７のイントラ符号化が完了すれば、動画符号化装置３８は、目標符号量を補正し（ステップＳ８６）、ブロックライン１から７までの符号量の合計、量子化スケール及び補正後の目標符号量に基づいてブロックライン８の量子化スケールを決定する（ステップＳ８７）。そして決定された量子化スケールを用いてブロックライン８をインター符号化する（ステップＳ８８）。
動画符号化装置３８は、ブロックライン符号量記憶メモリ１２３においてブロックライン８の符号量を記憶する（ステップＳ８９）。ここでは、インター符号化されているので、C8が記憶される。これ以降、動画符号化装置３８は、制御マイコン４から撮像停止の指示があるまでステップＳ８５からステップＳ９０までの処理を繰り返す。
図２６は、実施の形態８に係る量子化スケール決定処理の詳細を示す図である。
図２６は、実施の形態８に係る量子化スケール決定処理の詳細を示す図である。
動画符号化装置３８は、制御マイコン４からの指示がブロックライン（ｎ＋１）をインター符号化する指示であれば（ステップＳ８５１：インター）、ブロックライン（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]を{(CAna*P+CAnb )/dstC'}*Qp[An]とする（ステップＳ８５２）。
一方、動画符号化装置３８は、制御マイコン４からの指示がブロックライン（ｎ＋１）をイントラ符号化する指示であれば（ステップＳ８５１：イントラ）、ブロックライン（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]をQpintraとする（ステップＳ８５３）。
一方、動画符号化装置３８は、制御マイコン４からの指示がブロックライン（ｎ＋１）をイントラ符号化する指示であれば（ステップＳ８５１：イントラ）、ブロックライン（ｎ＋１）の量子化に用いる量子化スケールQ[n+1]をQpintraとする（ステップＳ８５３）。
なお、目標符号量補正処理については、実施の形態３と同様なので説明を省略する。
＜効果＞
図２７は、実施の形態８に係る符号量の時間的推移を示す図である。
ブロックライン１２の量子化スケールを決定する場合、区間Ａ５に含まれる７ブロックラインの発生符号量（C5からC11まで）が参照される。そのうち区間Ａ５ａに含まれるブロックライン（５から７まで）は、イントラ符号化されているので補正の対象となる。区間Ａ５ｂに含まれるブロックライン（８から１１まで）は、インター符号化されているので補正されない。
＜効果＞
図２７は、実施の形態８に係る符号量の時間的推移を示す図である。
ブロックライン１２の量子化スケールを決定する場合、区間Ａ５に含まれる７ブロックラインの発生符号量（C5からC11まで）が参照される。そのうち区間Ａ５ａに含まれるブロックライン（５から７まで）は、イントラ符号化されているので補正の対象となる。区間Ａ５ｂに含まれるブロックライン（８から１１まで）は、インター符号化されているので補正されない。
このように、ブロックライン毎に量子化スケールの調整を行えば、より小さな時間単位で符号量を一定にすることができる。
（実施の形態９）
実施の形態９では、動画符号化装置３９は、実施の形態１から８までの量子化スケール決定方式を全て含み、これらはユーザの指定により任意に適用される。
＜構成＞
図２８は、実施の形態９に係る動画撮像装置の構成を示す図である。
（実施の形態９）
実施の形態９では、動画符号化装置３９は、実施の形態１から８までの量子化スケール決定方式を全て含み、これらはユーザの指定により任意に適用される。
＜構成＞
図２８は、実施の形態９に係る動画撮像装置の構成を示す図である。
動画撮像装置は、モード切替釦７を備える。これ以外の構成要素については、実施の形態１から８までに説明したものと同様なので説明を省略する。
モード切替釦７は、実施の形態１から８までの量子化スケール決定方式のうちいずれかの指定を受け付ける。当該指定は、制御マイコン４を通じて動画符号化装置３９に通知される。動画符号化装置３９は、指定された量子化スケール決定方式を適用して動画データを符号化する。
モード切替釦７は、実施の形態１から８までの量子化スケール決定方式のうちいずれかの指定を受け付ける。当該指定は、制御マイコン４を通じて動画符号化装置３９に通知される。動画符号化装置３９は、指定された量子化スケール決定方式を適用して動画データを符号化する。
以上、本発明に係る動画撮像装置及び動画符号化装置について、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限られない。例えば、以下のような変形例が考えられる。
（１）実施の形態では、Qp[n+1]=(Cn*P/dstC)*Qp[n]を実現するために、符号量補正部１２がCnに補正係数Pを乗じて補正をするという立場で説明している。しかしながら、当該数式の解釈はこれに限らない。例えば、符号量の補正はせずに、フレームｎがイントラ符号化フレームの場合には目標符号量をP/dstCに補正するという解釈でもよい。この場合、図１の符号量補正部１２が無くなり、量子化スケール決定部が、目標符号量として、イントラ符号化の場合にはP/dstCを選択し、インター符号化の場合には1/dstCを選択する仕様となる。
（２）実施の形態では、補正係数Pを固定値としているが、これに限らない。例えば、数式２８のように、参照するフレームの量子化スケールが小さいほど補正係数Pが大きくなるようにしてもよい。
（１）実施の形態では、Qp[n+1]=(Cn*P/dstC)*Qp[n]を実現するために、符号量補正部１２がCnに補正係数Pを乗じて補正をするという立場で説明している。しかしながら、当該数式の解釈はこれに限らない。例えば、符号量の補正はせずに、フレームｎがイントラ符号化フレームの場合には目標符号量をP/dstCに補正するという解釈でもよい。この場合、図１の符号量補正部１２が無くなり、量子化スケール決定部が、目標符号量として、イントラ符号化の場合にはP/dstCを選択し、インター符号化の場合には1/dstCを選択する仕様となる。
（２）実施の形態では、補正係数Pを固定値としているが、これに限らない。例えば、数式２８のように、参照するフレームの量子化スケールが小さいほど補正係数Pが大きくなるようにしてもよい。
P=1/(Qn-b)+c （数式２８）
ここで、b、cは調整パラメータである。
また、数式２８に近似される直線、定数、または量子化スケール毎に与えられたテーブルを参照して決定してもよい。
（３）実施の形態６では、目標符号量の補正を１フレーム毎に行うが、これに限らず１ブロックライン毎に行ってもよい。
（４）符号化部１１は、MPEGエンコーダとして説明しているが、予測符号化と量子化とを併用して符号化するものであれば、これに限らない。
（５）実施の形態では、フレーム（ｎ＋１）の量子化スケールを演算により導出しているが、本発明は、これに限らない。例えば、フレームｎの予測符号化方式、量子化スケール及び発生符号量の全ての組み合わせに対応付けられた量子化スケールの中からフレーム（ｎ＋１）の量子化スケールを決定してもよい。この場合には、フレーム毎に演算することなく、量子化スケールを導出することができる。
（６）実施の形態では、フレーム（ｎ＋１）の量子化スケールを導出するために、フレームｎの各パラメータ（予測符号化方式、量子化スケール及び発生符号量）が参酌されているが、フレームｎ以前のフレームであれば、これに限らない。例えば、フレーム（ｎ−１）の各パラメータを参酌してもよい。
（７）実施の形態では、量子化スケールを導出するために、１のフレームの各パラメータが参酌されているが、複数のフレームの各パラメータを参酌しても構わない。複数のフレームの各パラメータを参酌すれば、動画符号化装置の処理負荷は増加するが、ハンチング抑制効果はより増大すると考えられる。
ここで、b、cは調整パラメータである。
また、数式２８に近似される直線、定数、または量子化スケール毎に与えられたテーブルを参照して決定してもよい。
（３）実施の形態６では、目標符号量の補正を１フレーム毎に行うが、これに限らず１ブロックライン毎に行ってもよい。
（４）符号化部１１は、MPEGエンコーダとして説明しているが、予測符号化と量子化とを併用して符号化するものであれば、これに限らない。
（５）実施の形態では、フレーム（ｎ＋１）の量子化スケールを演算により導出しているが、本発明は、これに限らない。例えば、フレームｎの予測符号化方式、量子化スケール及び発生符号量の全ての組み合わせに対応付けられた量子化スケールの中からフレーム（ｎ＋１）の量子化スケールを決定してもよい。この場合には、フレーム毎に演算することなく、量子化スケールを導出することができる。
（６）実施の形態では、フレーム（ｎ＋１）の量子化スケールを導出するために、フレームｎの各パラメータ（予測符号化方式、量子化スケール及び発生符号量）が参酌されているが、フレームｎ以前のフレームであれば、これに限らない。例えば、フレーム（ｎ−１）の各パラメータを参酌してもよい。
（７）実施の形態では、量子化スケールを導出するために、１のフレームの各パラメータが参酌されているが、複数のフレームの各パラメータを参酌しても構わない。複数のフレームの各パラメータを参酌すれば、動画符号化装置の処理負荷は増加するが、ハンチング抑制効果はより増大すると考えられる。
本発明は、デジタルビデオカメラのような動画撮像装置に利用することができる。
１ 撮影レンズ
２ 撮像素子
４ 制御マイコン
５ プログラム記憶メモリ
６ 動画ストリーム記憶メモリ
７ モード切替釦
１１ 符号化部
１２ 符号量補正部
１３ 量子化スケール決定部
１４ 累積差分符号量算出部
１５ 目標符号量補正部
１６ 容量測定部
１７ バッファ
１８ 転送部
１９ テーブル記憶部
３１乃至３９ 動画符号化装置
１２１ 符号量測定部
１２２ フレーム符号量記憶メモリ
１２３ ブロックライン符号量記憶メモリ
１４１ 符号量測定部
１５１ 判定部
２ 撮像素子
４ 制御マイコン
５ プログラム記憶メモリ
６ 動画ストリーム記憶メモリ
７ モード切替釦
１１ 符号化部
１２ 符号量補正部
１３ 量子化スケール決定部
１４ 累積差分符号量算出部
１５ 目標符号量補正部
１６ 容量測定部
１７ バッファ
１８ 転送部
１９ テーブル記憶部
３１乃至３９ 動画符号化装置
１２１ 符号量測定部
１２２ フレーム符号量記憶メモリ
１２３ ブロックライン符号量記憶メモリ
１４１ 符号量測定部
１５１ 判定部
Claims (13)
- 動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化手段と、
前記符号化手段が第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、
前記符号化手段が第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出手段と
を備えることを特徴とする動画符号化装置。 - 前記第１の補正係数は、１であり、
前記第２の補正係数は、１／５乃至１／３の範囲内で予め定められた固定値であること
を特徴とする請求項１に記載の動画符号化装置。 - 前記動画符号化装置は、さらに、
第１のフレーム以前の各フレームで発生した発生符号量の累積量と当該各フレームに定められた目標符号量の累積量との差分を取得する差分取得手段を備え、
前記導出手段における第１の方式及び第２の方式は、前記差分が前記第１のフレームの発生符号量に対して大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすること
を特徴とする請求項１に記載の動画符号化装置。 - 前記導出手段における第１の方式及び第２の方式は、さらに、前記発生符号量の累積量が前記目標符号量の累積量を超過していなければ、前記差分に関わらず、前記第１のフレームの発生符号量が大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすること
を特徴とする請求項３に記載の動画符号化装置。 - 前記動画符号化装置は、さらに、
前記符号化手段により符号化された動画データを記憶するバッファを備え、
前記導出手段における第１の方式及び第２の方式は、さらに、前記バッファの空き容量が所定量より大きければ、前記差分に関わらず、前記第１のフレームの発生符号量が大きいほど、第２のフレームの量子化に用いる量子化スケールを大きくすること
を特徴とする請求項３に記載の動画符号化装置。 - 前記導出手段は、さらに、
前記符号化手段がフレームをイントラ符号化しようとする場合には、当該フレームの量子化に用いる量子化スケールを、予め定められた固定値とすること
を特徴とする請求項１に記載の動画符号化装置。 - 前記導出手段は、さらに、
前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出すること
を特徴とする請求項１に記載の動画符号化装置。 - 前記動画符号化装置は、さらに、
前記符号化手段により符号化された動画データを記憶するバッファを備え、
前記導出手段は、さらに、
前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合において、
前記バッファの空き容量が所定量より大きければ、第２のフレームの量子化に用いる量子化スケールを、予め定められた固定値とし、
前記バッファの空き容量が所定量以下であれば、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも大きな第３の補正係数を乗算して得られた補正符号量を用いて導出する第３の方式により導出すること
を特徴とする請求項１に記載の動画符号化装置。 - 前記導出手段は、さらに、
前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、第１のフレームの発生符号量に関わらず、第１のフレームの量子化に用いられた量子化スケールに予め定められた係数を乗算することにより第２のフレームの量子化に用いる量子化スケールを導出すること
を特徴とする請求項１に記載の動画符号化装置。 - 前記係数は、５／４乃至４／３であること
を特徴とする請求項９に記載の動画符号化装置。 - 前記動画符号化装置は、さらに、
第１のフレームの量子化スケールと第２のフレームの量子化スケールとが対応付けられたテーブルを記憶している記憶手段を備え、
前記導出手段は、さらに、前記符号化手段が第１のフレームを符号化した後に第２のフレームをイントラ符号化しようとする場合には、前記テーブルを参照することにより、第１のフレームの量子化に用いた量子化スケールから第２のフレームの量子化に用いる量子化スケールを導出すること
を特徴とする請求項９に記載の動画符号化装置。 - 被写体を撮像して動画データを生成する撮像素子と、
前記撮像素子が生成した動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化手段と、
前記符号化手段が第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、
前記符号化手段が第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出手段と
を備えることを特徴とする動画撮像装置。 - 動画データのフレーム毎に、量子化を伴うインター符号化及び量子化を伴うイントラ符号化を選択的に施す符号化ステップと、
前記符号化ステップが第１のフレームをインター符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に第１の補正係数を乗算して得られた補正符号量を用いて導出する第１の方式により導出し、
前記符号化ステップが第１のフレームをイントラ符号化した後に第２のフレームをインター符号化しようとする場合には、第２のフレームの量子化に用いる量子化スケールを、第１のフレームの発生符号量に前記第１の補正係数よりも小さな第２の補正係数を乗算して得られた補正符号量を用いて導出する第２の方式により導出する導出ステップと
を備えることを特徴とする動画符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005255228A JP4800712B2 (ja) | 2004-09-10 | 2005-09-02 | 動画符号化装置、動画符号化方法及び動画撮像装置 |
| EP20050255416 EP1635580A2 (en) | 2004-09-10 | 2005-09-05 | Moving picture coding apparatus and moving picture coding method |
| US11/222,222 US7570823B2 (en) | 2004-09-10 | 2005-09-09 | Moving picture coding apparatus, moving picture coding method, and moving picture imaging apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264418 | 2004-09-10 | ||
| JP2004264418 | 2004-09-10 | ||
| JP2005255228A JP4800712B2 (ja) | 2004-09-10 | 2005-09-02 | 動画符号化装置、動画符号化方法及び動画撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006109420A JP2006109420A (ja) | 2006-04-20 |
| JP4800712B2 true JP4800712B2 (ja) | 2011-10-26 |
Family
ID=35468903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005255228A Expired - Fee Related JP4800712B2 (ja) | 2004-09-10 | 2005-09-02 | 動画符号化装置、動画符号化方法及び動画撮像装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7570823B2 (ja) |
| EP (1) | EP1635580A2 (ja) |
| JP (1) | JP4800712B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009152895A (ja) * | 2007-12-20 | 2009-07-09 | Panasonic Corp | 符号量制御方法および装置、符号量制御プログラム、カメラシステム |
| US8325801B2 (en) * | 2008-08-15 | 2012-12-04 | Mediatek Inc. | Adaptive restoration for video coding |
| KR20110027238A (ko) * | 2009-09-10 | 2011-03-16 | 삼성전자주식회사 | 휴대용 단말기의 영상 데이터 처리 장치 및 방법 |
| JP5342391B2 (ja) * | 2009-09-25 | 2013-11-13 | 株式会社メガチップス | 画像処理装置 |
| JP5421727B2 (ja) * | 2009-10-20 | 2014-02-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP5641755B2 (ja) | 2010-03-25 | 2014-12-17 | キヤノン株式会社 | 符号化装置、符号化装置の制御方法、プログラム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4000000A (en) * | 1972-09-05 | 1976-12-28 | Mendenhall Robert Lamar | Process for recycling asphalt-aggregate compositions |
| US5000000A (en) * | 1988-08-31 | 1991-03-19 | University Of Florida | Ethanol production by Escherichia coli strains co-expressing Zymomonas PDC and ADH genes |
| JP3128336B2 (ja) * | 1992-07-21 | 2001-01-29 | 株式会社日立製作所 | 動画像符号化装置 |
| JPH06213660A (ja) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 像の近似直線の検出方法 |
| US5884323A (en) * | 1995-10-13 | 1999-03-16 | 3Com Corporation | Extendible method and apparatus for synchronizing files on two different computer systems |
| US5963673A (en) * | 1995-12-20 | 1999-10-05 | Sanyo Electric Co., Ltd. | Method and apparatus for adaptively selecting a coding mode for video encoding |
| US5727159A (en) * | 1996-04-10 | 1998-03-10 | Kikinis; Dan | System in which a Proxy-Server translates information received from the Internet into a form/format readily usable by low power portable computers |
| CN1155259C (zh) * | 1996-11-26 | 2004-06-23 | 松下电器产业株式会社 | 运动图象可变比特率编码装置和编码方法 |
| WO1998037701A1 (en) * | 1997-02-12 | 1998-08-27 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
| US6011868A (en) * | 1997-04-04 | 2000-01-04 | Hewlett-Packard Company | Bitstream quality analyzer |
| JPH10336649A (ja) * | 1997-05-30 | 1998-12-18 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法および装置 |
| JPH1141610A (ja) * | 1997-07-24 | 1999-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 可変速度符号化制御方法及び装置 |
| US6037987A (en) * | 1997-12-31 | 2000-03-14 | Sarnoff Corporation | Apparatus and method for selecting a rate and distortion based coding mode for a coding system |
| JP3907875B2 (ja) * | 1998-10-23 | 2007-04-18 | パイオニア株式会社 | 符号化レート制御装置及び情報符号化装置 |
| US6661840B1 (en) * | 1999-04-23 | 2003-12-09 | Sony Corporation | Image encoder and method of the same |
| JP2001222487A (ja) * | 2000-02-09 | 2001-08-17 | Nec Corp | データ変換システム及びデータ変換方法 |
| US7010581B2 (en) * | 2001-09-24 | 2006-03-07 | International Business Machines Corporation | Method and system for providing browser functions on a web page for client-specific accessibility |
| US20030110234A1 (en) * | 2001-11-08 | 2003-06-12 | Lightsurf Technologies, Inc. | System and methodology for delivering media to multiple disparate client devices based on their capabilities |
| JP2003186794A (ja) * | 2001-12-13 | 2003-07-04 | Fujitsu Ltd | 情報提供プログラム，情報提供プログラムを記録したコンピュータ読取可能な記録媒体及び情報提供装置 |
-
2005
- 2005-09-02 JP JP2005255228A patent/JP4800712B2/ja not_active Expired - Fee Related
- 2005-09-05 EP EP20050255416 patent/EP1635580A2/en not_active Withdrawn
- 2005-09-09 US US11/222,222 patent/US7570823B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20060062479A1 (en) | 2006-03-23 |
| JP2006109420A (ja) | 2006-04-20 |
| EP1635580A2 (en) | 2006-03-15 |
| US7570823B2 (en) | 2009-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2344566C1 (ru) | Способ кодирования, кодирующее устройство, программа обработки кодирования и регистрирующий носитель, на котором записана программа обработки кодирования | |
| KR100392974B1 (ko) | 비디오인코더및비디오인코딩방법 | |
| US10178406B2 (en) | Control of video encoding based on one or more video capture parameters | |
| JP4800712B2 (ja) | 動画符号化装置、動画符号化方法及び動画撮像装置 | |
| US8731052B2 (en) | Image processing device and image processing method with feedback control | |
| US8040947B2 (en) | Bitrate control device for controlling bitrate of video data | |
| JPH08102938A (ja) | 画像符号化装置 | |
| JP2000197048A (ja) | 符号化レ―ト制御装置及び情報符号化装置 | |
| JP2006295535A (ja) | 動画像符号化装置および方法 | |
| US8081679B2 (en) | Image processing apparatus | |
| WO2010050089A1 (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
| US20090161758A1 (en) | Code amount control method, code amount control device, and camera system | |
| JP5649296B2 (ja) | 画像符号化装置 | |
| JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
| US20140192864A1 (en) | Moving image coding apparatus, code amount control method, and storage medium | |
| US8116577B2 (en) | Encoding method, encoding device, encoding process program, and recording medium on which encoding process program is recorded | |
| JP3480067B2 (ja) | 画像符号化装置及び方法 | |
| JP2005295215A (ja) | 動画像符号化装置 | |
| US7801214B2 (en) | Method and apparatus for controlling encoding rate and quantization scales | |
| JP4725217B2 (ja) | 撮像装置 | |
| JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
| JP3984665B2 (ja) | 画像信号の符号化圧縮装置および方法 | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4142497B2 (ja) | 動画像符号化におけるフレーム内レート制御方法，フレーム内レート制御装置，動画像符号化装置およびフレーム内レート制御プログラム | |
| JP4834535B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110804 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |