JP5486670B2 - Video encoding apparatus and control method thereof - Google Patents
Video encoding apparatus and control method thereof Download PDFInfo
- Publication number
- JP5486670B2 JP5486670B2 JP2012278589A JP2012278589A JP5486670B2 JP 5486670 B2 JP5486670 B2 JP 5486670B2 JP 2012278589 A JP2012278589 A JP 2012278589A JP 2012278589 A JP2012278589 A JP 2012278589A JP 5486670 B2 JP5486670 B2 JP 5486670B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- encoded
- unit
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は動画像符号化装置及びその制御方法に関し、特に、効率良く符号化を行うための動画像符号化装置及びその制御方法に関する。 The present invention relates to a moving picture coding apparatus and a control method thereof, and more particularly, to a moving picture coding apparatus and a control method thereof for performing efficient coding.
近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率に符号化し、小型の記録媒体へ記録したり通信媒体による伝送を行ったりすることが可能になっている。このような技術を応用して、テレビ放送やビデオカメラで撮影した動画像をストリームに変換できる動画像符号化装置の開発が行われている。 Recent advances in digital signal processing technology enable high-efficiency encoding of large amounts of digital information, such as moving images, still images, and audio, so that they can be recorded on a small recording medium or transmitted via a communication medium. It has become. By applying such technology, a moving image encoding apparatus capable of converting a moving image taken by a television broadcast or a video camera into a stream has been developed.
動画像の符号化方式としては、MPEG2方式やH.264(別名AVC)方式がよく知られている。特に、H.264方式では、任意のピクチャを参照可能とするピクチャ間符号化を採用したことにより、MPEG2方式よりも高能率に動画像の圧縮符号化を行うことができるように改良されている。 As a moving image encoding method, MPEG2 method or H.264 is used. The H.264 (aka AVC) system is well known. In particular, H.C. The H.264 system is improved so that moving picture compression coding can be performed more efficiently than the MPEG2 system by adopting inter-picture coding that enables reference to any picture.
ところが、H.264方式では、任意のピクチャを参照可能とするものの、中には明らかに参照に不向きなピクチャも存在し得る。そのようなピクチャを参照の対象から除外することができれば、符号化効率がより向上するともいえる。そこで、例えば、特許文献1には、フラッシュ撮影されたピクチャについては参照しないようにする技術が開示されている。 However, H.C. In the H.264 system, an arbitrary picture can be referred to, but some pictures are clearly unsuitable for reference. If such a picture can be excluded from the reference target, it can be said that the encoding efficiency is further improved. Thus, for example, Patent Document 1 discloses a technique for avoiding reference to a picture taken with a flash.
一方、H.264方式では、符号化の打ち切り処理が行われることがある。以下、符号化の打ち切り処理について具体的に説明する。 On the other hand, H. In the H.264 system, encoding truncation processing may be performed. The encoding truncation process will be specifically described below.
図4は、符号化ストリームが格納されているデコーダバッファの状態を示す図である。符号化ストリームの復号を行う際に、デコーダバッファには、時刻が進むとともに所定レートで符号化ストリームが入力される。一方、復号を行う時刻毎に、復号化するピクチャの符号量分のデータがデコーダバッファから取り除かれる。そこで、デコーダバッファがオーバーフローしないようにするとともに、アンダーフローしないようにするためには、取り除かれるデータ量を適切に制御しなければならない。そのためには、ピクチャの符号量を適切に制御する必要がある。例えば、図4において、時刻Tで復号を行うピクチャの符号量分のデータは符号量Sを超えないようにする必要がある。 FIG. 4 is a diagram illustrating a state of the decoder buffer in which the encoded stream is stored. When the encoded stream is decoded, the encoded stream is input to the decoder buffer at a predetermined rate as time advances. On the other hand, data corresponding to the code amount of the picture to be decoded is removed from the decoder buffer at every decoding time. Therefore, in order to prevent the decoder buffer from overflowing and to prevent underflow, the amount of data to be removed must be appropriately controlled. For this purpose, it is necessary to appropriately control the code amount of the picture. For example, in FIG. 4, it is necessary that data for the code amount of a picture to be decoded at time T does not exceed the code amount S.
このようにピクチャの符号量を適切に制御する手段として、DVDプレイヤー用などで市販される映像ソフトの製作においては、ピクチャの符号化を何度か繰り返す複数パス方式による符号化が用いられている。しかしながら、ビデオカメラでの録画などリアルタイムに符号化する必要がある装置の多くは、1度の符号化しか行うことができず、1パス方式による符号化が一般的に用いられている。そのため、ピクチャの発生符号量が想定より多い場合には、ピクチャの途中で圧縮率を高くして、符号量を所定量内に抑える必要がある。具体的には、映像の高周波成分を極端に削減し、符号の発生量を極端に減少させる。この処理を、本明細書では符号化の打ち切り処理と呼ぶ。 As a means for appropriately controlling the code amount of a picture in this way, in the production of video software that is commercially available for a DVD player or the like, a multi-pass encoding that repeats the encoding of a picture several times is used. . However, many apparatuses that require encoding in real time, such as recording with a video camera, can only perform one-time encoding, and one-pass encoding is generally used. Therefore, when the generated code amount of a picture is larger than expected, it is necessary to increase the compression rate in the middle of the picture and suppress the code amount within a predetermined amount. Specifically, the high-frequency component of the video is extremely reduced, and the amount of generated codes is extremely reduced. This process is referred to as an encoding abort process in this specification.
図3は、ピクチャの途中で打ち切り処理が発生した場合の画面の一例を示す図である。図3は、ピクチャの左上から順番に符号化が実行され、画面の中ほどで打ち切り処理が発生した場合の、復号化結果の例を示している。画面上部301は映像が適切に復号されているのに対し、画面下部302では、ブロック状の映像に復号される。
FIG. 3 is a diagram illustrating an example of a screen when an abort process occurs in the middle of a picture. FIG. 3 shows an example of a decoding result when encoding is executed in order from the upper left of the picture and the truncation process occurs in the middle of the screen. In the
このように打ち切り処理されたピクチャを参照ピクチャとして用いてピクチャ間予測符号化を行うと、ブロック状の映像部分は符号化対象のピクチャの対応部分と相関性が非常に低いので、符号化効率が大きく低下し、発生符号量が増加するという問題点があった。 When inter-picture predictive coding is performed using a picture that has been subjected to the truncation process as a reference picture, the block-like video portion has a very low correlation with the corresponding portion of the picture to be coded. There has been a problem that the amount of generated codes increases greatly.
本発明は前述の問題点に鑑み、打ち切り処理が発生しうる符号化方式を用いて動画像を符号化する場合の符号化効率を向上させる動画像符号化装置及びその制御方法を提供することを1つの目的とする。 In view of the above-described problems, the present invention provides a moving picture coding apparatus and a control method thereof that improve coding efficiency when a moving picture is coded using a coding scheme that can cause truncation processing. One purpose.
また、上述の目的は、動画像を構成する各ピクチャについて、符号化時のピクチャタイプを設定する設定手段と、設定手段により設定されたピクチャタイプに従って、動画像を構成する各ピクチャをピクチャ内符号化方式及びピクチャ間予測符号化方式のいずれかにより圧縮符号化する符号化手段と、符号化手段によって符号化されている第1のピクチャの発生符号量の積算値が所定の値を超える場合に、当該第1のピクチャの途中から符号化圧縮率を高くして、当該第1のピクチャのその後の発生符号量を減少させるよう符号化手段に指示する指示手段と、指示手段の指示に応じて、第1のピクチャより後に符号化され、かつピクチャ間予測符号化方式を用いて第1のピクチャを参照して符号化される関係にある第2のピクチャについて、ピクチャ内符号化方式を用いて符号化するように、設定手段により設定されるピクチャタイプを変更する変更手段とを有することを特徴とする動画像符号化装置によっても達成される。 Further, the above object is for each picture constituting the moving image, and setting means for setting a picture type in encoding, in accordance with the picture type set by the setting means, Picture in each picture constituting a moving picture When the integrated value of the generated code amount of the first picture encoded by the encoding means and the encoding means that compresses and encodes by either the encoding method or the inter-picture predictive encoding method exceeds a predetermined value In addition, an instruction means for instructing the encoding means to increase the encoding compression rate from the middle of the first picture and to reduce the subsequent generated code amount of the first picture, and according to the instruction of the instruction means A second picture that is encoded after the first picture and is encoded with reference to the first picture using an inter-picture predictive encoding scheme, As encoded using puncturing the coding scheme also achieved by the video encoding apparatus; and a changing means for changing the picture type set by the setting means.
このような構成により、本発明によれば、打ち切り処理が発生しうる符号化方式を用いて動画像を符号化する場合の符号化効率を向上させることができる。 With such a configuration, according to the present invention, it is possible to improve the encoding efficiency when a moving image is encoded using an encoding method that can cause a truncation process.
(第1の実施形態)
以下、本発明の実施形態について、図面を参照しながら説明する。
図6は、本発明の背景技術となる動画像符号化装置の機能構成例を示すブロック図である。
図6において、900は入力部であり、901はピクチャ内符号化部である。また、902はピクチャ間予測符号化部であり、903はピクチャタイプ設定部である。さらに、904はセレクタであり、905は発生符号量算出部である。また、906はストリーム出力部であり、907は打ち切り制御部である。908は局所復号化部である。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 6 is a block diagram showing an example of a functional configuration of a moving picture coding apparatus as a background art of the present invention.
In FIG. 6, 900 is an input unit, and 901 is an intra-picture encoding unit.
入力部900に入力された映像信号(動画像データ)は、ピクチャ内符号化部901またはピクチャ間予測符号化部902にそれぞれ供給される。ピクチャ内符号化部901は、映像を構成するピクチャの空間的な相関性を用いて、他のピクチャを参照せずに1枚ずつ独立して符号化を行う。ISO/IEC13818−2に基づく規格や、ITU−T H.264に基づく規格では、このような符号化方式で符号化される画像をIピクチャ(ピクチャ内符号化ピクチャあるいはIスライスとも称す)と定義している。
The video signal (moving image data) input to the
一方、ピクチャ間予測符号化部902は、表示時刻の異なるピクチャ間の類似性、すなわち時間的な相関性を用いて符号化を行う。前述した規格では、このような符号化方式で符号化される画像をPピクチャ(ピクチャ間順方向予測符号化ピクチャあるいはPスライスとも称す)、またはBピクチャ(ピクチャ間双方向予測符号化ピクチャあるいはBスライスとも称す)と定義している。また、ピクチャ間予測符号化を行う際に、符号化対象のピクチャに対し、参照の対象となるピクチャを参照ピクチャと称す。参照ピクチャは、入力画像そのものではなく、既に符号化が行われた符号化済ピクチャを、局所復号化部908にて局所的に復号化した復号画像である。この参照ピクチャを用いることによって、劣化誤差の伝播を防いでいる。
On the other hand, the inter-picture
ピクチャタイプ設定部903は、上述したI、P、またはBで示されるピクチャのタイプをセレクタ904に指示する。セレクタ904は、指示されたピクチャタイプがピクチャ内符号化方式で行われるピクチャのタイプ(I)の場合は、ピクチャ内符号化部901を選択し、ピクチャ内符号化部901で符号化された符号化データを発生符号量算出部905へ供給する。一方、指示されたピクチャタイプがピクチャ間予測符号化方式で行われるピクチャのタイプ(PまたはB)の場合は、ピクチャ間予測符号化部902を選択し、ピクチャ間予測符号化部902で符号化された符号化データを発生符号量算出部905へ供給する。
The picture
発生符号量算出部905は、セレクタ904から供給される符号化データをストリーム出力部906に出力するとともに、符号化データの量(発生符号量)の積算値を算出する。そして、積算値が予め定めている値を超える場合は、打ち切り制御部907は、発生符号量算出部905で算出した積算値を受け取り、ピクチャ内符号化部901またはピクチャ間予測符号化部902へ打ち切り指示信号を送信する。
The generated code
図1は、本発明の実施形態に係る動画像符号化装置の機能構成例を示すブロック図である。
動画像符号化装置10は、入力部100と、ピクチャ内符号化部101と、ピクチャ間予測符号化部102と、ピクチャタイプ設定部103と、セレクタ104とを有している。なお、ピクチャ内符号化部101、ピクチャ間予測符号化部102、及びセレクタ104を符号化部20と総称する。また、動画像符号化装置10は、発生符号量算出部105と、ストリーム出力部106と、打ち切り制御部107と、局所復号化部108とを有している。本実施形態では、動画像符号化装置10はさらに、ピクチャ制御部110と、ピクチャタイプ再設定部111と、バッファ部112と、参照ピクチャ設定部113とを有している。また、動画像符号化装置10の各構成は、図示しないマイクロコンピュータ(マイコン)によって制御される。
FIG. 1 is a block diagram illustrating an example of a functional configuration of a video encoding device according to an embodiment of the present invention.
The moving
入力部100に入力された映像信号(動画像データ)は、ピクチャ内符号化部101及びピクチャ間予測符号化部102にそれぞれ供給される。ピクチャ内符号化部101は、動画像を構成するピクチャの空間的な相関性を用いて、1枚ずつ独立して符号化を行う。ISO/IEC13818−2に基づく規格や、ITU−T H.264に基づく規格では、このような符号化方式で符号化される画像をIピクチャ(ピクチャ内符号化ピクチャあるいはIスライスとも称す)と定義している。
The video signal (moving image data) input to the
一方、ピクチャ間予測符号化部102は、表示時刻の異なるピクチャ間の類似性、すなわち時間的な相関性を用いて予測符号化を行う。前述した規格では、このような符号化方式で符号化される画像をPピクチャ(ピクチャ間順方向予測符号化ピクチャあるいはPスライスとも称す)、またはBピクチャ(ピクチャ間双方向予測符号化ピクチャあるいはBスライスとも称す)と定義している。また、ピクチャ間予測符号化を行う際に、符号化対象のピクチャに対し、参照の対象となるピクチャを参照ピクチャと称す。参照ピクチャは、入力画像そのものではなく、既に符号化が行われた符号化済ピクチャを、局所復号化部108にて局所的に復号化した復号画像である。なお、参照ピクチャのデータは、ピクチャ間予測符号化部102内に具備するフレームメモリ内に複数枚分保持される。この参照ピクチャをピクチャ間予測符号化で用いることによって、劣化誤差の伝播を防いでいる。
On the other hand, the inter-picture
ピクチャタイプ設定部103は、上述のI、P、またはBで示されるピクチャのタイプをセレクタ104に指示する。セレクタ104は、指示されたピクチャタイプがピクチャ内符号化方式で行われるピクチャのタイプ(I)の場合は、ピクチャ内符号化部101を選択し、ピクチャ内符号化部101で符号化された符号化データを発生符号量算出部105へ供給する。一方、指示されたピクチャタイプがピクチャ間予測符号化方式で行われるピクチャのタイプ(PまたはB)の場合は、ピクチャ間予測符号化部102を選択し、ピクチャ間予測符号化部102で符号化された符号化データを発生符号量算出部105へ供給する。
The picture
発生符号量算出部105は、セレクタ104から供給される符号化データをバッファ部112に出力するとともに、符号化データの量(発生符号量)の積算値を算出する。そして、積算値が予め定めている値を超える場合は、打ち切り制御部107は、発生符号量算出部105で算出した積算値を受け取り、ピクチャ内符号化部101またはピクチャ間予測符号化部102へ打ち切り指示信号を送信する。さらに、打ち切り制御部107は、ピクチャ制御部110へも打ち切り指示信号を送信する。打ち切り指示信号は、符号化の打ち切りが生じたこと、及び、何番目のピクチャに符号化の打ち切りが発生したか等を示す情報である。
The generated code
図5A及び図5Bは、本実施形態において、符号化の打ち切り処理とそれに伴う符号化制御処理に係る手順の一例を示すフローチャートである。具体的には、Iピクチャ、またはPピクチャの符号化が途中で打ち切られたときに、符号化が打ち切られたピクチャより後に符号化される他のピクチャが、符号化が打ち切られたI又はPピクチャを参照しないように、前記他のピクチャの符号化を制御するものである。 FIG. 5A and FIG. 5B are flowcharts illustrating an example of a procedure related to an encoding abort process and an encoding control process associated therewith in the present embodiment. Specifically, when the encoding of the I picture or the P picture is interrupted in the middle, another picture encoded after the picture for which the encoding has been interrupted is the I or P for which the encoding has been terminated. The encoding of the other picture is controlled so as not to refer to the picture.
まず、ステップS501において、発生符号量算出部105は、セレクタ104から供給される符号化データを、バッファ部112を経由してストリーム出力部106に出力するとともに、符号化データの量(発生符号量)の積算値を算出する。次に、ステップS502において、発生符号量算出部105は、算出した積算値と予め定めている値とを比較して、IピクチャまたはPピクチャの途中で符号化の打ち切り処理を行うか否かを決定する。具体的には、積算量が予め定めている値を超える場合、打ち切り処理を行うと決定する。この判断の結果、打ち切り処理を行わないと決定された場合には、打ち切り制御部107は、ピクチャ内符号化部101またはピクチャ間予測符号化部102、及びピクチャ制御部110へ打ち切り指示信号を送信しない。
First, in step S501, the generated code
一方、ステップS502の判断の結果、打ち切り処理を行うと決定された場合には、ステップS503に進む。そして、ステップS503において、打ち切り制御部107は、発生符号量算出部105から積算値を受け取り、ピクチャ内符号化部101またはピクチャ間予測符号化部102へ打ち切り指示信号を送信する。さらに、ピクチャ制御部110にも打ち切り指示信号を送信する。打ち切り指示信号を受け取ったピクチャ制御部110は、ピクチャタイプ設定部103へ制御信号を送り、符号化を打ち切られたピクチャを参照しないように、後続のピクチャのピクチャタイプを強制的に変更する。あるいは、参照ピクチャ設定部113及びピクチャタイプ再設定部111へ制御信号を送り、バッファ部112に保存されている、以前に符号化済みのピクチャを参照ピクチャするよう強制的に変更する。このような、ステップS503における符号化の打ち切りに伴うピクチャ制御について、図5Bのフローチャートと,ピクチャの参照・被参照関係の例を示す図2を用いて以下さらに説明する.
On the other hand, if it is determined in step S502 that the abort process is to be performed, the process proceeds to step S503. In step S503, the
図2A〜図2Dは、ピクチャの参照・被参照関係の一例を示す図である。なお、図2Aは、打ち切り処理が発生していない場合のピクチャの参照・被参照関係を示し、図2B〜図2Dは、打ち切り処理が発生した場合のピクチャの参照・被参照関係を示す。 2A to 2D are diagrams illustrating an example of a reference / reference relationship between pictures. 2A shows a reference / referenced relationship between pictures when no truncation processing occurs, and FIGS. 2B to 2D show a reference / referenced relationship between pictures when truncation processing occurs.
図2Aに示すようなピクチャの並びにおいて、打ち切り処理が発生しない場合は、第2のピクチャ202や第3のピクチャ203は、第1のピクチャ201を参照する。ところが、第1のピクチャ201で打ち切り処理が発生し、第2のピクチャ202や第3のピクチャ203が、大きく劣化した第1のピクチャ201を参照すると、時間的な相関が低くなり、符号化の効率が低下してしまう。このように,打ち切り処理が発生したピクチャを参照するピクチャがあるか否かステップS511で判定し,そのようなピクチャが存在する場合,ステップS512,S514及びS516の条件に従ってピクチャ制御処理を行う.
In the arrangement of pictures as shown in FIG. 2A, when the truncation process does not occur, the
ステップS511において、ピクチャ制御部110は、符号化対象のピクチャが符号化を打ち切られたピクチャを参照するかどうかを判別する。この判別は、符号化対象のピクチャに設定すべきピクチャタイプと、発生符号量算出部105が打ち切り処理の実行を決定した際に受け取った積算値に基づいて記憶した、符号化が打ち切られたピクチャの情報に基づいて行うことができる。
In step S511, the
そして、符号化対象ピクチャが符号化を打ち切られたピクチャを参照する場合、
(1)参照ピクチャを変更する
(2)符号化対象ピクチャのピクチャタイプを変更する
のいずれかにより、符号化対象ピクチャが符号化を打ち切られたピクチャを参照しないように制御する。
Then, when the encoding target picture refers to a picture whose encoding has been terminated,
(1) The reference picture is changed (2) The picture type of the encoding target picture is changed, so that the encoding target picture is controlled so as not to refer to the picture whose encoding has been terminated.
図2Aに示す例の場合、ピクチャ制御部110は、S511で、第2のピクチャ202が、打ち切り処理の発生した第1のピクチャ201を参照することを検出する。
そして、ピクチャ制御部110は、S512で、第2のピクチャ202が参照可能な他のピクチャがあるか判別する。
In the case of the example illustrated in FIG. 2A, in step S511, the
In step S512, the
図2Bの例は、ピクチャ制御部110が第1のピクチャの代わりに、第1のピクチャと同じピクチャタイプ(P)で、第1のピクチャより時間的に前の第4のピクチャ204を参照可能であると判別した場合を示している。
この場合、ステップS513で、ピクチャ制御部110は、第2のピクチャ202が第4のピクチャ204を参照するよう、参照ピクチャ設定部113へ制御信号を送る。これに従い,参照ピクチャ設定部113は、第2のピクチャ202に対する参照ピクチャを第1のピクチャ201から第4のピクチャ204へ変更する。この変更は、参照ピクチャIDの変更により行うことができる。ピクチャ間予測符号化部102は、局所復号化部108から第4のピクチャ204の復号化結果を取得して、第2のピクチャ202を符号化する。
In the example of FIG. 2B, the
In this case, in step S513, the
ステップS512で、他に参照可能なピクチャがないと判別された場合、S514で、ピクチャ制御部110は、符号化対象ピクチャのピクチャタイプをピクチャ内符号化するIピクチャに変更可能か判別する。
If it is determined in step S512 that there is no other picture that can be referred to, in S514, the
変更可能であれば、S515でピクチャ制御部110はピクチャタイプ設定部103へ制御信号を送り、ピクチャタイプをIピクチャに強制的に変更する。例えば、図2Aの例では、第3のピクチャ203(Pピクチャ)は、S512で他に参照可能なピクチャがないと判別される。また、第3のピクチャ203は、Iピクチャに変更可能である。そのため、図2Cに示すように,第3のピクチャ203のピクチャタイプをピクチャ内符号化方式によるピクチャ(Iピクチャ)に強制的に変更する。すなわち、第3のピクチャ203の符号化は、ピクチャ内符号化部101による符号化が行われる。
If it can be changed, the
他に参照可能なピクチャがなく、ピクチャタイプも変更できない場合、ピクチャ制御部110は、ステップS516で、バッファ部112に保存されている符号化済みピクチャで、符号化が打ち切られていないものを探索する。この際、符号化対象ピクチャと時間的に近いピクチャを探索することは言うまでもない。そして、探索で得られたピクチャのうち、参照されていないピクチャ(非参照ピクチャ)であって、参照ピクチャに変更できるピクチャがあるか判別する。
If there is no other picture that can be referred to and the picture type cannot be changed, the
ここでは、便宜上、図2Aの例において、第2のピクチャ202が、他に参照可能なピクチャがなく、ピクチャタイプも変更できないピクチャであるとする。そして、直前のBピクチャである第5のピクチャ205が、非参照ピクチャかつ参照ピクチャへ変更可能であるとする。
Here, for convenience, in the example of FIG. 2A, it is assumed that the
この場合、ピクチャ制御部110は、ステップS517で、ピクチャタイプ再設定部111へ制御信号を送り、先行するピクチャのピクチャタイプを強制的に変更する。図2Dに示す例では、第5のピクチャ205は参照ピクチャとして用いられず、Bピクチャとして符号化されていた。ところが、第1のピクチャ201に対して打ち切り処理がされたため、バッファ部112に保存されている符号化ストリーム中のピクチャタイプを示すコードを変更し、参照ピクチャとして変更する。その結果、第2のピクチャ202は、第1のピクチャ201の代わりに第5のピクチャ205を参照することができる。このように、第1のピクチャ201を本来参照するはずであったBピクチャが符号化を行う期間においては、打ち切られたピクチャ以外のピクチャを参照する。
In this case, in step S517, the
これにより、打ち切りによる画質低下したピクチャを打ち切りされた第1のピクチャ201のみに抑え、第2のピクチャ202や第3のピクチャ203などの後続ピクチャの符号化では、ピクチャタイプや参照ピクチャを変更する。したがって、時間的な相関性のあるピクチャを参照することができ、符号化効率を向上させることができる。
なお、ステップS512,S514及びS516における判定方法は適宜定めることができる。また、判定及び処理の優先順位は図5Bに示す順序でなくても良い。
As a result, the picture whose image quality has been degraded due to the truncation is limited to only the
Note that the determination method in steps S512, S514, and S516 can be determined as appropriate. Further, the order of priority of determination and processing may not be in the order shown in FIG. 5B.
図5Bのフローチャートのように、本実施形態では、符号化の打ち切りが発生したピクチャを参照するような符号化に際しては、まず、ピクチャ間予測符号化部102内のフレームメモリに、打ち切りが発生していない他の参照ピクチャがあるか否かを判定する。そして、上記他の参照ピクチャが予測に適したものであるならばS513の処理を行う。一方、予測に適した参照ピクチャがフレームメモリ内に無いならば、符号化対象のピクチャをIピクチャに変更可能か否かを判定する。Iピクチャに変更可能ならばS515の処理を行い、Iピクチャへの変更が不可能ならば、バッファ部112内に参照Bピクチャへ再設定可能な符号化済のBピクチャが残っている否かを判定する。参照Bピクチャに変更できるピクチャがあるならばS517の処理を行う。なお、いずれの判定条件も満たさないならば、符号化の打ち切りが発生したピクチャを参照したままで符号化を行うこともありうる。
As shown in the flowchart of FIG. 5B, in the present embodiment, in encoding that refers to a picture that has been subjected to encoding truncation, first, truncation occurs in the frame memory in the inter-picture
なお、上述した判定条件の優先順位は実施形態の一例であり、Group Of Picture(GOP)構成の制限や、符号量の制限などにより、他の優先順位を採用したり、適応的に優先順位を変更するような処理を加えてもよい。 Note that the priority order of the above-described determination conditions is an example of the embodiment, and other priority orders may be adopted or the priority order may be adaptively set due to group of picture (GOP) configuration restrictions or code amount restrictions. You may add the process which changes.
なお、本実施形態では、入力部100から映像信号を入力する動画像符号化装置の例を示したが、被写体を撮影し映像信号に変換する撮像部をさらに有する撮像装置に適用してもよい。
In the present embodiment, an example of a moving image encoding apparatus that inputs a video signal from the
以上のように本実施形態においては、打ち切り処理によって大きく劣化したピクチャを参照ピクチャとして扱わないため、時間的な相関を高く維持することができ、効率良く符号化を行うことができる。 As described above, in the present embodiment, since a picture greatly deteriorated by the truncation process is not treated as a reference picture, the temporal correlation can be maintained high, and encoding can be performed efficiently.
(本発明に係る他の実施形態)
前述した本発明の実施形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the moving picture coding apparatus and each step of the moving picture coding method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図5A及び図5Bに示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 Note that the present invention may supply a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 5A and 5B) for realizing the functions of the above-described embodiments directly or remotely to the system or apparatus. Including. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
10 動画像符号化装置
100 入力部
101 ピクチャ内符号化部
102 ピクチャ間予測符号化部
103 ピクチャタイプ設定部
104 セレクタ
105 発生符号量算出部
106 ストリーム出力部
107 打ち切り制御部
108 局所復号化部
110 ピクチャ制御部
111 ピクチャタイプ再設定部
112 バッファ部
DESCRIPTION OF
Claims (4)
前記設定手段により設定されたピクチャタイプに従って、前記動画像を構成する各ピクチャをピクチャ内符号化方式及びピクチャ間予測符号化方式のいずれかにより圧縮符号化する符号化手段と、
前記符号化手段によって符号化されている第1のピクチャの発生符号量の積算値が所定の値を超える場合に、当該第1のピクチャの途中から符号化圧縮率を高くして、当該第1のピクチャのその後の発生符号量を減少させるよう前記符号化手段に指示する指示手段と、
前記指示手段の指示に応じて、前記第1のピクチャより後に符号化され、かつ前記ピクチャ間予測符号化方式を用いて前記第1のピクチャを参照して符号化される関係にある第2のピクチャについて、前記ピクチャ内符号化方式を用いて符号化するように、前記設定手段により設定されるピクチャタイプを変更する変更手段とを有することを特徴とする動画像符号化装置。 Setting means for setting a picture type at the time of encoding for each picture constituting a moving image;
Encoding means for compressing and encoding each picture constituting the moving picture by either an intra-picture encoding scheme or an inter-picture predictive encoding scheme according to the picture type set by the setting means;
When the integrated value of the generated code amount of the first picture encoded by the encoding means exceeds a predetermined value, the encoding compression rate is increased from the middle of the first picture, and the first picture Instruction means for instructing the encoding means to reduce the subsequent generated code amount of the picture;
In accordance with an instruction from the instruction unit, a second encoded image is encoded after the first picture and is encoded with reference to the first picture using the inter-picture predictive encoding method. A moving image coding apparatus comprising: a changing unit that changes a picture type set by the setting unit so that a picture is encoded using the intra-picture encoding method.
前記設定手段により設定されたピクチャタイプに従って、前記動画像を構成する各ピクチャをピクチャ内符号化方式及びピクチャ間予測符号化方式のいずれかにより圧縮符号化する符号化手段とを有する動画像符号化装置の制御方法であって、
指示手段が、前記符号化手段によって符号化されている第1のピクチャの発生符号量の積算量が所定の値を超える場合に、当該第1のピクチャの途中から符号化圧縮率を高くして、当該第1のピクチャのその後の発生符号量を減少させるよう前記符号化手段に指示する指示ステップと、
変更手段が、前記指示に応じて、前記第1のピクチャより後に符号化され、かつ前記ピクチャ間予測符号化方式を用いて前記第1のピクチャを参照して符号化される関係にある第2のピクチャについて、前記ピクチャ内符号化方式を用いて符号化するように、前記設定手段により設定されるピクチャタイプを変更する変更ステップとを有することを特徴とする動画像符号化装置の制御方法。 Setting means for setting a picture type at the time of encoding for each picture constituting a moving image;
Moving picture coding comprising: coding means for compressing and coding each picture constituting the moving picture by either an intra-picture coding scheme or an inter-picture predictive coding scheme according to a picture type set by the setting means An apparatus control method comprising:
The instruction means increases the coding compression rate from the middle of the first picture when the integrated amount of the generated code quantity of the first picture encoded by the encoding means exceeds a predetermined value. An instruction step for instructing the encoding means to reduce the subsequent generated code amount of the first picture;
The changing means has a relationship of being encoded after the first picture in accordance with the instruction and being encoded with reference to the first picture using the inter-picture predictive encoding scheme. And a changing step of changing a picture type set by the setting means so that the picture is encoded using the intra-picture encoding method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012278589A JP5486670B2 (en) | 2007-07-03 | 2012-12-20 | Video encoding apparatus and control method thereof |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007175228 | 2007-07-03 | ||
JP2007175228 | 2007-07-03 | ||
JP2012278589A JP5486670B2 (en) | 2007-07-03 | 2012-12-20 | Video encoding apparatus and control method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148327A Division JP5173613B2 (en) | 2007-07-03 | 2008-06-05 | Video encoding apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013078139A JP2013078139A (en) | 2013-04-25 |
JP5486670B2 true JP5486670B2 (en) | 2014-05-07 |
Family
ID=40403668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012278589A Expired - Fee Related JP5486670B2 (en) | 2007-07-03 | 2012-12-20 | Video encoding apparatus and control method thereof |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5486670B2 (en) |
DE (1) | DE602008004918D1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5173613B2 (en) * | 2007-07-03 | 2013-04-03 | キヤノン株式会社 | Video encoding apparatus and control method thereof |
-
2008
- 2008-06-23 DE DE200860004918 patent/DE602008004918D1/en active Active
-
2012
- 2012-12-20 JP JP2012278589A patent/JP5486670B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013078139A (en) | 2013-04-25 |
DE602008004918D1 (en) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8718138B2 (en) | Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image | |
US8279298B2 (en) | Imaging apparatus having improved usability when moving images and still images are recorded | |
EP2039167B1 (en) | Video coding apparatus and video coding method | |
JP5173613B2 (en) | Video encoding apparatus and control method thereof | |
JP5294688B2 (en) | Video compression encoding device | |
JP2006340183A (en) | Image coding apparatus and image coding method | |
US8306110B2 (en) | Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy | |
JP5486670B2 (en) | Video encoding apparatus and control method thereof | |
EP2277311B1 (en) | Apparatus and method for recording video data | |
JP5264526B2 (en) | Image transmitting apparatus, image transmitting method and program | |
JP5189618B2 (en) | Video encoding method, video encoding apparatus, and video encoding program | |
CN113784209B (en) | Multimedia data stream processing method and device | |
JP5355234B2 (en) | Encoding apparatus and encoding method | |
JP2009021786A (en) | Image encoding device and method | |
US11197014B2 (en) | Encoding apparatus, decoding apparatus, and image processing system | |
JP4333522B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4590306B2 (en) | Image processing device | |
JP4850683B2 (en) | Video signal processing apparatus, video signal processing method, program, and storage medium | |
JP2010130516A (en) | Device and method for editing image | |
JP2010166518A (en) | Moving image encoding apparatus and moving image encoding method | |
JP2010171656A (en) | Image transmitting apparatus, image transmitting method, and program | |
JP2005136728A (en) | Image coding device, image coding method, program therefor and recording medium | |
JP2008066846A (en) | Information processor and information processing method, recording medium, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20130705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130828 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130917 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131212 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5486670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |