JP6119891B2 - Video coding method - Google Patents
Video coding method Download PDFInfo
- Publication number
- JP6119891B2 JP6119891B2 JP2016034346A JP2016034346A JP6119891B2 JP 6119891 B2 JP6119891 B2 JP 6119891B2 JP 2016034346 A JP2016034346 A JP 2016034346A JP 2016034346 A JP2016034346 A JP 2016034346A JP 6119891 B2 JP6119891 B2 JP 6119891B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- decoding
- moving image
- encoded
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、例えば、符号化された動画像データを復号せずに編集することが可能な動画像符号化装置及び動画像符号化方法、及び、そのような動画像符号化装置にて符号化された動画像データを復号する動画像復号装置及び動画像復号方法に関する。 The present invention relates to, for example, a moving image encoding device and a moving image encoding method capable of editing encoded moving image data without decoding, and encoding with such a moving image encoding device. The present invention relates to a moving image decoding apparatus and a moving image decoding method for decoding the moving image data.
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2(MPEG-2)、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding(MPEG-4 AVC/H.264)が広く利用されている。 The moving image data generally has a very large amount of data. Therefore, a device that handles moving image data compresses the moving image data by encoding it when transmitting the moving image data to another device or when storing the moving image data in the storage device. . As a typical video coding standard, Moving Picture Experts Group phase 2 (MPEG-2), MPEG-4, or H.264 MPEG-4 established by the International Standardization Organization / International Electrotechnical Commission (ISO / IEC) Advanced Video Coding (MPEG-4 AVC / H.264) is widely used.
このような符号化標準では、符号化対象のピクチャと、その前後のピクチャの情報とを用いて、符号化対象のピクチャを符号化するインター符号化方法、及び符号化対象ピクチャが持つ情報のみを用いて符号化するイントラ符号化方法が採用されている。また、インター符号化方法には、イントラ符号化ピクチャ(Iピクチャ)、一般的に過去のピクチャを予測ピクチャとする前方向予測ピクチャ(Pピクチャ)、及び一般的に過去のピクチャ及び未来のピクチャの両方を予測ピクチャとする双方向予測ピクチャ(Bピクチャ)、の3つのピクチャ種別が存在する。 In such an encoding standard, only the information of the encoding target picture and the inter encoding method for encoding the encoding target picture using the encoding target picture and the information of the pictures before and after the encoding target picture are used. An intra-encoding method that uses and encodes is employed. In addition, the inter-coding method includes intra-coded pictures (I pictures), forward-predicted pictures (P pictures) that generally use past pictures as predicted pictures, and generally past pictures and future pictures. There are three types of pictures, bi-predictive pictures (B pictures), both of which are predictive pictures.
一般に、インター符号化方法で符号化されたピクチャもしくはブロックの符号量は、イントラ符号化方法で符号化されたピクチャもしくはブロックの符号量に比べて小さい。このように、選択された符号化モードにより、シーケンス内でピクチャの符号量の偏りが生じる。同様に、選択された符号化モードにより、ピクチャ内でブロックの符号量の偏りが生じる。
そこで、符号量が時間的に変動しても、一定の伝送レートにて符号化された動画像を含むデータストリームを伝送できるように、伝送元の装置にデータストリーム用の送信バッファが用意され、また伝送先の装置にデータストリーム用の受信バッファが用意される。
In general, the code amount of a picture or block encoded by the inter encoding method is smaller than the code amount of a picture or block encoded by the intra encoding method. In this way, the coding amount of the picture is biased in the sequence depending on the selected coding mode. Similarly, the coding amount selected causes a deviation in the code amount of the block in the picture.
Therefore, even if the code amount fluctuates with time, a transmission buffer for the data stream is prepared in the transmission source device so that a data stream including a moving image encoded at a constant transmission rate can be transmitted. In addition, a reception buffer for the data stream is prepared in the transmission destination device.
MPEG-2及びMPEG-4 AVC/H.264では、それぞれVideo Buffering Verifier(VBV)とCoded Picture Buffer(CPB)と呼ばれる、理想的な動画像復号装置における受信バッファの動作が規定されている。なお、便宜上、以下では、理想的な動画像復号装置を単に理想復号装置と称する。理想復号装置は、復号処理に要する時間が0である瞬時復号を行うと規定されている。例えば、特許文献1にVBVに関する動画像符号化装置の制御方法が開示されている。
In MPEG-2 and MPEG-4 AVC / H.264, the operation of a reception buffer in an ideal moving picture decoding apparatus called Video Buffering Verifier (VBV) and Coded Picture Buffer (CPB) is defined. In the following, for convenience, an ideal video decoding device is simply referred to as an ideal decoding device. The ideal decoding device is defined to perform instantaneous decoding in which the time required for the decoding process is zero. For example,
動画像符号化装置は、理想復号装置の受信バッファがオーバーフロー及びアンダーフローしないように、理想復号装置があるピクチャを復号する時刻にそのピクチャのデータが受信バッファに格納されていることを保証するように符号量を制御する。
受信バッファのアンダーフローは、動画像符号化装置が一定の伝送レートで符号化された動画像のデータストリームを送信した場合に、動画像復号装置が復号及び表示するべき時刻までにピクチャを復号するのに必要なデータの伝送が完了しない場合に生じる。すなわち、受信バッファのアンダーフローは、動画像復号装置の受信バッファ内にピクチャを復号するために必要データが存在していないことである。この場合、動画像復号装置は復号処理を行うことが出来ないため、フレームスキップが発生する。
The moving picture coding apparatus ensures that the data of the picture is stored in the reception buffer at the time when the picture is decoded by the ideal decoding apparatus so that the reception buffer of the ideal decoding apparatus does not overflow and underflow. The code amount is controlled.
The underflow of the reception buffer is to decode a picture by a time when the moving image decoding apparatus should decode and display when the moving image encoding apparatus transmits a moving image data stream encoded at a constant transmission rate. This occurs when the transmission of data necessary for data transfer is not completed. That is, the underflow of the reception buffer means that data necessary for decoding a picture does not exist in the reception buffer of the video decoding device. In this case, since the moving picture decoding apparatus cannot perform the decoding process, frame skip occurs.
動画像復号装置は、受信バッファのアンダーフローを起こさずに復号処理できるように、ストリームを受信時刻から所定の時間だけ遅延させてからピクチャを表示する。
上述したように、理想復号装置では、処理時間0で、瞬時的に復号処理が完了すると規定される。そのため、動画像符号化装置へのi番目ピクチャの入力時刻をt(i)、理想復号装置における、i番目ピクチャの復号時刻をtr(i)とすれば、そのピクチャが表示可能となる最も早い時刻は、tr(i)と等しい。全てのピクチャにおいてピクチャの表示期間{t(i+1)-t(i)}と{tr(i+1)-tr(i)}が等しくなるので、復号時刻tr(i)は、入力時刻t(i)から固定時間dly分だけ遅延させた時刻{tr(i)=t(i)+dly}となる。従って、動画像符号化装置は、時刻tr(i)までに復号に必要なデータを動画像復号装置の受信バッファに伝送完了させなければならない。
The moving image decoding apparatus displays the picture after delaying the stream by a predetermined time from the reception time so that the decoding process can be performed without causing an underflow of the reception buffer.
As described above, in the ideal decoding device, it is defined that the decoding process is instantaneously completed at the
図1を参照しつつ、受信バッファの様子を説明する。図1において横軸は時刻を表し、縦軸は受信バッファのバッファ占有量を表す。そして実線のグラフ100は、各時刻におけるバッファ占有量を表す。
受信バッファでは、所定の伝送レートでバッファ占有量が回復し、各ピクチャの復号時刻にそのピクチャを復号するために用いられる分のデータがバッファから取り出される。i番目ピクチャのデータが、時刻at(i)から受信バッファに入力開始され、i番目ピクチャの最後のデータが時刻ft(i)に入力される。理想復号装置は時刻tr(i)でi番目ピクチャの復号を完了し、その時刻tr(i)においてi番目ピクチャが表示可能となる。ただし、Bピクチャが含まれる場合、ピクチャのリオーダ(符号化順序の入れ替え)が発生しているので、i番目ピクチャについての実際の表示時刻はtr(i)より遅くなることもある。
The state of the reception buffer will be described with reference to FIG. In FIG. 1, the horizontal axis represents time, and the vertical axis represents the buffer occupation amount of the reception buffer. A
In the reception buffer, the buffer occupancy is restored at a predetermined transmission rate, and data used for decoding the picture is extracted from the buffer at the decoding time of each picture. The i-th picture data starts to be input to the reception buffer at time at (i), and the last data of the i-th picture is input at time ft (i). The ideal decoding device completes decoding of the i-th picture at time tr (i), and can display the i-th picture at time tr (i). However, when a B picture is included, picture reordering (reordering of coding order) has occurred, so the actual display time for the i-th picture may be later than tr (i).
MPEG-4 AVC/H.264における、各ピクチャの復号時刻、及び表示時刻の記述方法の詳細を以下に説明する。 Details of the decoding time and display time description method for each picture in MPEG-4 AVC / H.264 will be described below.
MPEG-4 AVC/H.264では、画素の復号処理に直接関係しない補足情報は、SEI(Supplemental enhancement information)メッセージで記述される。SEIは、数十種類が規定され、その種別はpayloadTypeパラメータによって識別される。このSEIはピクチャごとに付加される。 In MPEG-4 AVC / H.264, supplementary information that is not directly related to pixel decoding processing is described in an SEI (Supplemental enhancement information) message. Dozens of types of SEI are defined, and the type is identified by the payloadType parameter. This SEI is added for each picture.
再引き込みが可能なピクチャ、すなわち、過去のピクチャがなくても復号可能なピクチャ(一般的にはIピクチャ)には、SEIの一つであるBPSEI(Buffering Period SEI)が付加される。BPSEIには、パラメータInitialCpbRemovalDelayが記述される。パラメータInitialCpbRemovalDelayは、BPSEIが付加されたピクチャの先頭ビットの受信バッファへの到達時刻と、BPSEIが付加されたピクチャの復号時刻との差分値を表す。この差分値の精度は90kHzである。
先頭ピクチャの復号時刻tr(0)は、符号化動画像データの先頭ビットが動画像復号装置に到達した時刻(0とする)、すなわちat(0)からInitialCpbRemovalDelay ÷ 90,000 [sec]だけ遅れた時刻になる。
BPSEI (Buffering Period SEI), which is one of SEI, is added to a picture that can be redrawn, that is, a picture that can be decoded without a past picture (generally an I picture). In BPSEI, a parameter InitialCpbRemovalDelay is described. The parameter InitialCpbRemovalDelay represents a difference value between the arrival time of the first bit of the picture to which the BPSEI is added and the decoding time of the picture to which the BPSEI is added. The accuracy of this difference value is 90 kHz.
The decoding time tr (0) of the first picture is the time when the first bit of the encoded moving image data reaches the moving image decoding device (assumed to be 0), that is, the time delayed by InitialCpbRemovalDelay ÷ 90,000 [sec] from at (0) become.
また、各ピクチャには、一般的に、SEIの一つであるPTSEI(Picture Timing SEI)が付加される。PTSEIには、パラメータCpbRemovalDelay及びDpbOutputDelayが記述される。パラメータCpbRemovalDelayは、直前のBPSEI付加ピクチャの復号時刻とPTSEIが付加されたピクチャの復号時刻との差分値を表す。またパラメータDpbOutputDelayは、PTSEIが付加されたピクチャの復号時刻とそのピクチャの表示時刻との差分値を表す。これら差分値の精度は、1フィールドピクチャ間隔である。したがって、ピクチャがフレームである場合には、パラメータCpbRemovalDelay及びDpbOutputDelayは2の倍数となる。 In addition, generally, PTSEI (Picture Timing SEI), which is one of SEI, is added to each picture. In PTSEI, parameters CpbRemovalDelay and DpbOutputDelay are described. The parameter CpbRemovalDelay represents the difference value between the decoding time of the previous BPSEI-added picture and the decoding time of the picture to which PTSEI is added. The parameter DpbOutputDelay represents a difference value between the decoding time of the picture to which PTSEI is added and the display time of the picture. The accuracy of these difference values is one field picture interval. Therefore, when the picture is a frame, the parameters CpbRemovalDelay and DpbOutputDelay are multiples of 2.
2番目以降のピクチャの復号時刻tr(i)は、先頭ピクチャの復号時刻tr(0)から、tc * CpbRemovalDelay(i) [sec]だけ遅れた時刻になる。CpbRemovalDelay(i)はi番目のピクチャに付加されるCpbRemovalDelayである。tcはピクチャ間の時間間隔[sec]であり、例えば29.97Hzのプログレッシブ画像の場合、tcは1001/60000である。 The decoding time tr (i) of the second and subsequent pictures is delayed by tc * CpbRemovalDelay (i) [sec] from the decoding time tr (0) of the first picture. CpbRemovalDelay (i) is CpbRemovalDelay added to the i-th picture. tc is a time interval [sec] between pictures. For example, in the case of a 29.97 Hz progressive image, tc is 1001/60000.
BPSEIが付加されたピクチャを含む、各ピクチャの表示時刻は、tr(i)からtc * DpbOutputDelay(i)だけ遅れた時刻になる。DpbOutputDelay(i)はi番目のピクチャに付加されるDpbOutputDelayである。すなわち、時刻tr(0)以降は、tcの整数倍の時刻単位で、ピクチャの復号及び表示が行われる。 The display time of each picture including the picture to which BPSEI is added is a time delayed by tc * DpbOutputDelay (i) from tr (i). DpbOutputDelay (i) is a DpbOutputDelay added to the i-th picture. That is, after time tr (0), picture decoding and display are performed in time units that are integral multiples of tc.
動画像データの用途によっては、符号化動画像が編集されることがある。符号化動画像の編集操作は、符号化動画像データを細分化し、それらをつなぎ合わせて別の符号化動画像データを生成するものである。例えば、放送中の符号化動画像の途中に別番組(例えばCM)を挿入する処理(スプライシング)は編集操作の一つである。 Depending on the use of the moving image data, the encoded moving image may be edited. The editing operation of the encoded moving image is to subdivide the encoded moving image data and connect them to generate another encoded moving image data. For example, processing (splicing) for inserting another program (for example, CM) in the middle of an encoded moving image being broadcast is one of editing operations.
フレーム間予測符号化された動画像の編集において、特にインター符号化されたピクチャは、その符号化ピクチャ単独では正常復号できない。そのため、任意のピクチャ位置で二つの符号化動画像データを結合するには、符号化動画像データを編集する装置は、一度結合する二つの符号化動画像データを復号して、復号されたピクチャ単位で結合したのち、その結合された動画像データを再度符号化する。 In editing a motion picture that has been subjected to inter-frame predictive coding, especially an inter-coded picture cannot be normally decoded by the coded picture alone. Therefore, in order to combine two encoded moving image data at an arbitrary picture position, an apparatus for editing the encoded moving image data decodes the two encoded moving image data once combined, After combining in units, the combined moving image data is encoded again.
しかし再符号化処理は煩雑であるため、特にスプライシングといったリアルタイム処理では、結合位置を限定することで、再符号化処理を行わずに符号化動画像データを直接編集することが一般的である。再符号化処理を行わずに符号化動画像データを編集する場合、結合する二つの符号化動画像データのうち、時間的に後ろ側に結合される符号化動画像データの先頭ピクチャはIピクチャとする。また、時間的に後ろ側に結合される符号化動画像データでは、いわゆるクローズドGOP構造、すなわち先頭Iピクチャに続く全てのピクチャが、先頭Iピクチャよりも時間的に過去のピクチャを参照しないように制限される。これにより、編集により所定の結合点にて結合された二つの符号化動画像データのうちの後側の符号化動画像データの先頭Iピクチャ以降の全てのピクチャが正常復号可能となる。 However, since the re-encoding process is complicated, it is common to directly edit the encoded moving image data without performing the re-encoding process by limiting the coupling position particularly in the real-time process such as splicing. When editing the encoded moving image data without performing re-encoding processing, the first picture of the encoded moving image data that is combined backward in time among the two encoded moving image data to be combined is the I picture And In addition, in the encoded video data that is temporally coupled to the back side, the so-called closed GOP structure, that is, all pictures following the top I picture do not refer to past pictures in time than the top I picture. Limited. As a result, all the pictures after the first I picture of the encoded video data on the rear side of the two encoded video data combined at a predetermined connection point by editing can be normally decoded.
なお、クローズドGOP構造は、非クローズドGOP構造に比べ符号化効率が低下するため、非クローズドGOP構造が採用されることもある。この場合、結合点後の先頭Iピクチャの直後のいくつかのピクチャは正常に復号されないが、それらのピクチャは表示時間的に先頭Iピクチャより先に表示されるピクチャであるため、表示できなくてもよい。そこで、動画像復号装置は、一般的に、結合された二つの符号化動画像データのうち、時間的に前側の符号化動画像データの最終ピクチャを表示後、表示をフリーズするなどして正常復号できなかったピクチャの表示をマスキングする。 Note that the closed GOP structure has a lower encoding efficiency than the non-closed GOP structure, and therefore the non-closed GOP structure may be adopted. In this case, some pictures immediately after the first I picture after the connection point are not decoded normally, but since these pictures are displayed before the first I picture in display time, they cannot be displayed. Also good. Therefore, in general, a moving image decoding apparatus normally displays a final picture of temporally preceding encoded moving image data among two combined encoded moving image data and then freezes the display. Mask the display of pictures that could not be decoded.
従来技術では、フレーム間予測符号化された動画像データが再符号化処理されずに編集された場合でも、結合した二つの符号化動画像データの間で齟齬が生じないように、ヘッダ情報も修正される。
例えば、MPEG-4 AVC/H.264において、ピクチャ間の時間的な関係、及び参照ピクチャの特定のために、スライスヘッダにPOC (Picture Order Count)及びFrameNumが付加される。POCは、相対的なピクチャの表示順番を表す。FrameNumは、符号化動画像中に参照ピクチャが出現する度に1だけ増加する値である。結合した二つの符号化動画像データの間でPOC及びFrameNumが連続する必要があるため、結合する二つの符号化動画像データの内、後ろ側の符号化動画像データの全てのPOC及びFrameNumを書き換える必要が生じる。
In the prior art, even when the video data that has been inter-frame predictively encoded is edited without being re-encoded, the header information is also included so that no wrinkles occur between the two encoded video data that have been combined. Will be corrected.
For example, in MPEG-4 AVC / H.264, POC (Picture Order Count) and FrameNum are added to a slice header in order to specify a temporal relationship between pictures and to specify a reference picture. POC represents the display order of relative pictures. FrameNum is a value that increases by 1 each time a reference picture appears in the encoded video. Since the POC and FrameNum need to be continuous between the two encoded video data combined, all the POC and FrameNum of the encoded video data on the back side of the two encoded video data to be combined It is necessary to rewrite.
一方、非特許文献1に開示された方式では、新たな参照ピクチャの特定方法が導入されたため、FrameNumが廃止されている。また結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭ピクチャのPOC値は、前側の符号化動画像データとの連続性を持たなくてもよいため、スライスヘッダの変更は不要になる。非特許文献1に開示された方式では、ピクチャの種別として、MPEG-4 AVC/H.264が規定するIDR (Instantaneous Decoding Refresh)ピクチャに加え、CRA (Clean Random Access)ピクチャ、BLA (Broken Link Access)ピクチャ、TFD (Tagged For Discard)ピクチャが新たに導入されている。
On the other hand, in the method disclosed in
このうち、CRAピクチャ及びBLAピクチャは、共に、再引き込みポイント、すなわち、参照されるピクチャがなく、そのピクチャ以降、正常な復号が可能となるピクチャである。動画像復号装置がCRAピクチャから復号動作を開始した場合、このCRAピクチャの直後に続くTFDピクチャ以外は正常に復号可能である。 Among these, the CRA picture and the BLA picture are both re-draw points, that is, pictures that have no referenced picture and can be normally decoded after that picture. When the moving picture decoding apparatus starts a decoding operation from a CRA picture, it can decode normally except for the TFD picture immediately following the CRA picture.
TFDピクチャは、CRAピクチャまたはBLAピクチャの直後に出現する、CRAピクチャまたはBLAピクチャよりも時間的及び復号順番的に前のピクチャを参照するピクチャである。MPEG-2に準拠する非クローズドGOP構造の場合、GOP先頭のIピクチャの直後の複数のBピクチャがTFDピクチャに相当する。 A TFD picture is a picture that appears immediately after a CRA picture or a BLA picture and refers to a picture preceding the CRA picture or the BLA picture in terms of time and decoding order. In the case of a non-closed GOP structure compliant with MPEG-2, a plurality of B pictures immediately after the I picture at the head of the GOP correspond to TFD pictures.
BLAピクチャは、符号化動画像データの編集操作により発生する。結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭ピクチャは一般にはCRAピクチャであるが、このCRAピクチャが、結合された符号化動画像データの途中に位置する場合には、CRAピクチャからBLAピクチャに種別変更される。非特許文献1に開示された方式では、BLAピクチャが出現する場合、POC値が不連続になることが許容される。また、このBLAピクチャの直後のTFDピクチャは、結合した符号化動画像データでは、参照されるべきピクチャが失われているので、その符号化動画像データのどこから復号しても正常に復号できない。そのため、動画像符号化装置は、結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭BLAピクチャに後続するTFDピクチャを符号化動画像データから削除してもよい。
A BLA picture is generated by an editing operation of encoded moving image data. Of the two encoded moving image data to be combined, the first picture of the encoded image data on the back side is generally a CRA picture, but this CRA picture is located in the middle of the combined encoded moving image data. In this case, the type is changed from the CRA picture to the BLA picture. In the method disclosed in
非特許文献1に開示された方式では、MPEG-4 AVC/H.264と同じく、各符号化ピクチャの復号時刻及び表示時刻は、パラメータInitialCpbRemovalDelay, CpbRemovalDelay, DpbOutputDelayを用いて決定される。二つの符号化動画像データを結合する場合に、結合点にて動画像復号処理及び表示が連続して行われるためには、結合点より後のピクチャのCpbRemovalDelay、DpbOutputDelayを適切な値に修正することが求められる。
In the method disclosed in
具体的には、動画像符号化装置または動画像復号装置は、結合する二つの符号化動画像データのうち、後ろ側の符号化動画像データの先頭CRAピクチャのCpbRemovalDelayを、前側の符号化動画像データにおける最終BPSEI付加ピクチャに後続するピクチャ数に基づいて修正する必要がある。更にCPBバッファの連続性を保証するには、動画像符号化装置または動画像復号装置は、CpbRemovalDelayの値を増加する。また、後ろ側の符号化動画像データからTFDピクチャを除去する場合、動画像符号化装置または動画像復号装置は、除去したTFDピクチャの後に復号するピクチャのCpbRemovalDelay、及び結合点での先頭CRAピクチャのDpbOutputDelayを変更する必要がある。
このように、非特許文献1に開示された方式では、二つの符号化動画像データを結合する編集操作においてPTSEIの内容を変更する必要が依然残っている。
Specifically, the moving image encoding device or the moving image decoding device calculates the CpbRemovalDelay of the first CRA picture of the encoded image data on the rear side of the two encoded moving image data to be combined with the encoded image on the front side. It is necessary to correct based on the number of pictures following the final BPSEI additional picture in the image data. Further, in order to guarantee the continuity of the CPB buffer, the moving image encoding device or moving image decoding device increases the value of CpbRemovalDelay. Also, when removing the TFD picture from the encoded video data on the back side, the video encoding device or video decoding device uses the CpbRemovalDelay of the picture to be decoded after the removed TFD picture, and the leading CRA picture at the connection point Need to change DpbOutputDelay.
As described above, in the method disclosed in
そこで本明細書は、フレーム間予測符号化された二つの動画像データを結合する際に、元の符号化動画像データのヘッダ内パラメータを変更しなくても、連続した復号処理及び表示処理を可能にする動画像符号化装置及び動画像復号装置を提供することを目的とする。 Therefore, in this specification, when two moving image data subjected to interframe prediction encoding are combined, continuous decoding processing and display processing are performed without changing the parameters in the header of the original encoded moving image data. It is an object of the present invention to provide a moving image encoding device and a moving image decoding device that can be made available.
一つの実施形態によれば、フレーム間予測方式によって動画像データを符号化する動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された動画像データのうちの第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求める符号化制御部と、動画像データに含まれる各ピクチャを符号化するとともに、符号化された動画像データに復号遅延補正情報及び表示遅延補正情報を付加するピクチャ符号化部とを有する。 According to one embodiment, a moving image encoding apparatus that encodes moving image data using an inter-frame prediction method is provided. This moving image encoding apparatus encodes a first picture that may be combined after other encoded moving image data out of each picture included in the moving image data more than the first picture. Even when one or more pictures whose order is later are removed, the moving picture decoding apparatus can continuously decode and display pictures after the first picture in the encoded moving picture data. An encoding control unit for obtaining decoding delay correction information and display delay correction information for encoding, and encoding each picture included in the moving image data, and decoding delay correction information and display delay correction information in the encoded moving image data And a picture encoding unit for adding.
他の実施形態によれば、フレーム間予測符号化された動画像データを復号する動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データが、第1の符号化動画像データの後に第2の符号化動画像データが結合されることにより生成されたことを示す情報と、第1の符号化動画像データと第2の符号化動画像データが結合された結合点より後の第2の符号化動画像データの先頭の符号化ピクチャよりも符号化順序が後の1以上の符号化ピクチャが除去されたことを示す情報と、その先頭の符号化ピクチャに後続するピクチャの復号遅延を補正するための復号遅延補正情報と、その先頭の符号化ピクチャの表示遅延を補正するための表示遅延補正情報とを含む場合、その先頭の符号化ピクチャの表示遅延を表示遅延情報に基づいて補正するとともに、その先頭の符号化ピクチャに後続するピクチャの復号遅延を、復号遅延補正情報に基づいて補正するピクチャ復号・表示時刻決定部を有する。 According to another embodiment, there is provided a moving picture decoding apparatus that decodes moving picture data subjected to inter-frame prediction encoding. The moving image decoding apparatus includes information indicating that the encoded moving image data is generated by combining the second encoded moving image data after the first encoded moving image data; One or more encoding sequences after the first encoded picture of the second encoded moving image data after the connection point where the encoded encoded video data and the second encoded moving image data are combined Information indicating that the coded picture has been removed, decoding delay correction information for correcting the decoding delay of the picture following the leading coded picture, and correction of the display delay of the leading coded picture Display delay correction information of the first encoded picture, the display delay of the first encoded picture is corrected based on the display delay information, and the decoding delay of the picture following the first encoded picture is corrected by the decoding delay correction information. Having a picture decoding and display time determination unit that corrects, based.
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.
本明細書に開示された動画像符号化装置及び動画像復号装置は、フレーム間予測符号化された二つの動画像データを結合する際に、元の符号化動画像データのヘッダ内パラメータを変更しなくても、連続した復号処理及び表示処理を可能にする。 The moving image encoding device and the moving image decoding device disclosed in this specification change the parameters in the header of the original encoded moving image data when combining two pieces of moving image data encoded by inter-frame prediction encoding. Even if not, continuous decoding processing and display processing are enabled.
以下、図を参照しつつ、様々な実施形態による、動画像符号化装置及び動画像復号装置について説明する。この動画像符号化装置は、二つの符号化動画像データを、復号せずに結合する際に、結合点以降のピクチャについての復号時刻及び表示時刻を表すパラメータを修正するために利用される値を算出し、その値を結合点以降のピクチャのヘッダ情報に付加する。これにより、この動画像符号化装置は、二つの符号化動画像データを結合する場合でも、元の符号化動画像データのヘッダ内パラメータの書き換えを不要とする。 Hereinafter, a video encoding device and a video decoding device according to various embodiments will be described with reference to the drawings. This moving image encoding apparatus uses values used for correcting parameters representing decoding time and display time for pictures after the combining point when combining two encoded moving image data without decoding. And the value is added to the header information of the pictures after the coupling point. As a result, the moving image encoding apparatus does not require rewriting of the parameters in the header of the original encoded moving image data even when two encoded moving image data are combined.
本実施形態では、ピクチャは、フレームである。ただし、ピクチャはフレームに限られず、フィールドであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。また、符号化された動画像は、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。 In the present embodiment, the picture is a frame. However, the picture is not limited to a frame and may be a field. The frame is one still image in the moving image data, while the field is a still image obtained by extracting only odd-numbered data or even-numbered data from the frame. The encoded moving image may be a color moving image or a monochrome moving image.
図2を参照しつつ、最初に、第1の実施形態における、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayの値について、一つのピクチャ符号化構造を例として説明する。
図2において、ピクチャ符号化構造の一例であるピクチャ符号化構造201は、複数のピクチャを含む。ピクチャ符号化構造201内の一つのブロックが一つのピクチャを表す。各ピクチャに相当するブロックの内部に示された二つの文字のうち、左側の一文字のアルファベットは、そのピクチャに対して適用される符号化モードを表す。I, P, Bはそれぞれ、Iピクチャ、Pピクチャ、Bピクチャを意味する。また、ブロックの内部に示された二つの文字のうちの右側の数字は、動画像符号化装置へ入力される順番である。なお、入力順番は、動画像復号装置から出力される順番と一致する。ピクチャ符号化構造201の上側に示された矢印は、前方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャP4は、ピクチャP4よりも前に位置するピクチャI0を参照する。同様に、ピクチャ符号化構造201の下側に示された矢印は、後方向フレーム予測において符号化されるピクチャが参照する参照ピクチャを表す。例えば、ピクチャB2は、ピクチャB2よりも後に位置するピクチャP4を参照する。
With reference to FIG. 2, first, the picture decoding delay CpbRemovalDelay and the display delay DpbOutputDelay in the first embodiment will be described by taking one picture coding structure as an example.
In FIG. 2, a
ピクチャ符号化構造201の下側には、動画像復号装置における、ピクチャ符号化構造201に含まれる各ピクチャの復号順序202が示される。復号順序202に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、ピクチャ符号化構造201と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。なお、この復号順序202は、動画像符号化装置による符号化の順序と一致する。
復号順序202において、下側に"BPSEI"という文字が書かれたピクチャには、BPSEIが付加される。この例では、全てのIピクチャにBPSEIが付加される。すなわち、全てのIピクチャに、Iピクチャの先頭ビットの受信バッファへの到達時刻と、Iピクチャの復号時刻との差分値を表すパラメータInitialCpbRemovalDelayが記述される。
Below the
In the
復号順序202の下側に示されたブロック列203は、各ピクチャに付加されるPTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayの値を表す。ブロック列203のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序202のピクチャのCpbRemovalDelayの値が示される。一方、ブロック列203のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する復号順序202のピクチャのDpbOutputDelayの値が示される。CpbRemovalDelayは、BPSEIが付加されたピクチャのうち、符号化順で直前のピクチャからの符号化の順番に相当する。例えば、ピクチャP8は、ピクチャI0から符号化順で5番目である。そして本実施形態では、各ピクチャはフレームであり、ピクチャ間の時間間隔tcがフィールド単位の値であるので、ピクチャP8のCpbRemovalDelayは10(=5*2)となる。
A
一方、DpbOutputDelayは、動画像復号装置において、各ピクチャを連続して正しい順番で出力するための、表示遅延である。例えばピクチャP4は、DpbOutputDelayが10になっている。これは動画像符号化装置において、入力順番と符号化順番との差が最も大きいピクチャB1を正しく表示するために必要な遅延である。すなわち、ピクチャB1は、ピクチャP4の復号時刻から2ピクチャ時間後に復号されるため、ピクチャP4の表示時刻は、ピクチャB1が表示可能となる最も早い時刻、すなわちピクチャB1の復号時刻から、更に3ピクチャ時間後に表示するようにしなければならない。ピクチャP4の復号時刻と表示時刻との差は5ピクチャ時間になり、DpbOutputDelayは、tcがフィールド単位であることから10となる。 On the other hand, DpbOutputDelay is a display delay for continuously outputting each picture in the correct order in the video decoding device. For example, DpbOutputDelay is 10 for picture P4. This is a delay necessary for correctly displaying the picture B1 having the largest difference between the input order and the encoding order in the moving picture encoding apparatus. That is, since the picture B1 is decoded two picture times after the decoding time of the picture P4, the display time of the picture P4 is three pictures from the earliest time when the picture B1 can be displayed, that is, the decoding time of the picture B1. It should be displayed after hours. The difference between the decoding time and the display time of the picture P4 is 5 picture times, and DpbOutputDelay is 10 because tc is a field unit.
次に、図3を参照しつつ、二つの符号化動画像データを結合した場合に、その二つの符号化動画像データの結合点前後で復号遅延及び表示遅延に矛盾が無いようにするために、結合点より後ろ側の符号化動画像データのピクチャでの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayのとるべき値について説明する。 Next, referring to FIG. 3, when two encoded moving image data are combined, in order to ensure that there is no contradiction in decoding delay and display delay before and after the combination point of the two encoded moving image data. Next, the values to be taken for the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay in the picture of the encoded video data behind the coupling point will be described.
結合点よりも前側に結合される第1の動画像符号化データ301に示された各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、図2と同様に、符号化モード及び動画像符号化装置への入力の順番を表す。この例では、第1の動画像符号化データ301の符号化構造は、図2に示された符号化構造201と同一である。
Each block shown in the first moving image encoded
この例では、第1の動画像符号化データの最後のピクチャB15の直後に、第2の動画像符号化データ302を結合する。第2の動画像符号化データ302についても、各ブロックは、それぞれ、一つのピクチャを表し、かつ、各ブロック内の文字は、符号化モード及び動画像符号化装置への入力の順番を表す。第2の動画像符号化データ302の符号化構造も、図2に示された符号化構造201と同一である。この例では、第2の動画像符号化データ302のうち、ピクチャI72以降のピクチャが、第1の動画像符号化データのピクチャB15の後に結合される。
In this example, the second moving image encoded
第2の動画像符号化データ302の下側に示されたブロック列303は、第2の動画像符号化データ302の各ピクチャに付加されるPTSEIに含まれる復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を表す。ブロック列303のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する第2の動画像符号化データ302のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列303のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する第2の動画像符号化データ302のピクチャの表示遅延DpbOutputDelayの値が示される。
The
ブロック列303の下側には、第1の動画像符号化データ301と第2の動画像符号化データ302とが結合された結合動画像符号化データ304が示されている。この例では、結合動画像符号化データ304において、第2の動画像符号化データ302のうちのピクチャB67及び符号化順序でピクチャB67よりも前の符号化ピクチャは含まれない。また、ピクチャB70, B69, B71はいずれも、符号化順序でピクチャI72よりも前の符号化ピクチャであるピクチャI68を参照する。そのため、ピクチャI72で結合されると、ピクチャB70, B69, B71は正常再生できなくなる。よって、ピクチャB70, B69, B71は結合時に除去される。ただし、これらのピクチャB70, B69, B71は、除去されずに、結合動画像符号化データ内に残されてもよい。
Below the
ブロック列305は、結合動画像符号化データ304における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列305のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ304のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列305のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ304のピクチャの表示遅延DpbOutputDelayの値が示される。ピクチャI72の復号遅延CpbRemovalDelayは、結合後に、直前のBPSEIを持つピクチャであるピクチャI12との符号化ピクチャ間隔に合わせる必要があり、この例では、ピクチャI72は、符号化順序に従うとピクチャI12から8番目であるので、復号遅延CpbRemovalDelayは16となる。またピクチャI72の表示遅延DpbOutputDelayも、ピクチャI72よりも後に復号されるピクチャB73を正しく表示するために修正される必要がある。ピクチャI72の表示遅延DpbOutputDelayの値は、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後の表示遅延DpbOutputDelayの値は、ピクチャB69を符号化するよりも前に符号化した、動画像符号化装置への入力順番的には後のピクチャの数に相当する。この例ではピクチャI72とピクチャB70の二つが該当するので、ピクチャI72の表示遅延DpbOutputDelayの値は4となる。
The
さらに、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayは、ピクチャB70, B69, B71を除去する前と除去した後とで異なる。ピクチャB70, B69, B71を除去した後のピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、除去する前の復号遅延CpbRemovalDelayの値から、除去したピクチャ数に相当する値を引いたものとなる。この例では、ピクチャP76, B74, B73, B75の復号遅延CpbRemovalDelayの値は、それぞれ、元の復号遅延CpbRemovalDelayの値から6を引いた、2, 4, 6, 8となるる。なお、ピクチャP76, B74, B73, B75については、表示遅延DpbOutputDelayの値は不変である。また、結合後の最初のCRAとなるピクチャよりも入力順序で後になるピクチャについては、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの何れも修正する必要はない。 Furthermore, the decoding delays CpbRemovalDelay of the pictures P76, B74, B73, and B75 are different before and after the pictures B70, B69, and B71 are removed. The values of the decoding delays CpbRemovalDelay of the pictures P76, B74, B73, and B75 after removing the pictures B70, B69, and B71 are subtracted from the values of the decoding delays CpbRemovalDelay before the removal, respectively. It will be. In this example, the values of the decoding delays CpbRemovalDelay of the pictures P76, B74, B73, and B75 are 2, 4, 6, and 8, respectively, obtained by subtracting 6 from the original decoding delay CpbRemovalDelay value. Note that the value of the display delay DpbOutputDelay is unchanged for the pictures P76, B74, B73, and B75. In addition, for a picture that is later in the input order than the picture that is the first CRA after combining, neither the decoding delay CpbRemovalDelay nor the display delay DpbOutputDelay needs to be corrected.
上記のように、二つの符号化動画像データを結合することにより、その結合点よりも後の符号化動画像データに含まれる幾つかのピクチャについては、復号の際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを修正する必要がある。そこで、本実施形態では、動画像符号化装置が、結合前の元の動画像符号化データに含まれるピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を修正しなくても、動画像復号装置が、結合動画像符号化データを復号する際に、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータが、動画像符号化データのヘッダに追加される。 As described above, by combining the two encoded moving image data, for some pictures included in the encoded moving image data after the connection point, the decoding delay CpbRemovalDelay and the display are displayed at the time of decoding. The delay DpbOutputDelay needs to be corrected. Therefore, in the present embodiment, the moving picture decoding apparatus does not need to modify the values of the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay of the pictures included in the original moving picture encoded data before combining. When decoding the combined moving image encoded data, parameters that can be used to rewrite the values of the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay to appropriate values are added to the header of the moving image encoded data.
図4を参照しつつ、第1の実施形態における、復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値を適切な値に書き換えるために利用可能なパラメータを含む、符号化動画像データの構造を説明する。
図4に示されるように、一つのピクチャのデータ構造400は、6種類のNetwork Abstraction Layer(NAL) unit410〜415を含む。これらのNAL unit410〜415は、いずれも、非特許文献1の方式及び、MPEG-4 AVC/H.264のNAL unitに準拠する。各NAL unitにはヘッダNUH420が付加される。ヘッダNUH420は、各NAL unitのタイプを表すNalUnitTypeフィールドを含む。NalUnitTypeが'4'の場合は、そのヘッダが付されたピクチャは、そのピクチャよりも時間的及び復号順番的に前のピクチャを参照するTFDピクチャが直後に出現する、再引き込み可能なCRAピクチャであることを表す。NalUnitTypeが'5'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないCRAピクチャであることを表す。NalUnitTypeが'6'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現する、結合点直後の再引き込み可能なBLAピクチャであることを表す。そしてNalUnitTypeが'7'の場合は、そのヘッダが付されたピクチャは、TFDピクチャが直後に出現しないBLAピクチャであることを表す。なお、各ピクチャのNalUnitTypeの値は、上記の値以外に設定されてもよい。
With reference to FIG. 4, the structure of encoded moving image data including parameters that can be used to rewrite the values of the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay to appropriate values in the first embodiment will be described.
As shown in FIG. 4, the
以下、各NAL unitについて説明する。
NAL unit410は、デリミタ(DELIM)NAL unitであり、ピクチャの境界であることを示す。
NAL unit411は、シーケンスパラメータセット(SPS)NAL unitであり、SPS NAL unit411には、符号化動画像のシーケンス全体に渡って共通なパラメータが記述される。SPS NAL unit 411は、再引き込みが可能なピクチャに付加される。
NAL unit412は、ピクチャパラメータセット(PPS)NAL unitであり、PPS NAL unit412には、複数の符号化ピクチャで共通なパラメータが記述される。PPS NAL unit412は、再引き込みが可能なピクチャに付加されるほか、他のピクチャにも付加されることがある。
NAL unit413は、BPSEI NAL unitであり、BPSEI NAL unit413は再引き込みが可能なピクチャにのみ付加される。本実施形態では、このBPSEI NAL unit413に、動画像復号装置にて結合点以降のピクチャの復号遅延と表示遅延とを修正するために利用されるパラメータが追加される。
NAL unit414は、PTSEI NAL unitであり、PTSEI NAL unit414は各ピクチャに付加される。
NAL unit415は、スライス(SLICE)NAL unitであり、符号化されたピクチャの実体である。
Hereinafter, each NAL unit will be described.
The
The
The
The
The
The
本実施形態による、BPSEI NAL unit413は、(N+1)個(ただし、Nは0以上の整数)のInitialCpbRemovalDelayフィールドとInitialCpbRemovalDelayOffsetフィールドの組と、それらの組に後続するRapCpbParamsPresentFlagフィールドを含む。RapCpbParamsPresentFlagが'1'の場合には、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayフィールド432も、BPSEI NAL unit413に含まれる。一方、RapCpbParamsPresentFlagが'0'の場合には、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延補正情報AltDpbOutputDelayフィールド432は含まれない。なお、復号遅延補正情報AltCpbRemovalDelayOffsetフィールド431及び表示遅延補正情報AltDpbOutputDelayフィールド432の利用方法及び決定方法については後述する。
The
また、InitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドが複数存在するのは、符号化ビットストリームを(N+1)の種類のビットレートで伝送した場合に適したInitialCpbRemovalDelay及びInitialCpbRemovalDelayOffsetを記述するためである。なおInitialCpbRemovalDelayOffsetは、動画像符号化装置における最初のピクチャの符号化完了時刻と、動画像復号装置に対して符号化ピクチャデータの伝送を開始する時刻との差分を表す。 The plurality of InitialCpbRemovalDelay fields and InitialCpbRemovalDelayOffset fields exist in order to describe InitialCpbRemovalDelay and InitialCpbRemovalDelayOffset that are suitable when the encoded bitstream is transmitted at (N + 1) types of bit rates. Note that InitialCpbRemovalDelayOffset represents the difference between the encoding completion time of the first picture in the video encoding device and the time when transmission of encoded picture data to the video decoding device is started.
PTSEI NAL unit414は、復号遅延CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。これらのフィールドの定義は非特許文献1の方式及び、MPEG-4 AVC/H.264と同等であってもよい。
The
図5は、第1の実施形態による、動画像符号化装置の概略構成図である。動画像符号化装置1は、制御部11と、符号化制御部12と、ピクチャ符号化部13と、結合点識別情報処理部14と、データ結合部15とを有する。動画像符号化装置1が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置1に実装される。あるいは、動画像符号化装置1が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像符号化装置1に実装されてもよい。あるいはまた、動画像符号化装置1が有するこれらの各部は、動画像符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
FIG. 5 is a schematic configuration diagram of a moving image encoding apparatus according to the first embodiment. The moving
制御部11は、動画像データを符号化する際、または符号化動画像データの編集操作を実行する際、動画像符号化装置1の各部の処理を制御する。例えば、制御部11は、要求される符号化動画像データの再生画質、圧縮率などに基づいて、符号化しようとする動画像データに対して適用するGOP構造などを決定する。そして制御部11は、GOP構造などを符号化制御部12へ通知する。
The
まず、動画像データを符号化する動画像符号化処理について説明する。動画像符号化処理では、符号化制御部12及びピクチャ符号化部13が用いられる。
符号化制御部12は、制御部11から通知されたGOP構造に応じて、各ピクチャの符号化順番、符号化モード(例えば、イントラ符号化モード、前方向予測モード、及び双方向予測モードのうちの何れか)などを決定する。そして符号化制御部12は、各ピクチャの符号化モード、GOP構造中の位置等に応じて、CRAピクチャの挿入間隔、符号化時のリオーダリングピクチャ数、及び最大表示遅延を決定する。図2に示された例では、CRAピクチャの挿入間隔は12、リオーダリングピクチャ数は2、最大表示遅延は5である。さらに符号化制御部12は、これらの値に応じて、各ピクチャのヘッダ情報を生成する。
First, a moving image encoding process for encoding moving image data will be described. In the moving image encoding process, the
According to the GOP structure notified from the
例えば、ピクチャの種別がIピクチャ(CRAピクチャ)、すなわち、他のピクチャを参照せずに符号化されるピクチャで、そのピクチャが符号化動画像データの先頭ピクチャでない場合には、符号化制御部12は、リオーダリングピクチャ数が1以上の場合、ピクチャ内の各スライスのNUH720のNalUnitTypeを、TFDピクチャが直後に出現することを表す'4'に設定する。一方、リオーダリングピクチャ数が0の場合、符号化制御部12は、そのピクチャ内の各スライスのNUH720のNalUnitTypeを、TFDピクチャが直後に出現しないことを表す'5'に設定する。符号化動画像データの先頭ピクチャ内の各スライスのNUH720のNalUnitTypeは、8(IDRピクチャ)に設定される。またリオーダリングピクチャ数が1以上の場合、CRAピクチャの直後の、CRAピクチャよりも復号順番及び表示順番が早いピクチャを参照する非参照ピクチャについて、符号化制御部12は、NalUnitTypeを'2'(TFDピクチャ)とする。それ以外のピクチャについては、符号化制御部12は、NalUnitTypeを'1'とする。
For example, when the picture type is an I picture (CRA picture), that is, a picture that is coded without referring to another picture, and the picture is not the first picture of the coded moving image data, the
符号化制御部12は、ピクチャ符号化部13に対し、符号化するピクチャ内の各スライスヘッダのNUH720のNalUnitTypeを通知する。また、符号化制御部12は、各ピクチャのPTSEI内の復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、図2のように、ピクチャの予測構造から求め、通知する。
The
さらに、ピクチャ内の各スライスのNUH720のNalUnitTypeが'8'、'4'もしくは'5'の場合、符号化制御部12は、そのピクチャにBPSEIを付加する。そして符号化制御部12は、NalUnitTypeが'8'もしくは'5'の場合には、RapCpbParamsPresentFlagを'0'に設定する。一方、NalUnitTypeが'4'の場合には、符号化制御部12は、RapCpbParamsPresentFlagを'1'とする。
Further, when the NalUnitType of NUH 720 of each slice in the picture is “8”, “4”, or “5”, the
さらに、符号化制御部12は、表示遅延の修正に利用されるパラメータ表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍、すなわち、CRAピクチャよりも符号化順序が後で、再生順序が最も早いピクチャの表示時刻からそのCRAピクチャの表示時刻までのピクチャ数の2倍に設定する。そして符号化制御部12は、復号遅延の修正に利用されるパラメータ復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する。
Further, the
符号化制御部12は、ピクチャごとに、ピクチャ符号化部13に、その符号化モード及びヘッダ情報を通知するとともに、ピクチャの符号化を指示する。
For each picture, the
ピクチャ符号化部13は、符号化制御部12からの指示に従い、フレーム間予測符号化が可能な動画像符号化方式の何れかに準拠して、該当ピクチャを指定された符号化モードで符号化する。ピクチャ符号化部13が準拠する動画像符号化方式は、例えば、MPEG-4 AVC/H.264またはMPEG-2とすることができる。そしてピクチャ符号化部13は、符号化された各ピクチャを含む、符号化動画像データを記憶部(図示せず)に記憶する。
In accordance with an instruction from the
次に、二つの符号化動画像データを結合する際の編集処理について説明する。結合点識別情報処理部14及びデータ結合部15は、この編集処理において用いられる。
Next, editing processing when two encoded moving image data are combined will be described. The coupling point identification
結合点識別情報処理部14は、例えば、図示しないユーザインターフェース部を介して選択された二つの符号化動画像データを記憶部(図示せず)から読み出す。そして結合点識別情報処理部14は、図示しない外部からの制御信号に従い、その二つの符号化動画像データのうち、時間的に後側に結合される第2の符号化動画像データ内の結合点先頭ピクチャを特定する。外部からの制御信号は、例えば、第2の符号化動画像データ内の、先頭からの符号化ピクチャ数であり、結合点識別情報処理部14は、例えば、この符号化ピクチャ数以前で最も遅いCRAピクチャを結合点とする。
The coupling point identification
結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'4'の場合、結合点識別情報処理部14は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部14は、データ結合部15に対し、第2の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力するとともに、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出す。
When the NalUnitType of the slice of the connection point is “4” for the CRA picture at the connection point, the connection point identification
一方、結合点のCRAピクチャについて、そのピクチャのスライスのNalUnitTypeが'5'の場合には、結合点識別情報処理部14は、そのNalUnitTypeの値を、直後にTFDピクチャが出現しないBLAピクチャであることを表す'7'に書き換える。また結合点識別情報処理部14は、データ結合部15に対し、第2の符号化動画像データ内の結合点のCRAピクチャ以降の全ピクチャを出力する。ただし、この場合には、結合点識別情報処理部14は、結合点CRAピクチャの直後のTFDピクチャを除去する指示を出さない。
On the other hand, when the NalUnitType of the slice of the connection point is “5” for the CRA picture at the connection point, the connection point identification
データ結合部15は、結合点よりも時間的に前に結合される第1の符号化動画像データの後に、結合点識別情報処理部14から出力された第2の符号化動画像データを結合する。この時、データ結合部15は、第2の符号化動画像データ中の、先頭ピクチャの直後の、正常再生が不可能なTFDピクチャを除去する。そしてデータ結合部15は、第1の符号化動画像データと第2の符号化動画像データを結合することにより得られた結合符号化動画像データを記憶部(図示せず)に記憶する。
The
図6は、第1の実施例による動画像符号化装置により実行される動画像符号化処理の動作フローチャートである。なお、図6に示される動作フローチャートにしたがって、動画像符号化装置1は、符号化対象の動画像シーケンス全体を符号化する。
シーケンス全体の符号化処理開始に先立ち、例えば、制御部11によって、GOP構造など、ピクチャ予測構造が決定される(ステップS101)。そしてそのピクチャ予測構造が符号化制御部12へ通知される。
FIG. 6 is an operation flowchart of a video encoding process executed by the video encoding apparatus according to the first embodiment. In addition, according to the operation | movement flowchart shown by FIG. 6, the moving
Prior to starting the encoding process for the entire sequence, for example, the
符号化制御部12は、通知されたピクチャ予測構造及び、動画像データの先頭からの符号化対象ピクチャの位置などに基づいて符号化対象ピクチャに適用される符号化モードを決定し、かつ、その符号化対象ピクチャのヘッダ情報を生成する(ステップS102)。
次に、符号化制御部12は、符号化対象ピクチャのスライスのNUHのNalUnitTypeが'4'か'5'または'8'か、これらの何れでもないか判定する(ステップS103)。NalUnitTypeが'4'である場合、この符号化対象ピクチャは、TFDピクチャに先行するCRAである。すなわち、この符号化対象ピクチャ及び後続するピクチャは、この符号化対象ピクチャを先頭として他の符号化動画像データの後に結合されると、動画像復号処理の実行時に復号遅延及び表示遅延が修正される必要がある。そこで符号化制御部12は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'1'に設定する(ステップS104)。そして符号化制御部12は、表示遅延の修正に利用される表示遅延補正情報AltDpbOutputDelayをリオーダリングピクチャ数の2倍に設定する。そして符号化制御部12は、復号遅延の修正に利用される復号遅延補正情報AltCpbRemovalDelayOffsetを、CRAピクチャの直後に続くTFDピクチャの数の2倍に設定する(ステップS105)。
The
Next, the
一方、NalUnitTypeが'5'または'8'である場合、この符号化対象ピクチャにはBPSEIが付されるものの、この符号化対象ピクチャは、TFDピクチャに先行しない。そこで符号化制御部12は、この符号化対象ピクチャに付されるBPSEIのRapCpbParamsPresentFlagを'0'に設定する(ステップS106)。さらに、NalUnitTypeが'4'、'5'及び'8'の何れでもない場合、この符号化対象ピクチャにはBPSEIが付されない。そのため、符号化制御部12は、RapCpbParamsPresentFlagを設定しない。
On the other hand, when NalUnitType is '5' or '8', this encoding target picture is attached with BPSEI, but this encoding target picture does not precede the TFD picture. Therefore, the
ステップS105またはS106の後、あるいは、ステップS103にてNalUnitTypeが'4'及び'5'の何れでもない場合、符号化制御部12は、符号化対象ピクチャのデータ、そのピクチャの符号化モード及びヘッダ情報を符号化部13へ通知する。そして符号化部13は、通知された符号化モード及びヘッダ情報に従って、符号化対象ピクチャを符号化し、その符号化されたピクチャのデータにヘッダ情報を付加する(ステップS107)。
After step S105 or S106, or when NalUnitType is neither “4” nor “5” in step S103, the
その後、制御部11は、動画像シーケンス内に未符号化ピクチャがあるか否か判定する(ステップS108)。未符号化ピクチャがある場合(ステップS108−Yes)、制御部11は、次の未符号化ピクチャを符号化対象ピクチャとして、ステップS102以降の処理を実行する。
一方、未符号化ピクチャがない場合(ステップS108−No)、制御部11は、符号化処理を終了する。
Thereafter, the
On the other hand, when there is no uncoded picture (step S108-No), the
図7は、第1の実施例による動画像符号化装置により実行される動画像編集処理の動作フローチャートである。
結合点識別情報処理部14は、結合点よりも前に結合される第1の符号化動画像データのうち、結合点までの符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS201)。
また結合点識別情報処理部14は、結合点よりも後に結合される第2の符号化動画像データのうち、結合点以降の符号化ピクチャを順次記憶部(図示せず)から読み出す(ステップS202)。次に、結合点識別情報処理部14は、第2の符号化動画像データのうち、読み出された先頭CRAピクチャに対し、各スライスのNUHのNalUnitTypeの値を、BLAピクチャであることを表す値に書き換え、その先頭CRAピクチャをデータ結合部15へ出力する(ステップS203)。また、結合点識別情報処理部14は、書き換える前のNalUnitTypeが'4'か否か、すなわち、TFDピクチャが有るか否か判定する(ステップS204)。書き換える前のNalUnitTypeが'4'の場合(ステップS204−Yes)、その先頭CRAピクチャ(結合後はBLAピクチャ)に後続するTFDピクチャが存在する。そこで結合点識別情報処理部14は、TFD削除フラグを'1'にする(ステップS205)。一方、書き換える前のNalUnitTypeが'4'でない場合(ステップS204−No)、その先頭CRAピクチャに後続するTFDピクチャは存在しない。そこで結合点識別情報処理部14は、TFD削除フラグを'0'にする(ステップS206)。
ステップS205またはS206の後、結合点識別情報処理部14は、第2の符号化動画像データの先頭CRAピクチャ以降の全ピクチャをデータ結合部15へ出力する。そしてデータ結合部15は、その先頭CRAピクチャをBLAピクチャとして、第1の符号化動画像データの結合点の後に結合する(ステップS207)。
FIG. 7 is an operation flowchart of a moving image editing process executed by the moving image encoding apparatus according to the first embodiment.
The joining point identification
In addition, the coupling point identification
After step S205 or S206, the joining point identification
その後、データ結合部15は、第2の符号化動画像データのうち、既に第1の符号化動画像データに結合されたピクチャまたは削除されたピクチャの次のピクチャを着目ピクチャとする。そしてデータ結合部15は、着目ピクチャの各スライスのNUHのNalUnitTypeが'2'であり(すなわち、そのピクチャはTFDピクチャであり)、かつTFD削除フラグが'1'であるか否か判定する(ステップS208)。
After that, the
NalUnitTypeが'2'であり、かつTFD削除フラグが'1'である場合(ステップS208−Yes)、データ結合部15は、着目ピクチャを削除する(ステップS209)。
一方、NalUnitTypeが'2'でないか、あるいはTFD削除フラグが'0'である場合(ステップS208−No)、データ結合部15は、着目ピクチャを結合符号化動画像データの最後尾に結合し、TFD削除フラグを'0'にする(ステップS210)。
ステップS209またはS210の後、データ結合部15は、着目ピクチャの後にピクチャがあるか否か判定する(ステップS211)。ピクチャがまだあれば(ステップS211−Yes)、データ結合部15は、ステップS208以降の処理を繰り返す。一方、ピクチャがなければ(ステップS211−No)、データ結合部15は、動画像編集処理を終了する。
When NalUnitType is “2” and the TFD deletion flag is “1” (step S208—Yes), the
On the other hand, if NalUnitType is not '2' or the TFD deletion flag is '0' (step S208-No), the
After step S209 or S210, the
次に、第1の実施形態による動画像符号化装置1により符号化され、または編集された符号化動画像データを復号する動画像復号装置について説明する。
Next, a moving picture decoding apparatus that decodes encoded moving picture data encoded or edited by the moving
図8は、第1の実施形態による、動画像復号装置の概略構成図である。動画像復号装置2は、制御部21と、ヘッダ情報解析部22と、ピクチャ復号・表示時刻決定部23と、ピクチャ復号部24と、フレームメモリ25とを有する。動画像復号装置2が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置2に実装される。あるいは、動画像復号装置2が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像復号装置2に実装されてもよい。あるいはまた、動画像復号装置2が有するこれらの各部は、動画像復号装置2が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
FIG. 8 is a schematic configuration diagram of a video decoding device according to the first embodiment. The moving
制御部21は、符号化動画像データを復号する際、動画像復号装置2の各部の処理を制御する。
The
ヘッダ情報解析部22は、符号化動画像データのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータ、例えば、各ピクチャのNalUnitType、BPSEIに含まれるAltDpbOutputDelay及びAltCpbRemovalDelayOffset、及び、PTSEIに含まれるCpbRemovalDelay及びDpbOutputDelayを、ピクチャ復号・表示時刻決定部23に出力する。
The header
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのスライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャであると判断する。
The picture decoding / display
復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
When the decoding target picture is a BLA picture, the picture decoding / display
ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のBPSEIが付加されたピクチャの次のピクチャから、BLAピクチャの直前のピクチャまでのピクチャ数Aをカウントする。次に、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックする。そしてピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayを、A*(B/(A-1))とする。
The picture decoding / display
また、復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャ、すなわち、そのBLAピクチャにTFDピクチャが後続する場合、ピクチャ復号・表示時刻決定部23は、さらにそのBLAピクチャのBPSEIのフラグRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直後のTFDピクチャが除去されていると判断し、そのBLAピクチャの表示遅延DpbOutputDelay、及びBLAピクチャの次のピクチャ(非TFDピクチャ)から、次のBPSEIが付加されたピクチャまでの復号遅延CpbRemovalDelayを以下のようにして変更する。
In addition, when the decoding target picture is a BLA picture whose NalUnitType is “7”, that is, the TFD picture follows the BLA picture, the picture decoding / display
ピクチャ復号・表示時刻決定部23は、BLAピクチャの表示遅延DpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたBPSEIのAltDpbOutputDelayとする。
またピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次にBPSEIが付加されたピクチャまでの、全てのピクチャの復号遅延CpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayから、BLAピクチャに付加されたBPSEIのAltCpbRemovalDelayOffsetを引いた値とする。
The picture decoding / display
Also, the picture decoding / display
上記以外のピクチャについては、ピクチャ復号・表示時刻決定部23は、ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayを、それぞれ、そのピクチャに付加されたPTSEIのCpbRemovalDelay及びDpbOutputDelayとする。
For pictures other than those described above, the picture decoding / display
ピクチャ復号・表示時刻決定部23は、上記の復号遅延CpbRemovalDelayに基づいて、各ピクチャの復号時刻を決定し、その復号時刻に、ピクチャ復号部24に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部23は、上記の表示遅延DpbOutputDelayに基づいて、各ピクチャの表示時刻を決定し、その表示時刻に、フレームメモリ25に対し、表示指示を出す。
The picture decoding / display
ピクチャ復号部24は、復号対象ピクチャについて復号指示を受け取ると、フレームメモリ25に格納された参照ピクチャを用いてその復号対象ピクチャを復号する。そしてピクチャ復号部24は、復号したピクチャをフレームメモリ25に格納させる。なお、ピクチャ復号部24は、動画像符号化装置1の符号化部が準拠する符号化方式と同様の符号化方式に準拠して、復号処理を実行する。
When receiving a decoding instruction for the decoding target picture, the
フレームメモリ25は、復号されたピクチャを格納する。またフレームメモリ25は、復号されたピクチャを、そのピクチャよりも後に復号されるピクチャの参照ピクチャとしてピクチャ復号部24に出力する。さらに、フレームメモリ25は、ピクチャ復号・表示時刻決定部23から受け取った表示指示に従い、表示部(図示せず)にピクチャを出力する。
The
図9は、第1の実施例による動画像復号装置により実行される動画像復号処理の動作フローチャートである。なお、図9に示される動作フローチャートにしたがって、動画像復号装置2は、復号対象の動画像シーケンス全体を復号する。
FIG. 9 is an operation flowchart of a video decoding process executed by the video decoding device according to the first embodiment. Note that the moving
制御部21は、シーケンス全体の復号処理開始に先立ち、変数cnt及び変数flagを初期化し、それぞれ、0に設定する(ステップS301)。変数cntは、BPSEI付加ピクチャから、次のBPSEI付加ピクチャまでの間のピクチャ数に相当する。変数flagは、CpbRemovalDelayの修正が必要な非BLAピクチャか否かを示す変数である。
Prior to starting the decoding process for the entire sequence, the
次に、ヘッダ情報解析部22は、復号対象ピクチャのヘッダ情報を解析し、ピクチャ復号・表示時刻の決定に必要なパラメータを、ピクチャ復号・表示時刻決定部23に出力する。復号対象のピクチャのヘッダ情報を解析する(ステップS302)。
ピクチャ復号・表示時刻決定部23は、変数flagが'0'であるか、または、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'及び'7'であるか否か、すなわち、復号対象ピクチャがBLAピクチャか否かを判定する(ステップS303)。
変数flagが'1'であり、かつ、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'6'または'7'でなければ(ステップS303−No)、ピクチャ復号・表示時刻決定部23は、非BLAピクチャである復号対象ピクチャの復号遅延CpbRemovalDelayを、復号遅延補正情報AltCpbRemovalDelayOffsetを用いて修正する(ステップS304)。
Next, the header
The picture decoding / display
If the variable flag is “1” and the NalUnitType of the NUH of the slice in the decoding target picture is not “6” or “7” (step S303—No), the picture decoding / display
ステップS304の後、あるいは、ステップS303にて変数flagが'0'であるか、またはNalUnitTypeが'6'及び'7'である場合(ステップS303−Yes)、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャにBPSEIが付加されているか判定する(ステップS305)。
After step S304, or when the variable flag is '0' or NalUnitType is '6' and '7' in step S303 (step S303-Yes), the picture decoding / display
復号対象ピクチャにBPSEIが付加されている場合(ステップS305−Yes)、ピクチャ復号・表示時刻決定部23は、変数cntの値を変数dにコピーするとともに、変数cnt及び変数flagを0にリセットする(ステップS306)。
復号対象ピクチャにBPSEIが付加されていない場合(ステップS305−No)、ピクチャ復号・表示時刻決定部23は、変数cntの値を1だけ増加する(ステップS307)。
When BPSEI is added to the decoding target picture (step S305-Yes), the picture decoding / display
When BPSEI is not added to the decoding target picture (step S305—No), the picture decoding / display
ステップS306またはS307の後、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'か否か判定する(ステップS308)。
復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'もしくは'7'である場合(ステップS308−Yes)、復号対象ピクチャはBLAピクチャである。そこでピクチャ復号・表示時刻決定部23は、復号対象ピクチャの復号遅延CpbRemovalDelayを、変数dの値に従って変更する(ステップS309)。
After step S306 or S307, the picture decoding / display
When the NUH NalUnitType of the slice of the decoding target picture is “6” or “7” (step S308—Yes), the decoding target picture is a BLA picture. Therefore, the picture decoding / display
次に、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'か否か判定する(ステップS310)。復号対象ピクチャ内のスライスのNUHのNalUnitTypeが7であり、かつ復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'1'である場合(ステップS310−Yes)、ピクチャ復号・表示時刻決定部23は、BLAピクチャの表示遅延DpbOutputDelayを表示遅延補正情報AltDpbOutputDelayに修正するとともに、変数flagを'1'にする(ステップS311)。
Next, the picture decoding / display
ステップS311の後、あるいは、ステップS308にて復号対象ピクチャのスライスのNUHのNalUnitTypeが'6'及び'7'の何れでもない(ステップS308−No)か、ステップS310にて復号対象ピクチャ内のスライスのNUHのNalUnitTypeが'7'でないか、復号対象ピクチャに付加されたBPSEIのRapCpbParamsPresentFlagが'0'である場合(ステップS310−No)、ピクチャ復号・表示時刻決定部23は、決定した復号時刻に、ピクチャ復号部24に対し復号指示を出す。また、ピクチャ復号・表示時刻決定部23は、決定した表示時刻に、フレームメモリ25に対し、表示指示を出す。そしてピクチャ復号部24は、その復号時刻に復号対象ピクチャを復号する。またフレームメモリ25は、表示部(図示せず)へ復号されたその復号対象ピクチャを表示させる(ステップS312)。
After step S311, or whether the NUH NalUnitType of the slice of the decoding target picture is neither '6' nor '7' in step S308 (step S308-No), or the slice in the decoding target picture in step S310 If the NalUnitType of the NUH is not “7” or the RapCpbParamsPresentFlag of the BPSEI added to the decoding target picture is “0” (step S310—No), the picture decoding / display
また、制御部21は、符号化動画像データ内に未復号のピクチャがあるか否か判定する(ステップS313)。未復号のピクチャがあれば(ステップS313−Yes)、制御部21は、処理をステップS302へ移行させる。そして復号順序で次のピクチャを復号対象ピクチャとして、ステップS302以降の処理が繰り返される。
一方、未復号のピクチャがなければ(ステップS313−No)、制御部21は、動画像復号処理を終了する。
Further, the
On the other hand, if there is no undecoded picture (step S313-No), the
以上に説明してきたように、この実施形態による動画像符号化装置は、二つ以上の符号化動画像データを復号せずに結合した場合でも、符号化時に決定した復号遅延及び表示遅延のパラメータ値を修正しなくてよい。そしてこの実施形態による動画像復号装置は、符号化動画像データが結合された場合の復号遅延及び表示遅延の修正用のパラメータを利用して、各ピクチャの復号遅延及び表示遅延を修正できるので、適切なタイミングで各ピクチャを復号及び表示できる。 As described above, the moving image encoding apparatus according to this embodiment is capable of decoding delay and display delay parameters determined at the time of encoding even when two or more encoded moving image data are combined without decoding. It is not necessary to modify the value. And the moving picture decoding apparatus according to this embodiment can correct the decoding delay and the display delay of each picture using the parameters for correcting the decoding delay and the display delay when the encoded moving picture data is combined. Each picture can be decoded and displayed at an appropriate timing.
次に、第2の実施形態について説明する。第2の実施形態では、第1の実施形態と比較して、符号化動画像データの構造が異なる。 Next, a second embodiment will be described. The second embodiment differs from the first embodiment in the structure of encoded moving image data.
図10を参照しつつ、第2の実施形態における、符号化動画像データの構造を説明する。図4に示された第1の実施形態による符号化されたピクチャの構造と同様に、一つのピクチャのデータ構造1000は、6種類のNAL unit1010〜1015を含む。このうち、BPSEI1013及びPTSEI1014が、図4に示されたBPSEI413及びPTSEI414と異なる。一方、DELIM1010、SPS1011、PPS1012、SLICE1015、及びNUH1020は、それぞれ、図4に示されたDELIM410、SPS411、PPS412、SLICE415及びNUH420と同等である。
The structure of encoded moving image data in the second embodiment will be described with reference to FIG. Similar to the structure of the coded picture according to the first embodiment shown in FIG. 4, the
BPSEI1013は、BPSEI430と同様に、(N+1)個のInitialCpbRemovalDelayフィールド及びInitialCpbRemovalDelayOffsetフィールドと、それらに後続するRapCpbParamsPresentFlagフィールドとを有する。しかし、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドは、BPSEI1013には含まれない。
一方、PTSEI1040は、PTSEI440と同様に、CpbRemovalDelayフィールド及びDpbOutputDelayフィールドを含む。さらに、PTSEI1040は、BPSEIのRapCpbParamsPresentFlagが'1'の場合には、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを含む。
もし、あるピクチャのPTSEI内のCpbRemovalDelayまたはDpbOutputDelayが、TFDピクチャが除去されても変化しない場合には、AltCpbRemovalDelayまたはAltDpbOutputDelayの値は、CpbRemovalDelayまたはDpbOutputDelayと同じ値に設定される。
Similar to the BPSEI 430, the
On the other hand, the PTSEI 1040 includes a CpbRemovalDelay field and a DpbOutputDelay field, like the PTSEI 440. Further, the PTSEI 1040 includes an AltCpbRemovalDelay field and an AltDpbOutputDelay field when the RPSCpbParamsPresentFlag of the BPSEI is “1”.
If CpbRemovalDelay or DpbOutputDelay in PTSEI of a certain picture does not change even if the TFD picture is removed, the value of AltCpbRemovalDelay or AltDpbOutputDelay is set to the same value as CpbRemovalDelay or DpbOutputDelay.
上記のように、第1の実施形態と比較して、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドが含まれるSEIが異なる。そのため、第2の実施形態による動画像符号化装置は、第1の実施形態による動画像符号化装置と比較して、符号化制御部12の処理が異なる。そこで以下では、符号化制御部12の処理について説明する。
As described above, the SEI including the AltCpbRemovalDelay field and the AltDpbOutputDelay field is different from that in the first embodiment. Therefore, the video encoding device according to the second embodiment differs from the video encoding device according to the first embodiment in the processing of the
符号化制御部12は、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドを、BPSEIに含める代わりに各ピクチャに付されるPTSEIに含める。その際、符号化制御部12は、二つの符号化動画像データが結合されたとした場合のそのピクチャの復号遅延及び表示遅延の値そのものを、AltCpbRemovalDelayフィールド及びAltDpbOutputDelayフィールドに格納する。
The
次に、第2の実施形態による動画像復号装置の動作について説明する。第2の実施形態による動画像復号装置も、第1の実施形態による動画像復号装置と同様の構成を有する。ただし、第1の実施形態と比較して、第2の実施形態による動画像復号装置では、ピクチャ復号・表示時刻決定部23の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23の処理について説明する。
Next, the operation of the video decoding device according to the second embodiment will be described. The video decoding device according to the second embodiment also has the same configuration as the video decoding device according to the first embodiment. However, in the moving picture decoding apparatus according to the second embodiment, the processing of the picture decoding / display
復号対象ピクチャが、NalUnitTypeが'7'のBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、さらにBPSEIのRapCpbParamsPresentFlagをチェックする。RapCpbParamsPresentFlagの値が'1'の場合には、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直後のTFDピクチャが除去されていると判断する。そしてピクチャ復号・表示時刻決定部23は、BLAピクチャのDpbOutputDelay、及びBLAピクチャの次のピクチャ(非TFDピクチャ)から、次のBPSEIが付加されたピクチャまで、CpbRemovalDelayを以下のように変更する。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャのDpbOutputDelayを、BLAピクチャに付加されたPTSEIのDpbOutputDelayの代わりに、BLAピクチャに付加されたPTSEIのAltDpbOutputDelayとする。
・ピクチャ復号・表示時刻決定部23は、BLAピクチャの次のピクチャから、次のBPSEIが付加されたピクチャまでの、全てのピクチャのCpbRemovalDelayを、そのピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、そのピクチャに付加されたPTSEIのAltCpbRemovalDelay値とする。
When the decoding target picture is a BLA picture whose NalUnitType is “7”, the picture decoding / display
The picture decoding / display
The picture decoding / display
次に、第3の実施形態について説明する。第3の実施形態では、第1の実施形態と比較して、動画像復号装置のピクチャ復号・表示時刻決定部23による、BLAピクチャの復号遅延の算出処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23について説明する。
Next, a third embodiment will be described. The third embodiment differs from the first embodiment in the calculation process of the BLA picture decoding delay by the picture decoding / display
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。そのNUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャと判断する。
The picture decoding / display
復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
When the decoding target picture is a BLA picture, the picture decoding / display
BLAピクチャ(以降Pic2と表記する)の直前の、BPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayの値Bから、第1の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差(単位はtc)に相当する。以降B/(A-1)をsと表記する。
次に、ピクチャ復号・表示時刻決定部23は、結合点でのCPB内に蓄積されているデータ量の差を補正するための、第2の補正値Mod2を算出する。
Pic2を先頭とする符号化動画像データ一部分の先頭ビットが、動画像復号装置の受信バッファに到達した時刻0から、Pic2に付加されるBPSEIのInitialCpbRemovalDelay値(以降Init2とする)を90000(すなわち、90kHz)で割った時間[sec]後のCPBに蓄積されているデータ量、すなわちPic2を復号する直前のCPBのデータ量をPos2とすると、Pos2は、(R*Init2/90000)と計算される。Rはビットレートである。
Let A be the number of pictures from the picture immediately after the picture with BPSEI added (hereinafter referred to as Pic1) immediately before the BLA picture (hereinafter referred to as Pic2) to the picture immediately before Pic2. The picture decoding / display
Next, the picture decoding / display
The BPSEI InitialCpbRemovalDelay value (hereinafter referred to as Init2) added to Pic2 is set to 90000 from the
一方、Pic1に付加されたBPSEIのInitialCpbRemovalDelay値をInit1、Pic1、及びPic1とPic2との間に存在する全ピクチャの符号量相和をTotalBとすると、動画像復号装置が符号化動画像データを先頭から復号した時の、Pic2を復号する直前のCPBのデータ量Pos2は、(R*(Init1+(A+1)*s)-TotalB)と計算される。 On the other hand, if the BPSEI InitialCpbRemovalDelay value added to Pic1 is Init1, Pic1, and the code amount sum of all pictures existing between Pic1 and Pic2 is TotalB, the video decoding device starts the encoded video data. The data amount Pos2 of the CPB immediately before decoding Pic2 when decoding from is calculated as (R * (Init1 + (A + 1) * s) −TotalB).
Pos1がPos2よりも小さい場合には、動画像復号装置が符号化動画像データのPic2を復号する直前の時刻にて、Pic2の全てのデータが復号装置に到達しておらず、Pic1が復号できないおそれがある。これは、Pic2の復号時刻を、(s*tc)時間[sec]単位で遅らすことで回避できる。
ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Pos2 - Pos1 < Th)の場合には0とする。閾値Thは正の値を持つ。それ以外の場合には、ピクチャ復号・表示時刻決定部23は、第2の補正値Mod2を、(Ceil((Pos2 - Pos1)/R/(s*tc)))とする。ただし、Ceil()は切り上げ関数である。
ピクチャ復号・表示時刻決定部23は、復号対象ピクチャがBLAピクチャの場合、BLAピクチャのCpbRemovalDelayを(Mod1 + Mod2)に置き換える。
When Pos1 is smaller than Pos2, at the time immediately before the video decoding device decodes Pic2 of the encoded video data, all the data of Pic2 has not reached the decoding device, and Pic1 cannot be decoded. There is a fear. This can be avoided by delaying the decoding time of Pic2 in units of (s * tc) time [sec].
The picture decoding / display
When the decoding target picture is a BLA picture, the picture decoding / display
このように、第3の実施形態による動画像復号装置は、BLAピクチャを復号する直前のCPBに蓄積されているデータ量を考慮して、BLAピクチャの復号遅延を決定する。そのため、この実施形態による動画像復号装置は、CPBのアンダーフローが生じることを防止できる。 As described above, the moving picture decoding apparatus according to the third embodiment determines the decoding delay of the BLA picture in consideration of the amount of data stored in the CPB immediately before decoding the BLA picture. Therefore, the moving picture decoding apparatus according to this embodiment can prevent the occurrence of CPB underflow.
次に第4の実施形態について説明する。第4の実施形態は、結合点よりも前の第1の符号化動画像データのリオーダリングピクチャ数と結合点よりも後の第2の符号化動画像データのリオーダリングピクチャ数とが異なっていても、復号遅延及び表示遅延を適切に決定できるようにする。また第4の実施形態は、第1の符号化動画像データの結合点よりも前に表示されるべきピクチャが削除された場合でも、復号遅延及び表示遅延を適切に決定できるようにする。 Next, a fourth embodiment will be described. In the fourth embodiment, the number of reordering pictures of the first encoded moving image data before the combining point is different from the number of reordering pictures of the second encoded moving image data after the combining point. However, the decoding delay and the display delay can be appropriately determined. Further, the fourth embodiment makes it possible to appropriately determine the decoding delay and the display delay even when the picture to be displayed is deleted before the coupling point of the first encoded moving image data.
図11〜図13を参照しつつ、ピクチャの復号遅延CpbRemovalDelay、及び表示遅延DpbOutputDelayについて、異なるピクチャ符号化構造及び編集位置の場合の値を説明する。 With reference to FIGS. 11 to 13, values in the case of different picture coding structures and editing positions for the picture decoding delay CpbRemovalDelay and the display delay DpbOutputDelay will be described.
図11に示される第1の符号化動画像データ及び第2の符号化動画像データのリオーダリングピクチャ数は、図3と同様に、2である。また、第1の符号化動画像データ1101及び第2の符号化動画像データ1102は、それぞれ、図3に示された第1の符号化動画像データ301及び第2の符号化動画像データ302と同じである。また、第2の符号化動画像データ1102の復号遅延及び表示遅延を示すブロック列1103も、図3に示されたブロック列303と同様である。ただし、図3と異なり、第1の符号化動画像データ1101のピクチャB13が結合点である。
The number of reordering pictures of the first encoded moving image data and the second encoded moving image data shown in FIG. 11 is 2, as in FIG. Further, the first encoded moving
そのため、結合動画像符号化データ1104は、結合動画像符号化データ304と異なり、ピクチャB15をふくまない。
Therefore, unlike the combined moving image encoded
ブロック列1105は、結合動画像符号化データ1104における、ピクチャI72, P78, B74, B73, B75が持つべき復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayの値である。ブロック列1105のうちの上側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ1104のピクチャの復号遅延CpbRemovalDelayの値が示される。一方、ブロック列1105のうちの下側の各ブロックには、それぞれ、そのブロックの上に位置する結合動画像符号化データ1104のピクチャの表示遅延DpbOutputDelayの値が示される。ブロック列1105に示されるように、ピクチャB13の後にピクチャI72が結合されても、ピクチャI72、P76、B74、B73、B75の復号遅延及び表示遅延は、ピクチャB15の後にピクチャI72が結合されたときと同一となる。
The
図3と比較して、ピクチャI72と、その直前の、BPSEIが付加されたピクチャI12との間のピクチャ数は6であり、図3に示されたピクチャI72とI12間のピクチャ数よりも一つ少ない。しかし、各復号ピクチャを、欠如無く、入力時と同じ間隔・順番で表示するには、図3の例と同じく、CpbRemovalDelayは16とする必要がある。
この理由をブロック列1106を参照して説明する。ブロック列1106は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。ブロック列1106に示されるように、結合後の符号化動画像にはピクチャB15が含まれていないものの、ピクチャP16は、ピクチャB14の2ピクチャ時間後に表示すべきである。ピクチャP16を表示後、ピクチャI72以降を連続して表示するには、ピクチャI72の復号時刻を、1ピクチャ時間だけ遅らす必要が生じる。
なおこの場合、ピクチャB14は2ピクチャ時間表示されることになり、表示フリーズが発生している。
Compared to FIG. 3, the number of pictures between picture I72 and the picture I12 to which BPSEI has been added immediately before is six, which is one less than the number of pictures between pictures I72 and I12 shown in FIG. Two less. However, CpbRemovalDelay needs to be set to 16 in the same way as in the example of FIG.
The reason for this will be described with reference to the
In this case, picture B14 is displayed for two picture times, and a display freeze has occurred.
図12に示される例では、第2の符号化動画像データ1202のリオーダリングピクチャ数が、第1の符号化動画像データ1201のリオーダリングピクチャ数よりも小さい。本例では、第1の符号化動画像データのリオーダリングピクチャ数の値は2、第2の符号化動画像データのリオーダリングピクチャ数の値は1である。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1203に示されるようになる。
In the example illustrated in FIG. 12, the number of reordering pictures in the second encoded moving
Further, the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay of each picture of the second encoded moving image data before combination are as shown in the
この場合において、結合後の符号化動画像データ1204に示されるように、第1の符号化動画像データ1201のピクチャB15の後に、第2の符号化動画像データ1202のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列1205に示されるようになる。そしてブロック列1206は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。
In this case, as shown in the encoded moving
各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に連続表示するには、ブロック列1206に示されるように、第2の符号化動画像データ1202の先頭ピクチャの復号遅延を、第1の符号化動画像データ1201のリオーダリングピクチャ数と、第2の符号化動画像データ1202のリオーダリングピクチャ数との差分に比例して大きくする必要がある。本例では、2だけ大きくした16となる。
In order to continuously display each decoded picture in the same interval and order as when input without lacking, as shown in the
なお、第1の符号化動画像データについての結合点をピクチャB15でなく、ピクチャB13、ピクチャB14、またはピクチャP16とした場合は、図11の例と同じく、第2の符号化動画像データの先頭ピクチャの復号遅延は、ピクチャB15の後に結合された場合の復号遅延と同じである。ただし、ピクチャP16以前のピクチャのうち削除されたピクチャの数だけピクチャ表示のフリーズが発生する。 Note that when the connection point for the first encoded moving image data is not picture B15 but picture B13, picture B14, or picture P16, the second encoded moving image data is the same as in the example of FIG. The decoding delay of the first picture is the same as the decoding delay when combined after picture B15. However, the picture display freezes by the number of deleted pictures among pictures before picture P16.
図13に示される例では、第1の符号化動画像データ1301のリオーダリングピクチャ数が、第2の符号化動画像データ1302のリオーダリングピクチャ数よりも小さい。本例では、第1の符号化動画像データ1301のリオーダリングピクチャ数は1、第2の符号化動画像データ1302のリオーダリングピクチャ数は2である。
また、結合前の第2の符号化動画像データの各ピクチャの復号遅延CpbRemovalDelay及び表示遅延DpbOutputDelayは、ブロック列1303に示されるようになる。
In the example illustrated in FIG. 13, the number of reordering pictures in the first encoded moving
Further, the decoding delay CpbRemovalDelay and the display delay DpbOutputDelay of each picture of the second encoded moving image data before combination are as shown in the
この場合において、結合後の符号化動画像データ1304に示されるように、第1の符号化動画像データ1301のピクチャB15の後に、第2の符号化動画像データ1302のピクチャI72を結合したとする。この場合、結合後のピクチャI72以降の各ピクチャの復号遅延及び表示遅延は、ブロック列1305に示されるようになる。そしてブロック列1306は、結合後の符号化動画像データの復号時刻及び表示時刻の順序をピクチャ単位で示している。
In this case, it is assumed that the picture I72 of the second encoded moving
各復号ピクチャを、欠如無く、入力時と同じ間隔・順番に表示するには、ブロック列1306のように、第一の符号化動画像データの最終表示ピクチャをリピートする必要がある。
In order to display each decoded picture in the same interval and order as the input without any lack, it is necessary to repeat the last display picture of the first encoded moving image data as in the
図12及び図13に示されるように、第1の符号化動画像データのリオーダリングピクチャ数と、第2の符号化動画像データのリオーダリングピクチャ数との関係によって、第2の符号化動画像データの先頭ピクチャの復号時刻をずらす必要が生じ、また結合点前後で表示ピクチャのフリーズが生じる場合がある。
また、図11に示されるように、第1の符号化動画像データの結合点によっては、表示ピクチャのフリーズが不可避になる。
As shown in FIGS. 12 and 13, the second encoded moving image depends on the relationship between the number of reordering pictures of the first encoded moving image data and the number of reordering pictures of the second encoded moving image data. It may be necessary to shift the decoding time of the first picture of the image data, and the display picture may freeze before and after the connection point.
Further, as shown in FIG. 11, depending on the connection point of the first encoded moving image data, the freeze of the display picture is unavoidable.
上記のような問題に対応する、第4の実施形態による動画像復号装置について説明する。第4の実施形態による動画像復号装置は、第1の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の処理が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23について説明する。
A moving picture decoding apparatus according to the fourth embodiment that addresses the above problem will be described. The moving picture decoding apparatus according to the fourth embodiment differs from the moving picture decoding apparatus according to the first embodiment in the processing of the picture decoding / display
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャと判断する。
The picture decoding / display
復号対象ピクチャがBLAピクチャの場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャのCpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
ピクチャ復号・表示時刻決定部23は、BLAピクチャ(以降Pic2と表記する)の直前のBPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数Aをカウントする。また、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャのPTSEIのCpbRemovalDelayの値Bをチェックし、PTSEIの第一の補正値Mod1を、A*(B/(A-1))として求める。
次に、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2とを比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献1の方式では、SpsNumReorderPicsである。
When the decoding target picture is a BLA picture, the picture decoding / display
The picture decoding / display
Next, the picture decoding / display
R1とR2とが同じ場合には、ピクチャ復号・表示時刻決定部23は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
R2がR1よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、PTSEIの第二の補正値Mod2を、(R2-R1)* B/(A-1)とする。
R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、Mod1をそのまま、Pic2のCpbRemovalDelayとする。
When R1 and R2 are the same, the picture decoding / display
When R2 is larger than R1, the picture decoding / display
When R2 is smaller than R1, the picture decoding / display
ピクチャ復号・表示時刻決定部23は、さらに、第1の符号化動画像データの、最後のピクチャをフリーズ表示するかどうか、R1とR2との関係をもとに決定し、決定したフリーズ期間を、フレームメモリ25に通知する。
ピクチャ復号・表示時刻決定部23は、フリーズ期間(単位はtc)を以下のように決定する。
R1とR2とが同じ場合、もしくはR1がR2よりも大きい場合には、ピクチャ復号・表示時刻決定部23は、フリーズ期間を0とする。
一方、R2がR1よりも小さい場合には、ピクチャ復号・表示時刻決定部23は、(R2-R1)* B/(A-1)をフリーズ期間とする。
The picture decoding / display
The picture decoding / display
When R1 and R2 are the same, or when R1 is larger than R2, the picture decoding / display
On the other hand, when R2 is smaller than R1, the picture decoding / display
このように、第4の実施形態によれば、動画像復号装置は、結合点よりも前に結合される第1の符号化動画像データにおいて、結合点のピクチャよりも符号化(復号)順序が後で、かつ、結合点のピクチャよりも前に再生されるべきピクチャがあっても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。またこの動画像復号装置は、結合点の前と後とで、リオーダリング数が異なっていても、結合点以降のピクチャの復号遅延及び表示遅延を適切に決定できる。 As described above, according to the fourth embodiment, the moving image decoding apparatus encodes (decodes) in the first encoded moving image data combined before the connection point rather than the picture at the connection point. However, even if there is a picture to be reproduced later and before the picture at the joining point, the decoding delay and display delay of the pictures after the joining point can be appropriately determined. Further, this moving picture decoding apparatus can appropriately determine the decoding delay and display delay of pictures after the joining point even if the reordering numbers are different before and after the joining point.
次に、第5の実施形態について説明する。第5の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合しても、表示ピクチャのフリーズが生じないピクチャを特定するためのパラメータを追加する。 Next, a fifth embodiment will be described. In the fifth embodiment, the moving image encoding apparatus adds a parameter for specifying a picture that does not cause a freeze of a displayed picture even if two encoded moving image data are combined.
結合点前後で表示ピクチャのフリーズが生じないためには、第1の符号化動画像データのリオーダリングピクチャ数が、第2の符号化動画像データのリオーダリングピクチャ数と同じか、大きい場合であり、かつ、第1の符号化動画像データの結合点が、時間的に前のピクチャのみを参照するピクチャの直前、とする必要がある。例えば図11の例では、本条件に適合する結合点は、ピクチャB11及びB15である。 In order to prevent the display picture from freezing before and after the connection point, the number of reordering pictures of the first encoded moving picture data is equal to or larger than the number of reordering pictures of the second encoded moving picture data. In addition, the connection point of the first encoded moving image data needs to be immediately before a picture that refers only to the previous picture in terms of time. For example, in the example of FIG. 11, the connection points that meet this condition are the pictures B11 and B15.
図14は、第5の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図14に示される符号化動画像の一つのピクチャのデータ構造1400は、図4に示されたデータ構造400と比較して、Editing Point SEI(EPSEI) NAL unit1416が付加される点で異なる。その他の6種類のNAL unit1410〜1415は、それぞれ、図4に示されたデータ構造400のNAL unit410〜415と同等である。
FIG. 14 shows the data structure of one picture of the encoded moving image used in the fifth embodiment. The
EPSEI NAL unit1416は、結合点前後で表示ピクチャのフリーズが生じない結合点であることを示すSEIデータである、EPSEIが内包するフィールドは、本実施例では特に存在しない。
The
以下、第5の実施形態における、動画像符号化装置の動作について説明する。第5の実施形態による動画像符号化装置は、第1の実施形態による動画像符号化装置と比較して、符号化時に符号化制御部12及びピクチャ符号化部13が特定のピクチャに対してEPSEIを付加する点、及び、編集操作時にデータ結合部15がEPSEIを参照して結合点を決定する点で異なる。そこで以下では、EPSEIの付加に関する符号化制御部12及びピクチャ符号化部13の動作、及び、編集操作時におけるデータ結合部15の動作について説明する。
Hereinafter, the operation of the video encoding apparatus in the fifth embodiment will be described. Compared with the moving image encoding device according to the first embodiment, the moving image encoding device according to the fifth embodiment causes the
符号化時において、符号化制御部12は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部13に対し、EPSEIを付加するように指示する。または、符号化制御部12は、符号化対象ピクチャが、Iピクチャ、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャである場合に、ピクチャ符号化部13に対し、EPSEIを付加するように指示してもよい。
ピクチャ符号化部13は、符号化制御部12からEPSEIを付加する指示を受けると符号化対象ピクチャを符号化し、そのピクチャにEPSEIを付加する。
At the time of encoding, when the encoding target picture is a picture immediately before a P picture or B picture that refers to only a picture immediately before an I picture or a display time, Instructs the
When the
編集操作時において、データ結合部15は、制御部11からの制御信号に従い、第1の符号化動画像データ内の結合点ピクチャを特定する。制御信号は、例えば、第1の符号化動画像データ内の、先頭からの符号化ピクチャ数を含む。データ結合部15は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャを、第1の符号化動画像データ内の結合点ピクチャとする。または、データ結合部15は、該当するピクチャ及び該当するピクチャに続くピクチャの中で符号化順が最も早い、EPSEIが付加されたピクチャの直前のピクチャを、第1の符号化動画像データ内の結合点ピクチャとする。そして、データ結合部15は、記憶部(図示せず)から、第1の符号化動画像データ内の結合点ピクチャより前の全ピクチャ、及び結合点ピクチャを読み出す。次に、データ結合部15は、結合点識別情報処理部14から送られる、結合点CRAピクチャを先頭とする、第2の符号化動画像データの一部分を記憶部(図示せず)から読み出す。この時、結合点識別情報処理部14から、結合点CRAピクチャの直後のTFDピクチャを除去する指示が出た場合には、データ結合部15は、該当するTFDピクチャを削除する。そしてデータ結合部15は、読み出した第1の符号化動画像データを先ず出力し、その後に第2の符号化動画像データを出力する。
At the time of editing operation, the
このように、第5の実施形態では、動画像符号化装置は、符号化時において、二つの符号化動画像データを結合しても表示フリーズが生じないピクチャを示す情報を符号化動画像データに付す。そのため、この動画像符号化装置は、表示フリーズが生じないように二つの符号化動画像データを結合できる。 As described above, in the fifth embodiment, the moving image encoding apparatus encodes information indicating a picture that does not cause display freeze even when two encoded moving image data are combined during encoding. It is attached to. Therefore, this moving image encoding apparatus can combine two encoded moving image data so that display freeze does not occur.
次に、第6の実施形態について説明する。
第6の実施形態では、動画像符号化装置は、第3の実施形態で説明した、結合点でのCPBのデータ量差を補正するための、第二の補正値Mod2を求めるための値を、第一の符号化動画像データにあらかじめ付加しておく。
Next, a sixth embodiment will be described.
In the sixth embodiment, the moving image encoding apparatus uses a value for obtaining the second correction value Mod2 for correcting the CPB data amount difference at the coupling point described in the third embodiment. First, it is added to the first encoded moving image data.
図15は、第6の実施形態における符号化動画像の一つのピクチャのデータ構造を示す。図15に示されたピクチャのデータ構造1500は、図14に示されたデータ構造1400と比較して、EPSEI NAL unit1516がBufferOccupancyフィールドを含む点で異なる。その他の6種類のNAL unit1510〜1515は、それぞれ、図14に示されたデータ構造400のNAL unit1410〜1415と同等である。
BufferOccupancyフィールドは、結合点直前でのCPBに蓄積されたデータ量を示す。
FIG. 15 shows the data structure of one picture of an encoded moving image in the sixth embodiment. The
The BufferOccupancy field indicates the amount of data accumulated in the CPB immediately before the coupling point.
第6の実施形態における、動画像符号化装置の動作について説明する。第6の実施形態による動画像符号化装置は、第5の実施形態による動画像符号化装置と比較して、符号化制御部12の動作の一部が異なる。そこで、以下では、符号化制御部12の動作が異なる点について説明する。
The operation of the moving picture encoding apparatus in the sixth embodiment will be described. The moving image encoding apparatus according to the sixth embodiment differs from the moving image encoding apparatus according to the fifth embodiment in part of the operation of the
符号化制御部12は、符号化対象ピクチャが、Iピクチャの直前、もしくは表示時間的に前のピクチャのみを参照するPピクチャもしくはBピクチャの直前のピクチャである場合には、ピクチャ符号化部13に対し、EPSEIを付加するように指示する。また、EPSEIの中のBufferOccupancyフィールドに、第3の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)の値を入れる。BufferOccupancyフィールドに入れる値は、(R*(Init1+(A+1)*s)-TotalB)をビットレートRで割った値でもよい。
When the encoding target picture is the picture immediately before the I picture or the picture immediately before the P picture or B picture that refers to only the picture preceding the display time, the
第6の実施形態における、動画像復号装置の動作について説明する。第6の実施形態による動画像復号装置は、第3の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の動作の一部が異なる。そこで以下では、ピクチャ復号・表示時刻決定部23の動作が異なる点について説明する。
The operation of the video decoding device in the sixth embodiment will be described. The moving picture decoding apparatus according to the sixth embodiment differs from the moving picture decoding apparatus according to the third embodiment in part of the operation of the picture decoding / display
ピクチャ復号・表示時刻決定部23は、ヘッダ情報解析部22から渡される、復号対象ピクチャのヘッダ情報を解析するときに、スライスのNUHをチェックする。NUHのNalUnitTypeが'6'もしくは'7'の場合、ピクチャ復号・表示時刻決定部23は、復号対象ピクチャはBLAピクチャであると判断する。
The picture decoding / display
復号対象ピクチャがBLAピクチャである場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayの代わりに、以下のようにして求めた値を用いる。
When the decoding target picture is a BLA picture, the picture decoding / display
BLAピクチャ(以降Pic2と表記する)の直前の、BPSEIが付加されたピクチャ(以降Pic1と表記する)の次のピクチャから、Pic2の直前のピクチャまでのピクチャ数をAとする。ピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayの値Bから、第1の補正値Mod1をA*(B/(A-1))として導出する。B/(A-1)は、連続ピクチャ間の時間差(単位はtc)に相当する。以降B/(A-1)をsと表記する。
Let A be the number of pictures from the picture immediately after the picture with BPSEI added (hereinafter referred to as Pic1) immediately before the BLA picture (hereinafter referred to as Pic2) to the picture immediately before Pic2. The picture decoding / display
また、ピクチャ復号・表示時刻決定部23は、BLAピクチャの直前のピクチャに付加されている、EPSEIのBufferOccupancyフィールドに記述されている値(その値がビットレートRで割られた値である場合には、Rをかけた値)を、第3の実施形態で説明した(R*(Init1+(A+1)*s)-TotalB)として、第3の実施形態で説明した方法で、第2の補正値Mod2を算出する。
The picture decoding / display
次に、ピクチャ復号・表示時刻決定部23は、Pic2の直前のピクチャが参照するSPS内に記述された、リオーダリングピクチャ数R1を、及びPic2の直後の非TFDピクチャが参照するリオーダリングピクチャ数R2と比較する。SPS内のリオーダリングピクチャ数を示すフィールドは、非特許文献1の方式では、SpsNumReorderPicsである。
Next, the picture decoding / display
ピクチャ復号・表示時刻決定部23は、R2がR1よりも大きい場合には、PTSEIの第3の補正値Mod3を、(R2-R1)* B/(A-1)とする。それ以外の場合には、ピクチャ復号・表示時刻決定部23は、PTSEIの第3の補正値Mod3を0とする。そしてピクチャ復号・表示時刻決定部23は、Pic2のCpbRemovalDelayを、(Mod1+Mod2+Mod3)とする。
The picture decoding / display
次に、第7の実施形態について説明する。
第7の実施形態では、動画像符号化装置は、二つの符号化動画像データを結合する時に、BLAピクチャのCpbRemovalDelayを修正する。またこの時、結合した符号化動画像データが、BLAピクチャの前後で連続して復号及び表示可能であることを示すパラメータを追加する。
Next, a seventh embodiment will be described.
In the seventh embodiment, the moving image encoding apparatus corrects the CpbRemovalDelay of the BLA picture when combining the two encoded moving image data. At this time, a parameter indicating that the combined encoded video data can be decoded and displayed continuously before and after the BLA picture is added.
BLAピクチャのCpbRemovalDelayの修正方法は、第6の実施形態における、ピクチャ復号・表示時刻決定部23が行うCpbRemovalDelayの修正方法と同等な方法である。
The method of correcting the CpbRemovalDelay of the BLA picture is equivalent to the method of correcting the CpbRemovalDelay performed by the picture decoding / display
図16は、第7の実施形態において使用される符号化動画像の一つのピクチャのデータ構造を示す。図16に示される符号化動画像の一つのピクチャのデータ構造1600は、図14に示されたデータ構造1400と比較して、BPSEI NAL unit1613がContinuousHrdFlagフィールドを含む点で異なる。その他の6種類のNAL unit1610〜1612、1614〜1617は、それぞれ、図14に示されたデータ構造1400のNAL unit1410〜1412、1414〜1417と同等である。
ContinuousHrdFlagフィールドは、本BPSEIが付加されたBLAピクチャの前後で、動画像復号装置が、復号及び表示を連続して行うことが可能か否かを示す。
なお、ContinuousHrdFlagフィールドは、BPSEIではなく、SPS1611及び他のNAL unit内に含められてもよい。
FIG. 16 shows the data structure of one picture of the encoded moving image used in the seventh embodiment. The
The ContinuousHrdFlag field indicates whether or not the video decoding device can continuously perform decoding and display before and after the BLA picture to which the BPSEI is added.
Note that the ContinuousHrdFlag field may be included in the
第7の実施形態における、動画像符号化装置の動作について説明する。第7の実施形態による動画像符号化装置は、第5の実施形態による動画像符号化装置と比較して、データ結合部15の動作の一部が異なる。そこで、以下では、データ結合部15の動作が異なる点について説明する。
The operation of the moving picture coding apparatus in the seventh embodiment will be described. The moving image encoding apparatus according to the seventh embodiment differs from the moving image encoding apparatus according to the fifth embodiment in part of the operation of the
データ結合部15は、結合点よりも時間的に前に結合される第1の符号化動画像データの後に、結合点識別情報処理部14から出力された第2の符号化動画像データを結合する。この時、データ結合部15は、第1の符号化動画像データ及び第2の符号化動画像データの画像の特性を表す画像パラメータのうちの少なくとも一つを比較する。例えば、第1の符号化動画像データ及び第2の符号化動画像データの画像パラメータのうち、両者のピクチャサイズ、もしくはピクチャレートが異なる場合、データ結合部15は、結合符号化動画像が結合点で連続復号及び表示可能か否かを表すパラメータContFlagの値を、連続復号及び表示が不可能であることを示す値'0'とする。一方、第1の符号化動画像データ及び第2の符号化動画像データのピクチャサイズ及びピクチャレートが同じである場合、データ結合部15は、第6の実施形態における、ピクチャ復号・表示時刻決定部23が行うCpbRemovalDelayの修正方法と同様の方法により、BLAピクチャのCpbRemovalDelayを算出する。ただし、データ結合部15は、第2の補正値Mod2を算出するための値である、EPSEIのBufferOccupancyフィールドに相当する値を、第6の実施形態における、符号化制御部12が行うBufferOccupancyフィールド値の算出式に従って得る。また、データ結合部15は、ContFlagパラメータを、連続復号及び表示が可能であることを示す値'1'とする。
The
なお、結合点の前後で連続復号及び表示が可能か否かを判定するための画像パラメータとして、ピクチャサイズ、ピクチャレートのほかに、ピクチャの色差成分フォーマットまたはピクチャの画素精度が追加されてもよい。この場合、結合点の前後で連続復号及び表示が可能な条件は、第1の符号化動画像データ及び第2の符号化動画像データについて、これらすべてのパラメータが同一であることである。
ContFlagパラメータが'0'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が不可能であることを示す値'0'に設定する。
一方、ContFlagパラメータが'1'の場合、データ結合部15は、BLAピクチャに付加するBPSEIのContinuousHrdFlagフィールドの値を連続復号及び表示が可能であることを示す値'1'に設定する。またデータ結合部15は、BLAピクチャとなる第2の符号化動画像データの先頭ピクチャの復号遅延CpbRemovalDelayを、算出した値に変更する。
In addition to the picture size and the picture rate, the picture color difference component format or the picture pixel accuracy may be added as an image parameter for determining whether continuous decoding and display are possible before and after the connection point. . In this case, a condition that allows continuous decoding and display before and after the connection point is that all these parameters are the same for the first encoded moving image data and the second encoded moving image data.
When the ContFlag parameter is “0”, the
On the other hand, when the ContFlag parameter is “1”, the
第7の実施形態における、動画像復号装置の動作について説明する。第7の実施形態による動画像復号装置は、第1の実施形態による動画像復号装置と比較して、ピクチャ復号・表示時刻決定部23の動作の一部が異なる。そこで、以下では、ピクチャ復号・表示時刻決定部23の動作が異なる点について説明する。
The operation of the video decoding device in the seventh embodiment will be described. The moving picture decoding apparatus according to the seventh embodiment differs from the moving picture decoding apparatus according to the first embodiment in part of the operation of the picture decoding / display
ピクチャ復号・表示時刻決定部23は、復号対象ピクチャがBLAピクチャである場合、BLAピクチャに付加されるBPSEIのContinuousHrdFlagフィールドの値を参照する。
ContinuousHrdFlagフィールドの値が'1'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が可能な場合は、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号遅延CpbRemovalDelayとして、BLAピクチャに付加されたPTSEIのCpbRemovalDelayそのものを用いる。
一方、ContinuousHrdFlagフィールドの値が'0'、すなわち、結合符号化動画像の結合点前後における連続復号及び表示が不可能な場合、ピクチャ復号・表示時刻決定部23は、BLAピクチャの復号時刻を、CpbRemovalDelayからではなく、BPSEIに含まれる初期復号遅延情報であるInitialCpbRemovalDelayの値を使って決定する。この場合、ピクチャ復号・表示時刻決定部23は、InitialCpbRemovalDelayから復号時刻を算出する時に必要な時刻0を、BLAピクチャの直前のピクチャの復号時刻以降とする。または、ピクチャ復号・表示時刻決定部23は、時刻0を、BLAピクチャの前の全ての符号化ピクチャの表示が終わった時刻以降としてもよい。
When the decoding target picture is a BLA picture, the picture decoding / display
When the value of the ContinuousHrdFlag field is '1', that is, when continuous decoding and display before and after the connection point of the combined encoded video are possible, the picture decoding / display
On the other hand, when the value of the ContinuousHrdFlag field is '0', that is, when continuous decoding and display before and after the connection point of the combined encoded moving image is impossible, the picture decoding / display
図17は、上記の何れかの実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。 FIG. 17 illustrates the moving picture coding apparatus or the moving picture decoding by the operation of a computer program that realizes the functions of the respective units of the moving picture coding apparatus or the moving picture decoding apparatus according to any one of the above-described embodiments or modifications thereof. It is a block diagram of the computer which operate | moves as an apparatus.
コンピュータ100は、ユーザインターフェース部101と、通信インターフェース部102と、記憶部103と、記憶媒体アクセス装置104と、プロセッサ105とを有する。プロセッサ105は、ユーザインターフェース部101、通信インターフェース部102、記憶部103及び記憶媒体アクセス装置104と、例えば、バスを介して接続される。
The
ユーザインターフェース部101は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部101は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部101は、例えば、ユーザの操作に応じて、符号化する動画像データ、編集する符号化動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ105へ出力する。またユーザインターフェース部101は、プロセッサ105から受け取った、復号された動画像データを表示してもよい。
The
通信インターフェース部102は、コンピュータ100を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus(ユニバーサル・シリアル・バス、USB)とすることができる。
The
さらに、通信インターフェース部102は、イーサネット(登録商標)などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
Furthermore, the
この場合には、通信インターフェース部102は、通信ネットワークに接続された他の機器から、符号化する動画像データ、編集する符号化動画像データまたは復号する符号化動画像データを取得し、それらのデータをプロセッサ105へ渡す。また通信インターフェース部102は、プロセッサ105から受け取った、符号化動画像データ、結合符号化動画像データまたは復号された動画像データを通信ネットワークを介して他の機器へ出力してもよい。
In this case, the
記憶部103は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部103は、プロセッサ105上で実行される、動画像符号化処理、動画像編集処理または動画像復号処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
The
記憶媒体アクセス装置104は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体106にアクセスする装置である。記憶媒体アクセス装置104は、例えば、記憶媒体106に記憶されたプロセッサ105上で実行される、動画像符号化処理、動画像編集処理及び動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ105に渡す。
The storage
プロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ105は、生成された符号化動画像データを記憶部103に保存し、または通信インターフェース部102を介して他の機器へ出力する。またプロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像編集処理用コンピュータプログラムを実行することにより、二つの符号化動画像データを結合した結合符号化動画像データを生成する。そしてプロセッサ105は、生成された結合符号化動画像データを記憶部103に保存し、または通信インターフェース部102を介して他の機器へ出力する。さらにプロセッサ105は、上記の各実施形態の何れかまたは変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化動画像データを復号する。そしてプロセッサ105は、復号された動画像データを記憶部103に保存し、ユーザインターフェース部101に表示し、または通信インターフェース部102を介して他の機器へ出力する。
The
コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像符号化装置及び動画像復号装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録されて配布されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。 When executed on a computer, a computer program that realizes the functions of the respective units of the moving picture coding apparatus and the moving picture decoding apparatus according to the above-described embodiment or its modification is recorded on a recording medium such as a semiconductor memory or an optical recording medium. It may be recorded and distributed. However, such a recording medium does not include a carrier wave.
なお、上記の各実施形態またはその変形例による動画像符号化装置の各部のうち、動画像編集処理に関連する結合点識別情報処理部14及びデータ結合部15を有する装置が、動画像符号化処理に関連する符号化制御部12及びピクチャ符号化部13を有する装置と別個に設けられてもよい。
Of the units of the video encoding device according to each of the above-described embodiments or modifications thereof, a device including the coupling point identification
上述した実施形態またはその変形例による、動画像符号化装置及び動画像復号装置は、様々な用途に利用される。例えば、この動画像符号化装置及び動画像復号装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。 The moving image encoding device and the moving image decoding device according to the above-described embodiment or its modification are used for various applications. For example, the moving image encoding device and the moving image decoding device are incorporated in a video camera, a video transmission device, a video reception device, a videophone system, a computer, or a mobile phone.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
1 動画像符号化装置
11 制御部
12 符号化制御部
13 ピクチャ符号化部
14 結合点識別情報処理部
15 データ結合部
2 動画像復号装置
21 制御部
22 ヘッダ情報解析部
23 ピクチャ復号・表示時刻決定部
24 ピクチャ復号部
25 フレームメモリ
DESCRIPTION OF
Claims (2)
前記動画像データに含まれる各ピクチャのうち、他の符号化された動画像データの後に結合される可能性のある第1のピクチャについて、前記第1のピクチャよりも符号化順序が後の1以上のピクチャが除去された場合にも、動画像復号装置が符号化された前記動画像データのうちの前記第1のピクチャ以降のピクチャを連続して復号及び表示できるようにするための復号遅延補正情報及び表示遅延補正情報を求め、
前記動画像データに含まれる各ピクチャを符号化するとともに、符号化された前記第1のピクチャに前記復号遅延補正情報及び前記表示遅延補正情報を付加する、
ことを含み、
前記復号遅延補正情報は、除去されうるピクチャの数に相当する値である動画像符号化方法。 A moving image encoding method for encoding moving image data by an inter-frame prediction method,
Among the pictures included in the moving image data, the first picture that may be combined after other encoded moving image data has a coding order that is later than the first picture. Decoding delay for enabling the moving picture decoding apparatus to continuously decode and display pictures after the first picture of the encoded moving picture data even when the above pictures are removed Find correction information and display delay correction information,
Encoding each picture included in the moving image data, and adding the decoding delay correction information and the display delay correction information to the encoded first picture ;
Including
The moving picture coding method, wherein the decoding delay correction information is a value corresponding to the number of pictures that can be removed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016034346A JP6119891B2 (en) | 2016-02-25 | 2016-02-25 | Video coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016034346A JP6119891B2 (en) | 2016-02-25 | 2016-02-25 | Video coding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012148849A Division JP5891975B2 (en) | 2012-07-02 | 2012-07-02 | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, and moving picture decoding method |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016124968A Division JP6237830B2 (en) | 2016-06-23 | 2016-06-23 | Video decoding method |
JP2016124979A Division JP6237831B2 (en) | 2016-06-23 | 2016-06-23 | Computer program for moving picture decoding |
JP2016124967A Division JP6237829B2 (en) | 2016-06-23 | 2016-06-23 | Computer program for video encoding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016129399A JP2016129399A (en) | 2016-07-14 |
JP2016129399A5 JP2016129399A5 (en) | 2016-08-25 |
JP6119891B2 true JP6119891B2 (en) | 2017-04-26 |
Family
ID=56384595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016034346A Active JP6119891B2 (en) | 2016-02-25 | 2016-02-25 | Video coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6119891B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035294A (en) * | 2006-07-29 | 2008-02-14 | Victor Co Of Japan Ltd | Image data recording apparatus, and image data coding device |
WO2010001609A1 (en) * | 2008-07-04 | 2010-01-07 | パナソニック株式会社 | Encoded stream reproduction device and encoded stream reproduction method |
US9131245B2 (en) * | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
US9264717B2 (en) * | 2011-10-31 | 2016-02-16 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (DPB) management in video coding |
US9402082B2 (en) * | 2012-04-13 | 2016-07-26 | Sharp Kabushiki Kaisha | Electronic devices for sending a message and buffering a bitstream |
JP5891975B2 (en) * | 2012-07-02 | 2016-03-23 | 富士通株式会社 | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, and moving picture decoding method |
-
2016
- 2016-02-25 JP JP2016034346A patent/JP6119891B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016129399A (en) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5891975B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, and moving picture decoding method | |
JP6094126B2 (en) | Video decoding device | |
JP6019824B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding computer program | |
JP6237831B2 (en) | Computer program for moving picture decoding | |
JP6399189B2 (en) | Video coding method | |
JP6237830B2 (en) | Video decoding method | |
JP6237829B2 (en) | Computer program for video encoding | |
JP6119891B2 (en) | Video coding method | |
JP6202141B2 (en) | Video encoding / decoding system | |
JP6202140B2 (en) | Video encoding device | |
JP6229759B2 (en) | Video decoding method | |
JP6229758B2 (en) | Video coding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20161213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6119891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |