JP4649615B2 - Video encoding, decoding apparatus and a video coding, decoding method, and their programs - Google Patents

Video encoding, decoding apparatus and a video coding, decoding method, and their programs Download PDF

Info

Publication number
JP4649615B2
JP4649615B2 JP2006038883A JP2006038883A JP4649615B2 JP 4649615 B2 JP4649615 B2 JP 4649615B2 JP 2006038883 A JP2006038883 A JP 2006038883A JP 2006038883 A JP2006038883 A JP 2006038883A JP 4649615 B2 JP4649615 B2 JP 4649615B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
picture
slice
intra
decoding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006038883A
Other languages
Japanese (ja)
Other versions
JP2007221411A (en )
Inventor
利夫 近藤
Original Assignee
国立大学法人三重大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の3つを両立する映像符号化復号化システムを構築する技術に関する。 The present invention relates to a low-delay video coding and decoding apparatus, in particular low delay, high quality, a technique for constructing a video encoding and decoding system for both three high compression ratio.

映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。 Quality of video coding, both high compression ratio reaches the already high level. 例えば、10年以上前に標準化されたMPEG-2の符号化方式ですら、HDTVデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、1/100程度の高圧縮率を実現している。 For example, even a standardized coding system of MPEG-2 to more than 10 years ago, in the HDTV digital broadcasting, with a slight deterioration of image quality that can not be little perceived in non-professional, high compression ratio of about 1/100 It is realized. MPEG-2の標準化以降にも圧縮率の向上は進んでおり、H. Also improve the compression ratio to standardize since the MPEG-2 is progressing, H. 263、MPEG-4を経て、最近、標準化されたH. 263, MPEG-4 via the recently standardized H. 264では、MPEG-2の2倍以上の圧縮率が得られるといわれている。 In 264, more than twice the compression ratio of the MPEG-2 is said to be obtained.

このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定(CBR)の条件での遅延時間の低減については、MPEG-2以降、本質的な方式の進歩はない。 Although significant advances for thus improving the compression rate, the delay time reduction in the conditions of the transmission bit rate constant, which is important in communications and broadcasting are real-time requirements (CBR) is, MPEG- 2 or later, there is no progress of essential system. その結果、画質に対する要求の緩いテレビ電話では100ms以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が1秒以上にも及んでいる。 As a result, although the following low-latency 100ms a requirement loose videophone for image quality has been achieved, at the expense of the delay time in applications where both high quality and high compression ratio as the digital television broadcast is required to the limit forced to not give a delay required for encoding and decoding video in such real-time the required sport live coverage are also extends to more than one second.

もちろん、MPEG-2においても遅延低減については配慮されており、2つの低遅延モードのフレームドロップとイントラスライスが用意されている。 Of course, for the delay reduced in MPEG-2 are considerations, two frame dropping and intra-slice low-delay mode are prepared. 前者のフレームドロップは、遅延の主因ともいえるピクチャ(フレームあるいはフィールド)内符号化ピクチャ(以後I[イントラ]ピクチャと呼ぶ)あるいはピクチャ内符号化マクロブロック(イントラマクロブロック)が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して(ドロップさせて)、CBR(定ビットレート)の条件を満たそうとするものである。 The former frame dropping is a picture main cause the true picture (frame or field) Intra picture of the delay (hereinafter referred to as I [Intra] picture) or intra-picture coding macroblock (intra macroblocks) account for the majority, if the code generation amount exceeds a predetermined value, and omitting what pieces of picture located subsequent in coding order (by dropping), the intention is to satisfy the condition of the CBR (constant bit rate) is there. このモードを適用すると、連続して2枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。 Applying this mode, sometimes two or more pictures are continuously drops, images result in visible solidified temporarily, increased discomfort, not suitable for demanding applications for image quality.

これに対し、イントラスライスは、遅延増の主因となるIピクチャを周期的に挿入するのではなく、縦続するPピクチャ(動き補償を前方予測のみで行うピクチャ間符号化ピクチャ)間で移動させる(通常は上から下の順序で巡回的に移動させる)Pピクチャ内の一部スライス(ピクチャ内の特定のマクロブロックのグループ、MPEG-2では、通常、1〜数行の横方向の帯状のマクロブロックの並びだが、1〜数列の縦方向の帯状のマクロブロックの並び[MPEG-2ではイントラコラムと呼ばれる]とする場合や、矩形のマクロブロックの並びとする場合もある)の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式(イントラスライスリフレッシュ方式)であ In contrast, the intra slice, rather than inserting an I picture as a major cause of increased delay periodically is moved between P pictures cascade (inter picture coded picture motion compensation only in the forward prediction) ( particular macroblock group of some slice (the picture of the normal in order cyclically moved in the order from top to bottom) P-picture, the MPEG-2, typically, the lateral strip macro 1 few lines it arrangement of blocks, and if the alignment of the longitudinal strip of macroblocks 1 sequence [called MPEG-2 in intra column], the configuration macroblocks also) if a sequence of rectangular macroblock by all coded as intra macroblocks, method for realizing the distributed refresh (intra-slice refresh method) der . この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。 This method has the advantage of reducing the delay refresh caused without little degradation of image quality.

図1は、左側が、PPPP…のピクチャシーケンス構造(PPP構造)、右側がBBPBBP…のピクチャシーケンス構造(Pピクチャ周期がBBPからなるピクチャシーケンス構造)(BBP構造)の場合で、Pピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。 Figure 1 is a left side, in the case of PPPP ... picture sequence structure (PPP structure) (picture sequence structure P-picture cycle consisting BBP) picture sequence structure of right BBPBBP ... (BBP structures), each P picture , intra-slice is shown in the display order of the picture sequence and to cyclically move from top to bottom. なお、イントラスライスは、映像を構成する各々のピクチャをIピクチャ、Pピクチャ、Bピクチャ(動き補償に前方予測、後方予測、双方向予測の3つを併用するピクチャ間符号化ピクチャ)として、逐次的に符号化あるいは復号化すること(MPEG-2のメインプロファイル相当)を前提に構築され、IBBPBBPBBP…構造(IBBP構造)あるいはIBPBPBP…構造(IBP構造)に対応する従来の標準的な構成の符号化装置(図2)、復号化装置(図3)の中で容易に実現できる利点も併せ持っている。 Incidentally, the intra slice, each picture I picture, P pictures constituting the video, B picture as (forward prediction in motion compensation, backward prediction, bidirectional inter-picture coded pictures used in combination three prediction), sequentially to be constructed to encode or decode (main profile equivalent MPEG-2) on the assumption, the sign of the conventional standard configuration corresponding to IBBPBBPBBP ... structure (IBBP structure) or IBPBPBP ... structure (IBP structure) apparatus (FIG. 2), but also combines the advantages that can be easily implemented in the decoder (Figure 3).

しかし、このイントラスライスリフレッシュ方式もPPP構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。 However, the intra-slice refresh method be combined in a low delay mode of the PPP structure only been applied to a portion of the application range of video coding videophone and monitoring applications. BBPあるいはBP構造は、画質の点でPPP構造より有利ながら、陽に標準化対象として定められているわけではない(MPEG-2の標準化範囲内で実現は可能)。 BBP or BP structure, while advantageous from the PPP structure in terms of picture quality, not defined as being that standardized target explicitly (MPEG-2 standardized range in implementation possible). この原因は、BBP構造あるいはBPBPBP…構造(BP構造)の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。 This cause is the encoding method of BBP structure or bpbpbp ... structure (BP structure), there like the following problems, not only does a sufficient delay reduction effect is obtained, to meet the strict quality requirements in the broadcasting and storage applications presumably because there was no.

(1)イントラスライスを、途中のBピクチャに挿入できない分、Pピクチャにまとめて挿入しなければならないため、Pピクチャに占めるイントラスライスの符号量が大きくなり、PPP構造ほど、Pピクチャの符号量が小さくならない。 (1) the intra-slice, minutes can not be inserted in the middle of B-pictures, since it is necessary to insert summarized in P-pictures, the greater the amount of code of the intra-slice occupying the P-picture, as the PPP structure, the code amount of P picture It is not reduced. このため、Pピクチャの符号量が小さくなることによる遅延低減効果は、PPP構造に比べると小さい。 Therefore, delay reduction effect by the code amount of P-picture is reduced is smaller than the PPP structure.
(2)ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をIピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。 (2) a delay in rearranging the coded order from the input order of the picture, the entire picture when the scene change large sum of both of the delay caused by forced coded as an I picture, a delay of intra-slice refresh method reduction effect is hidden.
(3)リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。 (3) to obtain reliably refreshing effect movement between pictures of the intra-slice insertion position is essential conspicuous as directly or flicker.
ただし、(3)の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法(例えば、特許文献1参照)や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法(例えば、特許文献2参照)が提案されている。 However, the problem (3), a method of aligning the roughness of quantization of the intra-slice portion and a peripheral portion on the basis of the result of the pre-analysis (e.g., see Patent Document 1) and the compression ratio of the intra-slice portion raising, the method of suppressing the increase in the temporary code generation amount (e.g., see Patent Document 2) are proposed.

しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。 However, since the pre-analysis to be used in the former is not necessarily the work well under the condition of low delay, it may amount temporarily code generated by the intra-slice portion is too large, as a result, keep the code generation amount restriction no longer needs extremely increase the compression ratio of the macro block immediately after in order may happen that stand out intra-slice portion in the opposite. また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。 As for the latter, becomes the refresh portion blurs than the surrounding, there is a disadvantage that it may happen that rather conspicuous, it is not suitable for video coding of image quality.

BBPあるいはBP構造にイントラスライスを適用する代わりに、IBBPあるいはIBP構造のリフレッシュピクチャ全体をPピクチャとして符号化するだけでなく、その局所復元PピクチャをIピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法(特許文献3参照)が提案されている。 Instead of applying the intra-slice BBP or BP structure, the entire refresh picture of IBBP or IBP structure not only encoded as P-picture, also re-encodes the local restore P-picture as an I-picture, the re-encoding by post sending data, a method of reducing the delay (refer to Patent Document 3) are proposed. しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。 However, this method, since there is no movement of the intra-slice as intra-slice refresh method, although it is never noticeable, by re-encoding, there is a problem that can not image degradation occurs ignored. また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。 Also, it can not be expected to have much effect on the reduction of the delay caused by a scene change.

特開平7−95564号公報 JP 7-95564 discloses 特開2005−124041号公報 JP 2005-124041 JP 特開2004−147306号公報 JP 2004-147306 JP

イントラスライスリフレッシュ方式を用いて低遅延の映像符号化・復号化装置を実現する上で、前述した(1)から(3)の問題を解消すること、換言すれば、画質に優れるBPあるいはBBP構造の符号化方式で、PPP構造と同等の低遅延性を実現することと、イントラスライスの移動を目立ち難くすることとが、本発明が解決しようとする課題である。 In order to realize the video encoding and decoding apparatus of low delay using an intra-slice refresh method, to eliminate from the aforementioned (1) to (3) problem, in other words, BP or BBP structure excellent in image quality in the encoding method, and to realize a low latency equivalent to PPP structure, and it inconspicuous movement of intra-slice, a problem which the present invention is to solve.
すなわち、本発明は、イントラスライスの挿入位置をピクチャ毎に移動させる現在主流の低遅延映像符号化・復号化方式において、イントラスライスの移動に起因するちらつきを目立ち難くすることと、Bピクチャを用いる場合に、Bピクチャを用いない場合と同等の低遅延を実現することを目的とする。 That is, the present invention is used in the current mainstream low-delay video coding and decoding method of moving the insertion position of the intra-slice in each picture, and it inconspicuous flicker caused by the movement of the intra-slice, a B-picture If, and to realize the same low-delay in the case of not using the B-picture.

本発明は、以下の4つの手段により、符号化から復号化までの遅延を低減する。 The present invention, by the following four means to reduce the delay between decoding the coding.
(1)符号化装置で、リフレッシュ対象スライスについてイントラスライスとして符号化するとともに、Pピクチャの一部としてピクチャ間符号化も行い、Pピクチャ符号化データの方は符号化順に送出する。 (1) In the encoding apparatus, together with encoded as intra-slice for refresh target slice also performs inter picture coding as part of the P-picture, towards the P picture coded data is sent to the coding order.
(2)符号化装置で、リフレッシュ用のイントラスライス符号化データを、符号量の増加が遅延増の要因にならないように、Pピクチャ周期ごとの符号化において、Pピクチャ符号化データとBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送る。 (2) in the encoding device, the intra-slice coding data for refresh, as the increase in the code amount does not become a factor of an increase delay in the encoding of each P-picture cycle, P picture coded data and B picture code Send after interval or end delivery of their transmission of data.
(3)復号化装置で、符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復号再生し、それによって復元されたPピクチャ(復元Pピクチャ)を、遅延低減にクリティカルなBピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる(図4中段参照。この図4で、各矩形は、本発明の符号化装置で生成する符号化データより復号再生した復元ピクチャを示している。上段は、リフレッシュ対象スライスをイントラスライスの符号化データより復号再生した復元イントラスライスを示している。中段は、リフレッシュ対象部分も含めてピクチャ間符号化データから復号再生した復元ピクチャを示している。下段は、中段の復元Pピクチャのリフレッシュ対象スライス部分のみ上段の復元イ (3) In the decoding device, decodes reproduced P picture without intra-slice than sent the incoming P picture coded data in the coding order, it P picture restored by the (reconstructed P-picture), critical to the delay reduction decoding used as a reference image cutting out a prediction block at the time of reproduction (Figure 4 middle reference such B picture. in FIG. 4, each rectangle indicates a restoration picture decoded reproduced from coded data generated by the encoding device of the present invention and it is. top shows the restored intra slice refresh current slice is decoded reproduced from coded data of the intra-slice. middle shows the restored picture decoded reproduced from inter-picture coded data, including refresh target portion and are. the lower part, the upper restore Lee only refreshed slice portion of the restored P-picture of the middle トラスライスで置換したイントラスライスを含む復元Pピクチャを示している。この図で、ピクチャ間の矢印は参照元ピクチャから参照先ピクチャへ向かう参照の方向を示している。)。 It shows the restoration P pictures including an intra-slice substituted with tiger slices. In this figure, arrows between picture indicates the direction of the reference toward the referenced picture from the reference original picture.).
(4)復号化装置で、遅れて届くイントラスライス符号化データを受け取ってからしか復号再生できないイントラスライスを含む復元Pピクチャを、リフレッシュ機能実現のためにイントラスライス無しPピクチャ復元時の参照画像として用いるようにする(図4の下段のイントラスライスを含む復元Pピクチャから中段のイントラスライス無し復元Pピクチャに向かう矢印参照)。 (4) in the decoding apparatus, the restoration P-picture only includes an intra slice can not be decoded playback of receiving the intra-slice coded data arriving late, as a reference image at the time of intra-slice without P pictures restored for refresh function realization used as a (see the arrow directed from the restored P pictures including a lower intra-slice in the middle of the intra-slice without restoring the P picture of FIG. 4).
これら4つの手段による作用は以下の通りである。 Action of these four measures is as follows.

従来のイントラスライスリフレッシュ方式では、符号量の大きいイントラスライスを符号化順通りに送らなければならず遅延増の要因となっていたのが、本発明の符号化装置では、その符号化順通りに送らなければならないイントラスライス部分が符号量の小さいPスライスの符号化データに置き換わるため、Bピクチャの挿入枚数が増えることでリフレッシュ対象スライスの面積が増加して、イントラスライスの符号化データの符号量が増加しても、遅延増の要因とならなくなる。 In the conventional intra-slice refresh method, the large intra-slice code amount which is a factor of delay increase must be sent to the coding order Road, the encoding apparatus of the present invention, in the encoding order as since the intra-slice portion must be sent is replaced with encoded data of a small P slice amount of codes, increasing the area of ​​the refresh target slice by inserting the number of B-pictures increases, the code amount of the encoded data of the intra-slice There also is increasing, will not become a factor of increased delay.
また、低遅延の条件でも、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えることができるようになるので、従来のイントラスライスより高画質な符号化が可能になる。 Further, even in conditions of low delay, since it is possible to provide a sufficient amount of codes for encoding the intra-slice refresh target slice, thus a high-quality image can be encoded than a conventional intra-slice.

さらに、シーンチェンジでリフレッシュ対象スライスを含むPピクチャが符号化順で後続のPピクチャにより参照されることがない場合に、無益となるリフレッシュ対象スライスのイントラスライス符号化データの復号化装置への送出を取り止め、その分の符号量をシーンチェンジ直後に挿入が必須となるイントラピクチャの符号化に割り当てられるようになる。 Further, when there is no the P picture including a refresh target slice scene change is referenced by a subsequent P-picture in coding order, delivery to the decoding apparatus of the intra-slice coding data to be refreshed slices to be fruitless the rambling, insert the code amount of that amount immediately after the scene change is to be assigned to the encoding of the intra picture to be essential. これにより、従来、低遅延の条件では十分な符号量を与えられず劣化し易かったシーンチェンジ直後のイントラピクチャの画質を大幅に改善できる。 Thus, conventionally, can be greatly improved the quality of the intra-picture immediately scene change was easy to deteriorate without given enough code amount under the condition of low delay.
一方、本発明の復号化装置では、リフレッシュ対象スライス部分も含め符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復元して、それを先に表示する必要のあるBピクチャの参照画像として用いるので、符号量が大きいためにイントラスライス符号化データの到着が遅れても、そのためにBピクチャの表示が遅れることがなくなる。 On the other hand, in the decoding apparatus of the present invention is to restore the P-picture without intra-slice from the P picture coded data sent to the coding order, including refreshed slice portion, that need to be rendered it first B since used as a reference picture of the picture, even if the arrival of the intra-slice coding data for coding amount is large is delayed, it is not possible to display the B-picture because the delay.

Bピクチャの復号再生の後に続く、符号化順で後続のPピクチャを復号再生する時には、遅れて届くイントラスライス符号化データより復号再生する復元イントラスライスがリフレッシュ対象スライス部分に入るようにして参照するようにしているので、後続のPピクチャを復号再生する際の参照画像は、イントラスライスを含む復元Pピクチャとなり、従来のイントラスライスリフレッシュ方式と変わらないリフレッシュが実現される。 Followed by decoding and reproduction of the B picture, when decoding and reproducing the subsequent P-picture in coding order is restored intra-slice to be decoded reproduced from the intra-slice coding data arriving late is referenced to enter the refresh target slice portion since the way, the reference picture in decoding reproduced subsequent P-picture becomes the restored P pictures including an intra-slice refresh unchanged the conventional intra-slice refresh method is realized. さらに、Bピクチャ復号再生用に先に復号再生するPピクチャは、イントラスライスを含まず、リフレッシュの影響を受け難いので、表示用に用いること(図4中段参照)で、イントラスライスの移動が目立ってしまうという従来のイントラスライスリフレッシュ方式の欠点を緩和することができる。 Furthermore, B is P picture to be decoded and reproduced before the picture decoding reproduced, contains no intra-slice, so less susceptible to refresh, by using for display (see FIG. 4 middle), the movement of the intra-slice noticeable a disadvantage of the conventional intra-slice refresh method that would be able to alleviate.

本発明により、局所的なリフレッシュ位置のピクチャ間での巡回移動の跡が目立ち易いという従来のイントラスライスリフレッシュ方式の欠点が大幅に緩和されるだけでなく、Bピクチャを挿入する条件で、リフレッシュ起因の遅延を大幅に低減できる。 The present invention, not only the disadvantages of the conventional intra-slice refresh method that is conspicuous traces of the cyclic movement between pictures of the local refresh position is greatly relaxed, the conditions for inserting the B-picture, the refresh due the delay can be greatly reduced. 実際、NTSCのテレビ映像をフレーム構造で、かつBBPBBP・・・ のシーケンス構造で符号化する条件で、従来のイントラスライスに比べ、画質劣化の目立ち易い静止画で40m秒程度も遅延が少なくなることをシミュレーションにより確認している。 In fact, the television image of the NTSC frame structure, and the conditions for encoding a sequence structure BBPBBP · · ·, compared with the conventional intra-slice, the delay also about 40m sec likely still image conspicuous image quality degradation is reduced It has been confirmed by simulation.
また、イントラスライス符号化データの後送りにより、シーンチェンジ検出時点で、イントラスライス符号化データの大半を送り終えない状態とすることが可能であり、それらの未送出で以降のリフレッシュに役立たない分のイントラスライス符号化データを送出しないで破棄することができる。 Further, by the feed after intra-slice coding data, the scene change detection point, it is possible to a state of not finished sending the majority of intra-slice coded data amount that does not help since the refresh in those undelivered intra-slice coding data can be discarded without sending an. この破棄した分の符号量はシーンチェンジ直後に挿入が不可避のIピクチャに回すことができ、その分だけ、シーンチェンジ時の遅延が低減できることになる。 Code amount of this that the discarded amount can be inserted immediately after a scene change turns into unavoidable I-picture, only that amount, so that can be reduced delay in the scene change. この分の遅延低減量は通常40m秒以上となるので、シーンチェンジ時の画質維持の制約から遅延が決まっている場合には、40m秒以上遅延が低減されることになる。 This delay reduces the amount of minute is usually more than 40m seconds, if the determined delay constraints of quality maintenance during a scene change would more than 40m seconds delay is reduced.

さらに、イントラスライス符号化データを後送りできることは、イントラスライス部分の符号化に関してnパスの符号化が実現できることになるので、イントラスライス部分の画質を従来のイントラスライスリフレッシュ方式より大幅に改善することも可能となる。 Furthermore, it can send back the intra-slice coding data, since the coding of n path with respect to the encoding of the intra-slice portion is to be achieved, be significantly improved over conventional intra-slice refresh method the quality of the intra-slice portion it is possible. もちろん、本発明では、リフレッシュ対象スライスについて、ピクチャ間符号化も行うために、その分符号が余分に発生し、その結果として低遅延の符号化条件でも従来のイントラスライスリフレッシュ方式より画質が低下することが起こりえる。 Of course, in the present invention, the refresh target slice, in order to perform even the inter picture coding, the amount sign extra occur, the image quality than the intra-slice refresh method is also conventional in the encoding conditions of low delay is reduced as a result it may occur. しかし、映像の特性の変化に応じて、本発明と従来のイントラスライスリフレッシュ方式とを適応的に切り換えて使用することとすれば、この画質劣化の問題は回避することができる。 However, in accordance with a change in image characteristics, if the use of the present invention and a conventional intra-slice refresh method adaptively switched, this problem of image quality deterioration can be avoided.

このように、本発明の符号化装置と復号化装置は画質の劣化なく遅延時間を極限にまで低減できる上に、BPBP・・・ あるいはBBPBBP・・・ のピクチャシーケンスに対する低遅延符号化であるので、蓄積ストリームを再生する際のトリックプレイ(低速度倍率のスムーズな早送り、早戻し)にまで対応可能であり、放送用途から、携帯電話を含む次世代の映像通信にまで幅広く応用することができる。 Thus, on the decoding device and coding device of the present invention that can be reduced to the limit degradation without delay time of the image quality, since a low-delay encoding for picture sequence of BPBP · · · or BBPBBP · · · (smooth fast forward low speed ratio, rewind) trick play when reproducing the stored stream is adaptable to a, from the broadcast applications, can be widely applied to a video communication of the next generation, including a mobile phone .
さらに、イントラスライスの符号化データの送出をPピクチャ、Bピクチャの送出の合間あるいはその後にすることで実現される符号量変動の低減は、ベストエフォートのようにバンド幅が保証されない通信路を通して映像を送る場合のコマ落ち防止にも役立つので、インターネットのようなネットワーク向けにも、安定した映像通信を実現する符号化/復号化装置として極めて有用である。 Furthermore, sending the P picture encoded data of the intra-slice code amount reduction of fluctuation is realized by in between or after the delivery of the B picture, video via a communication path bandwidth is not guaranteed as best effort since also help dropping frames prevention when sending, even network such as the Internet, is very useful as the encoding / decoding apparatus to realize stable video communication.

本発明は、映像符号化装置、映像復号化装置、あるいは映像符号化/復号化装置として実施される。 The present invention is a video encoding device, video decoding device, or may be implemented as a video encoding / decoding apparatus. ただし、発明が効果を発揮するには、これらが互いに通信路あるいは放送網を介して組み合わされる必要がある。 However, the invention to be effective, it is necessary that they are combined through a communication channel or a broadcast network with each other. 以下に本発明の一実施形態について、図面を参照しながら詳細に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではない。 An embodiment of the present invention will now be described in detail with reference to the drawings, the technical scope of the present invention is not limited by the following embodiments. また本発明の技術的範囲は均等の範囲にまで及ぶものである。 The technical scope of the present invention but extends to the scope of equivalents.

図5に、本発明の符号化装置の第1の実施例の構成図を示す。 5 shows a configuration diagram of a first embodiment of the coding apparatus of the present invention. この図において、5は入力した映像信号から得られる同期信号をもとに他の各ユニットを制御する制御ユニットである。 In this figure, 5 is a control unit that controls the other units on the basis of the synchronizing signal obtained from the video signal input. また、10は動き補償を利用してP、Bタイプのピクチャ間符号化とその局所復号化を行うピクチャ間符号化ユニット(マクロブロック単位でピクチャ間符号化とイントラ符号化の符号発生量を評価し、イントラ符号化の方が符号発生量が少ないと判定したマクロブロックについてはピクチャ間符号化ではなくイントラ符号化を行う機能も有する)、110はPピクチャ間で巡回する形式で挿入するリフレッシュ対象スライスに対し、イントラスライスとしての符号化とその局所復号化を行うイントラスライス符号化ユニット、20はピクチャ間符号化データを一時的に保持するバッファメモリ、21はリフレッシュ対象スライスのイントラスライス符号化データを一時的に保持するバッファメモリ、30はピクチャ間符号化データとイント Further, 10 rated the amount of code generation of utilizing motion compensation P, inter-picture coding type B and the inter-picture encoded by the encoding unit (macroblock unit between pictures to perform the locally decoded intra coded and, for a macroblock is determined to code generation amount is less for intra coding has a function of performing intra coded instead of inter-coded picture), 110 refresh target to be inserted in a form of cyclic between P-pictures to slice, the intra-slice coding unit for coding as intra-slice and its local decoding, 20 a buffer memory for temporarily holding the inter-picture coded data, 21 intra-slice coding data to be refreshed slices temporarily storing buffer memory, 30 is inter-picture coded data and Into スライス符号化データを多重化するためのヘッダ付加機能付きマルチプレクサ、22は生成した符号化データを一時的に保持するバッファメモリである。 Header adding function multiplexer for multiplexing the slice coded data, 22 is a buffer memory for temporarily storing the generated coded data. 23は局所復号化して復元したイントラスライスを格納するためのイントラスライスメモリ、31はピクチャ間符号化ユニット10からのピクチャ間符号化データの復元ピクチャか、イントラスライスメモリ23からの復元イントラスライスかを選択してフレームメモリに送るマルチプレクサ、80はP、Bの復元ピクチャを格納するフレームメモリである。 23 intra-slice memory for storing the intra-slice restored by local decoding, 31 of either restore picture inter-picture coded data from the inter picture coding unit 10, whether restore intra slices from intra-slice memory 23 selected and multiplexers for sending the frame memory, 80 is a frame memory for storing P, and restoring pictures B.

以下、この第1の実施例の符号化装置の動作について説明する。 Hereinafter, the operation of the coding apparatus of the first embodiment. この図5に示されるように、符号化対象のピクチャ列は、ラスタ走査順に展開された映像信号(輝度信号、色差信号、同期信号などからなる信号)として、ピクチャ間符号化ユニット10に入力される。 As shown in FIG. 5, the picture sequence to be encoded, the video signal is expanded in the raster scan order as (luminance signal, color difference signal, the signal consisting of a synchronization signal) is inputted to the inter picture coding unit 10 that.
ピクチャ間符号化ユニット10は、フレームメモリ80内のPあるいはBの復元ピクチャを読み出し(参照し)、その参照画像から切り出す予測ブロックを用いて動き補償を行うことで、入力ピクチャ列のすべてのピクチャに対し、BPBP…あるいはBBPBBP…の順でピクチャ間符号化を行い、それによって得られる符号化データを、ヘッダなどの情報を付加した上で、バッファメモリ20に出力する。 Inter picture coding unit 10 reads the restoration pictures P or B frame memory 80 (see), by performing motion compensation using the prediction block to be cut out from the reference image, all pictures of the input picture sequence respect, BPBP ... perform inter picture coding by or BBPBBP ... order of the encoded data obtained thereby, after adding information such as a header, and outputs to the buffer memory 20. この時、ピクチャ間符号化は、制御ユニット5が制御信号で指定する符号化単位(例えば、マクロブロック、スライス、ピクチャなどの単位)ごとの符号発生量の目標値を満たすように行う。 In this case, inter-picture coding is performed coding unit control unit 5 is specified in the control signal (e.g., a macroblock, a slice, a unit such as a picture) to meet the target value of the amount of code generation per. また、復号再生処理も同時に行い、得られた復元画像(局所復号画像)をマルチプレクサ31経由で、フレームメモリ80に格納し、以降のP、Bピクチャの符号化時の参照画像として用いられるようにする。 Moreover, the decoding reproduction process is also performed at the same time, the resulting restored image (local decoded image) via multiplexer 31, and stored in the frame memory 80, since the P, to be used as a reference picture when coding the B picture to. さらに、符号化単位ごとにその量子化ステップサイズと符号発生量を制御ユニット5にフィードバックする。 Moreover, it feeds back the quantization step size and the amount of code generation to the control unit 5 for each coding unit.

イントラスライス符号化ユニット110は、Pピクチャ毎に対象部位を移動させるリフレッシュ対象のスライスを取り出し、制御ユニット5が制御信号で指定する符号発生量の目標値を満たすようにイントラ符号化を行い、その結果得られる符号化データにヘッダなどの情報を付加した上でバッファメモリ21へ出力する。 Intra-slice coding unit 110 extracts the refreshed slices moving the target region for each P-picture, performs intra encoding so as to satisfy the target value of the code generation rate control unit 5 is specified in the control signal, the the obtained encoded data after adding information such as a header and outputs it to the buffer memory 21. また、このリフレッシュ対象スライスのイントラスライス符号化データを局所復号再生(復元)し、イントラスライスメモリ23に出力する。 Further, the intra-slice encoded data of the refresh target slice locally decoded and reproduced (restored) to the intra-slice memory 23. さらに、フレーム間符号化ユニット10と同様に、符号化単位ごとの量子化ステップサイズと符号発生量を制御ユニット5にフィードバックする。 Furthermore, as with the inter-frame coding unit 10, and feeds back a quantization step size and the amount of code generation per coding unit in the control unit 5.

イントラスライスメモリ23内の復元スライスは、Bピクチャ復号再生のためのイントラスライス無しの復元Pピクチャ参照が完了した後で次のPピクチャの符号化を開始するまでの間に、フレームメモリ80内の対応するPピクチャのリフレッシュ対象部位に上書きし、従来方式と同じイントラスライスを含む復元Pピクチャをフレームメモリ80内に復号再生する。 Restoring slice in intra-slice memory 23, during the after restoring P picture reference without intra-slice for B-picture decoding and reproduction is completed before the start of encoding of the next P-picture, in the frame memory 80 overwriting the refresh target portion of the corresponding P-picture, it is decoded and reproduced to restore the P picture that includes the same intra-slice the conventional system in the frame memory 80. これによって、Bピクチャの符号化では、前方向でイントラスライスを含む復元Pピクチャを、後方向でイントラスライス無し復元Pピクチャを、それぞれ参照画像として用いるのに対し、Pピクチャの符号化では、従来のイントラスライスリフレッシュ方式と同じく、符号化順で前方に位置するイントラスライスを含む復元Pピクチャを参照画像として用いる。 Thus, in the encoding of the B picture, the restore P pictures before including intra-slice in the direction, the free intra-slice restored P-picture in the backward direction, with respect to use as each reference image in encoding the P picture, the prior art the intra-slice refresh method Like, using recovery P pictures including an intra-slice located ahead in the encoding order as a reference picture.
ピクチャ間符号化ユニット10およびイントラスライス符号化ユニット110が符号化した符号化データのバッファメモリ22への転送は、Pピクチャ周期毎に、先にマルチプレクサ30をバッファメモリ20側に切り替え、Pピクチャ符号化データ、Bピクチャ符号化データの順でピクチャ間符号化データに対して行い、その後にマルチプレクサ30をバッファメモリ21側に切り替え、イントラスライス符号化データに対して行う。 Transfer of inter picture coding unit 10 and the intra-slice coding unit 110 to the buffer memory 22 of the encoded data obtained by encoding, for each P-picture cycle, switches the multiplexer 30 to the buffer memory 20 side earlier, P-picture coding data, performed on a B picture coding order in the inter picture encoded data of the data, then switch the multiplexer 30 to the buffer memory 21 side is performed for the intra-slice coding data. ただし、途中でピクチャ間符号化データの発生レートが低くなり、バッファメモリ22がアンダーフローしそうになる場合には、マルチプレクサ30を一時的にバッファメモリ21側に切り換えて、アンダーフロー防止に必要な量のイントラスライス符号化データをバッファメモリ21から取り出し、識別用のヘッダ情報などを付加した上で、バッファメモリ22に転送する。 However, occurrence rate of inter-picture coded data is low in the middle, when the buffer memory 22 is about to underflow, temporarily switched to the buffer memory 21 side multiplexer 30, the amount required to underflow prevention the intra-slice encoded data is taken out from the buffer memory 21, after adding the header information and the like for identification, is transferred to the buffer memory 22. バッファメモリ22からは、所定のビットレートで外部に出力する。 From the buffer memory 22, and outputs to the outside at a predetermined bit rate.

制御ユニット5は、以上の各ユニットの動作が行われるように適切な制御信号を発生するとともに、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とからフィードバックされる量子化ステップサイズ、符号発生量と、あらかじめ定めておく目標の符号化レートとをもとに、次のP、Bピクチャとイントラスライスの符号化における符号化単位の目標の符号発生量を計算し、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とに出力する。 The control unit 5 is configured to generate the appropriate control signals to the above operation of each unit is performed, the quantization step size to be fed back from the inter-picture coding unit 10 and the intra-slice coding unit 110., code generator amount and, on the basis of the coding rate of the target to be determined in advance, the following P, and code generation amount of the target of the coding unit calculated in encoding the B picture and the intra-slice, the inter picture coding unit 10 and outputs to the intra-slice coding unit 110.

以上の動作説明から明らかなように、本発明では、符号量の大きいリフレッシュ対象スライスのイントラスライス符号化データを後送りするので、ピクチャ間符号化データをその分早く送り終えることができる利点がある。 As apparent from the above description, the present invention, since the rear feed the intra-slice encoded data of a large refreshed slice code amount, there is an advantage that it is possible to finish correspondingly fast feed inter picture coded data . 復号化装置側が、これにより早く受け取れるピクチャ間符号化データのみを用いてPピクチャを復元し、それを続いて行うBピクチャ復元の参照画像として用いるようにすれば、後から届くイントラスライス符号化データを一切用いずにBピクチャが復元できることになるので、Bピクチャの復元が早まり、結果として、その分早く復元画像を表示できるようになり、符号化から復号化までの遅延を大幅に短縮できる。 Decoding apparatus side, thereby using only the inter picture encoded data receive quickly restore the P-picture, if it to use as subsequently B picture restored reference image to perform an intra-slice coding data received from post since the becomes possible to restore B-picture without any, restoration of the B picture is accelerated, as a result, will be able to view the correspondingly quickly restored image can be greatly shortened delay between decoding the coding.
イントラスライス符号化データの符号量の多さが、遅延に影響し難くなるので、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えられるばかりか、イントラスライス符号化データについては符号化と同時に送出しなくてもよくなるため、nパスの符号化技術が使用可能となり、量子化ステップサイズの変動の少ない安定したイントラ符号化がイントラスライス内で実現可能となる。 Abundance of code amount of the intra-slice coded data, since it becomes difficult to effect a delay, not only given sufficient amount of codes for encoding the intra-slice refresh current slice, reference numerals intra-slice coding data to become need not be transmitted simultaneously with the reduction, the coding technology of n path becomes available, less stable intra-coded fluctuation of the quantization step size can be realized within the intra-slice. したがって、低遅延の符号化条件でも画質の劣化を最小限に抑制できる利点も持つ。 Therefore, also has the advantage of minimizing the degradation of image quality in encoding condition of low delay.

また、静止画あるいは動きのほとんどない静止画的な画像で、ピクチャ間符号化データの発生量が極端に減り、出力用のバッファメモリ22がアンダーフローしそうになっても、マルチプレクサ30を一時的にバッファメモリ21の方に切り換えて、イントラスライス符号化データを流し込めるため、低遅延の符号化条件でも無益なスタッフィングの挿入を最小限に留められる利点がある。 Furthermore, with little still image images of a still image or motion reduces the extreme amount of generated inter picture coded data, also a buffer memory 22 for output becomes about to underflow, temporarily multiplexer 30 is switched towards the buffer memory 21, for pourable intra-slice coded data, there is an advantage to be minimized insertion of futile stuffing in encoding condition of low delay.
さらに、次段のPピクチャ周期内でシーンチェンジが起こり、スライス単位のリフレッシュが無意味になる場合に、圧縮に寄与しない不要なイントラスライス符号化データの転送を、シーンチェンジを検出した時点で中断あるいは中止できる利点もある。 Further, it occurs a scene change in the next stage P-picture cycle, when the refresh slice is meaningless, the transfer of unnecessary intra-slice coded data which does not contribute to compression, interrupted upon detecting the scene change or there is also an advantage that can be canceled. このため、シーンチェンジ検出時点でイントラスライス符号化データをすでに送り終えている確率の高い従来のイントラスライスリフレッシュ方式に比べると、シーンチェンジ直後に挿入せざるを得ないイントラピクチャに中断あるいは中止した分の符号量を割り当てることができるようになり、これによりシーンチェンジ直後の画質劣化を大幅に緩和することができる。 Therefore, compared with the conventional intra-slice refresh method probable that after already sends an intra-slice encoded data in the scene change detection time, interrupted or discontinued inserted forced intra-picture immediately after the scene change minute code amount will be able to assign, thereby greatly alleviating the deterioration of image quality after the scene change.
なお、本実施例では、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110を、別のユニットとして構成しているが、ピクチャ間符号化ユニット10に組み込んでいるマクロブロック単位でのイントラ符号化とその局所復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス符号化ユニットの機能を同時に実現可能で、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とを、ピクチャ間/イントラスライス符号化ユニットとして一体化することもできる。 In this embodiment, the inter picture coding unit 10 and the intra-slice coding unit 110, but is configured as a separate unit, the intra coding of each macroblock incorporating the inter picture coding unit 10 and by increasing the processing capacity of the local decoding function, if added to the output function of the intra-slice memory, intra-slice function of coding units in the same time feasible, inter picture coding unit 10 and the intra-slice coding unit and 110 may be integrated as inter picture / the intra-slice coding unit. また、本実施例では、フレームメモリ80、バッファメモリ20〜22、イントラスライスメモリ23は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。 Further, in this embodiment, a frame memory 80, the buffer memory 20 to 22, an intra-slice memory 23 is being configured as separate memories, and can be assigned to different regions on a single memory. この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。 In this case, the function of the multiplexer is implemented as a switching function of the access area. これらの符号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。 The integration of these coding unit and memory, it is possible to reduce the entire encoding device hardware scale.

図6に、本発明の第2の実施例の符号化装置の構成図を示す。 Figure 6 shows a block diagram of a coding apparatus of the second embodiment of the present invention. 第1の実施例との違いは、フレームメモリ80がピクチャ間符号化ユニットとマルチプレクサ31との間に移動している点のみである。 The difference from the first embodiment only in that the frame memory 80 is moving between the encoding unit and the multiplexer 31 between pictures. 以下、第1の実施例との動作の違いについて説明する。 The following describes differences between the operation of the first embodiment.

第1の実施例では、イントラスライスメモリ23内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Pピクチャをフレームメモリ80内に実際に生成し、それを読み出すようにしていた。 In the first embodiment, the restoration intra-slice in the intra-slice memory 23, by overwriting the refresh target site, actually generating a restoration P pictures including an intra-slice in the frame memory 80, so as to read it which was. これに対し、第2の実施例では、復元Pピクチャをフレームメモリから読み出す際に、マルチプレクサ31を必要に応じて切り換えることで、イントラスライスメモリ23の復元イントラスライスを読み出せるようにして、等価的に、イントラスライスを含む復元Pピクチャが読み出されるようにしている。 In contrast, in the second embodiment, when reading the restored P-picture from the frame memory, by switching in accordance with multiplexer 31 as required, so as to read out the restoration intra-slice of intra-slice memory 23, equivalent to restore P pictures including an intra-slice is to be read.
具体的には、Bピクチャの符号化では、前方向、後方向共に、マルチプレクサ31を途中で切り換えることなくフレームメモリ内のイントラスライス無しの復元Pピクチャを参照画像として読み出すのに対し、Pピクチャの符号化では、リフレッシュ対象スライス部分だけはマルチプレクサ31をイントラスライスメモリ側に切り換えてその中の復元イントラスライスを参照画像として読み出す。 Specifically, in the encoding of the B-picture, forward, backward both to read the restoration P-picture without intra-slice in the frame memory without switching the multiplexer 31 in the middle as a reference image, the P picture in the encoding, refresh target slice portion only reads restore intra-slice therein as a reference image by switching the multiplexer 31 to the intra-slice memory side. 制御ユニット5は、イントラスライス部位の移動に併せ、マルチプレクサ31を切り換えるとともに、フレームメモリ80とイントラスライスメモリ23に必要なアドレスと読み出し制御信号を生成、供給する。 Control unit 5, together with the movement of the intra-slice region, switches the multiplexer 31, generates an address and a read control signal necessary for the frame memory 80 and the intra-slice memory 23, and supplies.

この第2の実施例では、イントラスライスメモリ23からフレームメモリ80へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。 In this second embodiment, there is an advantage that becomes unnecessary transfer restore intra-slice for overwriting the refresh slice portion from the intra-slice memory 23 to the frame memory 80. また、復号化装置側の表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効となるBピクチャの復号再生時の前方、後方の両方向でイントラスライス無しの復元Pピクチャを参照することが、イントラスライス無しのPピクチャのコピーを別に保持したり余分な転送を行ったりすること無しで実現できる利点がある。 Also, ahead of the time of decoding and reproducing of valid become B-picture to inconspicuous movement of the refresh target slice region in the display image of the decoding apparatus side, reference is made to restore the P picture without intra-slice behind in both directions , there is an advantage that can be realized by without a copy of the P picture without intra-slice or perform holding or extra transfer separately.
図7は、例えば先の第1、第2の実施例で生成された符号化データを受けて、符号化映像を復号再生する本発明の第3の実施例の復号化装置の構成図を示している。 7, for example, first preceding receives the encoded data generated in the second embodiment, shows a block diagram of a decoding apparatus of a third embodiment of the present invention for decoding reproduced encoded video ing. この図において、35はマルチプレクサ、50は符号化データ列からヘッダなどの付加情報を抽出、解析し、その結果をもとに、符号化データ列をピクチャ間符号化データ列とイントラスライス符号化データ列に分離するデータ分離ユニット、62は入力の符号化データ列をバッファリングするバッファメモリ、60はデータ分離ユニット50によって分離されたピクチャ間符号化データ列を受け取りバッファリングするバッファメモリ、61はやはりデータ分離ユニット50によって分離されたイントラスライス符号化データを受け取りバッファリングするバッファメモリ、63は復号再生した復元イントラスライスを格納するイントラスライスメモリ、81は復元Pピクチャを格納するためのフレームメモリ、200はバッファメモリ6 In this figure, 35 is a multiplexer, 50 extracts additional information, such as a header from the encoded data string, on the basis of a result, inter-picture encoded data stream coded data string and the intra-slice coding data data separating unit for separating the columns, a buffer memory for buffering the encoded data of the input string 62, 60 is a buffer memory for receiving buffered coded data string between separated pictures by the data separation unit 50, 61 also has a buffer memory for receiving and buffering the intra-slice coding data separated by the data separation unit 50, the intra-slice memory 63 for storing the restored intra-slice decoded playback, 81 a frame memory for storing the restored P-picture, 200 buffer memory 6 からピクチャ間符号化データを読み出して、それを復号再生するピクチャ間符号化データ復号化ユニット、210はバッファメモリ61からイントラスライス符号化データを読み出して、それを復号再生するイントラスライス復号化ユニット、90はフレームメモリ81内のP、Bの復元ピクチャを、ラスタ走査順の映像信号に変換して出力する映像信号化ユニットである。 Reads the inter-picture coded data from, inter picture encoded data decoding unit for decoding and reproducing it, 210 reads the intra-slice encoded data from the buffer memory 61, an intra-slice decoding unit for decoding and reproducing it, 90 P in the frame memory 81, a restoration picture B, and a video signal of unit that converts the raster scan order of the image signal. また、55は各ユニットを制御するための制御ユニットであり、各ユニットに対する制御信号(メモリに対するアドレス信号も含む)を生成する。 Further, 55 denotes a control unit for controlling each unit, generates a control signal for each unit (including an address signal to the memory).

以下、この第3の実施例の復号化装置の動作を、復号の開始時点から説明する。 Hereinafter, the operation of the decoding apparatus of the third embodiment will be described from the start of decoding. この復号化装置の動作は、電源投入後、装置が正常に立ち上がり、電源投入以前から送り込まれている符号化データ入力の取り込みを始めた時点、あるいは、符号化装置側から送り込まれてくる符号化データの先頭が始めて到達した時点から、開始する。 The operation of the decoding device, after power-on, device rises to normal, time started encoded data input uptake are fed from power before or, coding coming sent from the encoder side from the point at which the head of the data has been reached for the first time, to start. いずれの場合も、符号化データ分離ユニット50が符号化データ入力からヘッダなどの付加情報を抽出、解析し、ピクチャ間符号化データとイントラスライス符号化データに分離して、前者をバッファメモリ60に、後者をバッファメモリ61に出力する。 In any case, extracts additional information of the encoded data separation unit 50 and a header from the encoded data input, analysis, separates the inter picture encoded data and intra-slice coding data, the former in the buffer memory 60 , and it outputs the latter to the buffer memory 61. この時、以後の処理で不要となる付加情報は除去し、200、210の復号化ユニットから、ピクチャ単位あるいはスライス単位の符号化データを連続的に読み出せるようにする。 At this time, additional information is not required in the subsequent processing removes, from the decoding unit of 200 and 210, to be read encoded data in units of pictures or units of slices continuously.
ピクチャ間復号化ユニット200は、ピクチャ間符号化データバッファにおいて有効なピクチャ間符号化データの読み出しが可能となった時点から読み出しを始め、符号化データの復号に必要なピクチャ(表示順で前方あるいは後方に位置するピクチャ)の復元画像を必要に応じて参照しつつピクチャ間符号化データの復号再生を実行する。 Inter picture decoding unit 200, including the reading from the time when the reading of the effective inter-picture coded data in the inter picture coded data buffer becomes available, forward or in picture (display order required for decoding of the encoded data with reference as necessary to restore the image of the picture) located behind performing the decoding and reproduction of the inter-picture coded data. この復号再生により復元したピクチャは、復元ピクチャ格納用のフレームメモリ81に一旦格納し、それ以降に符号化データからピクチャを復号再生するための参照画像として用いる。 Picture restored by the decoding and reproduction is temporarily stored in the frame memory 81 for storing restored picture is used as a reference picture for decoding and reproducing a picture from the encoded data thereafter.

また、フレームメモリ81内の各復元ピクチャは、映像信号化ユニット90を介して、表示順に外部の表示装置に出力する。 Each restored picture in the frame memory 81 via the video signal of unit 90, and outputs to an external display device in the display order. これらの表示ための出力と復号再生のための参照とが終わり不要になった復元ピクチャは、新たに生成される復元ピクチャで上書きすることでフレームメモリ81上から削除する。 Restore picture references and is no longer needed at the end for decoding and playback output of these displays for is deleted from the frame memory 81 by overwriting the restored pictures to be newly generated.
イントラスライス復号化ユニット210の方も、ピクチャ間符号化データ復号化ユニット200と同様に、バッファメモリ61より有効なイントラスライス符号化データの読み出しが可能になった時点から読み出し始め、復号再生動作を開始する。 Also towards the intra-slice decoding unit 210, similarly to the inter picture encoded data decoding unit 200 begins reading from the time it becomes possible to read a valid intra-slice encoded data from the buffer memory 61, the decoding and reproduction operation Start. これによって復号再生される復元イントラスライスは、イントラスライスメモリ63に格納する。 This restores the intra-slice to be decoded reproduced is stored in the intra-slice memory 63. イントラスライスメモリ63内の復元イントラスライスは、符号化時の切り出し元の復元画像であるフレームメモリ内の復元Pピクチャのリフレッシュ対象スライス部分に上書きする。 Restoring intra-slice in the intra-slice memory 63 overwrites the refreshed slice portion of the restored P-picture frame memory which is cut out source of the restored image in encoding. ただし、この上書きのタイミングは、上書きしようとする復元Pピクチャに対するBピクチャ復号再生のための参照が終了してから、次のPピクチャの復元が始まるまでの間とする。 However, the timing of the overwriting, since the reference is completed for the B-picture decoding and reproducing for restoring the P picture to be overwritten, and until restoration of the next P-picture starts.
これによって、Pピクチャの復号再生には、イントラスライスを含むPピクチャを参照するというイントラスライスによるリフレッシュ実現の制約を守りながら、イントラスライスの符号化データの復号再生をBピクチャ復号再生のための参照が終了するまでに遅らせられるようになる。 Thus, the decoding and reproduction of the P picture, while adhering to constraints refresh achieved by intra-slice that reference to P pictures including an intra-slice, a reference for the decoding and reproduction of the encoded data of the intra-slice B-picture decoding reproduction but so it is delayed until the end. したがって、イントラスライスの符号化データの受信が遅れてもBピクチャの復号再生の進遅に影響しなくなる。 Therefore, even if the reception of the encoded data of the intra-slice is delayed longer affects the advances slow decoding reproduction of the B picture. このため、従来方式のようにイントラスライスの符号量増加が遅延増の要因となることがなくなり、符号化装置側でイントラスライスに十分な符号量を与えられるようになるため、低遅延の符号化・復号化の条件でも、最小限の画質劣化でリフレッシュを実現することが可能となる。 This eliminates that the code amount increases in intra-slice as in the conventional method is a factor of increased delay, since the coding apparatus side so given a sufficient amount of code in intra-slice, coding of low delay - in terms of decoding, it is possible to realize a refresh with minimal image degradation.

なお、本実施例では、ピクチャ間符号化データ復号化ユニット200とイントラスライス復号化ユニット210を、別のユニットとして構成しているが、ピクチャ間符号化データ復号化ユニット200に組み込んでいるマクロブロック単位でのイントラ復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス復号化ユニットの機能を同時に実現可能で、ピクチャ間復号化ユニット200とイントラスライス復号化ユニット210を、ピクチャ間符号化データ/イントラスライス復号化ユニットとして一体化することができる。 In the present embodiment, a macroblock inter-picture encoded data decoding unit 200 and the intra-slice decoding unit 210, but is configured as a separate unit, which incorporates the inter picture encoded data decoding unit 200 by increasing the capacity of the intra-decoding function in units, if added to the output function of the intra-slice memory, function at the same time feasible for intra-slice decoding unit, inter picture decoding unit 200 and the intra-slice decoding the unit 210 may be integrated as inter picture coded data / intra-slice decoding unit.
また、本実施例では、フレームメモリ81、バッファメモリ60〜62、イントラスライスメモリ63は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。 Further, in this embodiment, a frame memory 81, a buffer memory 60-62, intra-slice memory 63 is being configured as separate memories, and can be assigned to different regions on a single memory. この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。 In this case, the function of the multiplexer is implemented as a switching function of the access area. これらの復号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。 The integration of these decoding unit and a memory, it is possible to reduce the entire encoding device hardware scale.

図8に、本発明の第4の実施例の復号化装置の構成図を示す。 Figure 8 shows a block diagram of a decoding apparatus of a fourth embodiment of the present invention. 第3の実施例との違いは、フレームメモリ81がピクチャ間復号化ユニットとマルチプレクサ35との間に移動して、リフレッシュ対象スライスの領域を参照する際に、参照元メモリをフレームメモリ81かイントラスライスメモリ63かのいずれかで選択できるようにしている点のみである。 Unlike the third embodiment, the frame memory 81 is moved between the inter picture decoding unit and the multiplexer 35, when referring to regions of the refresh target slice, the reference source memory frame memory 81 or an intra slice memory 63 is only the point that can be selected by Kano either. 以下、第3の実施例との動作の違いについて説明する。 The following describes differences between the operation of the third embodiment.
第3の実施例では、イントラスライスメモリ63内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Pピクチャをフレームメモリ81内に実際に構成してから、それを参照するようにしていた。 In the third embodiment, a restore intra-slice in the intra-slice memory 63, by overwriting the refresh target site, the restoration P pictures including an intra-slice from the actually constructed in the frame memory 81, refers to it It had to be. これに対し、本実施例では、Pピクチャを参照する際に、参照元を選択する手段であるマルチプレクサ35を必要に応じて切り換えることでイントラスライスメモリ63の復元イントラスライスを参照できるようにして、イントラスライス無しの復元Pピクチャのみならず、イントラスライスを含む復元Pピクチャも参照できるようにしている。 In contrast, in the present embodiment, when referring to a P picture, the multiplexer 35 is a means for selecting a reference source by switching as necessary to be able to see Restoring intra-slice of intra-slice memory 63, not only restored P-picture without intra-slice, so that can be referenced restored P pictures including an intra-slice.
具体的には、Bピクチャについては、前方、後方共にマルチプレクサ35をフレームメモリ81側に倒したままでイントラスライス無しの復元Pピクチャをフレームメモリ81内から参照画像として切り出して、復号再生を行い、結果をフレームメモリ81に格納する。 Specifically, the B-picture, forward, cut out to restore the P picture without intra-slice while defeating a multiplexer 35 to the rear both the frame memory 81 side as the reference picture from within the frame memory 81, performs decoding reproduction, and stores the result in the frame memory 81.

一方、Pピクチャについては、イントラスライスを含む復元Pピクチャを次のように参照して、復号再生を行い、イントラスライス無しのままでフレームメモリ81に格納する。 On the other hand, the P-picture, the restore P pictures including an intra-slice with reference to the following, decodes reproduced, stored in the frame memory 81 remains without intra-slice. イントラスライスを含む復元Pピクチャの参照は、リフレッシュ対象スライス部分だけはイントラスライスメモリ63側が、それ以外の部分はフレームメモリ81側が、それぞれ選ばれるようにマルチプレクサ35を切り換える。 See Restoring P pictures including an intra-slice refreshed slice portion only intra-slice memory 63 side is, other portions the frame memory 81 side is, switch the multiplexer 35 so that each selected. こうすることで、リフレッシュ対象スライス領域に対する参照では、復元イントラスライスから切り出され、それ以外の領域に対する参照では、イントラスライス無しの復元Pピクチャから切り出されることになる。 In this way, the reference to the refresh target slice region, cut out from the restored intra-slice, the reference to other regions, will be cut from the restored P-picture without intra-slice. P、Bの復元ピクチャは、第3の実施例と同じく、表示順で映像信号化ユニット90を介して外部の表示装置に出力する。 P, restoring pictures B, as well as the third embodiment, and outputs to an external display device via a video signal of unit 90 in display order.
制御ユニット55は、イントラスライス部位の移動に併せ、マルチプレクサ35の切り換え制御信号と、フレームメモリ81とイントラスライスメモリ63に必要なアドレスと読み出し制御信号を生成、供給する。 Control unit 55, together with the movement of the intra-slice region, generating a switching control signal of the multiplexer 35, the address and a read control signal necessary for the frame memory 81 and the intra-slice memory 63, and supplies.

この第4の実施例では、イントラスライスメモリ63からフレームメモリ81へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。 In the fourth embodiment, there is an advantage that becomes unnecessary transfer restore intra-slice for overwriting the refresh slice portion from the intra-slice memory 63 to the frame memory 81. また、表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効なBピクチャの参照画像を前方、後方共にイントラスライス無しの復元Pピクチャとすることが、イントラスライス無しのPピクチャを別にコピーしたり、余分な転送を行ったりすることなしで実現できる利点がある。 Also, forward reference image effective B-picture to inconspicuous movement of the refresh target slice region in the display image, be restored P-picture without intra-slice behind both the P-picture without intra-slice separately copy or, it can be advantageously realized without it or perform an extra transfer. さらに、第3の実施例とは異なりフレームメモリ81の復元Pピクチャに対する復元イントラスライスの上書きを行わないので、表示用にイントラスライス無しの復元Pピクチャを出力するのに、復元イントラスライスを上書きする前に行わなければならないという制約がなくなる利点がある。 Furthermore, since no overwriting of the restored intra-slice for restoring the P picture of the frame memory 81 differs from the third embodiment, to outputs the restored P-picture without intra-slice for display, overwriting the restored intra-slice there is an advantage that the restriction is eliminated that must be done before.

以上の実施例で説明したように、符号化装置側では、Pピクチャについて、全体を前方予測に基づく動き補償によりピクチャ間符号化を行い、その符号化順に符号化データを送出するのに加え、Pピクチャ毎に挿入位置を移動するリフレッシュ対象スライス部分についてイントラスライスとしても符号化する。 As described in the above embodiment, in the coding apparatus side, the P-picture, the whole was subjected to inter-picture coding by the motion compensation based on forward prediction, in addition to sending the encoded data to the coding order, also encoded as intra-slice for refresh target slice portion to move the insertion position for each P-picture. そして、このイントラスライス符号化データの送出を、符号量の増加が遅延増の要因にならないように、Pピクチャ周期ごとの符号化において、Pピクチャ符号化データとBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に行う。 Then, the transmission of the intra-slice coding data, as the increase in the code amount does not become a factor of an increase delay in the encoding of each P-picture cycle, intervals between delivery of P picture coded data and B picture coded data or performed after completion delivery thereof.
一方、復号化装置側では、符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復号再生し、それによって復元されたPピクチャ(イントラスライス無し復元Pピクチャ)を、遅延低減にクリティカルなBピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる。 On the other hand, in the decoding apparatus side, P picture coded decoded reproduced P picture without intra-slice from the data sent to the coding order, the P picture which thereby restored (no intra-slice restored P-picture), delay reduction for use as reference image cutting out the prediction block when decoding and reproducing the critical B-picture. 到着の遅れるイントラスライス符号化データがないと復号再生できないイントラスライスを含む復元Pピクチャを、リフレッシュ機能実現のためにイントラスライス無しPピクチャ復元時の参照画像として用いるようにする。 Restore P picture containing not be decoded and reproduced not intra-slice encoded data delayed the arrival intra-slice is used as the reference image at the time of intra-slice without P pictures restored for refresh function implementation.

以上の説明では、図5〜図8に示すように本発明の映像符号化装置と映像復号化装置を個々のユニットあるいはメモリを相互に組み合わせてハードウェア的に実現する方法を示した。 In the above description showed how the video encoding apparatus and video decoding apparatus of the present invention by combining the individual units or memory with each other to realize in hardware as shown in FIGS. 5-8. しかし、最近のマイクロプロセッサの技術の進歩は著しく、個々のユニットをマイクロプロセッサ上で動作するソフトウェアとして実装することが可能になっている。 However, advances in recent microprocessor technology significantly, it has become possible to implement as software running the individual units on a microprocessor. メモリもそのマイクロプロセッサの主記憶上に同様に実装することができるようになっている。 Memory is also become possible to similarly mounted on the main memory of the microprocessor. 還元すれば、本発明の一部あるいは全部がコンピュータのソフトウェアとして実装することができる。 If the reduction, can be part or all of the present invention is implemented as computer software. この場合、個々のユニットはサブルーチン、関数、あるいはオブジェクトとして実現される。 In this case, the individual units is implemented subroutine, function, or as objects.

本発明は、Pピクチャ内にリフレッシュ対象スライスを設ける符号化方式であれば、MPEG-2、MPEG-4の符号化方式や、H. The present invention may, if coding scheme providing the refresh target slice into the P-picture, and coding method of MPEG-2, MPEG-4, H. 261〜H. 261~H. 263の符号化方式など、各種の符号化方式に適用可能である。 Such as 263 coding scheme is applicable to various encoding systems. Bピクチャとして、従来の双方向予測の代わりに前方あるいは後方に位置する2枚の復元画像から切り出すブロックの補間画像から予測ブロックを生成する双予測のピクチャ間符号化ピクチャを用いるH. As B-picture, using inter picture coded picture bi-prediction to generate a prediction block from interpolated image blocks cut from two restored image located ahead or behind in place of conventional bidirectional prediction H. 264のような符号化方式に対しても同様に適用可能である。 Even for the encoding scheme, such as 264 can be applied as well. また、第1の実施例および第2の実施例として説明したように、Bピクチャ符号化時に動き補償用の予測ブロックを切り出す参照画像として用いる復元Pピクチャは、例えば前方向のものについてはイントラスライスを含む復元Pピクチャとし、時間的に後に表示される後方向のものについてはイントラスライス無しの復元Pピクチャとしてもよいし、双方をイントラスライス無しの復元Pピクチャとしてもよい。 Further, as described as the first and second embodiments, restore the P-picture is used as a reference picture for cutting out a prediction block for motion compensation when a B picture coding, for example, intra-slice for forward ones and restoring the P picture containing, may be restored P-picture without intra-slice for after the direction of what is displayed after time, both may be restored P-picture without intra-slice. 加え、必ずしもPピクチャのすべてにリフレッシュ対象スライスを設けなければならないわけではなく、リフレッシュ対象スライスがないPピクチャがあってもよい。 In addition, not necessarily mean must be provided refreshed slices every P-picture, there may be refreshed slice no P-picture.

PPP構造、BBP構造のピクチャシーケンスにイントラスライスを巡回的に挿入する様子を示した図である。 PPP structure is a diagram showing a state of inserting an intra-slice cyclically the picture sequence of BBP structure. 従来の標準的な構成の映像符号化装置の構成図である。 It is a block diagram of an image encoding apparatus of the conventional standard configuration. 従来の標準的な構成の映像復号化装置の構成図である。 It is a block diagram of an image decoding apparatus of the conventional standard configuration. 課題を解決する手段を説明するための図である。 It is a diagram for explaining a means for solving the problems. 本発明の第1の実施例の映像符号化装置の構成図である。 Is a block diagram of an image coding apparatus in the first embodiment of the present invention. 本発明の第2の実施例の映像符号化装置の構成図である。 It is a block diagram of an image encoding apparatus of the second embodiment of the present invention. 本発明の第3の実施例の映像符号化装置の構成図である。 It is a block diagram of an image encoding apparatus of the third embodiment of the present invention. 本発明の第4の実施例の映像復号化装置の構成図である。 It is a block diagram of an image decoding apparatus of the fourth embodiment of the present invention.

符号の説明 DESCRIPTION OF SYMBOLS

5,55 制御ユニット 10 ピクチャ間符号化ユニット 20,21,22,60,61,62 バッファメモリ 23,63 イントラスライスメモリ 30,31 マルチプレクサ 50 データ分離ユニット 80,81 フレームメモリ 90 映像信号化ユニット 110 イントラスライス符号化ユニット 200 ピクチャ間符号化データ復号化ユニット 210 イントラスライス復号化ユニット 5 and 55 the control unit 10 inter picture coding unit 20,21,22,60,61,62 buffer memory 23, 63 intra-slice memory 30, 31 multiplexer 50 data separation unit 80, 81 frame memory 90 the video signal of unit 110 Intra slice coding unit 200 inter-picture encoded data decoding unit 210 intra-slice decoding unit

Claims (6)

  1. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化装置において、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, the picture encoding apparatus for realizing a periodic refresh,
    Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、 When P-picture coding, means for the entire picture regardless of whether or not to provide a refresh target slice into the P picture, and inter picture coded as a P-picture without intra-slice, to produce a P picture coded data,
    前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、 When providing a refresh target slice into the P-pictures, and means the portion of the refreshed sliced ​​intra-coded as an intra-slice, to generate the intra-slice coding data,
    Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、 When B-picture encoding, for at least one reference image among the plurality of reference images cut out a prediction block for the motion compensation to inter-picture coded using restoring the P picture without an intra slice decoding the P picture coded data means for generating a B picture coded data,
    前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段とを備える ことを特徴とする映像符号化装置。 It sends out the inter picture coded P picture coded data and B picture coded data into coding order, respectively, the intra-slice coding data of the refresh target slice, the P picture coded data and B picture coded video encoding apparatus characterized by comprising: means for sending interval of transmission of data or after completion delivery thereof.
  2. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化装置において、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, the video decoding apparatus for decoding data encoded by the video encoding method for realizing a periodic refresh,
    ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、 Using a P picture coded data obtained by coding the entire picture as a P-picture without intra-slice, the restoration P-picture without intra-slice for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation and B picture coded data encoded Te, when the refresh target slice into the P-pictures are provided, means for receiving the intra-slice encoded data obtained by encoding the refresh target slice portions as intra-slice ,
    前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、 Decoding the P picture encoded data received; means for generating and storing the recovered P-picture without intra-slice,
    前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、 The B picture coded data thus received, using the restored P-picture without intra slice decoding the P picture coded data for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation and decoding means for generating the restored B-picture,
    前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、 Decoding the intra-slice coding the received data, and means for restoring the intra-slice,
    前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、 It means for replacing in the intra slice refresh current slice portion of the restored P-pictures without the intra slice and the restored,
    前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段とを備える ことを特徴とする映像復号化装置。 Characterized in that it comprises a means to cut the original reference image prediction block for motion compensation when decoding a P picture encoded data subsequent restoration P picture by replacing the refresh target slice portion in the intra-slice video decoding apparatus.
  3. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方法において、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, the picture coding method for realizing a periodic refresh,
    Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する過程と、 When P-picture coding, the process of the entire picture regardless of whether or not to provide a refresh target slice into the P picture, and inter picture coded as a P-picture without intra-slice, to produce a P picture coded data,
    前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する過程と、 When providing a refresh target slice into the P-pictures, the method comprising by intra-coding, and generates the intra-slice encoded data portion of the refresh target slice as intra-slice,
    Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する過程と、 When B-picture encoding, for at least one reference image among the plurality of reference images cut out a prediction block for the motion compensation to inter-picture coded using restoring the P picture without an intra slice decoding the P picture coded data , and generating the B picture coded data,
    前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する過程とを有する ことを特徴とする映像符号化方法。 It sends out the inter picture coded P picture coded data and B picture coded data into coding order, respectively, the intra-slice coding data of the refresh target slice, the P picture coded data and B picture coded video encoding method characterized by having the steps of sending interval of transmission of data or after completion delivery thereof.
  4. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化方法において、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, the video decoding method for decoding the data encoded by the video encoding method for realizing a periodic refresh,
    ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する過程と、 Using a P picture coded data obtained by coding the entire picture as a P-picture without intra-slice, the restoration P-picture without intra-slice for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation and B picture coded data encoded Te, when the refresh target slice into the P-pictures are provided, the process of receiving the intra-slice encoded data obtained by encoding the refresh target slice portions as intra-slice ,
    前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する過程と、 A step of decoding the P picture coded data, generates and stores the restoration P picture without an intra slice the received,
    前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する過程と、 The B picture coded data thus received, using the restored P-picture without intra slice decoding the P picture coded data for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation decoded, and generating a restoration B picture,
    前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する過程と、 Decoding the intra-slice coding the received data, and the process of restoring the intra-slice,
    前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える過程と、 A process of replacing an intra slice refresh current slice portion of the restored P-pictures without the intra slice and the restored,
    前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする過程とを有する ことを特徴とする映像復号化方法。 And having a process to cut out the original reference image prediction block for motion compensation when decoding a P picture encoded data subsequent restoration P picture by replacing the refresh target slice portion in the intra-slice the video decoding method.
  5. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化をコンピュータに実行させるための映像符号化プログラムであって、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, a video encoding program for executing a video encoding to achieve a periodic refresh to the computer,
    前記コンピュータを、 The computer,
    Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、 When P-picture coding, means for the entire picture regardless of whether or not to provide a refresh target slice into the P picture, and inter picture coded as a P-picture without intra-slice, to produce a P picture coded data,
    前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、 When providing a refresh target slice into the P-pictures, and means the portion of the refreshed sliced ​​intra-coded as an intra-slice, to generate the intra-slice coding data,
    Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、 When B-picture encoding, for at least one reference image among the plurality of reference images cut out a prediction block for the motion compensation to inter-picture coded using restoring the P picture without an intra slice decoding the P picture coded data means for generating a B picture coded data,
    前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段として、 It sends out the inter picture coded P picture coded data and B picture coded data into coding order, respectively, the intra-slice coding data of the refresh target slice, the P picture coded data and B picture coded as means for sending interval of transmission of data or after completion delivery thereof,
    機能させるための映像符号化プログラム。 Video encoding program for functioning.
  6. Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化をコンピュータに実行させるための映像復号化プログラムであって、 By moving between P pictures cascade pictures in position to be refreshed slice provided in the P-picture, the video decoding in a computer to decode the data encoded by the video encoding method for realizing a periodic refresh a video decoding program for executing,
    前記コンピュータを、 The computer,
    ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、 Using a P picture coded data obtained by coding the entire picture as a P-picture without intra-slice, the restoration P-picture without intra-slice for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation and B picture coded data encoded Te, when the refresh target slice into the P-pictures are provided, means for receiving the intra-slice encoded data obtained by encoding the refresh target slice portions as intra-slice ,
    前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、 Decoding the P picture encoded data received; means for generating and storing the recovered P-picture without intra-slice,
    前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、 The B picture coded data thus received, using the restored P-picture without intra slice decoding the P picture coded data for at least one reference image among the plurality of reference images cut out a prediction block for motion compensation and decoding means for generating the restored B-picture,
    前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、 Decoding the intra-slice coding the received data, and means for restoring the intra-slice,
    前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、 It means for replacing in the intra slice refresh current slice portion of the restored P-pictures without the intra slice and the restored,
    前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段として、 As a means to cut out the original reference image prediction block for motion compensation when decoding a P picture encoded data subsequent restoration P picture by replacing the refresh target slice portion in the intra-slice,
    機能させるための映像復号化プログラム。 Image decoding program for operating.
JP2006038883A 2006-02-16 2006-02-16 Video encoding, decoding apparatus and a video coding, decoding method, and their programs Active JP4649615B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006038883A JP4649615B2 (en) 2006-02-16 2006-02-16 Video encoding, decoding apparatus and a video coding, decoding method, and their programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006038883A JP4649615B2 (en) 2006-02-16 2006-02-16 Video encoding, decoding apparatus and a video coding, decoding method, and their programs

Publications (2)

Publication Number Publication Date
JP2007221411A true JP2007221411A (en) 2007-08-30
JP4649615B2 true JP4649615B2 (en) 2011-03-16

Family

ID=38498185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006038883A Active JP4649615B2 (en) 2006-02-16 2006-02-16 Video encoding, decoding apparatus and a video coding, decoding method, and their programs

Country Status (1)

Country Link
JP (1) JP4649615B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
KR20100112567A (en) * 2007-12-05 2010-10-19 온라이브, 인크. System and method for compressing video by adjusting tile size based on detected intraframe motion or scene complexity
EP2434757B1 (en) 2009-05-22 2016-11-23 MegaChips Corporation Video playback system and video playback method
US9807422B2 (en) 2009-09-03 2017-10-31 Nec Corporation Video encoding device, video encoding method, and video encoding program
EP2475173B1 (en) 2009-09-03 2016-10-12 Nec Corporation Video encoding device, video encoding method and video encoding program
JP5441734B2 (en) 2010-01-28 2014-03-12 株式会社メガチップス The image encoding device
CN107743233A (en) 2012-06-25 2018-02-27 日本电气株式会社 Video decoding device and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141609A (en) * 1997-07-23 1999-02-12 Hitachi Ltd Signal processor
JP2004147306A (en) * 2002-10-02 2004-05-20 Mie Tlo Co Ltd Low delay video encoding and decoding apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141609A (en) * 1997-07-23 1999-02-12 Hitachi Ltd Signal processor
JP2004147306A (en) * 2002-10-02 2004-05-20 Mie Tlo Co Ltd Low delay video encoding and decoding apparatus

Also Published As

Publication number Publication date Type
JP2007221411A (en) 2007-08-30 application

Similar Documents

Publication Publication Date Title
US5502494A (en) Management of channel buffer in video decoders
US6567471B1 (en) System method and apparatus for seamlessly splicing data
US7116714B2 (en) Video coding
US6621979B1 (en) Trick play signal generation for a digital video recorder using retrieved intra-encoded pictures and generated inter-encoded pictures
US5862140A (en) Method and apparatus for multiplexing video programs for improved channel utilization
US20090268816A1 (en) Advanced video coding to multiview video coding transcoder
US20100232504A1 (en) Supporting region-of-interest cropping through constrained compression
US5568200A (en) Method and apparatus for improved video display of progressively refreshed coded video
US7327790B1 (en) MPEG on screen display coder for DTV interfaces
US20010046263A1 (en) Video encoding apparatus that adjusts code amount by skipping encoding of image data
US20050231588A1 (en) Implementation of MPCP MCU technology for the H.264 video standard
US20070088971A1 (en) Methods and apparatus for service acquisition
US5706053A (en) Compressed motion video code processor
US6324217B1 (en) Method and apparatus for producing an information stream having still images
US20070098079A1 (en) Decoding method and apparatus enabling fast channel change of compressed video
US20090214178A1 (en) Reproduction Apparatus, Video Decoding Apparatus, and Synchronized Reproduction Method
US6072831A (en) Rate control for stereoscopic digital video encoding
US20050123045A1 (en) Video error resilience
US20010026677A1 (en) Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US5796438A (en) Methods and apparatus for interpolating picture information
US20050105883A1 (en) Signaling valid entry points in a video stream
US6081551A (en) Image coding and decoding apparatus and methods thereof
US20100034254A1 (en) Video coding, decoding and hypothetical reference decoder
US20080127258A1 (en) Systems and methods for applications using channel switch frames
US20030138043A1 (en) Grouping of image frames in video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150