JP4875285B2 - Editing apparatus and method - Google Patents

Editing apparatus and method Download PDF

Info

Publication number
JP4875285B2
JP4875285B2 JP2003107787A JP2003107787A JP4875285B2 JP 4875285 B2 JP4875285 B2 JP 4875285B2 JP 2003107787 A JP2003107787 A JP 2003107787A JP 2003107787 A JP2003107787 A JP 2003107787A JP 4875285 B2 JP4875285 B2 JP 4875285B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
buffer
unit
information
bit stream
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2003107787A
Other languages
Japanese (ja)
Other versions
JP2004007571A (en )
Inventor
輝彦 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は編集装置および方法に関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いて好適な編集装置および方法に関する。 The present invention relates to editing apparatus and method, in particular, discrete cosine transform or Karhunen-Loeve image information compressed by an orthogonal transform and motion compensation such as conversion (bit stream), satellite, cable television broadcast, a network such as the Internet when transmitting and receiving via the media, or an optical disk, a magnetic disk, of a preferred editing apparatus and method used when processing on a storage medium such as a flash memory.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。 Recently, handling image information as digital, time, transmission of efficient information storage for the purpose of, by using the image information inherent redundancy, MPEG to compress by orthogonal transform and motion compensation such as a discrete cosine transform ( Moving Picture Expert Group) system that conforms to methods such as are information distribution such as broadcasting stations, and are becoming widespread in both information reception in general homes.
【0003】 [0003]
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD(Digital Versatile Disk)規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。 In particular, MPEG2 (ISO / IEC 13818-2) is a standard defined as a general-purpose image compression scheme, both the interlaced scanning images and progressive scan images, as well as a standard that covers the standard resolution images and high-definition images, for example, DVD as represented by (Digital Versatile Disk) standard has been widely used in a wide variety of applications for professional applications and consumer applications.
【0004】 [0004]
このMPEG2圧縮方式を用いることにより、例えば、720×480画素を持つ標準解像度の飛び越し走査画像に対しては4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像に対しては18乃至22Mbpsの符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。 By using this MPEG2 compression scheme, for example, 18 to for high resolution interlaced scan image having 4 to 8 Mbps, 1920 × 1088 pixels for standard definition interlaced scanned picture with 720 × 480 pixels 22Mbps by assigning a code amount (bit rate), it is possible to realize a high compression ratio excellent image quality.
【0005】 [0005]
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG4符号化方式の標準化が行われた。 MPEG2 had mainly target conforming quality coding for broadcasting, but because did not correspond to the encoding scheme for a higher compression ratio, standardization of MPEG4 encoding system has been performed. 画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。 With respect to the image encoding method, the standard has been approved by the international standard in December 1998 as ISO / IEC 14496-2.
【0006】 [0006]
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるH.26L(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。 Furthermore, in recent years, as the original purpose of image encoding for television conference, a Telecommunication Standardization Sector of the International Union ITU-T - by (International Telecommunication Union Telecommunication Standardization Sector) H.26L (ITU-T Q6 / 16 standard of standardization is progressing that VCEG). H. H. 26Lは、MPEG2やMPEG4といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。 26L is compared with the encoding method such as MPEG2 and MPEG4, the coding, the decoding, although more computation amount is required, it is known that higher encoding efficiency is realized.
【0007】 [0007]
また、現在、MPEG4の活動の一環として、このH. In addition, currently, as part of MPEG4 activities, the H. 26Lに基づいた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でJVT(Joint Video Team)として行われている。 Based on 26L, standardization of coding techniques have been made as a JVT (Joint Video Team) in cooperation with ITU-T to realize higher coding efficiency.
【0008】 [0008]
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。 It will now be described orthogonal transform image compression by the motion compensation, such as discrete cosine transform or Karhunen-Loeve transform. 図1は、従来の画像情報符号化装置の一例の構成を示す図である。 Figure 1 is a diagram showing an example of a configuration of a conventional picture information coding device.
【0009】 [0009]
図1に示した画像情報符号化装置10において、入力端子11より入力されたアナログ信号からなる画像情報は、A/D変換部12により、デジタル信号に変換される。 In the image information encoding apparatus 10 shown in FIG. 1, the image information consisting of an analog signal inputted from the input terminal 11, the A / D converter 12, is converted into a digital signal. そして、画面並べ替えバッファ13は、A/D変換部12より供給された画像情報のGOP(Group of Pictures)構造に応じて、フレームの並べ替えを行う。 Then, the screen rearrangement buffer 13, in accordance with the GOP (Group of Pictures) structure of image information supplied from the A / D conversion unit 12 performs reordering frames.
【0010】 [0010]
ここで、画面並べ替えバッファ13は、イントラ(画像内)符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部15に供給する。 Here, the screen rearrangement buffer 13, for the image on which intra (an image) encoding is performed, and supplies the orthogonal transformation unit 15 the image information of the entire frame. 直交変換部15は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部16に供給する。 Orthogonal transformation unit 15 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform to the image information, and supplies the transform coefficient to the quantization unit 16. 量子化部16は、直交変換部15から供給された変換係数に対して量子化処理を施す。 Quantization unit 16 performs quantization processing on the supplied transform coefficients from the orthogonal transform unit 15.
【0011】 [0011]
可逆符号化部17は、量子化部16から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。 Reversible encoding unit 17 determines an encoding mode from the transform coefficients or quantization scale such that the quantized supplied from the quantization unit 16, a variable length coding on the coding mode, or arithmetic coding subjected to lossless encoding and the like, to form the information to be stored in the header portion of an image encoding unit. そして、可逆符号化部17は、符号化された符号化モードを蓄積バッファ18に供給して蓄積させる。 The reversible encoding unit 17 causes the storage to supply the encoding mode is encoded in the storage buffer 18. この符号化された符号化モードは、画像圧縮情報として出力端子19より出力される。 The encoded encoding mode is output from the output terminal 19 as compressed image information.
【0012】 [0012]
また、可逆符号化部17は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ18に供給して蓄積させる。 Also, the lossless encoding unit 17, a variable length coding on the quantized transform coefficients, or subjected to reversible encoding such as arithmetic coding, and supplies the coded transform coefficients to the storage buffer 18 accumulates make. この符号化された変換係数は、画像圧縮情報として出力端子19より出力される。 The coded transform coefficients are outputted from the output terminal 19 as compressed image information.
【0013】 [0013]
量子化部16の挙動は、蓄積バッファ18に蓄積された変換係数のデータ量に基づいて、レート制御部20によって制御される。 Behavior of the quantization unit 16, based on the amount of data stored transform coefficients to the storage buffer 18 is controlled by the rate control unit 20. また、量子化部20は、量子化後の変換係数を逆量子化部21に供給し、逆量子化部21は、その量子化後の変換係数を逆量子化する。 Further, the quantizer 20 supplies the transform coefficients after quantization in the inverse quantization unit 21, inverse quantization unit 21 inversely quantizes the transform coefficient after the quantization. 逆直交変換部22は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ23に供給して蓄積させる。 Inverse orthogonal transform unit 22 performs inverse orthogonal transform processing to generate decoded image information to the inverse quantized transform coefficients, to accumulate and supplies the information to the frame memory 23.
【0014】 [0014]
また、画面並べ替えバッファ13は、インター(画像間)符号化が行われる画像に関しては、画像情報を動き予測・補償部24に供給する。 Also, the screen rearrangement buffer 13, for the image inter (inter-image) encoding is performed, and supplies the image information to the motion prediction and compensation unit 24. 動き予測・補償部24は、同時に参照される画像情報をフレームメモリ23より取り出し、動き予測・補償処理を施して参照画像情報を生成する。 The motion prediction and compensation unit 24, the image information taken out from the frame memory 23 to be simultaneously referred, to generate reference image information by performing a motion prediction and compensation processing. 動き予測・補償部24は、生成した参照画像情報を加算器14に供給し、加算器14は、参照画像情報を対応する画像情報との差分信号に変換する。 The motion prediction and compensation unit 24 supplies the generated reference image information and supplied to the adder 14, the adder 14 converts the reference image information into a difference signal between the corresponding image information. また、動き予測・補償部24は、同時に動きベクトル情報を可逆符号化部17に供給する。 The motion prediction and compensation unit 24 simultaneously supplies motion vector information to the reversible encoding unit 17.
【0015】 [0015]
可逆符号化部17は、量子化部16から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部24から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。 Reversible encoding unit 17, transform coefficients and the quantization scale quantized is supplied from the quantization unit 16, and determines the coding mode from such motion vector information supplied from the motion prediction and compensation unit 24, the decision subjected to reversible encoding such as variable length encoding or arithmetic encoding on the encoding mode to generate information to be inserted into the header portion of an image encoding unit. そして、可逆符号化部17は、符号化された符号化モードを蓄積バッファ18に供給して蓄積させる。 The reversible encoding unit 17 causes the storage to supply the encoding mode is encoded in the storage buffer 18. この符号化された符号化モードは、画像圧縮情報として出力される。 The encoded encoding mode is output as image compression information.
【0016】 [0016]
また、可逆符号化部17は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。 Also, the lossless encoding unit 17 performs reversible encoding processing such as variable length encoding or arithmetic encoding for the motion vector information to generate information to be inserted into the header portion of an image encoding unit.
【0017】 [0017]
また、イントラ符号化と異なり、インター符号化の場合、直交変換部15に入力される画像情報は、加算器14より得られた差分信号である。 Unlike the intra-coding, in the case of inter encoding, image information input to the orthogonal transform unit 15 is the difference signal obtained from the adder 14. なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。 Since the other processing is the same as the image compression information to be subjected to intra-encoding, the description thereof is omitted.
【0018】 [0018]
次に、上述した画像情報符号化装置10に対応する画像情報復号装置の一例の構成を図2に示す。 Next, Figure 2 shows an example of a configuration of an image information decoding apparatus corresponding to the image information encoding apparatus 10 described above. 図2に示した画像情報復号装置40において、入力端子41より入力された画像圧縮情報は、蓄積バッファ42において一時的に格納された後、可逆復号部43に転送される。 The image information decoding apparatus 40 shown in FIG. 2, compressed image information input from the input terminal 41, after being temporarily stored in the accumulation buffer 42 and transferred to the reversible decoding unit 43.
【0019】 [0019]
可逆復号部43は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部44等に供給する。 Lossless decoding unit 43, based on the format of the image compression information determined, applies processing such as variable length decoding or arithmetic decoding on the compressed image information, obtains the encoding mode information stored in the header portion dequantization and it supplies the unit 44 and the like. また同様に、可逆復号部43は、量子化された変換係数を取得し逆量子化部44に供給する。 Similarly, the reversible decoding unit 43 supplies acquires the transformation coefficient quantized in the inverse quantization unit 44. さらに、可逆復号部43は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部51に供給する。 Further, the reversible decoding unit 43, when the frame to be decoded is ones that are inter-coding, also decodes the motion vector information stored in the header portion of the picture compression information, the motion prediction and compensation unit that information supplied to 51.
【0020】 [0020]
逆量子化部44は、可逆復号部43から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部45に供給する。 Inverse quantization unit 44 inversely quantizes the transform coefficients after quantization supplied from the lossless decoding section 43, and supplies the transform coefficient to the inverse orthogonal transform unit 45. 逆直交変換部45は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。 Inverse orthogonal transform unit 45, based on the format of the image compression information determined, performs inverse orthogonal transformation such as conversion or reverse Karhunen-Loeve transform inverse discrete cosine respect transform coefficients.
【0021】 [0021]
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ47に格納され、D/A変換部48におけるD/A変換処理の後に出力端子49から出力される。 Here, when the target frame has been intra-coded image information inverse orthogonal transform processing has been performed is stored in the screen rearrangement buffer 47, D / A conversion in the D / A converter 48 is output from the output terminal 49 after processing.
【0022】 [0022]
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部51は、可逆復号処理が施された動きベクトル情報とフレームメモリ50に格納された画像情報とに基づいて参照画像を生成し、加算器46に供給する。 Also, when the target frame has been inter-coded, the motion prediction and compensation unit 51 based on the image information lossless decoding process is stored in the motion vector information and the frame memory 50 that has been subjected see It generates an image, and supplies to the adder 46. 加算器46は、この参照画像と逆直交変換部45からの出力とを合成する。 The adder 46 combines the output from the reference image and the inverse orthogonal transform unit 45. なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。 Since the other processing is the same as the frame that is intra-coded, the description thereof is omitted.
【0023】 [0023]
ところで、先に述べたJoint Video Teamで標準化が行われている符号化方式(以下JVT Codec)では、MPEG2やMPEG4などの符号化効率を改善するため、様々な方式が検討されている。 Incidentally, the coding scheme standardized by the Joint Video Team mentioned above is performed (hereinafter JVT Codec), to improve coding efficiency, such as MPEG2 or MPEG4, and various methods are considered. 例えば、離散コサイン変換の変換方法は、4×4ブロックサイズの整数係数変換が用いられている。 For example, the method of converting the discrete cosine transform, 4 × 4 blocks integer coefficients transform of size is used. そして、動き補償の際のブロックサイズが可変であり、より最適な動き補償が行えるようになっている。 Then, the block size for motion compensation is variable, so that can be performed more optimum motion compensation. しかしながら、基本的な方式は、図1に示した画像情報符号化装置10において行われる符号化方式と同様に行うことが可能であるようにされている。 However, the basic scheme is to be be carried out in the same manner as the encoding scheme performed in the image information encoding apparatus 10 shown in FIG.
【0024】 [0024]
従って、図2に示した画像情報復号装置40において行われる復号方式と、基本的に同じ方式により復号することが可能であるようにされている。 Therefore, there is such it is possible to decode a decoding method performed in the image information decoding apparatus 40 shown in FIG. 2, by essentially the same manner.
【0025】 [0025]
ところで異なる復号装置(デコーダ)間での互換性を維持し、バッファをオーバーフローまたはアンダーフローさせないために、MPEGやITU−Tでは、バッファモデルが導入されている。 Incidentally maintaining compatibility between different decoding apparatus (decoder), in order not to overflow or underflow the buffer, the MPEG and ITU-T, the buffer model is introduced. 仮想デコーダバッファモデルを標準で定義し、符号化装置(エンコーダ)は、この仮想デコーダバッファを破綻しないように符号化することによりデコーダ側でのバッファオーバーフローまたはアンダーフローを防ぎ、互換性を維持することが可能とされている。 Define a virtual decoder buffer model in the standard, the coding apparatus (encoder) is to prevent buffer overflow or underflow at the decoder side by encoding so as not to collapse the virtual decoder buffer, to maintain compatibility there is a possible.
【0026】 [0026]
MPEGにおける仮想バッファモデルについて、図3を参照して説明する。 For virtual buffer model in MPEG, it is described with reference to FIG. 以下の説明において、デコーダバッファへの入力ビットレートをR、デコーダバッファのサイズをB、デコーダが最初のフレームをバッファから引き抜く時のバッファ占有量をF、その際の遅延時間をDとする。 In the following description, the input bit rate to the decoder buffer R, B the size of the decoder buffer, the buffer occupancy of the decoder will pull the first frame from the buffer F, the delay time at this time and D. また、時刻t0,t1,t2,・・・における各フレームのビット量をb0,b1,b2・・・とする。 The time t0, t1, t2, the bit amount of each frame in ... and b0, b1, b2 ....
【0027】 [0027]
ここでフレームレートをMとすると、 Now the frame rate is referred to as M,
i+1 −t i =1/Mが成り立つ。 t i + 1 -t i = 1 / M holds.
【0028】 [0028]
iを、時刻t iにおけるフレームのビット量b iを引き抜く直前のバッファ占有量とすると以下の式(1)が成り立つ。 The B i, buffer occupancy and the following equation (1) immediately before withdrawing the bit amount b i of a frame at time t i holds.
0 =F B 0 = F
i+1 =min(B,B i ―b i +R(t i+1 −t i )) ・・・(1) B i + 1 = min (B , B i -b i + R (t i + 1 -t i)) ··· (1)
【0029】 [0029]
ここで、MPEG2における固定ビットレート符号化方式の場合、エンコーダは次式(2)の条件を満たすよう符号化しなければならない。 In the case of constant bit rate encoding scheme in MPEG2, the encoder has to satisfy the condition codes of the following formula (2).
Bi≦B Bi ≦ B
Bi−bi≧0 ・・・(2) Bi-bi ≧ 0 ··· (2)
このような条件が満たされている間は、エンコーダは、バッファオーバーフローやアンダーフローを発生させてしまうような符号化を行うようなことがないとされている。 While such conditions are met, the encoder is that there is no such thing as perform encoding that would generate a buffer overflow or underflow.
【0030】 [0030]
また、MPEG2における可変ビットレート符号化方式の場合、入力ビットレートRは、プロファイル、レベルで定義される最大ビットレートであり、F=Bである。 Also, in the case of variable bit rate coding method in MPEG2, the input bit rate R, the profile is the maximum bit rate defined by the level, it is F = B. 従って式(1)は、次式(3)のように書き換えられる。 Therefore equation (1) can be rewritten as the following equation (3).
0 =B B 0 = B
i+1 =min(B,B i ―b i +R max (t i+1 −t i )) ・・・(3) B i + 1 = min (B , B i -b i + R max (t i + 1 -t i)) ··· (3)
【0031】 [0031]
この時、エンコーダは、次式(4)に表される条件を満たすように符号化を実行しなければならない。 In this case, the encoder must perform encoding so as to satisfy the condition represented by the following equation (4).
i ―b i ≧0 ・・・(4) B i -b i ≧ 0 ··· ( 4)
この条件が満たされるとき、エンコーダは、デコーダ側でバッファアンダーフローが起こらないような符号化を行うことになる。 When this condition is satisfied, the encoder will perform encoding that buffer underflow does not occur at the decoder side. デコーダバッファが一杯になった時は、エンコーダバッファは空であり、符号化ビットストリームが発生していないことを意味する。 When the decoder buffer becomes full, the encoder buffer is empty, it means that the coded bit stream does not occur. 従って、エンコーダは、デコーダのバッファオーバーフローを起こさないように監視する必要は無い。 Thus, the encoder does not need to be monitored so as not to cause buffer overflow of the decoder.
【0032】 [0032]
MPEGでは、各プロファイル、レベルで定義されるバッファサイズ、ビットレートに基づいて上述したようなバッファの制約を守るように符号化が行なわれる。 In MPEG, each profile, a buffer size defined by the level, is encoded to protect the restriction of the buffer as described above on the basis of the bit rate is performed. 各プロファイル、レベルに準拠したデコーダは、そのビットストリームを破綻することなく復号することができる。 Each profile, decoders conforming to level can be decoded without collapse of the bit stream.
【0033】 [0033]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、実際にはプロファイル、レベルに規定されたバッファサイズ、ビットレートを用いない場合でも、ビットストリームを復号することが出来る場合がある。 In practice, however, the profile, defined buffer size level, even without using the bit rate, it may be able to decode the bit stream.
【0034】 [0034]
例えば、ビットレートR、バッファB、初期遅延時間F(R,B,F)で符号化されたビットストリームは、より大きなバッファサイズB'(B'>B)を持つデコーダによっても復号可能である。 For example, the bit rate R, a buffer B, initial delay time F (R, B, F) in the encoded bit stream can also be decoded by a decoder having a larger buffer size B '(B'> B) . また、より高いビットレートR'(R'>R)で復号することも可能である。 It is also possible to decode a higher bit rate R '(R'> R).
【0035】 [0035]
例えば、デコーダの復号ビットレートが、符号化ビットレートより低い場合においても、十分大きなバッファサイズをもったデコーダであれば復号することが可能である。 For example, the decoding bit rate of the decoder in the case lower than the coding bit rate, it is possible to decode if decoder having a sufficiently large buffer size.
【0036】 [0036]
このように、所定のビットストリームが与えられた場合、各ビットレートにおいて、そのビットストリームを復号するために必要な最小バッファサイズB minが存在する。 Thus, when a predetermined bitstream is given, at each bit rate, there is a minimum buffer size B min needed to decode the bit stream. このような関係を図4に示す。 It shows such a relationship in FIG.
【0037】 [0037]
JVT Codecでは、各プロファイル、レベルで固定のビットレート、バッファサイズで復号するだけでなく、図4に示したような条件を有するデコーダで復号できるように標準化が進められている。 In JVT Codec, each profile, the level at a fixed bit rate, not only the decoding buffer size, and standardization is advanced so that it can be decoded by the decoder with the condition as shown in FIG. 必ずしもエンコーダの符号化ビットレート、バッファサイズとデコーダの復号ビットレート、バッファサイズが同一でなくとも復号できることを目的としている。 Necessarily encoder encoding bit rate, buffer size and a decoder decoding the bit-rate, it is an object of the buffer size can be decoded without the same. この目的が達成されることにより、例えば、復号ビットレートが高いデコーダでは、バッファサイズを削減することなどが可能になる。 By this object is achieved, for example, the decoding bit rate at high decoder allows such to reduce the buffer size.
【0038】 [0038]
しかしながら、このような情報は、ビットストリーム中で時間的に変動する。 However, such information varies temporally in the bitstream. そのため、デコーダ互換のための制約が緩められている分、所定の条件下では復号可能であっても、別の条件下では復号不可能になる場合があるといった問題があった。 Therefore, the partial constraint for decoder compatibility has been loosened, the predetermined conditions even decodable, in another condition there is a problem in some cases impossible decoding. 例えば、このような(R,B)の特性が時間的に変動する場合、所定の時刻で復号可能であっても、別の時刻では復号不可能である可能性があるといった問題があった。 For example, when the variation characteristics are temporally in such (R, B), be capable of decoding at a given time, there is a problem in a different time might be a non-decodable.
【0039】 [0039]
ランダムアクセスなどで、別なシーンや、別なチャンネルなどに移行した場合も、必ずしも復号可能であるとは限らなくなるといった問題があった。 Random access, etc., another and scenes, even if a transition such as another channel, there is a problem necessarily not always a decodable. また、スプライシング(Splicing)などビットストリームレベルでの編集を行った際、デコード可能性を保証できなくなるといった問題があった。 Also, when performing the editing in the bit stream level such as splicing (Splicing), there is a problem can not be guaranteed decoding possibilities.
【0040】 [0040]
本発明はこのような状況に鑑みてなされたものであり、ビットストリームの復号可能性を効率よく判断し、またスプライシングなどビットストリームの編集を簡便に行えるようにすることを目的とする。 The present invention has been made in view of such circumstances, it is determined efficiently decoding possibility of the bitstream, also aims that allows for the editing of the bitstream such as splicing conveniently.
【0053】 [0053]
【課題を解決するための手段】 In order to solve the problems]
本発明の編集装置は、入力されたビットストリーム中のランダムにアクセスが可能な所定区間毎に挿入されているヘッダに含まれる、ビットストリームを復号する際にビットストリームを格納するバッファのバッファサイズとバッファへの入力ビットレートとの組み合わせに従ってビットストリームが復号可能であるか否かを判定する際の判定基準として用いるバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームを編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であるか否かを判断する判断手段と、判断手段により復号可能であると判断された場合、ビットストリームを編集点で接続する編集を行う編集手段とを含み、判断手段は、第1のビットストリームのヘッダに含まれ Editing apparatus of the present invention is included in a header which is inserted in a predetermined interval each capable random access in the input bit stream, the buffer size of the buffer that stores the bitstream in decoding a bit stream reading buffer characteristic information used as a criterion in determining whether a bit stream in accordance with the combination of the input bit rate to the buffer is decodable, based on the readout information, connects the bit stream at the editing point performed by a determination unit bit stream to determine whether it is possible to decode without collapse of the buffer of the decoder has, when it is determined to be decoded by determining means, editing for connecting the bit stream at the editing point and a editing means, determining means, included in the header of the first bit stream バッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第1の特性曲線が、第2のビットストリームのヘッダに含まれるバッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第2の特性曲線の常に上に位置するか、または、同一である場合、第1のビットストリームと第2のビットストリームと編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であると判断する。 First characteristic curve for the buffer size as the input bit rate shown in the buffer characteristic information and variables, the the buffer size as the input bit rate shown in the buffer characteristic information included in the header of the second bit stream with variable always either located above the second characteristic curve, or, if the same, decodable bit-stream connected with the editing point between the first bit stream and the second bit stream without collapse of the buffer of the decoder it is determined that there.
【0054】 [0054]
本発明の編集方法は、入力されたビットストリーム中のランダムにアクセスが可能な所定区間毎に挿入されているヘッダに含まれる、ビットストリームを復号する際にビットストリームを格納するバッファのバッファサイズとバッファへの入力ビットレートとの組み合わせに従ってビットストリームが復号可能であるか否かを判定する際の判定基準として用いるバッファ特性情報を読み出し、その読み出した情報に基づいてビットストリームを編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であるか否かを判断する判断ステップと、判断ステップの処理で復号可能であると判断された場合、ビットストリームを編集点で接続する編集を行う編集ステップとを含み、判断ステップの処理は、第1のビットス Editing method of the present invention is included in a header which is inserted in a predetermined interval each capable random access in the input bit stream, the buffer size of the buffer that stores the bitstream in decoding a bit stream reading buffer characteristic information used as a criterion in determining whether a bit stream in accordance with the combination of the input bit rate to the buffer is decodable, based on the readout information, connects the bit stream at the editing point If the bit stream is determined and a determination step of determining whether it is possible to decode without collapse of the buffer of the decoder can be decoded by the processing decision step, editing for connecting the bit stream at the editing point and a editing step of performing the process of the determination step, first Bittosu リームのヘッダに含まれるバッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第1の特性曲線が、第2のビットストリームのヘッダに含まれるバッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第2の特性曲線の常に上に位置するか、または、同一である場合、第1のビットストリームと第2のビットストリームと編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であると判断する。 First characteristic curve, buffer size as the input bits shown in buffer characteristic information included in the header of the second bit stream to the buffer size as the input bit rate shown in the buffer characteristic information included in the header of the stream with a variable always or positioned above a second characteristic curve for the rate and variable, or, if the same, collapse the bit stream decoder buffer connected in the editing point between the first bit stream and the second bit stream It determines that it is possible to decode without let.
【0059】 [0059]
本発明の編集装置および方法においては、入力されたビットストリーム中のランダムにアクセスが可能な所定区間毎に挿入されているヘッダに含まれる、 ビットストリームを復号する際にビットストリームを格納するバッファのバッファサイズとバッファへの入力ビットレートとの組み合わせに従ってビットストリームが復号可能であるか否かを判定する際の判定基準として用いるバッファ特性情報が読み出され、その読み出された情報に基づいて、ビットストリームのヘッダに含まれるバッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第1の特性曲線が、第2のビットストリームのヘッダに含まれるバッファ特性情報に示されるバッファサイズと入力ビットレートを変数とする第2の特性曲線の常に上に位置す In the editing apparatus and method of the present invention, it included in a header which is inserted in a predetermined interval each capable random access in the input bit stream, the buffer that stores the bitstream in decoding a bit stream buffer characteristic information used as a criterion in determining whether the bit stream can be decoded in accordance with the combination of the input bit rate to the buffer size and the buffer is read based on the read information, first characteristic curve, the input buffer size indicated in buffer characteristic information included in the header of the second bit stream to the buffer size as the input bit rate shown in the buffer characteristic information included in the header of the bit stream as a variable It is always positioned above the second characteristic curve for the bit rate and variable か、または、同一である場合、第1のビットストリームと第2のビットストリームと編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であると判断された場合、ビットストリームを編集点で接続する編集が行われる。 Or, if the same, if the bit stream is connected in the editing point and the first bit stream and the second bit stream is determined to be decodable without collapse of the buffer of the decoder, the bit stream edit to be connected in the editing point is made.
【0060】 [0060]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下に、本発明の実施の形態について図面を参照して説明する。 It will be described below with reference to the drawings, embodiments of the present invention. 図5は、本発明を適用した符号化装置の一実施の形態の構成を示す図である。 Figure 5 is a diagram showing the configuration of an embodiment of the applied encoding apparatus of the present invention. 図5に示した符号化装置70は、図1に示した画像情報符号化装置10を含む構成とされている。 Encoding apparatus 70 shown in FIG. 5 is configured to include an image information encoding apparatus 10 shown in FIG. ここでは、画像情報符号化装置10の構成などについては、既に説明したので、その説明は適宜省略する。 Here, a like configuration of the image information encoding apparatus 10, has already been described, description thereof will be omitted as appropriate.
【0061】 [0061]
画像情報符号化装置10に入力された画像情報は、符号化され、画像圧縮情報(BS:ビットストリーム)としてバッファ71とビットストリーム解析部72に出力される。 Image information input to the image information encoding apparatus 10 is encoded, compressed image information: is output to the buffer 71 and the bit stream analyzing unit 72 as (BS bitstream). バッファ71は、入力されたビットストリームを一旦記憶し、必要に応じ、バッファ情報付加部73に出力する。 Buffer 71 temporarily stores the inputted bit stream, if necessary, to output to the buffer-information adding unit 73. ビットストリーム解析部72は、ビットストリーム中の所定の区間、例えば、GOPやランダムアクセスポイント間でのバッファの占有状態を調べ、その情報をバッファ情報BHとしてバッファ情報付加部73に供給する。 The bit stream analyzing unit 72, a predetermined interval in the bit stream, for example, examining the occupancy of the buffer between GOP and random access points, and supplies to the buffer-information adding unit 73 the information as buffer information BH. ここで、ランダムアクセスポイントとは、JVT規格において、ビットストリーム中でランダムにアクセスが可能な所定の区間のことを言う。 Here, the random access point, in JVT standard, refers to random that access is possible predetermined section into in the bitstream. また、同様にGOPとは、MPEG2/MPEG4規格において、ランダムにアクセスが可能な所定の区間のことを言う。 Similarly, The GOP, in MPEG2 / MPEG4 standard, refers to a randomly-accessible predetermined section.
【0062】 [0062]
バッファ情報付加部73は、入力されたバッファ情報BHを、同じく入力されたビットストリームに付加して出力する。 Buffer-information adding unit 73, the input buffer information BH, and outputs same in addition to the input bit stream.
【0063】 [0063]
ここでは、ビットストリーム解析部72が行う解析の一例として、各ランダムアクセスポイント間でバッファ占有状態を調べ、各ランダムアクセスポイントにヘッダ情報としてバッファ占有状態の情報を符号化してビットストリームを構成する場合を例にあげて説明する。 Here, as an example of the analysis that the bit stream analyzing unit 72 performs checks the buffer occupancy state between each random access point, when configuring a bitstream by encoding the information in the buffer occupancy as header information to each random access point It will be described as an example. ここでは、このような説明を行うが、GOP単位で求めるようにしても良いし、他の任意の単位で求めるようにしても良く、以下に説明する単位に、他の単位を用いた場合においても、本発明を適用できることは言うまでもない。 Although performing such description may be calculated in each GOP may be calculated in any other unit, the unit to be described below, in the case of using the other units also, it goes without saying that the present invention can be applied.
【0064】 [0064]
図6を参照して(R min 、B min )の特性を決定する方法について説明する。 Referring to FIG. 6 (R min, B min) method for determining the characteristics will be described. ここで、R minは、バッファへの入力ビットレートRの最小値を示し、B minは、バッファサイズBの最小値を示すとする。 Here, R min represents the minimum value of the input bit rate R for the buffer, B min is to indicate the minimum buffer size B.
【0065】 [0065]
所定のビットストリームのビットレートRが与えられた場合、そのビットストリームを復号ビットレートRで復号する復号装置(例えば、図7に示す構成を有する)で復号可能である最低限のバッファサイズB minは、例えば、以下のようにして決定される。 If the bit rate R of a predetermined bitstream is given, the decoding device (e.g., having the structure shown in FIG. 7) for decoding the bitstream at the decoding bit rate R a minimum buffer size B min is decodable by It is determined, for example, as follows.
【0066】 [0066]
所定のアクセスポイント間のフレーム数をNとする。 The number of frames between predetermined access points and N. 各フレームの発生ビット量をb(i)(i=1,N)、バッファから各フレームのデータを引き抜く直前のバッファ占有量をB(i)、引き抜いた直後のバッファ占有量をB2(i)とする。 The number of bits generated in each frame b (i) (i = 1, N), the buffer occupancy immediately before withdrawing the data of each frame from the buffer B (i), the buffer occupancy just after the withdrawal of B2 (i) to. 符号化装置のバッファ量をBとすれば、 If the buffer of the encoding device is B,
B2(i)=B(i)―b(i) B2 (i) = B (i) -b (i)
B(i+1)=B2(i)+R/(Frame Rate) ・・・(5) B (i + 1) = B2 (i) + R / (Frame Rate) ··· (5)
ただし、if(B(i+1)>B)B(i+1)=Bとし、B(i)の最大値はBである。 However, the maximum value of if (B (i + 1)> B) B (i + 1) = a B, B (i) is a B. また遅延量FはF=Bとする。 The delay amount F is set to F = B.
【0067】 [0067]
このとき、B minは、次式(6)で求められる。 In this case, B min can be determined by the following equation (6).
min =B―min(B2(i)) ・・・(6) B min = B-min (B2 (i)) ··· (6)
このときのRをR minとすれば、上記のような方法により(R min 、B min )を決定することができる。 If the R at this time is R min, it may be determined by the method described above the (R min, B min).
【0068】 [0068]
次に、(R min 、B min 、F min )を決定する方法の一例を説明する。 Next, an example of a method for determining (R min, B min, F min). B=B min 、R=R minとする。 B = B min, and R = R min. 式(5)と同様に、次式(7)が成り立つ。 As for formula (5), the following equation (7) holds.
B2(i)=B(i)−b(i) B2 (i) = B (i) -b (i)
B(i+1)=B2(i)+R/(Frame Rate) ・・・(7) B (i + 1) = B2 (i) + R / (Frame Rate) ··· (7)
となる。 To become. ただし、以下の条件に基づくアンダーフローに対する監視が行われる。 However, monitoring for an underflow based on the following conditions takes place.
if(B2(i)<0){ if (B2 (i) <0) {
min =F min +(0―B2(i)); F min = F min + (0 -B2 (i));
B2(i)=0;} B2 (i) = 0;}
【0069】 [0069]
minは、各ランダムアクセスポイントの先頭で0に初期化される。 F min is initialized to 0 at the beginning of each random access point. また、オーバーフローに対する監視も同様に、以下の条件に基づき行われる。 Similarly, monitoring of the overflow is performed based on the following criteria.
if(B(i+1)>B)B(i+1)=B if (B (i + 1)> B) B (i + 1) = B
ランダムアクセスポイント間の全てのフレームに対して上記した検査が行われることにより、(R min 、B min 、F min )が決定される。 By checking as described above is performed for all the frames between random access points, (R min, B min, F min) is determined.
【0070】 [0070]
上記した(R min 、B min 、F min )は、予め定められた所定の個数だけ検査を行うようにしても良いし、その中で独立な組み合わせのみを定義するようにしても良い。 Above (R min, B min, F min) may be to perform the test a predetermined number of predetermined, may be define only combinations independently therein. 上記のようにして求められた特性は、図4に示すようになる。 Characteristic obtained as described above is as shown in FIG. 各点の間は線形補間される。 Between each point it is linearly interpolated. 上記のようにして求められた、(R min 、B min 、F min )の値、バッファ情報BHは、バッファ情報付加部73によりビットストリーム中の所定の位置に挿入され、符号化され出力される。 Obtained as described above, (R min, B min, F min) value of the buffer information BH is inserted by the buffer-information adding unit 73 in a predetermined position in the bitstream is encoded output .
【0071】 [0071]
ビットストリーム解析部72は、上述したような、各ランダムアクセス間の(R min 、B min 、F min )と同時にビットストリーム全体に対して同様の解析を行い、ビットストリーム全体に対する特性、(R min 、B min 、F min )globalを決定し、この値を、バッファ情報付加部73に、バッファ情報BHとして供給する。 The bit stream analyzing unit 72, as described above, perform the same analysis on (R min, B min, F min) at the same time as the whole bit stream between the random access characteristics to the entire bit stream, (R min , B min, the F min) global determined, this value, the buffer-information adding unit 73, and supplies the buffer information BH.
【0072】 [0072]
画像情報符号化装置10から出力されたビットストリームBSは、バッファ71において所定の時間だけ遅延された後、バッファ情報付加部73に入力される。 Bitstream BS output from the image information encoding apparatus 10 is delayed in the buffer 71 for a predetermined time, is input to the buffer-information adding unit 73. バッファ情報付加部73は、ビットストリーム中の所定の位置にビットストリーム解析部72より供給されるバッファ情報BHを挿入し、最終的な出力ビットストリームBSを出力する。 Buffer-information adding unit 73 inserts the buffer information BH supplied from the bit stream analysis unit 72 in a predetermined position in the bitstream and outputs a final output bitstream BS.
【0073】 [0073]
ここで、バッファ情報BH(若しくはバッファ特性情報)は、例えば、(R min 、B min 、F min )や(R min 、B min 、F min )globalである。 Here, the buffer information BH (or buffer characteristic information) is, for example, (R min, B min, F min) and (R min, B min, F min) global. バッファ情報付加部73は、ビットストリームBS中の所定の位置に、上記情報を挿入する。 Buffer-information adding unit 73, in position in the bit stream the BS, and inserting the information. ここでシンタクスの一例を以下に示し説明する。 Here it will be described showing an example of a syntax below.
【0074】 [0074]
【0075】 [0075]
ランダムアクセスポイント間の(R min 、B min 、F min )は、例えば、その直前のランダムアクセスポイントヘッダに、上記したシンタクスのように記録される。 Between random access points (R min, B min, F min) , for example, just before the random access point header, is recorded as syntax described above. RAP_startcodeは、RAPヘッダが存在し、そのヘッダの開始を示すコードである。 RAP_startcode, there are RAP header, a code indicating the start of the header.
【0076】 [0076]
closed_GOPは、そのGOP内の全てのピクチャが他のGOPのピクチャを参照することがなく独立であるか、または、他のGOPのピクチャを参照するという依存関係があるかどうかを示すフラグである。 closed_GOP are either independently is without all the pictures in the GOP refers to pictures of other GOP, or a flag indicating whether dependency that refers to a picture of another GOP. broken_linkは、編集などにより、そのGOPの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するか否かを示すフラグである。 broken_link, due editing, if before and after the GOP replacement of the bit stream is performed, a flag indicating whether the reference picture prediction is present.
【0077】 [0077]
NumBuffer_Paramは、求めた特性セット(R min 、B min 、F min )の数を示す。 NumBuffer_Param shows determined properties set (R min, B min, F min) the number of.
Rate[i]、Buffer[i]、F[i]は、それぞれをR min 、B min 、F min示す。 Rate [i], Buffer [i ], F [i] indicate respectively R min, B min, F min . ここでは、例えば、R minは、小さいものから順に記録される。 Here, for example, R min is recorded from those ascending order.
【0078】 [0078]
ビットストリーム全体の(R min 、B min 、F min )globalは、例えば、そのビットストリームの先頭のシーケンスヘッダに、以下のシンタクスのようにして記録される。 Of the total bit stream (R min, B min, F min) global , for example, at the beginning of the sequence header of the bit stream is recorded as follows syntax.
【0079】 [0079]
【0080】 [0080]
ここで、NumBuffer_Paramは、求めた特性セット(R min 、B min 、F min )globalの数を示す。 Here, NumBuffer_Param shows determined properties set (R min, B min, F min) the number of global. Rate[i]、Buffer[i]、F[i]は、それぞれをR min 、B min 、F minを示す。 Rate [i], Buffer [i ], F [i] indicates the R min, B min, the F min, respectively. ここでは、例えば、R minは、小さいものから順に記録される。 Here, for example, R min is recorded from those ascending order.
【0081】 [0081]
バッファ情報付加部73において、上記のバッファ情報BHが付加された後、最終的な出力ビットストリームBSが出力される。 In the buffer-information adding unit 73, after which the buffer information BH is added, the final output bitstream BS is outputted.
【0082】 [0082]
なお、発明の実施の形態ではバッファ情報BHとして、最小ビットレートRmin、最小バッファサイズBminおよび最小遅延量Fminの全てをビットストリームに付加するように説明した。 In the embodiment of the invention as the buffer information BH, described minimum bit rate Rmin, all minimum buffer size Bmin, and the minimum delay amount Fmin to added to the bit stream. しかし、この例に限らず、最小ビットレートRmin、最小バッファサイズBmin若しくは最小遅延量Fminのうち、少なくとも一つをビットストリームに加えるようにしてもよい。 However, not limited to this example, the minimum bit rate Rmin, of the minimum buffer size Bmin or minimum delay amount Fmin, may be added at least one bit stream. 例えば、最小ビットレートRminおよび最小バッファサイズBminの組み合わせをビットストリームに付加するようにしてもよい。 For example, a combination of the minimum bit rate Rmin and the minimum buffer size Bmin may be added to the bit stream.
【0083】 [0083]
図7に本発明を適用した復号装置の一実施の形態の構成を示す。 It shows the configuration of an embodiment of a decoding device according to the present invention in FIG. 図7に示した復号装置90は、図5に示した符号化装置70に対応するものであり、内部に、図2に示した画像情報復号装置40を含んでいる。 Decoding device 90 shown in FIG. 7, which corresponds to the coding apparatus 70 shown in FIG. 5, the interior includes an image information decoding apparatus 40 shown in FIG. 復号装置90に入力されたビットストリームBSは、ビットストリーム解析部91と復号可能性判定部92に供給される。 Bitstream BS input to the decoding device 90 is supplied to the decoding possibility determining unit 92 and the bit stream analyzing unit 91.
【0084】 [0084]
ビットストリーム解析部91は、ビットストリーム中のバッファ情報BHを復号し、復号可能性判定部92に出力する。 The bit stream analyzing unit 91 decodes buffer information BH in the bitstream and outputs the decoding possibility determining unit 92. ビットストリーム解析部91は、ビットストリームをパースし、シーケンスヘッダに記録されている、(R min 、B min 、F min )globalを復号する。 The bit stream analyzing unit 91 parses the bitstream, are recorded in the sequence header, decodes the (R min, B min, F min) global. また、各ランダムアクセスポイントヘッダに記録されている、(R min 、B min 、F min )を復号する。 Further, it recorded in each random access point header, decoding the (R min, B min, F min). これら情報が復号可能性判定部92に出力される。 These information are output to the decoding possibility determining unit 92.
【0085】 [0085]
復号可能性判定部92は、バッファ情報BHおよび画像情報復号装置40より供給されるデコーダ情報DIに基づいて、入力されたビットストリームがバッファを破綻させること無く復号可能であるかどうかを判定する。 Decoding possibility determining unit 92 determines whether, based on decoder information DI supplied from the buffer information BH and the image information decoding apparatus 40, an input bit stream is not decodable by disrupting the buffer. デコーダ情報DIは、例えば、デコーダバッファサイズおよび復号ビットレートなどである。 Decoder information DI is, for example, the decoder buffer size and the decoding bit rate, and the like.
【0086】 [0086]
復号可能性判定部92は、(R min 、B min 、F min )globalから、図4に示したような特性曲線を作成する。 Decoding possibility determining unit 92, (R min, B min, F min) from global, creates a characteristic curve as shown in FIG. 各点の間は線形補間する。 Between each point linear interpolation. この時、デコーダ(復号装置90)のバッファおよび復号ビットレートが(R min 、B min 、F min )globalにより作られる特性曲線より上に位置する場合、入力されたビットストリームは、復号可能であると判断することが可能である。 At this time, if the buffer and decoding the bit rate of the decoder (decoding device 90) (R min, B min, F min) is located above the characteristic curve created by the global, bitstream input, is decodable it is possible to determine that. 従ってこのようなとき、復号可能性判定部92は、復号可能であると判定し、ビットストリームを画像情報復号装置40に供給する。 Therefore, when such, the decoding possibility determining unit 92 determines that is decodable and supplies the bitstream to the image information decoding apparatus 40.
【0087】 [0087]
画像情報復号装置40は、図2に示した画像情報復号装置40と基本的に同様な構成により、同様な処理を実行し、入力されたビットストリームを復号し、画像情報を図示されていないテレビジョン受像機などに出力する。 Image information decoding apparatus 40, the image information decoding apparatus 40 basically the same configuration shown in FIG. 2, performs the same processing to decode the input bitstream, not shown image information TV to output to television receiver.
【0088】 [0088]
ビットストリーム全体を復号可能であるかどうかは上記のように、(R min 、B min 、F min )globalの特性曲線、デコーダバッファサイズ、復号ビットレートを調べることによって判定することが可能である。 What is as described above or can be decrypted overall bit stream can be determined by examining (R min, B min, F min) global characteristic curve, the decoder buffer size, a decoding bit rate.
【0089】 [0089]
また、ランダムアクセスなどにより、所定のランダムアクセスポイントから特定の区間のみを復号したい場合、同様にして、復号可能性判定部92は、(R min 、B min 、F min )から図4に示すような特性曲線を作成する。 Further, due to the random access, if you want to decode only a specific section from a predetermined random access point, in a similar manner, the decoding possibility determining unit 92, as shown in FIG. 4 from (R min, B min, F min) to create a characteristic curve. 各点の間は線形補間する。 Between each point linear interpolation. この時、デコーダのバッファおよび復号ビットレートが(R min 、B min 、F min )により作られる特性曲線より上に位置する場合、ビットストリームは復号可能である。 In this case, the buffer and the decoding bit rate of the decoder is (R min, B min, F min) when located above the characteristic curve created by the bit stream can be decoded. 従ってこのようなとき、復号可能性判定部92は、復号可能であると判定し、ビットストリームを画像情報復号装置40に供給する。 Therefore, when such, the decoding possibility determining unit 92 determines that is decodable and supplies the bitstream to the image information decoding apparatus 40.
【0090】 [0090]
次にビットストリームの編集を行う際の説明を行う。 Next will be described when editing the bitstream. 図8は、本発明を適用したビットストリームの編集を行う編集装置110の一実施の形態の構成を示す図である。 Figure 8 is a diagram showing the configuration of an embodiment of the editing device 110 for editing a bitstream according to the present invention. 編集装置110が行う編集の例として、入力ビットストリーム1の一部を、別の入力ビットストリーム2に置き換えるスプライスを行う場合を例に挙げて説明する。 Examples of editing the editing apparatus 110 performs a portion of the input bit stream 1, as an example a case in which the splice to replace with another input bitstream 2 will be described.
【0091】 [0091]
ここで、スプライスについて簡単に説明するに、スプライスとは、所定のビットストリームをランダムアクセスポイントにおいて別のビットストリームに置き換えて編集を行うことである。 Here, in order to briefly describe the splice, and the splice is to perform editing by replacing a separate bitstream from the random access point a predetermined bit stream. このようなスプライスは、例えば、テレビジョン放送の番組に、コマーシャルの放送を挿入する際などである。 Such a splice is, for example, in the program of television broadcasting, and the like when inserting the broadcasting of the commercial. この場合、入力ビットストリーム1がテレビジョン放送の番組のビットストリームであり、入力ビットストリーム2がコマーシャルのビットストリームである。 In this case, the input bit stream 1 is a program of the bit stream of television broadcast, the input bit stream 2, which is a commercial of the bit stream.
【0092】 [0092]
入力ビットストリーム1は、ビットストリーム解析部111−1に入力され、入力ビットストリーム2は、ビットストリーム解析部111−2に入力される。 Input bitstream 1 is input to the bit stream analyzing unit 111-1, the input bit stream 2 is inputted to the bit stream analyzing unit 111-2. ビットストリーム解析部111−1,111−2は、それぞれ入力されたビットストリーム1,2中に含まれているバッファ情報BH1,2を復号し、ビットストリーム編集部112に出力する。 The bit stream analyzing unit 111-1 and 111-2 decodes buffer information BH1,2 included in the bit stream 1 and 2 are input, and outputs the bit stream editing unit 112.
【0093】 [0093]
ビットストリーム編集部112は、バッファ情報BH1,2に基づき、所定の編集ポイントで、入力ビットストリーム1に対して入力ビットストリーム2を挿入可能であるか否かを判定する。 Bitstream editing unit 112, based on the buffer information BH1,2, a predetermined editing point, determines whether or not it is possible insert a input bit stream 2 to the input bit stream 1. この時、編集後のビットストリームが、デコーダ(復号装置90)のバッファを破綻させずに復号可能であるためには、ランダムアクセスポイントとその直前のバッファ占有量の値が同一であるという条件が必要である。 At this time, the bit stream of the edited, in order to be decoded without collapse of the buffer of the decoder (decoding device 90), the condition that the value of the random access point and buffer occupancy immediately before are the same is is necessary.
【0094】 [0094]
MPEG2,4方式を用いるデコーダは、特定のビットレート、バッファサイズで動作することが想定されていたが、JVT方式を用いるデコーダにおいては、図4に示すように、その他のビットレート、バッファサイズであっても、(R min 、B min 、F min )の特性曲線より上にある場合、復号することが可能であるようにバッファに対する制約が緩和されている。 Decoder using MPEG2,4 scheme, a particular bit rate, it has been assumed to operate at the buffer size in the decoder using the JVT method, as shown in FIG. 4, the other bit rate, buffer size even, it is relaxed restrictions on the buffer so if it is possible to decode that is above the characteristic curve of (R min, B min, F min).
【0095】 [0095]
ビットストリームの編集により、その編集前後でデコード可能性が変化しないようにするためには、編集区間の(R min 、B min 、F min )が同一であれば良い。 By editing the bitstream for decoding possibility in that before and after editing is prevented changed, the edit section (R min, B min, F min) is sufficient if the same. 従って、ビットストリーム編集部112は、編集区間に位置するランダムアクセスポイントヘッダにおける(R min 、B min 、F min )特性を、入力ビットストリーム1,2に対して作成し、これらの値が一致する場合、その区間をビットストリーム2に置換する。 Accordingly, the bit stream editing unit 112, the random access point header located in the edit section (R min, B min, F min) characteristics, created for the input bit stream 1, these values match If, to replace the section in the bit stream 2. 一致しない場合、ビットストリーム1または2に対してパディングビットを挿入して、(R min 、B min 、F min )が一致するようにした後、入力ビットストリーム2に置換する。 If they do not match, insert padding bits to the bitstream 1 or 2, (R min, B min , F min) after such match, replacing the input bit stream 2.
【0096】 [0096]
JVTにおいては、バッファに対する規制が緩和されているが、このことを利用すれば、スプライスにおけるバッファの適合条件を緩和することが可能になる。 In JVT, although restrictions on the buffer is alleviated, by utilizing this, it is possible to relax the matching condition of the buffer at the splicing. JVTにおいては、デコーダのバッファサイズおよび復号ビットレートが(R min 、B min 、F min )の上に位置する場合、復号可能であることがわかる。 In JVT, when located on the buffer size and the decoding bit rate decoder of (R min, B min, F min), it can be seen that is decodable. 従って、元の入力ビットストリーム1の所定の編集区間の(R min 、B min 、F min )に対して、挿入する入力ビットストリーム2の所定編集区間の(R min 、B min 、F min )が常に下にある場合、入力ビットストリーム1を復号可能なデコーダは、その区間をビットストリーム2に置換しても復号可能であることになる。 Thus, a predetermined edit section of the original input bitstream 1 (R min, B min, F min) relative to, a predetermined edit section of the input bitstream 2 to be inserted (R min, B min, F min) is If always the underlying decodable decoder input bit stream 1 would be decodable by replacing the segment in the bitstream 2.
【0097】 [0097]
図9にその関係を図示する。 It illustrates the relationship in FIG. 曲線1は、入力ビットストリーム1の編集区間での(R min 、B min 、F min )特性を示す。 Curve 1 shows the edit section of the input bit stream 1 (R min, B min, F min) characteristics. 曲線2は入力ビットストリーム2の編集区間での(R min 、B min 、F min )特性を示す。 Curve 2 shows the edit section of the input bitstream 2 (R min, B min, F min) characteristics. デコーダのバッファ、復号ビットレートが、この曲線の上に来る場合、復号可能であることから、図9に示すように曲線2が常に曲線1の下に来るとき、復号可能であることが保証される。 The decoder buffer, the decoding bit rate, if this comes on top of the curve, since it is possible decoding, when it comes under the curve 2 is always curves 1 as shown in FIG. 9, it is guaranteed to be decodable that.
【0098】 [0098]
従って、ビットストリーム編集部112は、編集区間に位置するランダムアクセスポイントヘッダにおける(R min 、B min 、F min )特性を、ビットストリーム1,2に対して作成し、ビットストリーム2の特性曲線が、ビットストリーム1の特性曲線の下に来る場合、その区間をビットストリーム2に置換する。 Accordingly, the bit stream editing unit 112, the random access point header located in the edit section (R min, B min, F min) characteristics, to create the bit stream 1, the characteristic curve of the bitstream 2 is when it comes to under the characteristic curve of the bitstream 1, replacing the section in the bit stream 2.
【0099】 [0099]
逆に、一致しないような場合、ビットストリーム1または2に対してパディングビットを挿入して、ビットストリーム2の(R min 、B min 、F min )特性曲線が、ビットストリーム1の特性曲線の下に位置するように変更した後、入力ビットストリーム2に置換する。 Conversely, if unmatched, as, by inserting padding bits to the bitstream 1 or 2, of the bit stream 2 (R min, B min, F min) is the characteristic curve, under the characteristic curve of the bitstream 1 after changing to be located, to replace the input bit stream 2.
【0100】 [0100]
このような条件を満たすようにスプライスを行った場合、ビットストリーム1を復号可能なデコーダを破綻させることはない。 When performing the splice so as to satisfy such condition, no disrupting the decodable decoder bit stream 1. ビットストリーム編集部112はスプライスをした後、最終的なビットストリームを出力する。 Bitstream editing unit 112 after the splice, and it outputs a final bitstream.
【0101】 [0101]
このように、ビットストリーム中のランダムアクセスが行えるポイントのヘッダに、(R min 、B min 、F min )といった最小ビットレート、最小バッファサイズ、最小初期遅延時間などの情報を含ませることにより、復号側において、ビットストリームの復号可能性を効率良く判断することが可能となり、また、スプライシングなどのビットストリームの編集を容易に、かつ、復号側のバッファを破綻させることなく復号が常に行えるようにすることが可能となる。 Thus, the header of the point that allows random access in the bitstream, (R min, B min, F min) such minimum bit rate, minimum buffer size, by including information such as the minimum initial delay time, decoding on the side, it is possible to efficiently determine the decoding possibility of the bitstream, also easily edit a bit stream, such as splicing, and to allow decoding always without disrupting the buffer on the decoding side it becomes possible.
【0102】 [0102]
図10は、汎用のパーソナルコンピュータの内部構成例を示す図である。 Figure 10 is a diagram showing an internal structure of a general-purpose personal computer. パーソナルコンピュータのCPU(Central Processing Unit)211は、ROM(Read Only Memory)212に記憶されているプログラムに従って各種の処理を実行する。 Personal computer CPU (Central Processing Unit) 211 executes various processes in accordance with ROM (Read Only Memory) 212 a program stored. RAM(Random Access Memory)213には、CPU211が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。 The RAM (Random Access Memory) 213, CPU211 data and programs required for executing various processes are suitably stored. 入出力インタフェース215は、キーボードやマウスから構成される入力部216が接続され、入力部216に入力された信号をCPU211に出力する。 Output interface 215, an input unit 216 composed of a keyboard and a mouse is connected, and outputs a signal input to the input unit 216 to the CPU 211. また、入出力インタフェース215には、ディスプレイやスピーカなどから構成される出力部7も接続されている。 Further, the input-output interface 215 is also connected to the output unit 7 composed of a display and a speaker.
【0103】 [0103]
さらに、入出力インタフェース215には、ハードディスクなどから構成される記憶部218、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部219も接続されている。 Furthermore, the input-output interface 215, and storage unit 218, and a hard disk, a communication unit 219 for exchanging other devices and data over a network such as the Internet. ドライブ220は、磁気ディスク231、光ディスク232、光磁気ディスク233、半導体メモリ234などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。 Drive 220, magnetic disk 231, optical disk 232, a magneto-optical disc 233, reads data from a recording medium such as a semiconductor memory 234, used when writing data.
【0104】 [0104]
記録媒体は、図10に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク231(フレキシブルディスクを含む)、光ディスク232(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク233(MD(Mini-Disc)(登録商標)を含む)、若しくは半導体メモリ234などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM212や記憶部218が含まれるハードディスクなどで構成される。 Recording medium, as shown in FIG. 10, apart from the personal computer, magnetic disk (including a flexible disk) 231 that is distributed, the program is recorded in order to provide the program to a user, the optical disk 232 (CD- ROM (Compact disc-Read Only memory), comprises a DVD (Digital Versatile disc)), magneto-optical disk 233 (MD (Mini-disc) (registered trademark)), or configured by the package medium such as semiconductor memory 234 not only is provided to the user in a state of being stored in advance in a computer, the program is composed of a hard disk that contain or ROM212 is stored the storage unit 218.
【0105】 [0105]
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, steps describing the program provided by the medium, according to the described order, chronological order, of course the processes performed but also processing executed chronologically in parallel or individually but also the processing operations to be performed.
【0106】 [0106]
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in the present specification, the system represents the entire apparatus including a plurality of devices.
【0109】 [0109]
【発明の効果】 【Effect of the invention】
本発明の編集装置および方法によれば、スプライスなどの編集にかかる処理を軽減させ、容易に編集可能であるか否かを判断することが可能となる。 According to the editing device and method of the present invention, to mitigate this process editing such as splices, it is possible to determine whether or not easily editable.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】従来の画像情報符号化装置の一例の構成を示す図である。 1 is a diagram showing an example of the configuration of a conventional picture information coding device.
【図2】従来の画像情報復号装置の一例の構成を示す図である。 2 is a diagram showing an example of the configuration of a conventional image information decoding apparatus.
【図3】バッファ量について説明する図である。 3 is a diagram illustrating a buffer amount.
【図4】ビットレートとバッファ量の関係について説明する図である。 4 is a diagram illustrating the relationship between bit rate and buffer size.
【図5】本発明を適用した符号化装置の一実施の形態の構成を示す図である。 5 is a diagram showing the configuration of an embodiment of the applied encoding apparatus of the present invention.
【図6】バッファ量について説明する図である。 6 is a diagram illustrating a buffer amount.
【図7】本発明を適用した復号装置の一実施の形態の構成を示す図である。 7 is a diagram showing the configuration of an embodiment of the applied decoding apparatus of the present invention.
【図8】本発明を適用した編集装置の一実施の形態の構成を示す図である。 8 is a diagram showing the configuration of an embodiment of the applied editing apparatus of the present invention.
【図9】ビットレートとバッファ量の関係について説明する図である。 9 is a diagram illustrating the relationship between bit rate and buffer size.
【図10】媒体を説明する図である。 10 is a diagram for explaining a medium.
【符号の説明】 DESCRIPTION OF SYMBOLS
70 符号化装置, 71 バッファ, 72 ビットストリーム解析部, 73 バッファ情報付加部, 90 復号装置, 91 ビットストリーム解析部, 92 復号可能性判定部, 111 ビットストリーム解析部, 112ビットストリーム編集部 70 encoder, 71 a buffer, 72-bit stream analyzing unit, 73 a buffer-information adding unit, 90 decoder, 91-bit stream analyzing unit, 92 decoded possibility determining unit, 111 a bit stream analyzing unit, 112 the bit stream editing unit

Claims (2)

  1. 入力されたビットストリーム中のランダムにアクセスが可能な所定区間毎に挿入されているヘッダに含まれる、 前記ビットストリームを復号する際に前記ビットストリームを格納するバッファのバッファサイズと前記バッファへの入力ビットレートとの組み合わせに従って前記ビットストリームが復号可能であるか否かを判定する際の判定基準として用いるバッファ特性情報を読み出し、その読み出した情報に基づいて前記ビットストリームを編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であるか否かを判断する判断手段と、 Random access in the input bit stream included in the header is inserted into a predetermined interval for each possible input to the buffer size of the buffer for storing the bit stream buffer when decoding the bit stream bits read buffer characteristic information used as a criterion in determining whether the whether the bit stream can be decoded in accordance with the combination of the bit rate, based on the readout information, and connecting the bit stream at the editing point judgment means for stream to determine whether it is possible to decode without collapse of the buffer of the decoder,
    前記判断手段により復号可能であると判断された場合、前記ビットストリームを編集点で接続する編集を行う編集手段と を含み、 If it is determined to be decoded by said determining means, and a editing means for performing editing for connecting the bit stream at the editing point,
    前記判断手段は、第1の前記ビットストリームの前記ヘッダに含まれる前記バッファ特性情報に示される前記バッファサイズと前記入力ビットレートを変数とする第1の特性曲線が、第2の前記ビットストリームの前記ヘッダに含まれる前記バッファ特性情報に示される前記バッファサイズと前記入力ビットレートを変数とする第2の特性曲線の常に上に位置するか、または、同一である場合、前記第1のビットストリームと前記第2のビットストリームと編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であると判断する 編集装置。 Said determination means is a first characteristic curve for the input bit rate and the buffer size indicated in the buffer characteristic information included in the header of the first of the bit stream and variables, the second of said bit stream always or positioned above a second characteristic curve for the input bit rate and the buffer size and variables shown in the buffer characteristic information included in the header, or if the same, the first bit stream and the editing device in which the second bit stream and the bit streams that are connected with the editing point is determined to be decodable without collapse of the buffer of the decoder.
  2. 入力されたビットストリーム中のランダムにアクセスが可能な所定区間毎に挿入されているヘッダに含まれる、 前記ビットストリームを復号する際に前記ビットストリームを格納するバッファのバッファサイズと前記バッファへの入力ビットレートとの組み合わせに従って前記ビットストリームが復号可能であるか否かを判定する際の判定基準として用いるバッファ特性情報を読み出し、その読み出した情報に基づいて前記ビットストリームを編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であるか否かを判断する判断ステップと、 Random access in the input bit stream included in the header is inserted into a predetermined interval for each possible input to the buffer size of the buffer for storing the bit stream buffer when decoding the bit stream bits read buffer characteristic information used as a criterion in determining whether the whether the bit stream can be decoded in accordance with the combination of the bit rate, based on the readout information, and connecting the bit stream at the editing point a determining step of the stream to determine whether it is possible to decode without collapse of the buffer of the decoder,
    前記判断ステップの処理で復号可能であると判断された場合、前記ビットストリームを編集点で接続する編集を行う編集ステップと を含み、 If it is determined to be decoded by the processing of said determining step, and a editing step for editing for connecting the bit stream at the editing point,
    前記判断ステップの処理は、第1の前記ビットストリームの前記ヘッダに含まれる前記バッファ特性情報に示される前記バッファサイズと前記入力ビットレートを変数とする第1の特性曲線が、第2の前記ビットストリームの前記ヘッダに含まれる前記バッファ特性情報に示される前記バッファサイズと前記入力ビットレートを変数とする第2の特性曲線の常に上に位置するか、または、同一である場合、前記第1のビットストリームと前記第2のビットストリームと編集点で接続したビットストリームがデコーダのバッファを破綻させずに復号可能であると判断する 編集方法。 Processing of the determination step, a first characteristic curve to the first of the bit stream the buffer size as the input bit rate for the variables shown in the buffer characteristic information included in the header of the second of the bit always or positioned above a second characteristic curve for the input bit rate and the buffer size indicated in the buffer characteristic information included in the header of the stream with a variable, or, if the same, the first editing the bit stream connected with the editing point and the second bit stream and the bit stream is determined to be decodable without collapse of the buffer of the decoder.
JP2003107787A 2002-04-26 2003-04-11 Editing apparatus and method Active JP4875285B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002125298 2002-04-26
JP2002125298 2002-04-26
JP2003107787A JP4875285B2 (en) 2002-04-26 2003-04-11 Editing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003107787A JP4875285B2 (en) 2002-04-26 2003-04-11 Editing apparatus and method

Publications (2)

Publication Number Publication Date
JP2004007571A true JP2004007571A (en) 2004-01-08
JP4875285B2 true JP4875285B2 (en) 2012-02-15

Family

ID=30447464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003107787A Active JP4875285B2 (en) 2002-04-26 2003-04-11 Editing apparatus and method

Country Status (1)

Country Link
JP (1) JP4875285B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
JP4719602B2 (en) * 2006-03-28 2011-07-06 アルパイン株式会社 Video output system
US20100074340A1 (en) * 2007-01-08 2010-03-25 Thomson Licensing Methods and apparatus for video stream splicing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251582A (en) * 1995-03-07 1996-09-27 Toshiba Corp Encoded data editing device

Also Published As

Publication number Publication date Type
JP2004007571A (en) 2004-01-08 application

Similar Documents

Publication Publication Date Title
US6944226B1 (en) System and associated method for transcoding discrete cosine transform coded signals
US7061410B1 (en) Method and/or apparatus for transcoding between H.264 CABAC and CAVLC entropy coding modes
US5729293A (en) Method and device for transcoding a sequence of coded digital signals
US6912253B1 (en) Method and apparatus for transcoding coded video image data
US6222886B1 (en) Compression based reduced memory video decoder
US6560282B2 (en) Transcoding system using encoding history information
US6895052B2 (en) Coded signal separating and merging apparatus, method and computer program product
US5850258A (en) High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level
US6125140A (en) Processing encoded signals
US5543847A (en) Picture coding and decoding method for random accessing
US6650705B1 (en) Method for encoding and transcoding multiple video objects with variable temporal resolution
US7042943B2 (en) Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US20070230564A1 (en) Video processing with scalability
US20040179610A1 (en) Apparatus and method employing a configurable reference and loop filter for efficient video coding
US6408096B2 (en) Method for computational graceful degradation in an audiovisual compression system
US6160844A (en) Processing digitally encoded signals
US20070160129A1 (en) Video decoding apparatus and video decoding method
US20050232497A1 (en) High-fidelity transcoding
US6393059B1 (en) Conversion of video data bit stream
US20040170395A1 (en) Quantization method and system for video MPEG applications and computer program product therefor
US6441754B1 (en) Apparatus and methods for transcoder-based adaptive quantization
US20030002583A1 (en) Transcoding of video data streams
US5838265A (en) Method, encoder and decoder for resynchronization to a data stream which contains errors
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
US20080175317A1 (en) Method and apparatus for encoding and decoding based on intra prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100212

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100614

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250