JP4509809B2 - Digital image decoding apparatus and method - Google Patents
Digital image decoding apparatus and method Download PDFInfo
- Publication number
- JP4509809B2 JP4509809B2 JP2005013553A JP2005013553A JP4509809B2 JP 4509809 B2 JP4509809 B2 JP 4509809B2 JP 2005013553 A JP2005013553 A JP 2005013553A JP 2005013553 A JP2005013553 A JP 2005013553A JP 4509809 B2 JP4509809 B2 JP 4509809B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- error
- image data
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データをそのブロック毎に復号するディジタル画像復号装置及び方法に関する。 The present invention relates to a digital image decoding apparatus and method for decoding encoded image data encoded for each block by dividing the image data into a plurality of blocks for each frame.
ＭＰＥＧ方式の画像データにおけるエラーコンシールメント（エラー隠蔽処理）の簡単な方法としては、エラーで失われたブロックの動きを考慮せず、前フレームの画像等の参照画像を用いて同じ位置のブロックの画像データをはめ込む方法がある。また動きを考慮する方法として、Ｉピクチャにおいてはコンシールモーションベクトルを用いてエラーで失われたブロックを参照画像から動き補償を行いコンシールメントを行う方法や、Ｐ，Ｂピクチャにおいてはエラーで失われたブロックの近傍ブロックの動きベクトルを用いて参照画像から動き補償を行ってコンシールメントを行う方法がある（特許文献１及び２参照）。
Ｉピクチャにおいてコンシールモーションベクトルが符号化されていない場合には、Ｉピクチャではすべてのブロックで動きベクトルも符号化されておらず、エラーで失われたブロックに対し近傍ブロックの動きベクトルを用いてコンシールメントを行うことができない。それ故、動きが激しい場面などでは画像が著しく乱れることがある。 When the concealed motion vector is not encoded in the I picture, the motion vector is not encoded in all the blocks in the I picture, and the concealed block is used by using the motion vector of the neighboring block for the block lost due to the error. Can't do the same. Therefore, the image may be remarkably disturbed in a scene where movement is intense.
一方、Ｐ，Ｂピクチャにおいては、各ブロックに符号化された動きベクトルはあくまでも符号器が画像データの圧縮効率を良くする為に求めたものなので動きベクトル値は各ブロック毎にバラバラの可能性もあり、単純にエラーブロックの近傍ブロックの動きベクトルを用いて参照画像から動き補償を行い画像を構成した場合には、ブロックノイズが多く発生したような感じになり画像が著しく乱れることがある。 On the other hand, in the P and B pictures, since the motion vector encoded in each block is only determined by the encoder to improve the compression efficiency of the image data, the motion vector value may vary from block to block. In the case where an image is constructed by simply performing motion compensation from a reference image using motion vectors of blocks near an error block, it may feel that a lot of block noise has occurred and the image may be significantly disturbed.
また、エラーブロックの近傍ブロックの動きベクトルのうち頻度の最も多いベクトルを単純に選択し動き補償を行い画像を構成した場合には、例えば近傍ブロックの動きベクトル値が２つだけ同じ値であとはバラバラであった時に、選択した動きベクトル値はエラーブロックに符号化されていたはずの値と同じである可能性は低く、誤った位置の画像を参照することになり画像が著しく乱れることがある。 Also, when an image is constructed by simply selecting the most frequent vector among the motion vectors of the neighboring blocks of the error block and performing motion compensation, for example, only two motion vector values of neighboring blocks are the same value. When separated, the selected motion vector value is unlikely to be the same value that would have been encoded in the error block, and the image may be significantly disturbed because it refers to the image at the wrong position. .
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、エラーブロックに対するコンシールメントの性能を向上させることができるディジタル画像復号装置及び方法を提供することが本発明の目的である。 The problems to be solved by the present invention include the above disadvantages as an example, and it is an object of the present invention to provide a digital image decoding apparatus and method capable of improving the performance of concealment for error blocks. .
請求項１に係る発明のディジタル画像復号装置は、フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号装置であって、ブロック毎に現フレームの画像データと前フレームの画像データとの差分を示す差分復号データを出力すると共に前記現ブロックの画像データにおける動きベクトルを出力する復号手段と、前記画像データのエラーの有無をブロック毎に検出するエラー検出手段と、前記動きベクトルをブロック毎に記憶する動きベクトル記憶手段と、前記エラー検出手段によるエラー検出結果及び前記動きベクトル記憶手段に記憶された各ブロックの動きベクトルに応じて動き補償用動きベクトルを設定する動きベクトル設定手段と、前記動き補償用動きベクトルに基づいて予測参照画像データを出力する動き補償復号手段と、前記予測参照画像データと前記差分復号データとを加算して復号画像データを出力する加算手段と、前記符号化画像データが示す映像のパーンを判定するパーン判定手段と、を備え、前記パーン判定手段は、フレーム内の所定の範囲のエラーなしの正常ブロックの動きベクトルの頻度分布を作成し、前記頻度分布が所定の条件を満たす場合に現フレームはパーンした映像であると判定する判定部と、前記判定部によってパーンした映像であることが判定されたときには前記所定の範囲毎に前記頻度分布のうちの最大頻度の動きベクトル値を記憶するパーン情報記憶部と、を有し、前記動きベクトル設定手段は、前記判定部によってパーンした映像であることが判定されかつ前記エラー検出手段によってエラーありのエラーブロックが検出された場合には、前記エラーブロックの近傍に位置する所定の範囲についての最大頻度の動きベクトル値を前記パーン情報記憶部から読み出してそれを前記動き補償用動きベクトルとして設定することを特徴としている。
A digital image decoding apparatus according to a first aspect of the present invention is a digital image decoding apparatus that decodes encoded image data encoded for each block by dividing the image data into a plurality of blocks for each frame and for each block. Output decoding data indicating the difference between the image data of the current frame and the image data of the previous frame for each block, and outputting a motion vector in the image data of the current block, and an error of the image data Error detection means for detecting presence / absence of each block; motion vector storage means for storing the motion vector for each block; error detection result by the error detection means; and motion vector of each block stored in the motion vector storage means Motion vector setting means for setting a motion compensation motion vector in accordance with the motion vector, and the motion Motion-compensated decoding means for outputting predicted reference image data based on a compensation motion vector, addition means for adding the predicted reference image data and the differential decoded data to output decoded image data, and the encoded image data Pann determining means for determining the pann of the video indicated by, wherein the Pann determining means creates a frequency distribution of motion vectors of normal blocks without error within a predetermined range in the frame, and the frequency distribution is a predetermined A determination unit that determines that the current frame is a parsed video when the condition is satisfied, and a maximum frequency of the frequency distribution for each predetermined range when the determination unit determines that the video is a parsed video. A pann information storage unit for storing a motion vector value, and the motion vector setting means is an image that is panned by the determination unit If an error block with an error is detected by the error detection means, the motion vector value of the maximum frequency for a predetermined range located in the vicinity of the error block is read from the panic information storage unit and read out. Is set as the motion compensation motion vector .
請求項６に係る発明のディジタル画像復号方法は、フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号方法であって、ブロック毎に現フレームの画像データと前フレームの画像データとの差分を示す差分復号データを出力すると共に前記現ブロックの画像データにおける動きベクトルを出力する復号ステップと、前記画像データのエラーの有無をブロック毎に検出するエラー検出ステップと、前記動きベクトルをブロック毎に記憶する動きベクトル記憶ステップと、前記エラー検出ステップにおけるエラー検出結果及び前記動きベクトル記憶ステップで記憶された各ブロックの動きベクトルに応じて動き補償用動きベクトルを設定する動きベクトル設定ステップと、前記動き補償用動きベクトルに基づいて予測参照画像データを出力する動き補償復号ステップと、前記予測参照画像データと前記差分復号データとを加算して復号画像データを出力する加算ステップと、前記符号化画像データが示す映像のパーンを判定するパーン判定ステップと、を備え、前記パーン判定ステップは、フレーム内の所定の範囲のエラーなしの正常ブロックの動きベクトルの頻度分布を作成し、前記頻度分布が所定の条件を満たす場合に現フレームはパーンした映像であると判定する判定部ステップと、前記判定部ステップによってパーンした映像であることが判定されたときには前記所定の範囲毎に前記頻度分布のうちの最大頻度の動きベクトル値をパーン情報記憶部に記憶するパーン情報記憶ステップと、を有し、前記動きベクトル設定ステップは、前記判定部ステップによってパーンした映像であることが判定されかつ前記エラー検出ステップによってエラーありのエラーブロックが検出された場合には、前記エラーブロックの近傍に位置する所定の範囲についての最大頻度の動きベクトル値を前記パーン情報記憶部から読み出してそれを前記動き補償用動きベクトルとして設定することを特徴としている。 A digital image decoding method according to a sixth aspect of the invention is a digital image decoding method in which image data is divided into a plurality of blocks for each frame and encoded image data encoded for each block is decoded for each block. A decoding step for outputting, for each block, differential decoded data indicating a difference between the image data of the current frame and the image data of the previous frame, and outputting a motion vector in the image data of the current block; and an error in the image data An error detection step for detecting presence or absence for each block; a motion vector storage step for storing the motion vector for each block; an error detection result in the error detection step; and a motion vector of each block stored in the motion vector storage step Motion vector to set motion compensation motion vector according to A setting step; a motion compensation decoding step for outputting predicted reference image data based on the motion compensation motion vector; and an adding step for adding the predicted reference image data and the difference decoded data to output decoded image data; A panning determination step for determining a panning of a video indicated by the encoded image data, wherein the panning determination step creates a frequency distribution of motion vectors of normal blocks without error within a predetermined range in the frame, A determination unit step for determining that the current frame is a parsed video when the frequency distribution satisfies a predetermined condition; and when the determination unit step determines that the video is a parsed video, A pann information storage step for storing the motion vector value of the maximum frequency in the frequency distribution in the pann information storage unit And when the motion vector setting step determines that the video is parsed by the determination unit step and an error block with an error is detected by the error detection step, the motion vector setting step is a neighborhood of the error block. The motion vector value of the maximum frequency for a predetermined range located at is read from the Pann information storage unit and set as the motion compensation motion vector .
以下、本発明の実施例を図面を参照しつつ詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明によるディジタル画像復号装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of a digital image decoding apparatus according to the present invention.
図１に示す如く、かかるディジタル画像復号装置は、復号部１１、エラー検出部１２、動きベクトル記憶部１３、動きベクトル設定部１４、動き補償復号部１５、加算器１６、フレームメモリ１７、パーン判定部１８及びパーン情報記憶部１９を備えている。 As shown in FIG. 1, the digital image decoding apparatus includes a decoding unit 11, an error detection unit 12, a motion vector storage unit 13, a motion vector setting unit 14, a motion compensation decoding unit 15, an adder 16, a frame memory 17, and a panning determination. A unit 18 and a panic information storage unit 19 are provided.
復号部１１は入力した符号化画像データの復号処理を行う。データの符号化方式は１フレームを複数のブロックに分割してそれぞれのブロック毎に符号化し、かつ時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式（例えば、H.261, MPEG1/2やベクトル量子化など）とする。復号部１１は復号処理においてブロック毎に前フレームと現フレームとの差分値を算出し、それを差分復号データとして加算器１６に出力する。また、復号部１１はエラー解析用符号化データをエラー検出部１２に出力する。エラー解析用符号化データは符号化画像データのうちのヘッダデータのみ、或いは符号化画像データそのものでも良く、エラーの検出を可能にする情報を有するデータであれば良い。復号部１１は、現在復号化しているブロックの動き補償復号ベクトルを動きベクトル記憶部１３へ出力する。 The decoding unit 11 performs a decoding process on the input encoded image data. The data encoding method is a method in which one frame is divided into a plurality of blocks and encoded for each block, and motion compensation prediction is performed for each block between temporally neighboring frames (for example, H.261, MPEG1). / 2 and vector quantization). The decoding unit 11 calculates a difference value between the previous frame and the current frame for each block in the decoding process, and outputs it to the adder 16 as difference decoded data. Further, the decoding unit 11 outputs the encoded data for error analysis to the error detection unit 12. The encoded data for error analysis may be only the header data of the encoded image data or the encoded image data itself, as long as the data has information that enables error detection. The decoding unit 11 outputs the motion compensation decoded vector of the currently decoded block to the motion vector storage unit 13.
エラー検出部１２は、復号部１１からのエラー解析用符号化データに基づいて復号部１１における復号中のブロックにエラーがあるか否かを検出する。例えば、入力した符号化画像データを可変長復号している最中にエラー解析用符号化データを解析してエラーの検出を行う。解析としては、規格書で規定されているシンタッスクスとの不一致や規定された可変長符号語にない符号語を検出することが行われる。エラー検出部１２は、エラーを検出した場合には復号部１１及びパーン判定部１８にエラーフラグを出力する。 The error detection unit 12 detects whether or not there is an error in the block being decoded in the decoding unit 11 based on the encoded data for error analysis from the decoding unit 11. For example, during variable length decoding of the input encoded image data, the error analysis encoded data is analyzed to detect an error. As the analysis, a mismatch with the syntax defined in the standard or a codeword that is not in the defined variable-length codeword is detected. The error detection unit 12 outputs an error flag to the decoding unit 11 and the pann determination unit 18 when an error is detected.
動きベクトル記憶部１３は、復号部１１から出力される動き補償復号ベクトルをブロック毎に記憶する。この動きベクトル記憶部１３は例えば、１フレーム分の記憶容量を有する。エラー検出部１２によってエラーフラグが復号部１１に供給された場合には、動きベクトル記憶部１３は、復号部１１からのベクトル０（すなわち動きベクトル無し）を記憶する。 The motion vector storage unit 13 stores the motion compensation decoded vector output from the decoding unit 11 for each block. The motion vector storage unit 13 has a storage capacity for one frame, for example. When the error flag is supplied to the decoding unit 11 by the error detection unit 12, the motion vector storage unit 13 stores the vector 0 (that is, no motion vector) from the decoding unit 11.
また、復号部１１は、エラー検出部１２からエラーフラグを受け取った場合、すなわち復号中にエラーのブロックが検出された場合には、ベクトル設定部１４に対してエラーブロック用の動きベクトルを設定するように指示信号を発し、上記の差分復号データを０として加算器１６に出力する。 When receiving an error flag from the error detection unit 12, that is, when an error block is detected during decoding, the decoding unit 11 sets a motion vector for the error block to the vector setting unit 14. The instruction signal is issued as described above, and the difference decoded data is output as 0 to the adder 16.
動きベクトル設定部１４は、通常のエラーブロックでない正常ブロックが検出されている状態では、動きベクトル記憶部１３にその正常ブロックに対応して記憶された動きベクトルを読み出して出力し、エラー検出によって指示信号が発せられたときにはその指示信号に応答して動きベクトル記憶部１３に記憶された動きベクトル、すなわちエラーブロックの真上に位置するブロックの動きベクトルを設定する。これは動画において一般的に近傍のブロックは相関関係があるという傾向を利用している。 When a normal block that is not a normal error block is detected, the motion vector setting unit 14 reads out and outputs a motion vector stored in correspondence with the normal block in the motion vector storage unit 13, and indicates by error detection. When a signal is issued, the motion vector stored in the motion vector storage unit 13 in response to the instruction signal, that is, the motion vector of the block located immediately above the error block is set. This uses the tendency that neighboring blocks generally have a correlation in a moving image.
ブロックにエラーがない場合には、復号部１１で復号された動き補償復号ベクトルは動きベクトル記憶部１３に記憶された後、そのままベクトル設定部１４に出力され動き補償復号部１５へ出力される。 If there is no error in the block, the motion compensated decoded vector decoded by the decoding unit 11 is stored in the motion vector storage unit 13 and then output to the vector setting unit 14 as it is and output to the motion compensation decoding unit 15.
動き補償復号部１５は入力した動きベクトルに従い、時間的に近傍な前フレーム（参照画像）を格納するフレームメモリ１７から読み出された前フレームの画像データをブロック単位で動き補償して予測参照画像データとして加算器１６へ出力する。 The motion compensation decoding unit 15 performs motion compensation on the image data of the previous frame read from the frame memory 17 that stores the previous frame (reference image) that is temporally adjacent in accordance with the input motion vector, and predicts the reference image. The data is output to the adder 16 as data.
加算器１６は復号部１１から出力された差分復号データと動き補償復号部１５より出力された予測参照画像データとをブロック単位で加算する。その加算結果は復号画像データとして表示装置へ出力されると共に、次フレームの予測に使用する場合にはフレームメモリ１７へ出力される。 The adder 16 adds the difference decoded data output from the decoding unit 11 and the prediction reference image data output from the motion compensation decoding unit 15 in units of blocks. The addition result is output to the display device as decoded image data, and is output to the frame memory 17 when used for prediction of the next frame.
フレームメモリ１７は次フレームで参照画像として用いるために加算器１６から出力される復号画像データを記憶する。フレームメモリ１７に記憶された画像データが動き補償の際の参照画像として用いられる。 The frame memory 17 stores decoded image data output from the adder 16 for use as a reference image in the next frame. The image data stored in the frame memory 17 is used as a reference image for motion compensation.
パーン判定部１８は映像のフレーム全体、すなわちカメラの撮影映像が一定方向（例えば、左方向）に動いているパーン(pan)映像を判定するために、正常ブロックの動きベクトルの分布を作成し、頻度分布が所定の条件を満たす場合は画像がパーンしていると判定する。所定の条件は、頻度分布の最大頻度の動きベクトル値の頻度が全体の所定割合（例えば、５０％）以上を占めることである。また、分布を作成した動きベクトルのうちの最も頻度の多い動きベクトル値を選択してパーン情報記憶部１９に記憶させると共に、パーンの判定結果の情報もパーン情報記憶部１９に記憶させる。エラーブロックの１ライン上がパーンであると判定された場合には、エラーブロックに対してはパーン情報記憶部１９に記憶された１ライン上の動きベクトルが動きベクトル設定部１４において設定される。 The pan determination unit 18 creates a motion vector distribution of normal blocks in order to determine the entire frame of the video, that is, the pan video in which the video captured by the camera moves in a certain direction (for example, the left direction) If the frequency distribution satisfies a predetermined condition, it is determined that the image is panned. The predetermined condition is that the frequency of the motion vector value having the maximum frequency in the frequency distribution occupies a predetermined ratio (for example, 50%) or more. In addition, the motion vector value having the highest frequency is selected from the motion vectors for which the distribution has been created and stored in the panic information storage unit 19, and information on the pun determination result is also stored in the parse information storage unit 19. When it is determined that one line on the error block is panic, a motion vector on one line stored in the panic information storage unit 19 is set in the motion vector setting unit 14 for the error block.
なお、パーン判定部１８によるパーン判定では、頻度分布が所定の条件を満たすならば、フレーム全体が移動している映像に限らず、静止画や、フレームの一部、例えば、静止した背景中に小さな物体が移動しているような映像もパーンと判定しても良い。 In the panning determination by the panning determination unit 18, if the frequency distribution satisfies a predetermined condition, the image is not limited to an image in which the entire frame is moving, but a still image or a part of the frame, for example, in a stationary background. An image in which a small object is moving may also be determined as a pan.
次に、かかる構成のディジタル画像復号装置の動作について説明する。ここでは、説明を簡単にするために前方予測しかないＰピクチャの符号化画像データの場合について説明する。Ｐピクチャでは過去の参照画像から動き補償を行う前方予測のみが存在する。 Next, the operation of the digital image decoding apparatus having such a configuration will be described. Here, in order to simplify the description, a case of P picture encoded image data having only forward prediction will be described. In the P picture, only forward prediction in which motion compensation is performed from a past reference image exists.
動きベクトル設定部１４は、図２に示すように、復号部１１からの指示信号に応答してパーン情報記憶部１９に記憶されたパーンと判定されたか否かの情報を読み取り、その情報に応じてパーンと判定されたか否かを判別する（ステップＳ１）。パーン判定部１８によってエラーブロックの１ライン上がパーンであると判定された場合には、動きベクトル設定部１４はそのエラーブロックに対してパーン情報記憶部１９に記憶された１ライン上の動きベクトル（動き補償用動きベクトル）を設定する（ステップＳ２）。 As shown in FIG. 2, the motion vector setting unit 14 reads information on whether or not it has been determined as a PAN stored in the PAN information storage unit 19 in response to the instruction signal from the decoding unit 11, and according to the information. Then, it is determined whether or not it is determined to be pan (step S1). When it is determined by the pan determining unit 18 that one line of the error block is parsed, the motion vector setting unit 14 stores the motion vector on one line stored in the parse information storage unit 19 for the error block. (Motion compensation motion vector) is set (step S2).
図３はエラーブロックを含むラインより１ラインだけ上に位置する正常ブロックの動きベクトルを用いてパーン判定を行う場合のブロック列を例示している。図３において正常なブロックに示された矢印が動きベクトル値を表しており、矢印Ａで示す動きベクトルは同一値である。このような正常なブロックラインの動きベクトル値について図４の分布図に示す如き頻度分布がパーン判定部１８において作成される。パーン判定部１８は頻度分布において頻度分布が所定の条件を満たす場合にはパーンであると判定し、図４に示すように符号Ｂで示した一番頻度が大なる動きベクトルを選択し、頻度分布を作成したライン毎にパーン情報記憶部１９に記憶させる。 FIG. 3 exemplifies a block sequence in the case where the panning determination is performed using the motion vector of the normal block located one line above the line including the error block. In FIG. 3, the arrows shown in the normal blocks represent the motion vector values, and the motion vectors indicated by the arrows A have the same value. For such normal block line motion vector values, the frequency distribution as shown in the distribution diagram of FIG. When the frequency distribution satisfies the predetermined condition in the frequency distribution, the pan determination unit 18 determines that it is a parse, selects the motion vector having the highest frequency indicated by the symbol B as shown in FIG. For each line in which the distribution is created, it is stored in the pann information storage unit 19.
図５はパーン判定部１８によってエラーブロックの１ライン上の各ブロックの動きベクトルに基づいてパーンであると判定された場合に、選択した動きベクトルをエラーブロックに適用する例を示している。エラーブロックの１ライン上のブロックがパーンした画像であると判定された場合には、エラーブロックに対してはパーン情報記憶部１９に記憶された１ライン上の動きベクトルが動きベクトル設定部１４には設定される。図５において１ライン上の複数のブロックの動きベクトルのうちの符号Ａで示した動きベクトルが選択され、その選択された動きベクトルがエラーブロックに適用されている。 FIG. 5 shows an example in which the selected motion vector is applied to the error block when it is determined by the panic determination unit 18 based on the motion vector of each block on one line of the error block. If it is determined that the block on one line of the error block is a parsed image, the motion vector on one line stored in the parse information storage unit 19 is transferred to the motion vector setting unit 14 for the error block. Is set. In FIG. 5, the motion vector indicated by the symbol A among the motion vectors of a plurality of blocks on one line is selected, and the selected motion vector is applied to the error block.
動き補償復号部１５では、動きベクトル設定部１４にて設定された動きベクトルに応じて動き補償を行うことによりコンシールメント処理が行われる（ステップＳ４）。すなわち、動き補償復号部１５は動きベクトル設定部１４に設定された動きベクトルに応じてフレームメモリ１７から前フレームの画像データを読み出し、読み出した画像データを動き補償して予測参照画像データとして加算器１６へ出力する。加算器１６では、復号部１１から出力された０を示す差分復号データと動き補償復号部１５より出力された予測参照画像データとが加算され、その加算結果は復号画像データとして表示装置へ出力されると共に、次フレームの参照に使用する場合にはフレームメモリ１７へ出力される。 The motion compensation decoding unit 15 performs concealment processing by performing motion compensation according to the motion vector set by the motion vector setting unit 14 (step S4). That is, the motion compensation decoding unit 15 reads the image data of the previous frame from the frame memory 17 according to the motion vector set in the motion vector setting unit 14, performs motion compensation on the read image data, and adds it as predicted reference image data. 16 is output. In the adder 16, the differential decoded data indicating 0 output from the decoding unit 11 and the prediction reference image data output from the motion compensation decoding unit 15 are added, and the addition result is output to the display device as decoded image data. At the same time, it is output to the frame memory 17 when used for referring to the next frame.
このように、エラーブロックの１ライン上のブロックの動きベクトルを用いてパーン検出を行い、パーンであると判定された場合には、各エラーブロックに対し同じ動きベクトル値を適用することで、従来の方法と違ってブロック間で画像のずれがなくなり画像の劣化を軽減することが可能である。 As described above, the panning is detected using the motion vector of the block on one line of the error block, and when it is determined that the block is a panning, the same motion vector value is applied to each error block. Unlike the above method, it is possible to eliminate the image shift between the blocks and reduce the deterioration of the image.
一方、エラーブロックの１ライン上がパーンではないとパーン判定部１８によって判定された場合には、動きベクトル設定部１４は動きベクトル記憶部１３に記憶された動きベクトル、すなわちエラーブロックの真上に位置するブロックの動きベクトル（動き補償用動きベクトル）を設定する（ステップＳ３）。エラーブロックの１ライン上がパーンではない場合にはパーンであると判定された場合と同様に、動きベクトル設定部１４にて設定された動きベクトルに応じて動き補償を行うことによりコンシールメント処理が行われる（ステップＳ４）。 On the other hand, if it is determined by the panic determination unit 18 that one line of the error block is not parsed, the motion vector setting unit 14 moves the motion vector stored in the motion vector storage unit 13, that is, directly above the error block. A motion vector (motion compensation motion vector) of the located block is set (step S3). When one line on the error block is not parsed, the concealment process is performed by performing motion compensation in accordance with the motion vector set by the motion vector setting unit 14 as in the case where it is determined to be parsed. Performed (step S4).
上記した実施例において、ＭＰＥＧ２におけるＰピクチャ等の符号化画像データの場合には、予測参照画像と同じ位置の画像を用いて画像を構成する時に動きベクトルを符号化しないブロックが存在する。このようなときには動きベクトルを"０"として図４の頻度分布が作成される。 In the above-described embodiment, in the case of encoded image data such as a P picture in MPEG2, there is a block in which a motion vector is not encoded when an image is configured using an image at the same position as the predicted reference image. In such a case, the motion vector is set to “0” and the frequency distribution of FIG. 4 is created.
また、上記した実施例においては、動きベクトルの頻度分布を作成したが、Ｘ、Ｙ(横、縦)方向各々の値について頻度分布を作成することも可能である。この場合、パーンの判定はＸ、Ｙ方向の各々分布分において所定の条件を満たす場合にパーンであると判定する。この時に、パーン情報記憶部１９にはＸ，Ｙ方向各々の値が記憶される。また、エラーブロックに対する動きベクトルもＸ，Ｙ方向各々について適用するものとする。 In the above-described embodiment, the motion vector frequency distribution is created. However, it is also possible to create a frequency distribution for each value in the X and Y (horizontal and vertical) directions. In this case, it is determined that the Pann is a Pann when a predetermined condition is satisfied for each distribution in the X and Y directions. At this time, the values in the X and Y directions are stored in the panic information storage unit 19. The motion vector for the error block is also applied in each of the X and Y directions.
更に、上記した実施例においては、エラーブロックの一列上のブロックの動きベクトルで分布図を作成したが、エラーブロックと同じ列のブロックの動きベクトルや一列下のブロックの動きベクトルで頻度分布を作成しても良い。また、ライン単位ではなくエラーブロックの近傍の任意の範囲での動きベクトルの頻度分布を作成しても良い。 Furthermore, in the above-described embodiment, the distribution map is created with the motion vector of the block above the error block, but the frequency distribution is created with the motion vector of the block in the same column as the error block and the motion vector of the block below the error block. You may do it. Also, a motion vector frequency distribution in an arbitrary range in the vicinity of the error block, not in units of lines, may be created.
また、上記した実施例においては、動きベクトルの頻度分布でのみパーン検出かどうかを判定していたが、頻度分布を作成する範囲の中のブロックにはエラーブロックや動きベクトルが符号化されていないブロックも含まれている場合もある。このようなブロックが多く存在する場合には、頻度分布のみでパーン検出の判定を行うと誤検出する恐れがある。よって、頻度分布を作成する範囲の中で動きベクトルが符号化されているブロック数が所定の条件を満たさない場合にはパーンでないと判定することができる。 Further, in the above-described embodiment, it is determined whether or not panning is detected only in the motion vector frequency distribution, but no error block or motion vector is encoded in the block in the range in which the frequency distribution is created. Blocks may also be included. If there are many such blocks, there is a risk of erroneous detection if the determination of the Pann detection is made only with the frequency distribution. Therefore, when the number of blocks in which motion vectors are encoded in a range for creating a frequency distribution does not satisfy a predetermined condition, it can be determined that the data is not parsed.
上記した実施例においては、前方予測のみが存在するＰピクチャの場合について説明したが、前方予測と後方予測とが存在するＢピクチャの場合には次のように動き補償することができる。Ｂピクチャの場合には、過去の参照画像から動き補償を行う前方予測と未来の参照画像から動き補償を行う後方予測が存在する。前方予測及び後方予測の各々に動きベクトルは存在するが、ブロック毎に前方予測のみ符号化されている場合、後方予測のみ符号化されている場合、前方予測と後方予測との両方とも符号化されている場合と両方とも符号化されていない場合の４種類が存在する。それぞれの動きベクトルの頻度分布の作成については上記の実施例に示した方法と同じであるが、次の(1)及び(2)のうちのいずれか一方を選択する選択手段が必要である。
(1)前方予測の動きベクトルで求めたパーン情報を用いて、過去の参照画像から動き補償を行いエラーブロックをコンシールメントする。
(2)後方予測の動きベクトルで求めたパーン情報を用いて、未来の参照画像から動き補償を行いエラーブロックをコンシールメントする。
In the above embodiment, the case of a P picture in which only forward prediction exists is described. However, in the case of a B picture in which forward prediction and backward prediction exist, motion compensation can be performed as follows. In the case of a B picture, there are forward prediction in which motion compensation is performed from a past reference image and backward prediction in which motion compensation is performed from a future reference image. A motion vector exists in each of the forward prediction and backward prediction, but when only forward prediction is encoded for each block, when only backward prediction is encoded, both forward prediction and backward prediction are encoded. There are four types of cases where both are encoded and not encoded. The creation of the frequency distribution of each motion vector is the same as the method shown in the above embodiment, but a selection means for selecting one of the following (1) and (2) is required.
(1) Using the pann information obtained from the motion vector of the forward prediction, motion compensation is performed from the past reference image, and the error block is concealed.
(2) Using the pann information obtained from the motion vector of backward prediction, motion compensation is performed from a future reference image, and an error block is concealed.
選択手段の選択方法としては、(1)及び(2)のうちの予め定めた一方を選択する方法がある。また、前方予測が符号化されているブロックの数と後方予測が符号化されている数を条件に選択する方法もある。具体的には前方予測が符号化されているブロックの数の方が多い場合には(1)を選択し、後方予測が符号化されているブロックの数がの方が多い場合には(2)を選択することが行われる。更に、時間的に近い参照画像からのパーン情報を選択する方法もある。具体的には現在のピクチャが過去の参照画像に時間的に近い場合は(1)を選択し、現在のピクチャが未来の参照画像に時間的に近い場合は(2)を選択することが行われる。 As a selection method of the selection means, there is a method of selecting one of (1) and (2) which is determined in advance. There is also a method of selecting on the condition that the number of blocks in which forward prediction is encoded and the number of blocks in which backward prediction is encoded. Specifically, if the number of blocks in which forward prediction is encoded is larger, select (1), and if the number of blocks in which backward prediction is encoded is larger (2 ) Is performed. Further, there is a method of selecting pann information from a reference image that is close in time. Specifically, (1) is selected when the current picture is temporally close to a past reference image, and (2) is selected when the current picture is temporally close to a future reference image. Is called.
上記した実施例における動きベクトルの頻度分布の作成の際には、動き補償に用いた動きベクトルを用いて頻度分布を作成しても良い。ＭＰＥＧ２におけるＢピクチャ等の符号化画像データでは、現ブロックに動きベクトルが符号化されていなくても、前ブロックで用いた動きベクトルを用いて予測参照画像から現ブロックを構成する場合がある。このようなときには動き補償に用いた動きベクトルを用いて図４の如き頻度分布を作成することもできる。 In creating the motion vector frequency distribution in the above-described embodiment, the frequency distribution may be created using the motion vector used for motion compensation. In encoded image data such as a B picture in MPEG2, the current block may be configured from a predicted reference image using the motion vector used in the previous block, even if the motion vector is not encoded in the current block. In such a case, a frequency distribution as shown in FIG. 4 can be created using the motion vector used for motion compensation.
また、上記した実施例において、Ｉピクチャでコンシールモーションベクトルが符号化されていない場合については、各ブロックには動きベクトル値は符号化されておらず、上記した実施例のように動きベクトルの分布を作成することはできない。そこで、Ｉピクチャの一つ前のＰピクチャのパーン情報を保存しておき、例えばエラーブロックと同じラインのパーン情報の動きベクトルを用いて動き補償を行いコンシールメントを行う。これによりパーンして動きのある画像の場合などに、動きベクトルが符号化されていないＩピクチャでも動きを考慮して参照画像からコンシールメントを行うことができるので、画像の劣化を軽減することが可能である。 Further, in the above embodiment, when the concealed motion vector is not encoded in the I picture, the motion vector value is not encoded in each block, and the motion vector distribution as in the above embodiment. Cannot be created. Therefore, the Pern information of the P picture immediately before the I picture is stored, and motion compensation is performed using, for example, a motion vector of the Pane information on the same line as the error block to perform concealment. This makes it possible to perform concealment from the reference image in consideration of the motion even in the case of an I picture in which the motion vector is not encoded, such as in the case of an image with panned motion, thereby reducing image degradation. Is possible.
以上のように、本発明によれば、エラー検出手段によるエラー検出結果及び動きベクトル記憶手段に記憶された各ブロックの動きベクトルに応じて動き補償用動きベクトルを設定する動きベクトル設定手段と、動き補償用動きベクトルに基づいて予測参照画像データを出力する動き補償復号手段と、予測参照画像データと差分復号データとを加算して復号画像データを出力する加算手段と、符号化画像データが示す映像のパーンを判定するパーン判定手段と、を備え、動きベクトル設定手段では、パーン判定手段によってパーンした映像であることが判定されかつエラー検出手段によってエラーありのエラーブロックが検出された場合には、当該エラーブロックの近傍のエラーブロックでない複数の正常ブロック各々の動きベクトル記憶手段に記憶された動きベクトルに基づいた動き補償用動きベクトルが設定される。よって、エラーブロックに対するコンシールメントの性能を向上させることができる。 As described above, according to the present invention, the motion vector setting means for setting the motion compensation motion vector according to the error detection result by the error detection means and the motion vector of each block stored in the motion vector storage means, Motion compensation decoding means for outputting predicted reference image data based on a compensation motion vector, addition means for adding predicted reference image data and difference decoded data to output decoded image data, and video indicated by the encoded image data When the motion vector setting means determines that the video is parsed by the pann determination means and the error detection means detects an error block with an error, the motion vector setting means Motion vector storage means for each of a plurality of normal blocks that are not error blocks near the error block Motion compensation motion vectors based on the stored motion vectors is set. Therefore, the performance of concealment with respect to an error block can be improved.
１１ 復号部
１２ エラー検出部
１３ 動きベクトル記憶部
１４ 動きベクトル設定部
１５ 動き補償復号部
１８ パーン判定部
１９ パーン情報記憶部
DESCRIPTION OF SYMBOLS 11 Decoding part 12 Error detection part 13 Motion vector memory | storage part 14 Motion vector setting part 15 Motion compensation decoding part 18 Pann determination part 19 Pann information storage part
Claims (6)
ブロック毎に現フレームの画像データと前フレームの画像データとの差分を示す差分復号データを出力すると共に前記現ブロックの画像データにおける動きベクトルを出力する復号手段と、
前記画像データのエラーの有無をブロック毎に検出するエラー検出手段と、
前記動きベクトルをブロック毎に記憶する動きベクトル記憶手段と、
前記エラー検出手段によるエラー検出結果及び前記動きベクトル記憶手段に記憶された各ブロックの動きベクトルに応じて動き補償用動きベクトルを設定する動きベクトル設定手段と、
前記動き補償用動きベクトルに基づいて予測参照画像データを出力する動き補償復号手段と、
前記予測参照画像データと前記差分復号データとを加算して復号画像データを出力する加算手段と、
前記符号化画像データが示す映像のパーンを判定するパーン判定手段と、を備え、
前記パーン判定手段は、フレーム内の所定の範囲のエラーなしの正常ブロックの動きベクトルの頻度分布を作成し、前記頻度分布が所定の条件を満たす場合に現フレームはパーンした映像であると判定する判定部と、
前記判定部によってパーンした映像であることが判定されたときには前記所定の範囲毎に前記頻度分布のうちの最大頻度の動きベクトル値を記憶するパーン情報記憶部と、を有し、
前記動きベクトル設定手段は、前記判定部によってパーンした映像であることが判定されかつ前記エラー検出手段によってエラーありのエラーブロックが検出された場合には、前記エラーブロックの近傍に位置する所定の範囲についての最大頻度の動きベクトル値を前記パーン情報記憶部から読み出してそれを前記動き補償用動きベクトルとして設定することを特徴とするディジタル画像復号装置。 A digital image decoding device that decodes encoded image data that is encoded for each block by dividing the image data into a plurality of blocks for each frame,
Decoding means for outputting difference decoded data indicating a difference between image data of the current frame and image data of the previous frame for each block and outputting a motion vector in the image data of the current block;
Error detection means for detecting the presence or absence of an error in the image data for each block;
Motion vector storage means for storing the motion vector for each block;
Motion vector setting means for setting a motion compensation motion vector according to the error detection result by the error detection means and the motion vector of each block stored in the motion vector storage means;
Motion compensation decoding means for outputting predicted reference image data based on the motion compensation motion vector;
Adding means for adding the predicted reference image data and the differential decoded data to output decoded image data;
Pann determination means for determining the pann of the video indicated by the encoded image data,
The Pann determination means creates a frequency distribution of motion vectors of normal blocks having no error within a predetermined range in the frame, and determines that the current frame is a parsed video when the frequency distribution satisfies a predetermined condition. A determination unit;
A pann information storage unit that stores a motion vector value of the maximum frequency of the frequency distribution for each of the predetermined ranges when it is determined by the determination unit that the image has been parsed;
The motion vector setting means is a predetermined range located in the vicinity of the error block when it is determined that the video is parsed by the determination section and an error block with an error is detected by the error detection means. A digital image decoding apparatus characterized in that a motion vector value having a maximum frequency is read from the Pann information storage unit and set as the motion compensation motion vector .
前記動き補償用動きベクトルに応じて前記フレームメモリに記憶された１フレーム前の現ブロックの前記復号画像データを動き補償して前記予測参照画像データを作成する動き補償復調部と、を有することを特徴する請求項１記載のディジタル画像復号装置。 The motion compensation decoding means includes a frame memory for storing the decoded image data for each block for each frame;
A motion compensation demodulator that creates the predicted reference image data by performing motion compensation on the decoded image data of the current block of the previous frame stored in the frame memory in accordance with the motion compensation motion vector. 2. The digital image decoding apparatus according to claim 1, wherein the digital image decoding apparatus is characterized.
ブロック毎に現フレームの画像データと前フレームの画像データとの差分を示す差分復号データを出力すると共に前記現ブロックの画像データにおける動きベクトルを出力する復号ステップと、
前記画像データのエラーの有無をブロック毎に検出するエラー検出ステップと、
前記動きベクトルをブロック毎に記憶する動きベクトル記憶ステップと、
前記エラー検出ステップにおけるエラー検出結果及び前記動きベクトル記憶ステップで記憶された各ブロックの動きベクトルに応じて動き補償用動きベクトルを設定する動きベクトル設定ステップと、
前記動き補償用動きベクトルに基づいて予測参照画像データを出力する動き補償復号ステップと、
前記予測参照画像データと前記差分復号データとを加算して復号画像データを出力する加算ステップと、
前記符号化画像データが示す映像のパーンを判定するパーン判定ステップと、を備え、
前記パーン判定ステップは、フレーム内の所定の範囲のエラーなしの正常ブロックの動きベクトルの頻度分布を作成し、前記頻度分布が所定の条件を満たす場合に現フレームはパーンした映像であると判定する判定部ステップと、
前記判定部ステップによってパーンした映像であることが判定されたときには前記所定の範囲毎に前記頻度分布のうちの最大頻度の動きベクトル値をパーン情報記憶部に記憶するパーン情報記憶ステップと、を有し、
前記動きベクトル設定ステップは、前記判定部ステップによってパーンした映像であることが判定されかつ前記エラー検出ステップによってエラーありのエラーブロックが検出された場合には、前記エラーブロックの近傍に位置する所定の範囲についての最大頻度の動きベクトル値を前記パーン情報記憶部から読み出してそれを前記動き補償用動きベクトルとして設定することを特徴とするディジタル画像復号方法。
A digital image decoding method for decoding image data divided into a plurality of blocks for each frame and encoding image data encoded for each block for each block,
A decoding step of outputting differential motion data indicating the difference between the image data of the current frame and the image data of the previous frame for each block and outputting a motion vector in the image data of the current block;
An error detection step of detecting the presence or absence of an error in the image data for each block;
A motion vector storing step for storing the motion vector for each block;
A motion vector setting step for setting a motion compensation motion vector according to the error detection result in the error detection step and the motion vector of each block stored in the motion vector storage step;
A motion compensation decoding step of outputting predicted reference image data based on the motion compensation motion vector;
An adding step of adding the predicted reference image data and the differential decoded data to output decoded image data;
A pann determining step for determining a pann of the video indicated by the encoded image data,
The panning determination step creates a frequency distribution of motion vectors of normal blocks without error within a predetermined range in the frame, and determines that the current frame is a parsed video when the frequency distribution satisfies a predetermined condition. A determination unit step;
A pann information storage step of storing, in the pann information storage unit, a motion vector value of the maximum frequency in the frequency distribution for each of the predetermined ranges when it is determined by the determination unit step that the image has been panned. And
In the motion vector setting step, when it is determined that the video is parsed by the determination unit step and an error block with an error is detected by the error detection step, a predetermined position located in the vicinity of the error block is determined. A digital image decoding method , wherein a motion vector value having a maximum frequency for a range is read from the Pann information storage unit and set as the motion compensation motion vector .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005013553A JP4509809B2 (en) | 2005-01-21 | 2005-01-21 | Digital image decoding apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005013553A JP4509809B2 (en) | 2005-01-21 | 2005-01-21 | Digital image decoding apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006203598A JP2006203598A (en) | 2006-08-03 |
| JP4509809B2 true JP4509809B2 (en) | 2010-07-21 |
Family
ID=36961194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005013553A Expired - Fee Related JP4509809B2 (en) | 2005-01-21 | 2005-01-21 | Digital image decoding apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4509809B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009040904A1 (en) * | 2007-09-26 | 2009-04-02 | Fujitsu Microelectronics Limited | Video decoder and digital broadcasting receiver |
| JP5183309B2 (en) * | 2008-06-11 | 2013-04-17 | キヤノン株式会社 | Video decoding apparatus and method |
| JP5115519B2 (en) | 2009-05-26 | 2013-01-09 | 富士通株式会社 | Moving picture decoding apparatus, moving picture decoding method, and moving picture decoding computer program |
| JP5531881B2 (en) | 2010-09-22 | 2014-06-25 | 富士通株式会社 | Moving picture decoding apparatus, moving picture decoding method, and integrated circuit |
| JP2011142670A (en) * | 2011-03-15 | 2011-07-21 | Toshiba Corp | Digital image decoder and digital image encoding method |
| JP5811061B2 (en) * | 2012-07-24 | 2015-11-11 | 三菱電機株式会社 | Decoding device, error concealment processing device, and decoding method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03143183A (en) * | 1989-08-24 | 1991-06-18 | Deutsche Thomson Brandt Gmbh | Movement compensation method |
| JPH0620050A (en) * | 1992-07-03 | 1994-01-28 | Matsushita Electric Ind Co Ltd | Dynamic image signal decoding device and estimated motion vector calculation method |
| JPH09182076A (en) * | 1995-12-22 | 1997-07-11 | Mitsubishi Electric Corp | Digital image encoding device and method therefor |
| JP2004088474A (en) * | 2002-08-27 | 2004-03-18 | Sony Corp | Video processing apparatus, video processing method, program and recording medium, and video processing system |
-
2005
- 2005-01-21 JP JP2005013553A patent/JP4509809B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03143183A (en) * | 1989-08-24 | 1991-06-18 | Deutsche Thomson Brandt Gmbh | Movement compensation method |
| JPH0620050A (en) * | 1992-07-03 | 1994-01-28 | Matsushita Electric Ind Co Ltd | Dynamic image signal decoding device and estimated motion vector calculation method |
| JPH09182076A (en) * | 1995-12-22 | 1997-07-11 | Mitsubishi Electric Corp | Digital image encoding device and method therefor |
| JP2004088474A (en) * | 2002-08-27 | 2004-03-18 | Sony Corp | Video processing apparatus, video processing method, program and recording medium, and video processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006203598A (en) | 2006-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4724061B2 (en) | Video encoding device | |
| US8139647B2 (en) | Moving image decoding apparatus and moving image decoding method | |
| JP2004096705A (en) | Motion vector coding method and motion vector decoding method | |
| JP2008182770A (en) | Image decoding method and image decoding device | |
| JP2010022058A (en) | Adaptive frame/field coding in macro block level of digital video content | |
| JP4509809B2 (en) | Digital image decoding apparatus and method | |
| US8135076B2 (en) | Error concealment apparatus and method | |
| KR20050109630A (en) | Moving picture encoding method and moving picture decoding method | |
| JP2008219876A (en) | Moving image encoding device, moving image encoding method and moving image decoding device | |
| US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
| JP2007122232A (en) | Image processor and program | |
| US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
| JPH08154247A (en) | Compressed image data processor nd method therefor | |
| TWI493976B (en) | Method and system for processing b pictures with missing or invalid forward reference pictures | |
| JP2009284331A (en) | Decoding device and decoding method, and program | |
| JP5115519B2 (en) | Moving picture decoding apparatus, moving picture decoding method, and moving picture decoding computer program | |
| JPH06311502A (en) | Motion picture transmission equipment | |
| JP2006203597A (en) | Digital image decoder and decoding method | |
| JP2008109270A (en) | Moving image regeneration apparatus with camera shake correction function | |
| JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
| JP4708821B2 (en) | Moving picture coding apparatus, control method therefor, computer program, and storage medium | |
| JP5183309B2 (en) | Video decoding apparatus and method | |
| JP4235209B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JP2008005197A (en) | Decoding device and decoding method | |
| JP2008109642A (en) | Video decoding apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |