JP4258537B2 - Image signal generation method and image signal generation apparatus - Google Patents
Image signal generation method and image signal generation apparatus Download PDFInfo
- Publication number
- JP4258537B2 JP4258537B2 JP2006223759A JP2006223759A JP4258537B2 JP 4258537 B2 JP4258537 B2 JP 4258537B2 JP 2006223759 A JP2006223759 A JP 2006223759A JP 2006223759 A JP2006223759 A JP 2006223759A JP 4258537 B2 JP4258537 B2 JP 4258537B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image signal
- frames
- interpolation
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は画像信号生成方法及び画像信号生成装置に係る。 The present invention relates to an image signal generation method and an image signal generation apparatus .
画像信号の高能率符号化の分野では、これまで種々の符号化方式が考案されてきた。こ
のうち、動き補償予測符号化と直交変換符号化を組み合せたビデオ符号化方式は、前フレ
ームの信号を動きベクトルで動き補償して生成した予測信号と、現フレームの信号との差
分信号を予測誤差信号として抽出し、この予測誤差信号をDCT変換(離散コサイン変換
)した変換係数を符号化することで、圧縮効率の高い符号化が実現できる。そして、国際
標準規格であるMPEG1、MPEG2のビデオ符号化に採用され、今後のティジタル放
送やCATVやパッケージメディアを対象とした研究開発が進められている。この符号化
方式を用いるディジタル放送では、20メガ前後のビットレートで、原画像と同等の高品
質な画像が受像できる。ただ、画像信号の多くはインタレース走査であるため、これに起
因したラインフリッカやペアリングなどのインタレース妨害による画質劣化が発生すると
いう問題が残る。
In the field of high-efficiency encoding of image signals, various encoding schemes have been devised so far. Of these, video encoding system that combines a motion compensation prediction coding and orthogonal transform coding, the prediction signal generated by motion compensation with motion vector signal of the previous frame, predicting a difference signal between the signal of the current frame By encoding a transform coefficient obtained by extracting the error signal and performing DCT transform (discrete cosine transform) on the prediction error signal, coding with high compression efficiency can be realized. It has been adopted for MPEG1 and MPEG2 video coding, which are international standards, and research and development for future digital broadcasting, CATV, and package media are underway. In digital broadcasting using this encoding method, a high-quality image equivalent to the original image can be received at a bit rate of about 20 mega. However, since most of the image signals are interlaced scanning, there remains a problem that image quality deterioration due to interlace interference such as line flicker and pairing due to this occurs.
一方、インタレース妨害を低減する技術として、インタレース走査で抜けた走査線の信
号を補間処理で生成してノンインタレース走査の信号で表示するインタレース〜ノンイン
タレース変換が知られている。ただ、補償信号の生成に、画像の動きに応じて特性を変化
させる動き適応の信号処理が必要になる。しかし、動きの情報はインタレース走査の信号
で検出するために検出もれや誤検出が発生し、これに起因した画像劣化が発生するという
問題がある。
On the other hand, as a technique for reducing interlace interference, interlace to non-interlace conversion is known in which a scanning line signal missing in interlace scanning is generated by interpolation processing and displayed as a non-interlace scanning signal. However, the generation of the compensation signal requires motion adaptive signal processing that changes the characteristics according to the motion of the image. However, since motion information is detected by an interlaced scanning signal, there is a problem that a detection error or a false detection occurs, and image deterioration due to this occurs.
したがって、ディジタル放送の復号画像に対して上述のインタース妨害の低減技術をほ
どこしても、画質改善の効果は少なく、高品質というディジタル放送の特長を充分に生か
すことができないという問題点がある。
Therefore, there is a problem that even if the interference interference reduction technique described above is applied to the decoded image of the digital broadcast, the effect of improving the image quality is small and the high quality digital broadcast feature cannot be fully utilized.
本発明の目的は、上記の問題点の解決を図り、高品質・高精細な画像を生成する画像信号生成方法及び画像信号生成装置を提供することにある。 An object of the present invention is to provide an image signal generation method and an image signal generation apparatus that solve the above problems and generate a high-quality and high-definition image.
上記目的を達成するため、例えば、特許請求の範囲に記載されるように構成する。 In order to achieve the above object, for example, it is configured as described in the claims.
本発明によれば、インタレース妨害やジャダー妨害のない高品質・高精細な画像を受像
できる画像信号の符号化・復号化方式および装置が実現でき、画像の画質改善や向上に顕
著な効果が得られる。
According to the present invention, it is possible to realize an image signal encoding / decoding method and apparatus capable of receiving a high-quality and high-definition image free from interlace interference and judder interference, and has a remarkable effect on image quality improvement and improvement. can get.
本発明の一実施形態における動き補償の予測符号化および動き補償の走査変換処理について、図1,図2の動作概略図をもとに説明する。
図1は、映像信号がインタレース走査で、動きが垂直方向の時の動作を示す。
同図(a)のフレーム間の予測符号化では、例えば、インタレース走査の第1フィールドの信号系列、第2フィールドの信号系列に対して、1フレーム期間での動きベクトルV(水平V x ,垂直V y )を抽出する。なお、後述する動き補償の走査変換処理に整合する様に、動きベクトルVは、V x =2m,V y =2n(m=0,±1,±2,…,n=0,±1,±2,…)の組み合せのもので抽出する。
そしと、この動きベクトルVで動き補償して生成した予測信号と、原信号との差分を予測誤差信号として検出する。例えば、動きベクトルV 0 では、走査線aと1,V 1 では走査線aと2,V 2 では走査線aと3との信号の差分を予測誤差信号として検出する。
一方、動き補償の走査変換処理では、インタレース走査で抜けた走査線(図中の黒丸で示す補間走査線)の信号を、動きベクトルVをもとに生成する。例えば、第1(2)フィールドの補間走査線a(a′)は、動きベクトルV 0 では第2(1)フィールドの走査線αとα′から(α+α′)/2、V 1 では走査線βとβ′)/2,V 2 では走査線γとγ′から(γ+γ′)/2の補間信号を生成する。そして、この補間信号で、インタレース〜ノンインタレース変換を実現する。
なお、予測符号化での動きベクトルVに対してV x =2m,V y =2nの制約をもうけない場合には、動き補償の走査変換処理では動きベクトルVのうちV x =2m,V y =2nの条件を満すものを選別する。そして、この動きベクトルをもとに、上述した補間信号を生成する。
同図(b)に示すフィールド間の予測符号化では第1(2)フィールドの信号系列に対して、1フィールド期間での動きベクトルを抽出し、この動きベクトルで動き補償して生成した予測信号と、第2(1)フィールドの信号との差分を予測誤差信号として検出する。
動き補償の走査変換処理では、動きベクトルVのうち、その成分がV x =m,V y =nの条件を満すものを選択する。そして、選別した動きベクトルをもとに、インタレース走査で抜けた走査線(図中の黒丸で示す補間走査線)の信号を生成する。例えば第1(2)フィールドの補間走査線a(a′)は、動きベクトルVV 0 ′では第2(1)フィールドの走査線α,V 1 ′では走査界線β,V 2 ′では走査線αで、補間信号を生成する。
以上に述べた様に、本発明の一実施形態では動き補償の走査変換処理に適した動きベクトルを用いることで、理想に近い補間信号が生成できる。一方、動き補償の走査変換処理の条件を満す動きベクトルがない場合は、従来技術と同様の動き適応の信号処理で補間信号を生成する。
なお、動き補償の走査変換処理では、補間の精度は動きベクトルに左右される。このため、動きベクトルの精度が悪いと画像が劣化することが予想される。しかしながら、動き補償のフレーム間差分信号の成分が大きい領域は、従来技術と同様に動き適応の信号処理に変更することで、この種の画質の劣化は回避できる。そして、本発明の一実施形態では、従来技術に比較して、インタレース妨害が極めて少なく、かつ、解像度が高い高品質な走査変換が達成できる。
さて、映像信号には、ノンインタレース走査のものもある。例えばシネマ画像やコマーシャルフィルムは毎秒24フレームもしくは30フレームのノンインタレース走査のシ信号とみなすことができる。この値の信号では、大面積フリッカを回避するため、フレーム数変換の処理で例えば毎秒60フレームの信号に変換して表示する。
第2は、この種のノンインタレース走査の映像信号に対する本発明の一実施形態における動き補償の予測符号化および動き補償の走査変換の概略図である。
予測符号化では、フレーム間での動きベクトルVを抽出し、この動きベクトルで動き補償した前フレームの信号と現フレームの信号との差分を予測誤差信号として検出する。例えば、動きベクトルV 0 では走査線aと1,V 1 では走査線aと2、V 2 では走査線aと3との差分を予測誤差信号として検出する。
一方、動き補償の走査変換処理では、同図に示す動きベクトルで図中の黒丸で示す補間走査線の信号を生成し、例えば標準モードはフレーム数の30〜60変換、シネマモードでは24〜60変換を実現する。すなわち、標準モードでは、補間走査線aは、動きベクトルV 0 では走査線αとα′から(α+α′)/2、V 2 では走査線βとβ′から(βとβ′)/2、V 4 では走査線γとγ′から(γ+γ′)/2の補間信号を生成する。一方、シネマモードでは、補間走査線aは、動きベクトルV 0 では走査線αとα′から(α+α′)/2、V 3 では走査線βとβ′から(β+β′)/2の補間信号を生成する。また、補間走査線a′は、動きベクトルV 0 では走査線γとγ′から(γ+γ′)/2、V 4 では走査線α′とα″から(α′+α″)/2の補間信号を生成する。そして、動き補償の走査変換処理に適したこれら動きベクトルで、理想に近い補間信号を生成する。
なお、この動き補償の走査変換処理を行なうに適したう動きベクトルがない場合は、従来と同様に、前フレームの信号、あるいは前後のフレームの信号の平均値などで、補間信号を生成する。
また、動き補償の走査変換処理は、動き補償のフレーム間差分信号の成分が小さな領域に対して行なう。そして、動きベクトルの精度の悪さに起因する画質の劣化を回避する。 したがって、本発明の一実施形態では、従来に比較して、解像度が高く、かつ、ジャダー妨害(動きの滑らかさが損なられる妨害)の少ないフレーム数変換の走査変換が達成できる。
本発明の第1の実施例について、図3に示す全体ブロック構成図により説明する。本実施例は、符号化部の動き補償予測符号化で用いる動きベクトルを、動き補償の走査変換処理に適した形態のものに制限して符号化を行なうに好適なものである。なお、本実施例では、フレーム間の動き補償予測符号化とDCT変換(離散コサイン変換)の直交変換符号化を組み合せたビデオ符号化の場合を例に説明する。
Motion compensation predictive coding and motion compensation scan conversion processing according to an embodiment of the present invention will be described with reference to the operation schematic diagrams of FIGS.
FIG. 1 shows the operation when the video signal is interlaced and the motion is in the vertical direction.
In the inter-frame predictive encoding in FIG. 6A, for example, the motion vector V (horizontal V x , horizontal frame x 1) in one frame period is applied to the signal sequence of the first field and the signal sequence of the second field in interlace scanning . Extract vertical V y ). It should be noted that the motion vector V is V x = 2m, V y = 2n (m = 0, ± 1, ± 2,..., N = 0, ± 1, so as to be consistent with the scan conversion processing for motion compensation described later . Extract with a combination of ± 2, ...).
Then, the difference between the prediction signal generated by motion compensation using the motion vector V and the original signal is detected as a prediction error signal. For example, the motion vector V 0, for detecting a difference signal of the scanning lines a and 1, V 1 the scanning lines a and 2, V in 2 scanning lines a and 3 as a prediction error signal.
On the other hand, in the motion compensation scan conversion process, a signal of a scan line (interpolated scan line indicated by a black circle in the figure) missing in interlace scan is generated based on the motion vector V. For example, the first (2) Field of the interpolated scanning line a (a '), the motion vector V 0 in the second (1) Field of the scanning lines alpha and alpha' from (α + α ') / 2 ,
Incidentally, V x = 2m relative motion vector V in the predictive coding, V y = a case without the constraints of 2n is, V x = 2m of the motion vector V in the scan conversion process of the motion compensation, V y = 2 n is selected. Based on this motion vector, the above-described interpolation signal is generated.
In the inter-field predictive coding shown in FIG. 5B, a prediction signal generated by extracting a motion vector in one field period from the signal sequence of the first (2) field and performing motion compensation with this motion vector. And the difference from the signal of the second (1) field is detected as a prediction error signal.
In the scan conversion process for motion compensation, a motion vector V whose components satisfy the conditions of V x = m and V y = n is selected. Then, based on the selected motion vector, a signal of a scanning line (interpolated scanning line indicated by a black circle in the figure) missing in interlace scanning is generated. For example, the interpolated scanning line a (a ′) in the first (2) field is the scanning line α in the second (1) field scanning line α, V 1 ′ in the motion vector VV 0 ′, and the scanning line α in V 2 ′. Thus, an interpolation signal is generated.
As described above, in one embodiment of the present invention, an interpolation signal close to ideal can be generated by using a motion vector suitable for scan conversion processing for motion compensation. On the other hand, when there is no motion vector that satisfies the conditions of the scan conversion processing for motion compensation, an interpolation signal is generated by the motion adaptive signal processing similar to the prior art.
In the scan conversion process for motion compensation, the accuracy of interpolation depends on the motion vector. For this reason, when the accuracy of the motion vector is poor, it is expected that the image deteriorates. However, this type of deterioration in image quality can be avoided by changing the motion compensation signal processing in a region where the component of the inter-frame difference signal for motion compensation is the same as in the prior art. In one embodiment of the present invention, it is possible to achieve high-quality scan conversion with extremely low interlace interference and high resolution as compared with the prior art.
Some video signals are non-interlaced. For example, cinema images and commercial films can be regarded as non-interlaced scanning signals of 24 frames or 30 frames per second. In order to avoid large-area flicker, the signal having this value is converted into a signal of, for example, 60 frames per second by a frame number conversion process and displayed.
The second is a schematic diagram of predictive coding of motion compensation and scan conversion of motion compensation in an embodiment of the present invention for a video signal of this type of non-interlaced scanning.
In predictive coding, a motion vector V between frames is extracted, and a difference between a previous frame signal and a current frame signal motion-compensated with the motion vector is detected as a prediction error signal. For example, the difference between the scanning lines a and 1 in the motion vector V 0 and the scanning lines a and 2 in the V 1 and the scanning lines a and 3 in the V 2 is detected as a prediction error signal.
On the other hand, in motion compensation scanning conversion processing, signals of interpolation scanning lines indicated by black circles in the figure are generated with the motion vectors shown in the figure. For example, the standard mode converts 30-60 frames, and the cinema mode 24-60. Realize the conversion. That is, in the standard mode, interpolation scanning line a is 'from (alpha + alpha' motion vector V 0 in scan lines alpha and α) / 2,
If there is no motion vector suitable for performing the scan conversion process of motion compensation, an interpolation signal is generated using the average value of the signal of the previous frame or the signal of the previous and subsequent frames, as in the conventional case.
The motion compensation scan conversion process is performed on a region where the component of the motion compensation inter-frame difference signal is small. Then, degradation of image quality due to poor motion vector accuracy is avoided. Therefore, according to the embodiment of the present invention, it is possible to achieve scan conversion of frame number conversion with higher resolution and less judder disturbance (disturbance in which the smoothness of motion is impaired) as compared with the prior art.
A first embodiment of the present invention will be described with reference to an overall block diagram shown in FIG. The present embodiment is suitable for encoding by limiting the motion vector used in the motion compensation prediction encoding of the encoding unit to a form suitable for the scan conversion process of motion compensation. In the present embodiment, a case of video coding combining motion compensation prediction coding between frames and orthogonal transform coding of DCT transform (discrete cosine transform) will be described as an example.
同図(a)の符号化部では、画像信号VSは前処理部1に入力し、ディジタル化、およ
び、画像情報PI(画像フォーマットや符号化モードなどの情報)にもとづいた所定の画
像フォーマット変換を行ない、符号化画像信号系列S1を生成する。例えば、MPEG1
,2に準拠したビデオ符号化では、S1は、6つのブロック(4つの輝度信号ブロックと
2つの色差信号ブロック、ブロックサイズは8画素×8ライン)で構成されるマクロブロ
ックの信号系列になる。
In the encoding unit of FIG. 5A, the image signal VS is input to the preprocessing
, 2, S1 is a macroblock signal sequence composed of six blocks (four luminance signal blocks and two chrominance signal blocks, and the block size is 8 pixels × 8 lines).
符号化画像信号系列S1は、所定の符号化モードに従い、フレーム内符号化フレーム(
Iピクチャと略称)はDCT変換符号化、フレーム間符号化フレーム(Pピクチャと略称
)は動き補償フレーム間予測符号化とDCT変換符号化する。
図4は、インタレース走査の画像信号に対する符号化モードの概略図である。同図(a)
の偶数/奇数フィールドの独立符号化では、第1フィールドの信号、第2フィールドの信
号でそれぞれ符号化フレームの系列を構成して符号化する。また、同図(b)の順次走査
変換後の符号化では、第1フィールドの信号と第2フィールドの信号とを合成して符号化
フレームの系列を構成し、符号化を行なう。
一方、同図(c)のフレーム間/フィールド間適応予測符号化では、第1フィールドの信
号、第2フィールドの信号からなる符号化フレームの系列に対して、フレーム間とフィー
ルド間の予測誤差信号の小さい方を選択して符号化する。以下では、同図(a)の独立符
号化を例に、符号化の動作を説明する。
The encoded image signal sequence S1 is transmitted in accordance with a predetermined encoding mode.
DCT transform coding is used for the abbreviated I picture), and interframe prediction coding and DCT transform coding are used for the inter-frame coded frame (abbreviated P picture).
FIG. 4 is a schematic diagram of an encoding mode for an interlaced scanning image signal. Figure (a)
In the independent encoding of the even / odd field, a sequence of encoded frames is constituted by the signal of the first field and the signal of the second field, respectively. Also, in the encoding after the progressive scan conversion in FIG. 5B, the first field signal and the second field signal are combined to form a sequence of encoded frames, and encoding is performed.
On the other hand, in the inter-frame / inter-field adaptive predictive coding shown in FIG. 6C, the inter-frame and inter-field prediction error signals are obtained for a sequence of encoded frames composed of the first field signal and the second field signal. The smaller one is selected and encoded. Hereinafter, the encoding operation will be described by taking the independent encoding of FIG.
スイッチ4,11は、Iピクチャの符号化モードでは端子a、Pピクチャの符号化モー
ドでは端子bに接続して符号化処理を行なう。すなわち、スイッチ4は、Iピクチャの時
は原画像の符号化画像信号系列S1、Pピクチャ時は、減算部3で信号系列S1からMC
信号生成部13で生成するフレーム間動き補償予測信号系列S10を減算して得られるフ
レーム間予測誤差信号系列S2を、信号S3に出力する。
The
An inter-frame prediction error signal sequence S2 obtained by subtracting the inter-frame motion compensation prediction signal sequence S10 generated by the
DCT部5は、信号S3の各ブロック(8画素×8ライン)の信号に対して、8行×8
列のDCT変換行列との行列演算を行ない、変換係数信号系列S4を生成する。量子化部
6は、所定の特性で変換係数の量子化処理を行ない、係数量子化信号系列S5を生成する
。なお、量子化の特性は、バッファ部16のバッファ滞留量に応じて制御し、所定の伝送
ビットレートを確保する。
The
A matrix operation with the DCT transformation matrix of the column is performed to generate a transformation coefficient signal series S4. The
逆量子化部8は、逆量子化処理で変換係数信号系列S6を復号し、IDCT部9は8行
×8列のDCT変換逆行列との行列演算を行ない、Iピクチャ時は符号化画像信号系列、
Pピクチャ時はフレーム間予測誤差信号系列の信号S7を復号する。そして、加算部10
は、フレーム間動き補償予測信号系列S10との加算を行ない、Pピクチャ時の符号化画
像信号系列を復号する。スイッチ11は、Iピクチャ時は端子a、Pピクチャ時は端子b
に接続し、復号した符号化画像信号系列S8を出力する。フレームメモリ部12では1フ
レームの期間遅延させた信号S9を生成する。
The
During P picture, the signal S7 of the inter-frame prediction error signal sequence is decoded. And the
Performs addition with the inter-frame motion compensation prediction signal sequence S10, and decodes the encoded image signal sequence in the P picture. The
To output the decoded encoded image signal sequence S8. The
動きベクトル検出部2は、画像情報PIに応じて、復号化部での動き補償の走査変換処
理にも整合した動きベクトルMVを抽出する。すなわち、画像信号がインタレース走査で
は図1の走査線補間に示した様に、フレーム間符号化では動きベクトルV0,V1,V2(
Vx=2m,Vy=2n)を抽出する。また、画像信号がノンインタレース走査では図2の
走査線補間に示した動きベクトルを抽出する。なお、動きベクトルは、ブロックマッチン
グ法などで抽出する。そして、MC信号生成部13は、動きベクトルMVで信号S9に動
きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成する。
The motion
V x = 2m, to extract the V y = 2n). When the image signal is non-interlaced scanning, the motion vector shown in the scanning line interpolation of FIG. 2 is extracted. The motion vector is extracted by a block matching method or the like. Then, the MC
VLC部7,14は、係数量子化信号系列S5と動きベクトルMVに所定の可変長符号
化処理を行ない、符号化画像データ系列S11と、符号化動きベクトル系列S12とを生
成する。そして、多重部15では、画像情報PIの符号化パラメタなどの各種データと、
符号化画像データ系列S11と、符号化動きベクトル系列S12を時分割に多重する処理
を行ない、生成した符号化データ系列S13をバッファ部16に入力する。
The
A process of multiplexing the encoded image data sequence S11 and the encoded motion vector sequence S12 in a time division manner is performed, and the generated encoded data sequence S13 is input to the
バッファ部16から一定のビットレートで信号を読み出し、符号化ビットストリーム信
号PCDを生成する。なお、図面には明示していないが、この信号PCDは伝送媒体に応
じた符号誤り対策やディジタル変調などの所定のチャネル符号化(例えばディジタル放送
などでは多値QAMや多値VSBなどのディジタル変調)して伝送する。
A signal is read from the
同図(b)の復号化部では、チャネル復号化して復号した復号化ビットストリーム信号
PCDは、バッファ部17に入力する。そして、バッファ部より読み出した符号化データ
系列S13は、DMPX部18で、符号化画像データ系列S11と、符号化動きベクトル
系列S12と、画像情報PIの符号化パラメタ等の各種データとを分離する。
In the decoding unit shown in FIG. 5B, the decoded bit stream signal PCD decoded by channel decoding is input to the
IVLC部19,20は、可変長符号の復号処理を行ない、係数量子化信号系列S5と
、動きベクトルMVとを復号する。
The
逆量子化部8は、逆量子化処理で変換係数信号系列S4を復号し、IDCT部9は、8
行×8列のDCT変換逆行列との行列演算を行なう。そして、Iピクチャ時の復号では符
号化画像信号系列、Pピクチャ時の復号ではフレーム間予測誤差信号系列に対応する信号
S3を復号する。加算部21は、MC信号生成部24で生成するフレーム間動き補償予測
信号系列S10を加算し、Pピクチャ時の符号化画像信号系列S14を復号する。スイッ
チ22は、Iピクチャ時は端子a、Pピクチャ時は端子bに接続し、その出力に復号した
符号化画像信号系列S15を得る。
The
Matrix operation with a DCT transformation inverse matrix of rows × 8 columns is performed. Then, in the decoding at the time of I picture, the encoded image signal sequence is decoded, and in the decoding at the time of P picture, the signal S3 corresponding to the inter-frame prediction error signal sequence is decoded. The adding
フレームメモリ部23は、1フレームの期間遅延させた信号S9を生成し、MC信号生
成部24は、この信号に対して動きベクトルMVによる動きの補償処理を行ない、フレー
ム間動き補償予測信号系列S10を生成する。
The
MC補間部25は、動きベクトルMVと、画像情報PIと、信号S3のフレーム間予測誤差信号系列をもとに、図1、あるいは図2に示す様な動き補償の走査変換処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。
なお、この動作の詳細については後述する。
The
Details of this operation will be described later.
後処理部26は、画像フォーマットの変換処理、インタレース〜ノンインタレース走査
変換あるいはフレーム数変換の処理、および、アナログ信号への変換を行ない、ノンイン
タレース走査の画像信号VSDを復号する。この信号はノンインタレース走査の画像表示
部(図面には明示せず)に呈示し、高品質・高精細な画像を受像する。
The
以上で全体ブロック構成による説明を終え、つぎに、MC補間部25について、図5乃
至図8に示す実施例をもとに説明する。
The description of the overall block configuration is thus completed, and the
図5は、この第1の構成例図で、動き補償の走査変換処理に用いる動きベクトルの精度
が極めて高い場合に好適なものである。
FIG. 5 is a diagram illustrating the first configuration example, which is suitable when the accuracy of the motion vector used in the scan conversion processing for motion compensation is extremely high.
復号した符号化画像信号系列S15は、フィールドメモリ部27−1と、MCIP部2
9とに入力する。フィールドメモリ部は1フィールド期間の信号の遅延を行なう。そして
、この出力信号でメイン信号系列S16を生成する。また、この信号をフィールドメモリ
部27−2で1フィールド期間遅延させ、信号S15に対して1フレーム期間遅延した信
号S9を生成する。なお、同図の点線で囲んだ部分は、図1に示したフレームメモリ部2
3に相当する。したがって、この部分をフレームメモリとして共用する形態で構成するこ
ともできる。
The decoded encoded image signal sequence S15 includes a field memory unit 27-1 and an
9 and input. The field memory unit delays a signal for one field period. Then, the main signal series S16 is generated from this output signal. Further, this signal is delayed by one field period in the field memory unit 27-2 to generate a signal S9 delayed by one frame period with respect to the signal S15. A portion surrounded by a dotted line in the figure is the
It corresponds to 3. Therefore, this portion can be configured to be shared as a frame memory.
補間MV生成部28は、画像情報PIで動き補償の走査変換がインタレース〜ノンイン
タレース走査変換、フレーム数変換のいずれであるかを判別する。そして、前者の場合は
図1、後者の場合は図2に示した様に、動きベクトルMVをもとに、動き補償の補間信号
の生成に必要な補間動きベクトルIMVを生成する。
例えば、図1(a)において、動きベクトルMVがV0の場合には信号S9の走査線αと
信号S15の走査線α′の信号、V1の場合には信号S9の走査部βと信号S15の走査
線β′の信号とを指定する補間動きベクトルIMVを生成する。
The interpolation
For example, in FIG. 1A, when the motion vector MV is V 0 , the signal of the scanning line α of the signal S9 and the signal of the scanning line α ′ of the signal S15, and when the motion vector MV is V 1 , An interpolated motion vector IMV specifying the signal of the scanning line β ′ in S15 is generated.
MCIP部29は、信号S9とS15に対して、補間動きベクトルIMVで指定する走
査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号をつくり、補間信
号系列S17を生成する。
The
つぎに、この第2の構成例を図6,図7に示す。これは、動きベクトルの精度が若干悪
い場合にも好適なものである。
Next, this second configuration example is shown in FIGS. This is also suitable when the motion vector accuracy is slightly poor.
図6に示す構成例図において、フィールドメモリ部27−1と27−2とでフレームメ
モリを構成し、第1の構成例と同様に、メイン信号系列S16の信号と、動き補償の走査
変換処理に使用する信号S15、および、この信号に対して1フレーム期間遅延した信号
S9を生成する。なお、同図の点線で囲んだ部分は、図3に示したフレームメモリ部23
に相当するため、図3の実施例ではこの部分を共用する形態で構成することもできる。
In the configuration example diagram shown in FIG. 6, the field memory units 27-1 and 27-2 constitute a frame memory, and the signal of the main signal series S <b> 16 and motion compensation scan conversion processing are performed as in the first configuration example. And a signal S9 delayed for one frame period with respect to this signal. A portion surrounded by a dotted line in the figure is the
Therefore, the embodiment of FIG. 3 can be configured to share this portion.
MC補間制御部30は、動きベクトルMVと、画像情報PIと、信号S3で得られる動
き補償のフレーム間差分信号成分とで、動き補償の補間信号の生成に必要な補間動きベク
トルIMVと、動き適応係数km,1−kmを生成する。画像情報PIで、動き補償の走
査変換がインタレース〜ノンインタレース走査変換かフレーム数変換のいずれであるかを
判別する。そして、前者では図1、後者では図2に示した様に、動き補償の補間信号の生
成に必要な補間動きベクトルIMVを生成する。ただし、第1の構成例とは異なり、この
補間動きベクトルIMVは、図7(a)に示す特性で生成する。ブロック(8画素×8ラ
イン)単位に、信号S3の予測誤差信号、すなわち、動き補償のフレーム間差分信号成分
の絶対値和Σ|S3|を計測する。そして、これが閾値Th未満の時は動きベクトルの精
度が高いと判断し、第1の構成例と同様に、動きベクトルMVをもとに補間動きベクトル
IMVを生成する。一方、Σ|S3|が閾値Th以上では動きベクトルの精度が悪いと判
断し、補間動きベクトルには0を生成する。また、動き適応係数kmは、図7(b)に示
す様に、Σ|S3|の値に応じて0から1まで変化する特性の係数値を生成する。
The MC
MCIP部29は、信号S9とS15に対して、補間動きベクトルで指定する走査線の
信号を取り出し、この両者の信号の平均値で動き補償の補間信号S18を生成する。なお
、動きベクトルの精度が悪い場合はIMV=0であるので、信号S18は、従来技術の静
止モードの補間信号と同等のものになる。
The
フィールド内補間部31は、信号S16をもとにフイールド内演算処理を行ない、同一
フィールド信号で従来技術の動画モードと同様な動画像の補間信号S19を生成する。
The
係数加重部32−1は、信号S18に動き適応係数1−km,係数加算部32−2は信
号S19に動き適応係数kmをそれぞれ係数加重する。そして、加算部33で両者の信号
を加算し、補間信号系列S17を生成する。
The coefficient weighting unit 32-1 weights the signal S18 with the motion adaptive coefficient 1-km, and the coefficient adding unit 32-2 weights the signal S19 with the motion adaptive coefficient km. Then, the
つぎに、この第3の構成例を図8に示す。これは、動きベクトルの精度が相当に悪い場
合にも好適なものである。
Next, this third configuration example is shown in FIG. This is also suitable when the accuracy of the motion vector is considerably poor.
同図(a)の構成図において、フィールドメモリ部27−1と27−2とでフレームメ
モリを構成し、第1,第2の構成例と同様、メイン信号系列S16の信号と、動き補償の
走査変換処理に使用する信号S15と、この信号を1フレーム期間遅延させた信号S9と
を生成する。なお、同図の点線で囲んだ部分は、図3に示したフレームメモリ部23に相
当するので、図3の実施例ではこの部分を共用する形態で構成することもできる。
In the configuration diagram of FIG. 5A, the field memory units 27-1 and 27-2 constitute a frame memory, and, as in the first and second configuration examples, the signal of the main signal sequence S16 and the motion compensation A signal S15 used for the scan conversion process and a signal S9 obtained by delaying this signal by one frame period are generated. The portion surrounded by a dotted line in FIG. 3 corresponds to the
減算部34は、信号S15とS9との減算を行ない、フレーム間の差分信号S20を生
成する。
The subtracting unit 34 performs subtraction between the signals S15 and S9 to generate a difference signal S20 between frames.
MC補間制御部35は、動きベクトルMVと、画像情報PIと、信号S3の動き補償のフレーム間差分信号成分と、フレーム間の差分信号S20とで、補間動きベクトルIMVと、動き適応係数km,1−kmを生成する。画像情報PIで、動き補償の走査変換がインタレース〜ノンインタレース走査変換かフレーム数変換のいずれであるかを判別する。そして、前者の時は図1、後者の時は図2に示した動き補償の補間信号の生成に必要な補間動きベクトルを、同図(b)に示す特性で生成する。すなわち、Iピクチャでは補間動きベクトルにIMV=0を生成する。一方、Pピクチャでは、動き補償のフレーム間差分信号成分の大小で生成する。すなわち、ブロック(8画素×8ライン)単位に、信号S3の絶対値和Σ|S3|を計測する。そして、これが閾値Th未満の時は、動きベクトルの精度が高いと判定し、動きベクトルMVをもとに対応する補間動きベクトルを生成する。一方、閾値Th以上では動きベクトルの精度は悪いと判定し、補間動きベクトルにはIMV=0を生成する。また、動き適応係数kmは、PピクチャではΣ|S3|の大小、Iピクチャではフレーム間の差分信号の絶対値|S20|の大小で、0から1の範囲で変化する係数値を生成する。
The MC
MCIP部29は、信号S9とS15に対して、補間動きベクトルで指定する走査線の
信号を取り出し、この両者の信号の平均値で動き補償の補間信号S18を生成する。なお
、IピクチャおよびPピクチャで動きベクトルの精度が悪い場合は、IMV=0であるの
で、信号S18は従来技術の静止モードの補間信号との同等のものになる。
The
フィールド内補間部31は、信号S16をもとにフィールド内演算処理を行ない、従来
技術と同様に同一フィールドの信号で動画モードに対応する動画像の補間信号S19を生
成する。
The
係数加重部32−1と32−2では、信号S18とS19にそれぞれ動き適応係数1−
km,kmの係数値を加重し、加算部33で両者の信号を加算して、補間信号系列S17
を生成する。
In the coefficient weighting units 32-1 and 32-2, the motion
km, km coefficient values are weighted, and both signals are added by the
Is generated.
なお、第2,第3の構成例における動き適応係数kmは、図示した様に係数値が段階的
に変化する特性で実現することが望ましいが、場合によっては0か1かの2値特性で実現
することもできる。
It should be noted that the motion adaptive coefficient km in the second and third configuration examples is preferably realized with a characteristic in which the coefficient value changes stepwise as shown in the figure, but depending on the case, it may be a binary characteristic of 0 or 1. It can also be realized.
つぎに、後処理部26の一構成例を図9により説明する。メイン信号系列S16と、補
間信号系列S17は、画像フォーマット変換部36−1,36−2に入力し、符号化画像
信号系列からもとの走査形態の画像信号のフォーマットへの画像フォーマット変換処理を
行ない、輝度信号と2つの色差信号からなる画像系列VMSとVIPとを復号する。水平
時間圧縮部37−1,37−2は、画像情報PIにより、インタレース〜ノンインタレー
ス走査変換では水平方向に時間軸を1/2に圧縮する信号処理、フレーム数変換では例え
ば標準モードの30〜60変換は時間方向に時間軸を1/2に圧縮する信号処理を行なう
。そして、時分割多重部38では、両者の信号を時分割に多重し、ノンインタレース走査
の形態の画像系列VPを生成する。RGB変換部39は、所定のマトリクス演算の処理を
行ない、3原色RGB系の画像系列VRに変換する。そして、DA変換部40ではアナロ
グ信号への変換を行ない、ノンインタレース走査の画像信号VSDを復号する。
Next, a configuration example of the
なお、図3のその他のブロック部は、従来のMPEG1,2のビデオ符号化の符号化部
、復号化部と同様に構成すればよいので、説明は省略する。
The other block units in FIG. 3 may be configured in the same manner as the
以上に述べた様に、本実施例によれば、インタレース妨害あるいはジャダー妨害がなく
、高品質・高精細な画像で受像する画像信号の符号化・復号化装置が実現でき、画質改善
に顕著な効果が達成できる。
As described above, according to this embodiment, it is possible to realize an image signal encoding / decoding apparatus that receives high-quality and high-definition images without interlace interference or judder interference, and is remarkable in improving image quality. Effects can be achieved.
つぎに、本発明の第2の実施例について、図10に示す全体ブロック構成図で説明する
。本実施例は、復号化部で動きベクトルのうちの動き補償の走査変換処理に適したものを
選別し、この選別した動きベクトルを用いてノンインタレース走査の画像信号を復号する
に好適なものである。なお、本実施例では、フレーム間の動き補償予測符号化とDCT直
交変換符号化を組み合せたMPEG1,2に準拠するビデオ符号化の場合を例に説明する
。
Next, a second embodiment of the present invention will be described with reference to the overall block diagram shown in FIG. In this embodiment, the decoding unit selects a motion vector suitable for scan conversion processing for motion compensation, and is suitable for decoding a non-interlaced image signal using the selected motion vector. It is. In the present embodiment, a case of video coding conforming to
同図(a)の符号化部では、画像信号VSは前処理部1でディジタル化、および所定の
画像フォーマット変換を行ない、符号化画像信号系列S1を生成する。
すなわち、6つのブロック(4つの輝度信号ブロックと2つの色差信号ブロック、ブロッ
クサイズは8画素×8ライン)で構成されるマクロブロックの信号系列を生成する。
In the encoding unit shown in FIG. 5A, the image signal VS is digitized by the
That is, a macroblock signal sequence composed of six blocks (four luminance signal blocks and two color difference signal blocks, block size is 8 pixels × 8 lines) is generated.
スイッチ4と11は、フレーム内のDCT符号化を行なう符号化モードがIピクチャで
は端子a、動き補償フレーム間予測符号化とDCT符号化を行なう符号化モードがPピク
チャでは端子bに接続する。そして、DCT部5には、Iピクチャの時は原画像の符号化
画像信号系列S1、Pピクチャ時はフレーム間予測誤差信号系列S2が、それぞれ、信号
S3として入力される。なお、減算部3は、MC信号生成部13で生成するフレーム間動
き補償予測信号系列S10と符号化画像信号系列S1との減算処理で、フレーム間予測誤
差信号系列S2を生成する。
The
DCT部5は、信号S3の各ブロック(8画素×8ライン)を単位に、8行×8列のD
CT変換行列との行列演算を行ない、変換係数信号系列S4を生成する。量子化部6は、
変換係数を量子化して係数量子化信号系列S5を生成する。なお、所定の伝送ビットレー
トを確保するため、バッファ部16のバッファ滞留量に応じて特性を変更して量子化処理
を行なう。
The
A matrix operation with the CT conversion matrix is performed to generate a conversion coefficient signal series S4. The
The transform coefficient is quantized to generate a coefficient quantized signal sequence S5. In order to secure a predetermined transmission bit rate, the quantization process is performed by changing the characteristics according to the buffer retention amount of the
逆量子化部8は、逆量子化の処理で変換係数信号系列S6を復号し、IDCT部9は8
行×8列のDCT変換逆行列との行列演算を行なう。そして、エピクチャ時は符号化画像
信号系列、Pピクチャ時はフレーム間予測誤差信号系列の信号S7を復号する。加算部1
0は、フレーム間動き補償予測信号系列S10との加算処理を行ない、Pピクチャ時の符
号化画像信号系列を復号する。スイッチ11は、エピクチャ時は端子a、Pピクチャ時は
端子bに接続し、その出力の復号した符号化画像信号系列S8はフレームメモリ部12に
入力し、その出力に1フレーム期間遅延させた信号S9を得る。
The
Matrix operation with a DCT transformation inverse matrix of rows × 8 columns is performed. Then, the signal S7 of the encoded image signal sequence is decoded during the e-picture, and the inter-frame prediction error signal sequence is decoded during the P-picture.
0 performs addition processing with the inter-frame motion compensation prediction signal sequence S10, and decodes the encoded image signal sequence in the P picture. The
動きベクトル検出部41では、ブロックマッチング法などで、1フレーム期間の動きベ
クトルMVを抽出する。なお、第1の実施例とは異なり、復号化部での動き補償の走査変
換処理には不都合な動きベクトルも含まれる。MC信号生成部13は、信号S9を動きベ
クトルMVで動きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成す
る。
The motion vector detection unit 41 extracts a motion vector MV for one frame period by a block matching method or the like. Unlike the first embodiment, the motion compensation scan conversion process in the decoding unit includes an inconvenient motion vector. The MC
VLC部7、14は、係数量子化信号系列S5と動きベクトルMVに対して所定の可変
長符号化の処理を行ない、符号化画像データ系列S11と、符号化動きベクトル系列S1
2を生成する。多重部15は、信号系列S11と、S12と、画像情報PIの符号化パラ
メタなどの各種データとを所定の時系列に多重する処理を行ない、その出力の符号化デー
タ系列S13をバッファ部16に入力する。
そして、バッファ部16から一定のビットレートで読み出し、符号化ビットストリーム信
号PCDを生成する。なお、この信号PCDは、図面には明示していないが、伝送媒体に
応じた符号誤り対策やディジタル変調など所定のチャネル符号化を行なって伝送する。
The
2 is generated. The multiplexing
Then, it reads out from the
同図(b)の復号化部では、チャネル復号化して復号した符号化ビットストリーム信号PCDは、バッファ部17に入力する。そして、バッファ部より読み出した符号化データ系列S13は、DMPX部18で、符号化画像データ系列S11と、符号化動きベクトル系列S12と、画像情報PIの各種データとに分離する。
In the decoding unit shown in FIG. 5B, the encoded bit stream signal PCD decoded by channel decoding is input to the
IVLC部19,20は、可変長符号の復号化処理を行ない、係数量子化信号系列S5
と、動きベクトルMVをそれぞれ復号する。
The
Then, the motion vectors MV are respectively decoded.
逆量子化部8は、逆量子化の処理で変換係数信号系列S4を復号し、IDCT部は、8行×8列のDCT変換逆行列との行列演算を行なう。そして、Iピクチャ時では符号化画像信号系列、Pピクチャ時ではフレーム間予測誤差信号系列にそれぞれ対応した信号S3を復号する。また、加算部21は、MC信号生成部24で生成したフレーム間動き補償予測信号系列S10を加算し、その出力にPピクチャ時の符号化画像信号系列S14を生成する。そして、スイッチ22は、エピクチャ時は端子a、Pピクチャ時は端子bに接続し、その出力には復号した符号化画像信号系列S15を得る。
The
フレームメモリ部23は、入力信号を1フレーム期間遅延させた信号S9を生成する。
そして、MC信号生成部24は、この信号S9を動きベクトルMVで動きの補償処理を行
ない、フレーム間動き補償予測信号系列S10を生成する。
The
Then, the MC
MVセレクト部42は、画像情報PIに応じて、動きベクトルMVのうち、動き補償の走査変換処理に整合するものを選別する処理を行なう。すなわち、画像信号がインタレース走査では、図1の走査線補間に示した様な動きベクトルV0,V1,V2を、ノンインタレース走査では図2の走査線補間に示した様な動きベクトルが選出される領域はH、選出されない領域はLの信号の選別領域信号MCMを生成する。
The
MC補間部43は、選別動きベクトルMV’と、選別領域信号MCMと、画像情報PI
と、信号S3のフレーム間予測誤差信号系列とで図1や図2に示した動き補償の走査変換
処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。なお、この構
成ならびに動作については後に詳述する。
The MC interpolation unit 43 selects the selection motion vector MV ′, the selection region signal MCM, and the image information PI.
Then, the motion compensation scan conversion process shown in FIGS. 1 and 2 is performed on the inter-frame prediction error signal sequence of the signal S3, and the main signal sequence S16 and the interpolation signal sequence S17 are generated. This configuration and operation will be described in detail later.
後処理部26は、画像フォーマットの変換処理、メイン信号系列S16と補間信号系列
S17とによるインタレース〜ノンインタレース走査変換やフレーム数変換の処理、アナ
ログ信号への変換の処理を行ない、ノンインタレース走査の画像信号VSDを復号する。
そして、この信号は、ノンインタレース走査の画像表示部(図面には明示せず)に表示し
て、高品質・高精細な画像を受像する。
The
This signal is displayed on a non-interlaced scanning image display unit (not shown in the drawing) to receive a high-quality and high-definition image.
図11は、MC補間部43の一構成例図である。フィールドメモリ部27−1と27−
2は1フィールド期間の信号遅延を行ない、同図の点線で囲んだ部分がフレームメモリに
相当する構成で、メイン信号系列S16と、動き補償の走査変換処理に使用する信号S1
5、およびこの信号を1フレーム期間遅延させた信号S9とを生成する。
FIG. 11 is a configuration example diagram of the MC interpolation unit 43. Field memory units 27-1 and 27-
2 is a signal delay for one field period, and a portion surrounded by a dotted line in the figure corresponds to a frame memory, and a main signal series S16 and a signal S1 used for a scan conversion process for motion compensation.
5 and a signal S9 obtained by delaying this signal by one frame period.
動き検出部44は、信号S15とS9との減算処理でフレーム間の差分成分を抽出し、
この差分成分をもとにフレーム間の動き情報MI(静止時は0)を生成する。
The motion detection unit 44 extracts a difference component between frames by subtraction processing between the signals S15 and S9,
Based on this difference component, motion information MI between frames (0 when stationary) is generated.
MC補間制御部45は、動き補償の補間信号の生成に必要な補間動きベクトルIMVと
、動き適応係数km、1−kmを生成する。この動作概略図を図12に示す。同図(a)
の第1の特性では補間動きベクトルは、選別領域信号MCMがHの時は、選別動きベクト
ルMV’をもとに、インタレース〜ノンインタレース走査変換では図1、フレーム数変換
では図2に示した動き補償の補間信号の生成に必要なIMVを生成する。一方、選別領域
信号MCMがLの時は、補間動きベクトルには0を生成する。また、動き適応係数kmは
、選別領域信号MCMがHの時はkm=0、Lの時にはフレーム間の動き情報MIのレベ
ルに応じて0から1まで変化する特性の係数値を生成する。したがって、この特性では、
選別領域信号MCMがHの領域では動き補償の走査変換処理、Lの領域では従来技術と同
様の動き適応処理で補間信号を生成する。
The MC
In the first characteristic, the interpolated motion vector is shown in FIG. 1 for interlaced to non-interlaced scan conversion and in FIG. 2 for frame number conversion based on the selected motion vector MV ′ when the selected region signal MCM is H. An IMV necessary for generating the motion compensated interpolation signal shown is generated. On the other hand, when the selection area signal MCM is L, 0 is generated as the interpolation motion vector. The motion adaptive coefficient km generates a coefficient value having a characteristic that changes from 0 to 1 according to the level of motion information MI between frames when km = 0 when the selection region signal MCM is H, and when L. Therefore, with this characteristic,
In the region where the selection region signal MCM is H, the interpolation signal is generated by the motion compensation scan conversion processing, and in the region L, the interpolation signal is generated by the motion adaptation processing similar to the conventional technique.
一方、同図(b)の第2の特性では、補間動きベクトルは、選別領域信号MCMがHで
、信号S3の予測誤差信号、すなわち、動き補償のフレーム間差分信号成分の絶対値和Σ
|S3|(例えば8画素×8ラインのブロック単位)が閾値Th未満の場合に、選別動き
ベクトルMV’をもとに生成する。これ以外の場合には、補間動きベクトルには0を生成
する。また、動き適応係数kmは、選別領域信号がHの領域では、Σ|S3|の値に対応
して0から1まで変化する特性の係数値、選別領域信号がLの領域では、フレーム間の動
き情報MIに対応して0から1まで変化する特性の係数値を生成する。
On the other hand, in the second characteristic of FIG. 5B, the interpolated motion vector is that the selected region signal MCM is H and the prediction error signal of the signal S3, that is, the absolute value sum Σ of the motion compensation inter-frame difference signal component Σ.
When | S 3 | (for example, a block unit of 8 pixels × 8 lines) is less than the threshold value Th, it is generated based on the selected motion vector MV ′. In other cases, 0 is generated for the interpolation motion vector. The motion adaptive coefficient km is a coefficient value of a characteristic that changes from 0 to 1 corresponding to the value of Σ | S 3 | in the region where the selection region signal is H, and between frames in the region where the selection region signal is L. The coefficient value of the characteristic which changes from 0 to 1 corresponding to the motion information MI is generated.
図11にもどり、MCIP部29は、補間動きベクトルIMVで指定する信号S9と信
号S15の走査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号S1
8を生成する。なお、IMV=0の場合には、信号S18では従来技術における静止モー
ドと同等の補間信号を生成することになる。
Returning to FIG. 11, the
8 is generated. When IMV = 0, the signal S18 generates an interpolation signal equivalent to the still mode in the prior art.
フィールド内補間部31は、信号S16をもとにフィールド内演算処理を行ない、同一
フィールドの信号で従来技術の動画モードと同様な動画像の補間信号S19を生成する。
The
係数加重部32−1は信号S18に動き適応係数1−km、係数加重部32−2は信号
S19に動き適応係数kmをそれぞれ係数加重する。そして、両者の信号は加算部33で
加算して、補間信号系列S17を生成する。
The coefficient weighting unit 32-1 weights the signal S18 with the motion adaptive coefficient 1-km, and the coefficient weighting unit 32-2 weights the signal S19 with the motion adaptive coefficient km. Then, both signals are added by the
なお、図中の点線で囲んだ部分は、図10のフレームメモリ部23に相当する。このた
め、図10の実施例において、この部分を共用する形態で構成することもできる。
A portion surrounded by a dotted line in the figure corresponds to the
以上に述べた様に、本実施例によれば、インタレース妨害やジャダー妨害がなく、高品
質・高精細な画像で受像できる画像信号の符号化・復号化装置ができ、画質改善に顕著な
効果がえられる。また、本実施例に示した復号化部の構成は、先の第1の実施例における
復号化部として用いることもできる。
As described above, according to the present embodiment, an image signal encoding / decoding device that can be received as a high-quality and high-definition image without interlace interference and judder interference can be obtained, which is remarkable for image quality improvement. The effect is obtained. The configuration of the decoding unit shown in the present embodiment can also be used as the decoding unit in the first embodiment.
さて、本発明においては、復号化部の構成は第1、第2の実施例の他にも、様々な形態
で実現することが可能である。
In the present invention, the configuration of the decoding unit can be realized in various forms in addition to the first and second embodiments.
図13は、復号化部の第3の実施例の全体ブロック構成図である。 FIG. 13 is an overall block configuration diagram of the third embodiment of the decoding unit.
チャネル復号化した符号化ビットストリーム信号PCDは、バッファ部17に入力する
。そして、バッファ部から読み出した符号化データ系列S13は、ビデオ復号化部46に
入力する。ビデオ復号化部は図3、図10の点線で囲んだ部分に相当し、前述したビデオ
復号化の処理を行ない、復号した符号化画像信号系列S15と、動きベクトルMVと、信
号S3のPピクチャ時のフレーム間予測誤差信号系列と、画像情報PIとを出力する。
The encoded bit stream signal PCD subjected to channel decoding is input to the
画像フォーマット変換部47は、符号化画像信号系列に対して画像フォーマット変換の
処理を行ない、もとの走査形態の画像信号系列VFCを生成する。
The image
MC補間部48は、インタレース〜ノンインタレース走査変換では図1、フレーム数変
換では図2に示した動き補償の走査変換処理を行ない、メイン信号系列S16と補間信号
系列S17とを生成する。すなわち、図5乃至図8と同様な構成で、動きベクトルMVを
もとに生成した補間動きベクトルIMV、および信号S3より検出する動き補償のフレー
ム間差分信号で生成した動き適応係数km、1−kmを用いて、補間信号系列S17をつ
くる。
The
ノンインタレース系列変換部49は、画像情報PIにより、インタレース〜ノンインタ
レース走査変換の場合はメイン信号系列S16と補間信号系列S17を水平方向に1/2
に時間軸を圧縮する処理、フレーム数変換の例えば標準モードの30〜60変換の場合は
時間方向に1/2に時間軸を圧縮する処理を行なう。
そして、圧縮した両者の信号を時系列に多重してノンインタレース走査の信号を生成し、
3原色RGB変換、アナログ変換を行ない、ノンインタレース走査の画像信号VSDを復
元する。
The non-interlaced
In the case of the process of compressing the time axis, for example, in the case of 30 to 60 conversion in the standard mode of frame number conversion, the process of compressing the time axis in half in the time direction is performed.
Then, both compressed signals are multiplexed in time series to generate a non-interlaced scanning signal,
The three primary colors RGB conversion and analog conversion are performed to restore the non-interlaced scanning image signal VSD.
本実施例は、符号化部での動き補償予測符号化において、動き補償の走査変換処理に適
した形態の動きベクトルでビデオ符号化したものに好適なもので、インタレース妨害やジ
ャダー妨害のない高品質・高精細な画像で受像する復号化装置が実現できる。
The present embodiment is suitable for video encoding with a motion vector in a form suitable for scan conversion processing for motion compensation in motion compensation predictive coding in the encoder, and there is no interlace interference or judder interference. A decoding device that receives high-quality and high-definition images can be realized.
図14は、復号化部の第4の実施例の全体ブロック構成図である。 FIG. 14 is an overall block configuration diagram of the fourth embodiment of the decoding unit.
チャネル復号化した符号化ビットストリーム信号PCDは、バッファ部17に入力する
。そして、バッファ部から読み出した符号化データ系列S13は、ビデオ復号化部46に
入力する。これは、図3、図10の点線で囲んだ部分に相当し、前述したビデオ復号化の
処理を行なって、復号した符号化画像信号系列S15と、動きベクトルMVと、信号S3
のPピクチャ時のフレーム間予測誤差信号系列(動き補償のフレーム間差分信号に相当)
と、画像情報PIとを出力する。
The encoded bit stream signal PCD subjected to channel decoding is input to the
Inter-frame prediction error signal sequence (corresponding to inter-frame difference signal for motion compensation)
And image information PI are output.
MVセレクト部42は、画像情報PIに応じて、動きベクトルMVから動き補償の走査
変換処理に整合するものを選別する処理を行なう。すわなち、画像信号がインタレース走
査では図1の走査線補間に示した動きベクトル、ノンインタレース走査では図2の走査線
補間に示した動きベクトルを選別動きベクトルMV’として生成する。また、動きベクト
ルの選出が行なわれた領域はH、行なわれない領域はLの選別領域信号MCMを生成する
。
The
画像フォーマット変換部47は、符号化画像信号系列からもとの走査形態の信号系列に
変換する画像フォーマット変換の処理を行ない、画像信号系列VFCを生成する。
The image
MC補間部50は、動き補償の走査変換処理、すなわち、インタレース〜ノンインタレ
ース走査変換では図1、フレーム数変換では図2に示した信号処理を行ない、メイン信号
系列S16と補間信号系列S17とを生成する。これは、図11、12に示す構成、特性
によって実現できる。そして、補間動きベクトルIMVと、動き適応係数km、1−km
を用いて、補間信号系列S17を生成する。
The
Is used to generate an interpolation signal sequence S17.
ノンインタレース系列変換部49は、メイン信号系列S16と補間信号系列S17の時
間軸圧縮の処理を行なう。すなわち、画像情報PIにより、インタレース〜ノンインタレ
ース走査変換の場合は水平方向に1/2、フレーム数変換の例えば標準モードの30〜6
0変換では時間方向に1/2の圧縮を行なう。そして、圧縮した両者の信号を時系列に多
重してノンインタレース走査の信号を生成し、3原色RGB変換、アナログ変換を行ない
、ノンインタレース走査の画像信号VSDを復号する。
The non-interlaced
In 0 conversion, 1/2 compression is performed in the time direction. Then, both the compressed signals are multiplexed in time series to generate a non-interlaced scanning signal, the three primary colors RGB conversion and analog conversion are performed, and the non-interlaced scanning image signal VSD is decoded.
本実施例によれば、インタレース妨害やジャダー妨害のない高品質・高精細な画像で受
像する復号化装置が実現できる。
According to the present embodiment, it is possible to realize a decoding apparatus that receives high-quality and high-definition images without interlace interference and judder interference.
以上に述べた実施例の説明では、ビデオ符号化としてフレーム間の動き補償予測符号化
とDCT変換符号化の組み合せを例に述べたが、これに限定されることなく、種々の形態
の動き補償予測符号化と直交変換符号化との組み合せによる符号化にも適用できることは
明らかである。
In the description of the embodiment described above, the combination of interframe motion compensated prediction coding and DCT transform coding has been described as an example of video coding. However, the present invention is not limited to this, and various forms of motion compensation are possible. It is clear that the present invention can also be applied to coding by a combination of predictive coding and orthogonal transform coding.
1…前処理部、2,41…動きベクトル検出部、3,34…減算部、4,11,22…スイッチ、5…DCT部、6…量子化部、7,14…VLC部、8…逆量子化部、9…IDCT部、10,21,33…加算部、12,23…フレームメモリ部、13,24…MC信号生成部、15…MPX部、16,17…バッファ部、18…DMPX部、19,20…IVLC部、25,43,48,50…MC補間部、26…後処理部、27…フィールドメモリ部、28…補間MV生成部、29…MCIP部、30,35,45…MC補間制御部、31…フィールド内補間部、32…係数加重部、36,47…画像フォーマット変換部、37…水平時間圧縮部、38…時分割多重部、39…RGB変換部、40…DA変換部、42…MVセレクト部、44…動き検出部、46…ビデオ復号化部、49…ノンインタレース系列変換部。
DESCRIPTION OF
Claims (12)
フレーム数の変換前の画像信号の複数のフレームの1つのフレームよりも時間的に後ろに位置し、他の1つのフレームよりも時間的に前に位置し、新たに生成されるフレームである補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記フレーム数の変換前の画像信号の複数のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出し、 Interpolation that is a newly generated frame that is positioned temporally after one frame of a plurality of frames of the image signal before conversion of the number of frames and positioned temporally before one other frame A motion vector that passes through pixels in which an interpolation signal of a generation target frame is generated and connects pixels of a plurality of frames of the image signal before conversion of the number of frames is selected from the encoded image signal,
前記フレーム数の変換前の画像信号の複数のフレームにおける前記選出した動きベクトルの始点と終点が示す画素の平均値を前記補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記補間生成対象フレームを生成し、画像信号のフレーム数の変換を行うことを特徴とする画像信号生成方法。 The average value of the pixels indicated by the start and end points of the selected motion vector in a plurality of frames of the image signal before the conversion of the number of frames is set as the pixel value of the pixel on which the interpolation signal of the interpolation generation target frame is generated. To generate the interpolation generation target frame and convert the number of frames of the image signal.
前記画像信号のフレーム数の変換は、前記フレーム数の変換前の画像信号の複数のフレームの2つのフレームの時間的に間に位置する1つの補間生成対象フレームを生成し、前記2つのフレームと前記1つの補間生成対象フレームとをフレーム数変換後画像信号のフレームとすることにより、画像信号のフレーム数を2倍とすることを特徴とする画像信号生成方法。 In the conversion of the number of frames of the image signal, one interpolation generation target frame located between two frames of a plurality of frames of the image signal before the conversion of the number of frames is generated, and the two frames An image signal generation method characterized in that the number of frames of an image signal is doubled by setting the one interpolation generation target frame as a frame of an image signal after frame number conversion.
フレーム数変換前の画像信号のフレーム数は毎秒30フレームであり、フレーム数変換後の画像信号のフレーム数は毎秒60フレームであることを特徴とする画像信号生成方法。 An image signal generation method, wherein the number of frames of an image signal before frame number conversion is 30 frames per second, and the number of frames of an image signal after frame number conversion is 60 frames per second.
フレーム数の変換前の画像信号には第1のフレーム、第2のフレーム、第3のフレームが含まれ、 The image signal before the conversion of the number of frames includes the first frame, the second frame, and the third frame,
前記第1のフレームよりも時間的に後ろに位置し、前記第2のフレームよりも時間的に前に位置し、新たに生成されるフレームである第1の補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記第1のフレームと第2のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出し、 Generation of an interpolation signal of a first interpolation generation target frame, which is a newly generated frame that is positioned temporally behind the first frame and positioned temporally before the second frame Is selected from the encoded image signal through the pixels to be performed and connecting the pixels of the first frame and the second frame,
該選出した動きベクトルの始点と終点が示す画素の平均値を前記第1の補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記第1の補間生成対象フレームを生成し、 By setting the average value of the pixels indicated by the start point and the end point of the selected motion vector as the pixel value of the pixel for which the interpolation signal of the first interpolation generation target frame is generated, the first interpolation generation target frame is Generate
前記第2のフレームよりも時間的に後ろに位置し、前記第3のフレームよりも時間的に前に位置し、新たに生成されるフレームである第2の補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記第2のフレームと第3のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出し、 Generation of an interpolation signal of a second interpolation generation target frame, which is a newly generated frame that is positioned behind the second frame and positioned before the third frame. Is selected from the encoded image signal through the pixels to be performed and connecting the pixels of the second frame and the third frame,
該選出した動きベクトルの始点と終点が示す画素の平均値を前記第2の補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記第2の補間生成対象フレームを生成し、 The average value of the pixels indicated by the start point and the end point of the selected motion vector is used as the pixel value of the pixel for which the interpolation signal of the second interpolation generation target frame is generated, thereby obtaining the second interpolation generation target frame. Generate
画像信号のフレーム数の変換を行うことを特徴とする画像信号生成方法。 A method for generating an image signal, wherein the number of frames of the image signal is converted.
前記画像信号のフレーム数の変換において、前記第1のフレームよりも時間的に後ろに位置し、前記第2のフレームよりも時間的に前に位置する第1の補間生成対象フレームを複数生成し、前記第2のフレームよりも時間的に後ろに位置し、前記第3のフレームよりも時間的に前に位置する第2の補間生成対象フレームを複数生成し、前記第1のフレームと前記第3のフレームと前記複数生成した第1の補間生成対象フレームと前記複数生成した第2の補間生成対象フレームとをフレーム数変換後画像信号のフレームとすることを特徴とする画像信号生成方法。 In the conversion of the number of frames of the image signal, a plurality of first interpolation generation target frames that are positioned temporally after the first frame and temporally before the second frame are generated. , Generating a plurality of second interpolation generation target frames that are located behind the second frame and located before the third frame, and the first frame and the first frame 3. The image signal generation method according to claim 3, wherein the third frame, the plurality of generated first interpolation generation target frames, and the plurality of generated second interpolation generation target frames are used as the frames of the image signal after frame number conversion.
フレーム数変換前の画像信号のフレーム数は毎秒24フレームであり、フレーム数変換後の画像信号のフレーム数は毎秒60フレームであることを特徴とする画像信号生成方法。 An image signal generation method, wherein the number of frames of an image signal before frame number conversion is 24 frames per second, and the number of frames of an image signal after frame number conversion is 60 frames per second.
フレーム数の変換前の画像信号の複数のフレームの1つのフレームよりも時間的に後ろに位置し、他の1つのフレームよりも時間的に前に位置し、新たに生成されるフレームである補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記フレーム数の変換前の画像信号の複数のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出する動きベクトル選出部と、 Interpolation that is a newly generated frame that is positioned temporally after one frame of a plurality of frames of the image signal before conversion of the number of frames and positioned temporally before one other frame A motion vector selection unit that selects, from the encoded image signal, a motion vector that passes through pixels in which an interpolation signal of a generation target frame is generated and that connects pixels of a plurality of frames of the image signal before conversion of the number of frames. When,
前記フレーム数の変換前の画像信号の複数のフレームにおける前記選出した動きベクトルの始点と終点が示す画素の平均値を前記補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記補間生成対象フレームを生成し、画像信号のフレーム数の変換を行う補間信号生成部と The average value of the pixels indicated by the start and end points of the selected motion vector in a plurality of frames of the image signal before the conversion of the number of frames is set as the pixel value of the pixel on which the interpolation signal of the interpolation generation target frame is generated. An interpolation signal generation unit that generates the interpolation generation target frame and converts the number of frames of the image signal;
を備えることを特徴とする画像信号生成装置。An image signal generation device comprising:
前記補間信号生成部による画像信号のフレーム数の変換は、前記フレーム数の変換前の画像信号の複数のフレームの2つのフレームの時間的に間に位置する1つの補間生成対象フレームを生成し、前記2つのフレームと前記1つの補間生成対象フレームとをフレーム数変換後画像信号のフレームとすることにより、画像信号のフレーム数を2倍とすることを特徴とする画像信号生成装置。 The conversion of the number of frames of the image signal by the interpolation signal generation unit generates one interpolation generation target frame located between two frames of the plurality of frames of the image signal before the conversion of the number of frames, An image signal generating apparatus characterized in that the number of frames of an image signal is doubled by using the two frames and the one interpolation generation target frame as a frame of an image signal after frame number conversion.
フレーム数変換前の画像信号のフレーム数は毎秒30フレームであり、フレーム数変換後の画像信号のフレーム数は毎秒60フレームであることを特徴とする画像信号生成装置。 An image signal generation apparatus, wherein the number of frames of an image signal before frame number conversion is 30 frames per second, and the number of frames of an image signal after frame number conversion is 60 frames per second.
前記フレーム数の変換のための補間フレーム生成を行う補間信号生成部と、 An interpolation signal generator for generating an interpolation frame for conversion of the number of frames;
前記符号化画像信号から、前記補間信号生成部の補間フレームの生成処理に用いる動きベクトルを選出する動きベクトル選出部とを備え、 A motion vector selection unit that selects a motion vector used for generating an interpolation frame of the interpolation signal generation unit from the encoded image signal;
フレーム数の変換前の画像信号には第1のフレーム、第2のフレーム、第3のフレームが含まれ、 The image signal before the conversion of the number of frames includes the first frame, the second frame, and the third frame,
前記動きベクトル選出部が、前記第1のフレームよりも時間的に後ろに位置し、前記第2のフレームよりも時間的に前に位置し、新たに生成されるフレームである第1の補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記第1のフレームと第2のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出し、 The first interpolation generation is a newly generated frame in which the motion vector selection unit is positioned temporally after the first frame and temporally before the second frame. A motion vector that passes through the pixel for which the interpolation signal of the target frame is generated and connects the pixel of the first frame and the second frame is selected from the encoded image signal;
前記補間信号生成部が、該選出した動きベクトルの始点と終点が示す画素の平均値を前記第1の補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記第1の補間生成対象フレームを生成し、 The interpolation signal generation unit sets the average value of the pixels indicated by the start point and the end point of the selected motion vector as the pixel value of the pixel for which the interpolation signal of the first interpolation generation target frame is generated. Generate 1 interpolation generation target frame,
前記動きベクトル選出部が、前記第2のフレームよりも時間的に後ろに位置し、前記第3のフレームよりも時間的に前に位置し、新たに生成されるフレームである第2の補間生成対象フレームの補間信号の生成が行われる画素を通り、且つ、前記第2のフレームと第3のフレームの画素間を結ぶ動きベクトルを前記符号化画像信号から選出し、 The second interpolation generation is a newly generated frame in which the motion vector selection unit is positioned temporally behind the second frame and temporally before the third frame. A motion vector that passes through the pixel for which the interpolation signal of the target frame is generated and connects the pixel of the second frame and the third frame is selected from the encoded image signal,
前記補間信号生成部が、該選出した動きベクトルの始点と終点が示す画素の平均値を前記第2の補間生成対象フレームの補間信号の生成が行われる画素の画素値とすることにより、前記第2の補間生成対象フレームを生成し、 The interpolation signal generation unit sets the average value of the pixels indicated by the start point and the end point of the selected motion vector as the pixel value of the pixel for which the interpolation signal of the second interpolation generation target frame is generated. 2 interpolation generation target frame is generated,
画像信号のフレーム数の変換を行うことを特徴とする画像信号生成装置。 An image signal generation device that converts the number of frames of an image signal.
前記補間信号生成部による前記画像信号のフレーム数の変換において、前記第1のフレームよりも時間的に後ろに位置し、前記第2のフレームよりも時間的に前に位置する第1の補間生成対象フレームを複数生成し、前記第2のフレームよりも時間的に後ろに位置し、前記第3のフレームよりも時間的に前に位置する第2の補間生成対象フレームを複数生成し、前記第1のフレームと前記第3のフレームと前記複数生成した第1の補間生成対象フレームと前記複数生成した第2の補間生成対象フレームとをフレーム数変換後画像信号のフレームとすることを特徴とする画像信号生成装置。 In the conversion of the number of frames of the image signal by the interpolation signal generation unit, the first interpolation generation that is positioned temporally after the first frame and temporally before the second frame Generating a plurality of target frames, generating a plurality of second interpolation generation target frames positioned temporally after the second frame and positioned temporally before the third frame, One frame, the third frame, the plurality of generated first interpolation generation target frames, and the plurality of generated second interpolation generation target frames are frames of the image signal after frame number conversion. Image signal generator.
フレーム数変換前の画像信号のフレーム数は毎秒24フレームであり、フレーム数変換後の画像信号のフレーム数は毎秒60フレームであることを特徴とする画像信号生成装置。 An image signal generating apparatus, wherein the number of frames of an image signal before frame number conversion is 24 frames per second, and the number of frames of an image signal after frame number conversion is 60 frames per second.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006223759A JP4258537B2 (en) | 2006-08-21 | 2006-08-21 | Image signal generation method and image signal generation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006223759A JP4258537B2 (en) | 2006-08-21 | 2006-08-21 | Image signal generation method and image signal generation apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004198752A Division JP3915802B2 (en) | 2004-07-06 | 2004-07-06 | Image decoding method and image decoding apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006352912A JP2006352912A (en) | 2006-12-28 |
JP4258537B2 true JP4258537B2 (en) | 2009-04-30 |
Family
ID=37648159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006223759A Expired - Lifetime JP4258537B2 (en) | 2006-08-21 | 2006-08-21 | Image signal generation method and image signal generation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4258537B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010492A (en) | 2007-06-26 | 2009-01-15 | Hitachi Ltd | Image decoder and image conversion circuit |
-
2006
- 2006-08-21 JP JP2006223759A patent/JP4258537B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006352912A (en) | 2006-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8548059B2 (en) | Image information encoding method and encoder, and image information decoding method and decoder | |
JPH07212761A (en) | Hierarchical coder and hierarchical decoder | |
JPH11243547A (en) | Motion compensating coder and motion compensating coding method there | |
JP3469815B2 (en) | Digital video processing device and digital video processing method | |
US20070230918A1 (en) | Video Quality Enhancement and/or Artifact Reduction Using Coding Information From a Compressed Bitstream | |
JP4258537B2 (en) | Image signal generation method and image signal generation apparatus | |
JP3915802B2 (en) | Image decoding method and image decoding apparatus | |
JP3612739B2 (en) | Image signal decoding apparatus and image signal decoding method | |
JP2001086508A (en) | Method and device for moving image decoding | |
JP4035808B2 (en) | Moving image scanning structure conversion apparatus and moving image scanning structure conversion method | |
JP3617088B2 (en) | Television receiver | |
JPH10126749A (en) | Sequential scanning conversion device | |
JP2006054760A (en) | Image processor and image processing method | |
JP4305480B2 (en) | Television receiver, television receiving method, image signal processing apparatus, image signal processing method, motion vector detection method | |
JP4078803B2 (en) | Interlace / progressive conversion method and conversion apparatus | |
JP2004236353A (en) | Television receiver | |
JP2000036961A (en) | Image coder, image coding method and image decoder | |
JP2000032470A (en) | Image encoder, image encoding method, and image decoder | |
JPS61142884A (en) | Inter-frame decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |