JP4107544B2 - 画像信号の再符号化装置 - Google Patents
画像信号の再符号化装置 Download PDFInfo
- Publication number
- JP4107544B2 JP4107544B2 JP2000322469A JP2000322469A JP4107544B2 JP 4107544 B2 JP4107544 B2 JP 4107544B2 JP 2000322469 A JP2000322469 A JP 2000322469A JP 2000322469 A JP2000322469 A JP 2000322469A JP 4107544 B2 JP4107544 B2 JP 4107544B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- picture
- frequency component
- image signal
- dct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
Description
【０００１】
【発明の属する技術分野】
この発明は、符号化が施された後に一度復号された画像信号を再び符号化する際に、前段の符号化における符号化パラメータが得られなくても再度の符号化における符号化劣化を最小限に抑えることを可能とする画像信号の再符号化装置に関するものである。
【０００２】
【従来の技術】
デジタル画像信号の情報量を削減するための符号化手法が各種提案されており、国際標準として成立しているものも既に複数ある。このうち、フレーム間予測符号化の手法を取り入れた符号化方式（例えばＩＴＵ−Ｔ勧告のＨ．２６１やＨ．２６３、ＩＳＯ／ＩＥＣ標準のＭＰＥＧなど）により符号化されている画像信号を編集しようとした場合、符号化されているビットストリームの状態で行うには様々な制約が生じるため、一度復号して画像信号に戻してから編集を行い、再度符号化する手順を踏んだ方が作業が容易である。
【０００３】
しかし、符号化された画像信号を一度復号した後に再度符号化を行うと、通常著しい符号化劣化が生じる。
これを回避するためには、前段の符号化処理において使用された符号化パラメータと同じものを使用して再符号化処理を行うとよい、ということが知られている。符号化パラメータとしては、たとえばフレーム内予測（Ｉピクチャ）／前方向フレーム間予測（Ｐピクチャ）／両方向フレーム間予測（Ｂピクチャ）といった予測方式を示す「ピクチャタイプ」や、量子化処理に使用される「量子化ステップサイズ」、動き補償予測に使用される「動きベクトル」などが挙げられる。中でも「ピクチャタイプ」は、再符号化画像の画質に対する影響が最も大きく、重要なパラメータである。
【０００４】
これらのパラメータは、符号化ビットストリームを画像信号に復号する復号器から復号画像信号とともに出力することは可能であるが、復号器がパラメータ出力の機能を有していなかったり、出力されたパラメータデータが失われたりして復号画像信号しか得られない場合も想定される。
このような復号画像信号しか得られない場合に対して、復号画像信号からパラメータを抽出する手法として、例えば特開平１０−３２８２９号公報に示すものがある。
【０００５】
図６は、特開平１０−３２８２９号公報に示された再符号化装置の構成を示すブロック図である。
図６において、１０は前処理部、１１は符号化制御部、１２は符号化部を示し、前処理部１０は、フレーム内符号器２０、ＳＮＲ計算器２１、Ｉピクチャ検出器２２から構成される。
【０００６】
次に動作について説明する。
再符号化装置に入力される入力画像信号３１は、符号化されているビットストリームを図示しない復号器において復号した、少なくとも一度以上符号化処理を経た画像であるものとする。フレーム内符号器２０は、全ての入力画像信号３１を固定の量子化ステップサイズを用いてフレーム内符号化し、ビットストリーム４１を出力する。ＳＮＲ計算器２１は、符号化されたビットストリーム４１からＳＮＲ値を計算し、ＳＮＲ値４２を出力する。Ｉピクチャ検出器２２は、ＳＮＲ値４２の値からＩピクチャの位置を検出する。符号化制御部１１は、Ｉピクチャ検出器２２により検出された結果を用いて符号化部１２の符号化処理を制御する制御信号３２を出力する。符号化部１２は、制御信号３２に基づいて入力画像信号３１を符号化し、符号化ビットストリーム３３を出力する。
【０００７】
【発明が解決しようとする課題】
上述した従来例によれば、ＳＮＲ計算器２１は、画像信号のＳＮＲを測定するものとされているが、その手法は特に明記されていない。図６に示す装置構成では、ＳＮＲ計算器２１においてＳＮＲを測定するためには、入力されたビットストリーム４１を一旦復号して復号画像信号を得て、入力画像信号３１との間で演算処理（ＳＮＲを得るためには二乗差分和を求める）を行う必要がある。
【０００８】
また、フレーム内符号器２０は、ビットストリーム４１を出力する必要があるため、ＭＰＥＧなどの符号化方式を使用する場合には、少なくともＤＣＴ（離散コサイン変換）器、量子化器、可変長符号化（ＶＬＣ）器といった構成が必要となる。
【０００９】
このように、従来の再符号化装置には、前処理部のフレーム内符号器２０およびＳＮＲ計算器２１の装置構成は大きなものとなり、かつ演算量も膨大なものになる、という課題があげられる。また、Iピクチャの検出手法については明記されているが、Ｐピクチャ／Ｂピクチャの検出手法については明記されていない。
【００１０】
この発明は、上記課題を解決するためになされたもので、符号化処理を経た画像信号を再符号化するに際して、画像信号からピクチャタイプを検出することにより、符号化効率を高めることができる画像信号の再符号化装置を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号の再符号化装置は、符号化処理を経たインタレース形式の復号画像信号を入力画像信号として、再度の符号化処理を行う画像信号の再符号化装置において、前記入力画像信号を離散コサイン変換するＤＣＴ器と、前記ＤＣＴ器から出力されるＤＣＴ係数を用いてピクチャ毎の特徴量を計数するＤＣＴ係数カウンタと、前記ＤＣＴ係数カウンタから出力される特徴量を用いて前段の符号化処理におけるピクチャタイプを検出するピクチャタイプ検出器と、前記ピクチャタイプ検出器の検出結果に応じて再度の符号化処理時の符号化パラメータの決定を行う符号化制御部と、前記符号化制御部により決定された符号化パラメータを用いて再符号化処理を行う符号化部とを備え、前記ピクチャタイプ検出器は、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が小さい場合にフレーム内予測符号化ピクチャとして検出し、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が大きい場合に前方向フレーム間予測符号化ピクチャとして検出し、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が小さい場合に両方向フレーム間予測ピクチャとして検出することを特徴とするものである。
【００１３】
また、前記ＤＣＴ係数カウンタは、計数する特徴量として、ＤＣＴ係数の周波数領域毎の絶対値和もしくは二乗和を求め、前記ピクチャタイプ検出器は、前記求められた絶対値和もしくは二乗和を時間的に前後のピクチャの特徴量との間で大小判定を行うことによりピクチャタイプの検出を行うことを特徴とするものである。
【００１９】
さらに、前記符号化制御部は、前記ピクチャタイプ検出器が検出したピクチャタイプに応じて設定される目標発生符号量を使用して符号化パラメータを決定することを特徴とするものである。
【００２１】
次に、動作について説明する。
前処理部１３のＤＣＴ器５０には入力画像信号３１が入力される。ＤＣＴ器５０は、通常の画像符号化で行われるものと同じ２次元ＤＣＴを行い、６４個の周波数成分で構成されるＤＣＴ係数６１を出力する。図２に、ＤＣＴ器５０から出力される６４個のＤＣＴ係数の周波数特性を示す。
【００２２】
ＤＣＴ係数カウンタ５１は、それぞれの周波数成分毎に絶対値和あるいは二乗和を各ピクチャ単位に求め、各周波数成分の電力値６２を出力する。あるいは各周波数成分毎に平均値を求め、平均値からの絶対値差分和あるいは二乗差分和を求めてもよい。
【００２３】
ピクチャタイプ検出器５２は、各ピクチャのピクチャタイプを検出する。
図３には、ＤＣＴ計数の水平成分と垂直成分双方の高域成分（図２の斜線部分）の電力値を示し、また、図４には、ＤＣＴ係数の水平成分が低域で垂直成分が高域（図２の横線部分）の電力値またはＤＣＴ係数の水平成分が高域で垂直成分が低域（図２の縦線部分）の電力値を示すもので、前段の符号化処理においてＩピクチャとなっているピクチャは、例えば図３のグラフの丸印に示すように、ＰピクチャやＢピクチャに比べてＤＣＴ係数の高周波成分に乏しい傾向があるため、前後のピクチャに比べて高周波成分の電力値６２が小さいピクチャをＩピクチャとして検出する。すなわち、前後のピクチャの電力値の偏差が予め設定された設定値よりも小さいピクチャをＩピクチャとして検出する。
【００２４】
また、前段の符号化処理において、ＩピクチャやＰピクチャとなっているピクチャは、例えば図４のグラフの丸印に示すように、ＤＣＴ係数の低周波成分の電力値がＢピクチャに比べて大きくなる傾向があるため、前後のピクチャに比べて電力値６２が大きいピクチャをＩピクチャもしくはＰピクチャとして検出する。すなわち、前後のピクチャの電力値の偏差が予め設定された設定値よりも大きいピクチャをＩピクチャもしくはＰピクチャとして検出する。このため、図３と図４を組み合わせれば、図３からＩピクチャが検出されるので、図４からＩピクチャとして検出された丸印の位置を除けばＰピクチャを特定して検出することができる。
【００２５】
符号化制御部１１は、ピクチャタイプ検出器５２で検出されたピクチャタイプに応じて各種符号化パラメータの設定を行い、符号化部１２の符号化処理の制御を行う。
【００２６】
符号化制御部１１は、ピクチャタイプ検出器５２で検出されたピクチャタイプと同じピクチャタイプで符号化処理を行うよう制御する。これにより、画質劣化の少ない再符号化処理が実行できる。
また、符号化制御部１１は、検出されたピクチャタイプに応じて目標符号量を設定して符号化部の制御を行う。これにより、再符号化処理により出力されるビットストリーム３３のビットレートに適した符号量配分が実行できる。
【００２７】
６４個の周波数成分のうちの複数のＤＣＴ係数に対して低周波成分（例えば図２の無印部分１６個）・高周波成分（例えば図２の斜線部分１６個）としてあらかじめ指定しておき、ＤＣＴ係数カウンタ５１ではこれらの複数の係数をまとめて絶対値和・二乗和を求める方法も有効である。この場合、出力される電力値６２は６４個ではなく、あらかじめ指定された成分数だけ出力される。
【００２８】
ひとつのフレーム信号が２つのフィールド信号から構成されるインタレース信号の場合、２つのフィールド信号を個別に符号化する方法（ＭＰＥＧ−２の場合、フィールド構造と呼ばれる）と、ひとつにまとめて符号化する方法（ＭＰＥＧ−２の場合、フレーム構造と呼ばれる）がある。フレーム構造の場合は、２つのフィールド信号が交互に配置されるため、ひとつのブロックが画面に対して占める大きさは水平・垂直ともにほぼ等しい正方形に近い状態となる。フィールド構造の場合には、一方のフィールド信号のみで構成されるため垂直方向が水平方向に比べてほぼ倍の大きさになる縦長の長方形の状態になる。そのため、インタレース信号の場合にはフィールド構造・フレーム構造ともに垂直方向の相関が水平方向に比べて低くなることが知られている。
【００２９】
そのため、入力画像信号がインタレース信号の場合には、垂直方向の高周波成分については多くの信号が発生するため垂直方向の低周波成分・高周波成分を用いた検出は行わず、水平方向の低周波成分（例えば図２の横線部分の領域）と高周波成分（図２の斜線部分の領域）を利用してピクチャタイプの検出を行う。これにより、検出の精度を高めることが可能となる。
【００３０】
実施の形態２．
次に、実施の形態２に係る画像信号の再符号化装置について説明する。
実施の形態２に係る画像信号の再符号化装置の構成は図１に示す実施の形態１と同じである。
ここで、実施の形態２に係るＤＣＴ係数カウンタ５１には、あらかじめ閾値が設定されており、６４個のＤＣＴ係数に対してその絶対値成分が閾値よりも大きいもの、もしくは小さいものの個数を求めるようになされている。
前段の符号化処理においてＩピクチャとなっているピクチャは、ＰピクチャやＢピクチャに比べて０もしくは０近傍の値を持つＤＣＴ係数が多く発生する傾向がある。図５には、ＤＣＴ係数の絶対値が閾値よりも大きいものの個数の時間推移を示す。丸印は前段の符号化処理においてＩピクチャであった位置である。そこで、ピクチャタイプ検出器５２は、前後のピクチャに比べて閾値よりも大きいＤＣＴ係数の個数が少ないピクチャ、もしくは閾値よりも小さいＤＣＴ係数の個数が多いピクチャをＩピクチャとして検出する。
【００３１】
また、前述した実施の形態１とこの実施の形態２を組み合わせることにより、検出の精度をさらに高めることも可能である。例えば図３と図５を併用するとＩピクチャの検出精度をより高めることができる。また、図５と図４を用いてＰピクチャも特定して検出することができる。
また、前処理部１３は、入力画像信号全体をＤＣＴ器５０に入力するのではなく、画面の一部を取り出して入力してもよい。処理量を削減することが可能となる。
【００３２】
また、上記実施の形態１および実施の形態２では、前処理部１３と符号化部１２を別のものとして説明を行ったが、符号化部１２が持つＤＣＴ器と前処理部１３のＤＣＴ器を共通のものとして使用することも可能である。この場合は共有化することによりＤＣＴ器の回路を減らすことが可能となる。
【００３３】
また、符号化部１２でＩピクチャとして処理される入力画像信号や、符号化部１２でＰピクチャやＢピクチャとして処理されるものであってもフレーム内符号化処理されるマクロブロックに対しては、前処理部のＤＣＴ器５０から出力されるＤＣＴ係数と同じものが符号化器１２の中で生成されることとなるため、ＤＣＴ器５０の結果をメモリ等に記憶しておき、再使用することも可能である。この場合、符号化器１２の中のＤＣＴの処理回数を減らすことが可能となる。
【００３４】
また、上記実施の形態１では、符号化制御部１１が制御する符号化パラメータとして「ピクチャタイプ」と「目標符号量」を例にして説明を行ったが、例えばＭＰＥＧ符号化の場合にピクチャ単位に設定が可能である「量子化マトリックス」や「可変長符号語テーブル選択番号」、「動きベクトル探索範囲」などの他の符号化パラメータを制御することも可能である。
【００３５】
【発明の効果】
以上のように、この発明によれば、入力画像信号を離散コサイン変換するＤＣＴ器と、前記ＤＣＴ器から出力されるＤＣＴ係数を用いてピクチャ毎の特徴量を計数するＤＣＴ係数カウンタと、前記ＤＣＴ係数カウンタから出力される特徴量を用いて前段の符号化処理におけるピクチャタイプを検出するピクチャタイプ検出器と、前記ピクチャタイプ検出器の検出結果に応じて再符号化時の符号化パラメータの決定を行う符号化制御部と、前記符号化制御部により決定された符号化パラメータを用いて再符号化処理を行う符号化部とを備えたので、符号化処理を経た画像信号を再符号化するに際して、画像信号からピクチャタイプを検出することにより、符号化効率を高めることができ、従来の再符号化装置に比べ、ピクチャタイプ検出器の処理回路及び処理量を削減する効果が得られる。
【００３６】
また、ピクチャタイプ検出器により検出するピクチャタイプとして、フレーム内符号化ピクチャ（Ｉピクチャ）、前方向フレーム間予測符号化ピクチャ（Ｐピクチャ）、両方向フレーム間予測符号化ピクチャ（Ｂピクチャ）の３種類のピクチャタイプのいずれか２つ以上を含むことにより、ＩピクチャとＰピクチャから構成される復号画像信号群やＩ・Ｐ・Ｂピクチャの３種類から構成される復号画像信号群に対して個々のピクチャタイプを検出することができる。
【００３７】
また、ＤＣＴ係数カウンタにより計数する特徴量として、ＤＣＴ係数の各周波数領域毎の絶対値和もしくは二乗和を求め、ピクチャタイプ検出器により、前記求められた絶対値和もしくは二乗和の時間変動に応じてピクチャタイプの検出を行うことにより、従来の再符号化装置に比べ少ない処理量でピクチャタイプを検出することができる。
【００３８】
また、ピクチャタイプ検出器により、高周波数領域の絶対値和もしくは二乗和が前後のピクチャよりも小さいピクチャをフレーム内符号化ピクチャとして検出することにより、フレーム内符号化ピクチャの検出をすることが可能である。
【００３９】
また、ピクチャタイプ検出器により、低周波数領域の絶対値和もしくは二乗和が前後のピクチャよりも大きいピクチャをフレーム内符号化ピクチャもしくは前方向フレーム間符号化ピクチャとして検出することにより、フレーム内符号化ピクチャと前方向フレーム間符号化ピクチャを検出することが可能であり、言い換えれば、両方向予測符号化ピクチャの検出が可能である。
【００４０】
また、ＤＣＴ係数カウンタにより計数する特徴量として、ＤＣＴ係数の絶対値があらかじめ設定されている閾値よりも大きいものの個数もしくは閾値よりも小さいものの個数を求め、ピクチャタイプ検出器により、前記求められた個数に応じてピクチャタイプの検出を行うことにより、フレーム内符号化ピクチャの検出を行うことが可能である。
【００４１】
また、ピクチャタイプ検出器により、ＤＣＴ係数の絶対値が閾値よりも大きいものの個数が少ないピクチャもしくは閾値よりも小さいものの個数が多いピクチャをフレーム内符号化ピクチャとして検出することにより、フレーム内符号化ピクチャの検出を行うことが可能である。
【００４２】
また、符号化制御部により、ピクチャタイプ検出器が検出したピクチャタイプを使用して符号化パラメータを決定することで、前段のピクチャタイプと同じピクチャタイプで符号化処理を行うことにより、画質劣化の少ない効率の良い再符号化処理を行うことが可能である。
【００４３】
さらに、符号化制御部により、ピクチャタイプ検出器が検出したピクチャタイプに応じて設定される目標発生符号量を使用して符号化パラメータを決定することで、前段のピクチャタイプと同じピクチャタイプで符号化処理を行うことにより、効率の良い再符号化処理を行うことが可能である。
【図面の簡単な説明】
【図１】 この発明の実施の形態１に係る画像信号の再符号化装置の構成を示す概略ブロック図である。
【図２】 図１のＤＣＴ器５０から出力される６４個のＤＣＴ計数の周波数特性を示す説明図である。
【図３】 ＤＣＴ計数の水平成分と垂直成分双方の高域成分（図３の斜線部分）の電力値を示す説明図である。
【図４】 ＤＣＴ係数の水平成分が低域で垂直成分が高域（図３の横線部分）の電力値またはＤＣＴ係数の水平成分が高域で垂直成分が低域（図３の縦線部分）の電力値を示した説明図である。
【図５】 ６４個のＤＣＴ係数に対してその絶対値成分があらかじめＤＣＴ係数カウンタに設定された閾値よりも大きいものの個数のピクチャ毎の変化を示した説明図である。
【図６】 特開平１０−３２８２９号公報に示された画像信号の再符号化装置の構成を示すブロック図である。
【符号の説明】
１１ 符号化制御部、１２ 符号化部、１３ 前処理部、５０ ＤＣＴ部、５１ ＤＣＴ係数カウンタ、５２ ピクチャタイプ検出器。
【発明の属する技術分野】
この発明は、符号化が施された後に一度復号された画像信号を再び符号化する際に、前段の符号化における符号化パラメータが得られなくても再度の符号化における符号化劣化を最小限に抑えることを可能とする画像信号の再符号化装置に関するものである。
【０００２】
【従来の技術】
デジタル画像信号の情報量を削減するための符号化手法が各種提案されており、国際標準として成立しているものも既に複数ある。このうち、フレーム間予測符号化の手法を取り入れた符号化方式（例えばＩＴＵ−Ｔ勧告のＨ．２６１やＨ．２６３、ＩＳＯ／ＩＥＣ標準のＭＰＥＧなど）により符号化されている画像信号を編集しようとした場合、符号化されているビットストリームの状態で行うには様々な制約が生じるため、一度復号して画像信号に戻してから編集を行い、再度符号化する手順を踏んだ方が作業が容易である。
【０００３】
しかし、符号化された画像信号を一度復号した後に再度符号化を行うと、通常著しい符号化劣化が生じる。
これを回避するためには、前段の符号化処理において使用された符号化パラメータと同じものを使用して再符号化処理を行うとよい、ということが知られている。符号化パラメータとしては、たとえばフレーム内予測（Ｉピクチャ）／前方向フレーム間予測（Ｐピクチャ）／両方向フレーム間予測（Ｂピクチャ）といった予測方式を示す「ピクチャタイプ」や、量子化処理に使用される「量子化ステップサイズ」、動き補償予測に使用される「動きベクトル」などが挙げられる。中でも「ピクチャタイプ」は、再符号化画像の画質に対する影響が最も大きく、重要なパラメータである。
【０００４】
これらのパラメータは、符号化ビットストリームを画像信号に復号する復号器から復号画像信号とともに出力することは可能であるが、復号器がパラメータ出力の機能を有していなかったり、出力されたパラメータデータが失われたりして復号画像信号しか得られない場合も想定される。
このような復号画像信号しか得られない場合に対して、復号画像信号からパラメータを抽出する手法として、例えば特開平１０−３２８２９号公報に示すものがある。
【０００５】
図６は、特開平１０−３２８２９号公報に示された再符号化装置の構成を示すブロック図である。
図６において、１０は前処理部、１１は符号化制御部、１２は符号化部を示し、前処理部１０は、フレーム内符号器２０、ＳＮＲ計算器２１、Ｉピクチャ検出器２２から構成される。
【０００６】
次に動作について説明する。
再符号化装置に入力される入力画像信号３１は、符号化されているビットストリームを図示しない復号器において復号した、少なくとも一度以上符号化処理を経た画像であるものとする。フレーム内符号器２０は、全ての入力画像信号３１を固定の量子化ステップサイズを用いてフレーム内符号化し、ビットストリーム４１を出力する。ＳＮＲ計算器２１は、符号化されたビットストリーム４１からＳＮＲ値を計算し、ＳＮＲ値４２を出力する。Ｉピクチャ検出器２２は、ＳＮＲ値４２の値からＩピクチャの位置を検出する。符号化制御部１１は、Ｉピクチャ検出器２２により検出された結果を用いて符号化部１２の符号化処理を制御する制御信号３２を出力する。符号化部１２は、制御信号３２に基づいて入力画像信号３１を符号化し、符号化ビットストリーム３３を出力する。
【０００７】
【発明が解決しようとする課題】
上述した従来例によれば、ＳＮＲ計算器２１は、画像信号のＳＮＲを測定するものとされているが、その手法は特に明記されていない。図６に示す装置構成では、ＳＮＲ計算器２１においてＳＮＲを測定するためには、入力されたビットストリーム４１を一旦復号して復号画像信号を得て、入力画像信号３１との間で演算処理（ＳＮＲを得るためには二乗差分和を求める）を行う必要がある。
【０００８】
また、フレーム内符号器２０は、ビットストリーム４１を出力する必要があるため、ＭＰＥＧなどの符号化方式を使用する場合には、少なくともＤＣＴ（離散コサイン変換）器、量子化器、可変長符号化（ＶＬＣ）器といった構成が必要となる。
【０００９】
このように、従来の再符号化装置には、前処理部のフレーム内符号器２０およびＳＮＲ計算器２１の装置構成は大きなものとなり、かつ演算量も膨大なものになる、という課題があげられる。また、Iピクチャの検出手法については明記されているが、Ｐピクチャ／Ｂピクチャの検出手法については明記されていない。
【００１０】
この発明は、上記課題を解決するためになされたもので、符号化処理を経た画像信号を再符号化するに際して、画像信号からピクチャタイプを検出することにより、符号化効率を高めることができる画像信号の再符号化装置を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号の再符号化装置は、符号化処理を経たインタレース形式の復号画像信号を入力画像信号として、再度の符号化処理を行う画像信号の再符号化装置において、前記入力画像信号を離散コサイン変換するＤＣＴ器と、前記ＤＣＴ器から出力されるＤＣＴ係数を用いてピクチャ毎の特徴量を計数するＤＣＴ係数カウンタと、前記ＤＣＴ係数カウンタから出力される特徴量を用いて前段の符号化処理におけるピクチャタイプを検出するピクチャタイプ検出器と、前記ピクチャタイプ検出器の検出結果に応じて再度の符号化処理時の符号化パラメータの決定を行う符号化制御部と、前記符号化制御部により決定された符号化パラメータを用いて再符号化処理を行う符号化部とを備え、前記ピクチャタイプ検出器は、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が小さい場合にフレーム内予測符号化ピクチャとして検出し、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が大きい場合に前方向フレーム間予測符号化ピクチャとして検出し、ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が小さい場合に両方向フレーム間予測ピクチャとして検出することを特徴とするものである。
【００１３】
また、前記ＤＣＴ係数カウンタは、計数する特徴量として、ＤＣＴ係数の周波数領域毎の絶対値和もしくは二乗和を求め、前記ピクチャタイプ検出器は、前記求められた絶対値和もしくは二乗和を時間的に前後のピクチャの特徴量との間で大小判定を行うことによりピクチャタイプの検出を行うことを特徴とするものである。
【００１９】
さらに、前記符号化制御部は、前記ピクチャタイプ検出器が検出したピクチャタイプに応じて設定される目標発生符号量を使用して符号化パラメータを決定することを特徴とするものである。
【００２１】
次に、動作について説明する。
前処理部１３のＤＣＴ器５０には入力画像信号３１が入力される。ＤＣＴ器５０は、通常の画像符号化で行われるものと同じ２次元ＤＣＴを行い、６４個の周波数成分で構成されるＤＣＴ係数６１を出力する。図２に、ＤＣＴ器５０から出力される６４個のＤＣＴ係数の周波数特性を示す。
【００２２】
ＤＣＴ係数カウンタ５１は、それぞれの周波数成分毎に絶対値和あるいは二乗和を各ピクチャ単位に求め、各周波数成分の電力値６２を出力する。あるいは各周波数成分毎に平均値を求め、平均値からの絶対値差分和あるいは二乗差分和を求めてもよい。
【００２３】
ピクチャタイプ検出器５２は、各ピクチャのピクチャタイプを検出する。
図３には、ＤＣＴ計数の水平成分と垂直成分双方の高域成分（図２の斜線部分）の電力値を示し、また、図４には、ＤＣＴ係数の水平成分が低域で垂直成分が高域（図２の横線部分）の電力値またはＤＣＴ係数の水平成分が高域で垂直成分が低域（図２の縦線部分）の電力値を示すもので、前段の符号化処理においてＩピクチャとなっているピクチャは、例えば図３のグラフの丸印に示すように、ＰピクチャやＢピクチャに比べてＤＣＴ係数の高周波成分に乏しい傾向があるため、前後のピクチャに比べて高周波成分の電力値６２が小さいピクチャをＩピクチャとして検出する。すなわち、前後のピクチャの電力値の偏差が予め設定された設定値よりも小さいピクチャをＩピクチャとして検出する。
【００２４】
また、前段の符号化処理において、ＩピクチャやＰピクチャとなっているピクチャは、例えば図４のグラフの丸印に示すように、ＤＣＴ係数の低周波成分の電力値がＢピクチャに比べて大きくなる傾向があるため、前後のピクチャに比べて電力値６２が大きいピクチャをＩピクチャもしくはＰピクチャとして検出する。すなわち、前後のピクチャの電力値の偏差が予め設定された設定値よりも大きいピクチャをＩピクチャもしくはＰピクチャとして検出する。このため、図３と図４を組み合わせれば、図３からＩピクチャが検出されるので、図４からＩピクチャとして検出された丸印の位置を除けばＰピクチャを特定して検出することができる。
【００２５】
符号化制御部１１は、ピクチャタイプ検出器５２で検出されたピクチャタイプに応じて各種符号化パラメータの設定を行い、符号化部１２の符号化処理の制御を行う。
【００２６】
符号化制御部１１は、ピクチャタイプ検出器５２で検出されたピクチャタイプと同じピクチャタイプで符号化処理を行うよう制御する。これにより、画質劣化の少ない再符号化処理が実行できる。
また、符号化制御部１１は、検出されたピクチャタイプに応じて目標符号量を設定して符号化部の制御を行う。これにより、再符号化処理により出力されるビットストリーム３３のビットレートに適した符号量配分が実行できる。
【００２７】
６４個の周波数成分のうちの複数のＤＣＴ係数に対して低周波成分（例えば図２の無印部分１６個）・高周波成分（例えば図２の斜線部分１６個）としてあらかじめ指定しておき、ＤＣＴ係数カウンタ５１ではこれらの複数の係数をまとめて絶対値和・二乗和を求める方法も有効である。この場合、出力される電力値６２は６４個ではなく、あらかじめ指定された成分数だけ出力される。
【００２８】
ひとつのフレーム信号が２つのフィールド信号から構成されるインタレース信号の場合、２つのフィールド信号を個別に符号化する方法（ＭＰＥＧ−２の場合、フィールド構造と呼ばれる）と、ひとつにまとめて符号化する方法（ＭＰＥＧ−２の場合、フレーム構造と呼ばれる）がある。フレーム構造の場合は、２つのフィールド信号が交互に配置されるため、ひとつのブロックが画面に対して占める大きさは水平・垂直ともにほぼ等しい正方形に近い状態となる。フィールド構造の場合には、一方のフィールド信号のみで構成されるため垂直方向が水平方向に比べてほぼ倍の大きさになる縦長の長方形の状態になる。そのため、インタレース信号の場合にはフィールド構造・フレーム構造ともに垂直方向の相関が水平方向に比べて低くなることが知られている。
【００２９】
そのため、入力画像信号がインタレース信号の場合には、垂直方向の高周波成分については多くの信号が発生するため垂直方向の低周波成分・高周波成分を用いた検出は行わず、水平方向の低周波成分（例えば図２の横線部分の領域）と高周波成分（図２の斜線部分の領域）を利用してピクチャタイプの検出を行う。これにより、検出の精度を高めることが可能となる。
【００３０】
実施の形態２．
次に、実施の形態２に係る画像信号の再符号化装置について説明する。
実施の形態２に係る画像信号の再符号化装置の構成は図１に示す実施の形態１と同じである。
ここで、実施の形態２に係るＤＣＴ係数カウンタ５１には、あらかじめ閾値が設定されており、６４個のＤＣＴ係数に対してその絶対値成分が閾値よりも大きいもの、もしくは小さいものの個数を求めるようになされている。
前段の符号化処理においてＩピクチャとなっているピクチャは、ＰピクチャやＢピクチャに比べて０もしくは０近傍の値を持つＤＣＴ係数が多く発生する傾向がある。図５には、ＤＣＴ係数の絶対値が閾値よりも大きいものの個数の時間推移を示す。丸印は前段の符号化処理においてＩピクチャであった位置である。そこで、ピクチャタイプ検出器５２は、前後のピクチャに比べて閾値よりも大きいＤＣＴ係数の個数が少ないピクチャ、もしくは閾値よりも小さいＤＣＴ係数の個数が多いピクチャをＩピクチャとして検出する。
【００３１】
また、前述した実施の形態１とこの実施の形態２を組み合わせることにより、検出の精度をさらに高めることも可能である。例えば図３と図５を併用するとＩピクチャの検出精度をより高めることができる。また、図５と図４を用いてＰピクチャも特定して検出することができる。
また、前処理部１３は、入力画像信号全体をＤＣＴ器５０に入力するのではなく、画面の一部を取り出して入力してもよい。処理量を削減することが可能となる。
【００３２】
また、上記実施の形態１および実施の形態２では、前処理部１３と符号化部１２を別のものとして説明を行ったが、符号化部１２が持つＤＣＴ器と前処理部１３のＤＣＴ器を共通のものとして使用することも可能である。この場合は共有化することによりＤＣＴ器の回路を減らすことが可能となる。
【００３３】
また、符号化部１２でＩピクチャとして処理される入力画像信号や、符号化部１２でＰピクチャやＢピクチャとして処理されるものであってもフレーム内符号化処理されるマクロブロックに対しては、前処理部のＤＣＴ器５０から出力されるＤＣＴ係数と同じものが符号化器１２の中で生成されることとなるため、ＤＣＴ器５０の結果をメモリ等に記憶しておき、再使用することも可能である。この場合、符号化器１２の中のＤＣＴの処理回数を減らすことが可能となる。
【００３４】
また、上記実施の形態１では、符号化制御部１１が制御する符号化パラメータとして「ピクチャタイプ」と「目標符号量」を例にして説明を行ったが、例えばＭＰＥＧ符号化の場合にピクチャ単位に設定が可能である「量子化マトリックス」や「可変長符号語テーブル選択番号」、「動きベクトル探索範囲」などの他の符号化パラメータを制御することも可能である。
【００３５】
【発明の効果】
以上のように、この発明によれば、入力画像信号を離散コサイン変換するＤＣＴ器と、前記ＤＣＴ器から出力されるＤＣＴ係数を用いてピクチャ毎の特徴量を計数するＤＣＴ係数カウンタと、前記ＤＣＴ係数カウンタから出力される特徴量を用いて前段の符号化処理におけるピクチャタイプを検出するピクチャタイプ検出器と、前記ピクチャタイプ検出器の検出結果に応じて再符号化時の符号化パラメータの決定を行う符号化制御部と、前記符号化制御部により決定された符号化パラメータを用いて再符号化処理を行う符号化部とを備えたので、符号化処理を経た画像信号を再符号化するに際して、画像信号からピクチャタイプを検出することにより、符号化効率を高めることができ、従来の再符号化装置に比べ、ピクチャタイプ検出器の処理回路及び処理量を削減する効果が得られる。
【００３６】
また、ピクチャタイプ検出器により検出するピクチャタイプとして、フレーム内符号化ピクチャ（Ｉピクチャ）、前方向フレーム間予測符号化ピクチャ（Ｐピクチャ）、両方向フレーム間予測符号化ピクチャ（Ｂピクチャ）の３種類のピクチャタイプのいずれか２つ以上を含むことにより、ＩピクチャとＰピクチャから構成される復号画像信号群やＩ・Ｐ・Ｂピクチャの３種類から構成される復号画像信号群に対して個々のピクチャタイプを検出することができる。
【００３７】
また、ＤＣＴ係数カウンタにより計数する特徴量として、ＤＣＴ係数の各周波数領域毎の絶対値和もしくは二乗和を求め、ピクチャタイプ検出器により、前記求められた絶対値和もしくは二乗和の時間変動に応じてピクチャタイプの検出を行うことにより、従来の再符号化装置に比べ少ない処理量でピクチャタイプを検出することができる。
【００３８】
また、ピクチャタイプ検出器により、高周波数領域の絶対値和もしくは二乗和が前後のピクチャよりも小さいピクチャをフレーム内符号化ピクチャとして検出することにより、フレーム内符号化ピクチャの検出をすることが可能である。
【００３９】
また、ピクチャタイプ検出器により、低周波数領域の絶対値和もしくは二乗和が前後のピクチャよりも大きいピクチャをフレーム内符号化ピクチャもしくは前方向フレーム間符号化ピクチャとして検出することにより、フレーム内符号化ピクチャと前方向フレーム間符号化ピクチャを検出することが可能であり、言い換えれば、両方向予測符号化ピクチャの検出が可能である。
【００４０】
また、ＤＣＴ係数カウンタにより計数する特徴量として、ＤＣＴ係数の絶対値があらかじめ設定されている閾値よりも大きいものの個数もしくは閾値よりも小さいものの個数を求め、ピクチャタイプ検出器により、前記求められた個数に応じてピクチャタイプの検出を行うことにより、フレーム内符号化ピクチャの検出を行うことが可能である。
【００４１】
また、ピクチャタイプ検出器により、ＤＣＴ係数の絶対値が閾値よりも大きいものの個数が少ないピクチャもしくは閾値よりも小さいものの個数が多いピクチャをフレーム内符号化ピクチャとして検出することにより、フレーム内符号化ピクチャの検出を行うことが可能である。
【００４２】
また、符号化制御部により、ピクチャタイプ検出器が検出したピクチャタイプを使用して符号化パラメータを決定することで、前段のピクチャタイプと同じピクチャタイプで符号化処理を行うことにより、画質劣化の少ない効率の良い再符号化処理を行うことが可能である。
【００４３】
さらに、符号化制御部により、ピクチャタイプ検出器が検出したピクチャタイプに応じて設定される目標発生符号量を使用して符号化パラメータを決定することで、前段のピクチャタイプと同じピクチャタイプで符号化処理を行うことにより、効率の良い再符号化処理を行うことが可能である。
【図面の簡単な説明】
【図１】 この発明の実施の形態１に係る画像信号の再符号化装置の構成を示す概略ブロック図である。
【図２】 図１のＤＣＴ器５０から出力される６４個のＤＣＴ計数の周波数特性を示す説明図である。
【図３】 ＤＣＴ計数の水平成分と垂直成分双方の高域成分（図３の斜線部分）の電力値を示す説明図である。
【図４】 ＤＣＴ係数の水平成分が低域で垂直成分が高域（図３の横線部分）の電力値またはＤＣＴ係数の水平成分が高域で垂直成分が低域（図３の縦線部分）の電力値を示した説明図である。
【図５】 ６４個のＤＣＴ係数に対してその絶対値成分があらかじめＤＣＴ係数カウンタに設定された閾値よりも大きいものの個数のピクチャ毎の変化を示した説明図である。
【図６】 特開平１０−３２８２９号公報に示された画像信号の再符号化装置の構成を示すブロック図である。
【符号の説明】
１１ 符号化制御部、１２ 符号化部、１３ 前処理部、５０ ＤＣＴ部、５１ ＤＣＴ係数カウンタ、５２ ピクチャタイプ検出器。
Claims (2)
- 符号化処理を経たインタレース形式の復号画像信号を入力画像信号として、再度の符号化処理を行う画像信号の再符号化装置において、
前記入力画像信号を離散コサイン変換するＤＣＴ器と、
前記ＤＣＴ器から出力されるＤＣＴ係数を用いてピクチャ毎の特徴量を計数するＤＣＴ係数カウンタと、
前記ＤＣＴ係数カウンタから出力される特徴量を用いて前段の符号化処理におけるピクチャタイプを検出するピクチャタイプ検出器と、
前記ピクチャタイプ検出器の検出結果に応じて再度の符号化処理時の符号化パラメータの決定を行う符号化制御部と、
前記符号化制御部により決定された符号化パラメータを用いて再符号化処理を行う符号化部と
を備え、
前記ピクチャタイプ検出器は、
ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が小さい場合にフレーム内予測符号化ピクチャとして検出し、
ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が大きく、かつ水平方向が高周波成分でかつ垂直方向が高周波成分の特徴量が大きい場合に前方向フレーム間予測符号化ピクチャとして検出し、
ＤＣＴ係数の水平方向が高周波成分でかつ垂直方向が低周波成分の特徴量が小さい場合に両方向フレーム間予測ピクチャとして検出する
ことを特徴とする画像信号の再符号化装置。 - 請求項１に記載の画像信号の再符号化装置において、
前記ＤＣＴ係数カウンタは、計数する特徴量として、ＤＣＴ係数の周波数領域毎の絶対値和もしくは二乗和を求め、
前記ピクチャタイプ検出器は、前記求められた絶対値和もしくは二乗和を時間的に前後のピクチャの特徴量との間で大小判定を行うことによりピクチャタイプの検出を行う
ことを特徴とする画像信号の再符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000322469A JP4107544B2 (ja) | 2000-10-23 | 2000-10-23 | 画像信号の再符号化装置 |
| US09/982,008 US7062102B2 (en) | 2000-10-23 | 2001-10-19 | Apparatus for re-coding an image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000322469A JP4107544B2 (ja) | 2000-10-23 | 2000-10-23 | 画像信号の再符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002135779A JP2002135779A (ja) | 2002-05-10 |
| JP4107544B2 true JP4107544B2 (ja) | 2008-06-25 |
Family
ID=18800345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000322469A Expired - Lifetime JP4107544B2 (ja) | 2000-10-23 | 2000-10-23 | 画像信号の再符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7062102B2 (ja) |
| JP (1) | JP4107544B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006011197A1 (ja) * | 2004-07-27 | 2008-05-01 | 三菱電機株式会社 | 符号化データ再符号化装置及びその復号装置並びにプログラム |
| DE602005015067D1 (de) | 2004-09-30 | 2009-08-06 | Toshiba Kk | Informationsbearbeitungsgerät und Programm |
| GB2447057A (en) * | 2007-02-28 | 2008-09-03 | Tandberg Television Asa | Picture encoding type detection. |
| JP5581664B2 (ja) * | 2009-11-20 | 2014-09-03 | 富士通株式会社 | 画像処理装置、及び画像処理方法 |
| JP6613720B2 (ja) * | 2015-08-26 | 2019-12-04 | 沖電気工業株式会社 | 画像処理装置、プログラム及び方法 |
| JP7079631B2 (ja) * | 2018-03-19 | 2022-06-02 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理方法、コンピュータプログラムおよび記録媒体 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3002019B2 (ja) * | 1991-07-04 | 2000-01-24 | 富士通株式会社 | セル廃棄補償機能を有する画像符号化伝送方式 |
| JPH0595540A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化装置 |
| JPH06292019A (ja) * | 1993-04-02 | 1994-10-18 | Fujitsu Ltd | 画像データ圧縮装置と画像符号圧縮装置 |
| US5552832A (en) * | 1994-10-26 | 1996-09-03 | Intel Corporation | Run-length encoding sequence for video signals |
| JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| JP3956323B2 (ja) | 1996-07-16 | 2007-08-08 | Ｋｄｄｉ株式会社 | 画像情報の再符号化方法及び装置 |
| US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6496228B1 (en) * | 1997-06-02 | 2002-12-17 | Koninklijke Philips Electronics N.V. | Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| US6785429B1 (en) * | 1998-07-08 | 2004-08-31 | Matsushita Electric Industrial Co., Ltd. | Multimedia data retrieval device and method |
| GB9822092D0 (en) * | 1998-10-09 | 1998-12-02 | Snell & Wilcox Ltd | Analysis of compression decoded sequences |
| JP4511649B2 (ja) | 1999-02-03 | 2010-07-28 | 三菱電機株式会社 | 画像符号化方式および画像符号化装置 |
| EP1032203A3 (en) * | 1999-02-26 | 2002-11-06 | Sony Corporation | Data transmitting apparatus and method thereof, recording apparatus, and recording and reproducing apparatus |
| JP3807157B2 (ja) * | 1999-06-25 | 2006-08-09 | 日本ビクター株式会社 | 符号化装置及び符号化方法 |
-
2000
- 2000-10-23 JP JP2000322469A patent/JP4107544B2/ja not_active Expired - Lifetime
-
2001
- 2001-10-19 US US09/982,008 patent/US7062102B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002135779A (ja) | 2002-05-10 |
| US7062102B2 (en) | 2006-06-13 |
| US20020051580A1 (en) | 2002-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11089311B2 (en) | Parameterization for fading compensation | |
| JP6618439B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置および動画像復号方法 | |
| JP4339680B2 (ja) | ビデオ圧縮フレームの補間 | |
| JP4901772B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| KR100987765B1 (ko) | 동영상 부호화기에서의 예측 수행 방법 및 장치 | |
| US20070002945A1 (en) | Intra-coding apparatus and method | |
| EP1359765B1 (en) | Fading estimation/compensation in video encoding | |
| EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
| US20090141808A1 (en) | System and methods for improved video decoding | |
| KR20040060982A (ko) | 압축된 영상 데이터의 객관적 품질 평가 방법 및 시스템 | |
| KR20040047977A (ko) | 공간적으로 스케일가능한 압축 | |
| KR20040060980A (ko) | 압축되지 않은 디지털 비디오로부터 인트라-코딩된화상들을 검출하고 인트라 ｄｃｔ 정확도 및매크로블록-레벨 코딩 파라메터들을 추출하는 방법 및시스템 | |
| JPH10322696A (ja) | 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法 | |
| JP4107544B2 (ja) | 画像信号の再符号化装置 | |
| KR101490686B1 (ko) | 비디오 인코딩 장치 및 방법 | |
| JP2003169332A (ja) | 画像符号化方法及び画像復号化方法 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP4217011B2 (ja) | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 | |
| JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| JP3354691B2 (ja) | 動画像ブロック判定回路 | |
| JPH1056646A (ja) | 映像信号復号化装置 | |
| JP4031231B2 (ja) | 符号化パラメータの解析装置 | |
| JP2011091732A (ja) | 動画像復号処理装置およびその動作方法 | |
| JP2008245237A (ja) | 画像処理方法、画像処理装置およびそれを用いた撮像装置 | |
| JP2002374536A (ja) | 符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080328 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4107544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |