JP4332246B2 - 画像処理装置、方法、及び記録媒体 - Google Patents
画像処理装置、方法、及び記録媒体 Download PDFInfo
- Publication number
- JP4332246B2 JP4332246B2 JP754999A JP754999A JP4332246B2 JP 4332246 B2 JP4332246 B2 JP 4332246B2 JP 754999 A JP754999 A JP 754999A JP 754999 A JP754999 A JP 754999A JP 4332246 B2 JP4332246 B2 JP 4332246B2
- Authority
- JP
- Japan
- Prior art keywords
- base layer
- data
- image
- scalable
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に関し、特に階層符号化により互いに異なる複数のスケーラビリティをもって画像を処理する装置、及び方法に関するものである。
【０００２】
【従来の技術】
従前より動画像の符号化方式としてＭＰＥＧ２と呼ばれる方式が知られているが、このＭＰＥＧ２方式にあっては、空間スケーラビリティとＳＮ比スケーラビリティと称される２つのスケーラビリティによって、同一画像に対して二種類の空間的、時間的解像度の異なる符号化データを伝送可能とし、復号側の選択により低解像度画像と高解像度画像を選択して復号することができる。
【０００３】
ここでＭＰＥＧ２に於ける空間スケーラビリティとは、原画像を任意の手段にて低解像度化した画像を符号化した符号化データと、前記低解像度画像をアップンサンプルして原画像と同サイズとして画像と、原画像のフレーム（又はフィールド）間の両方を予測対象として符号化した高解像度画像の符号化データとを伝送するもので、復号側では、復号画像の解像度（高低）を選択可能である。
【０００４】
また、ＭＰＥＧ２の於けるＳＮ比スケーラビリティは、原画像のＤＣＴ係数を任意の量子化ステップで量子化したもの（低画質）と、前記符号化データを復号化し、原画像から差し引いた差分を前記符号化されたデータよりも小さいステップサイズで量子化したもの（高画質）を独立に符号化して両方とも伝送し、復号側では低画質画像と高画質画像を選択して復号することが可能である。
【０００５】
ここで、以下、本明細書においては、各スケーラビリティにおいて、復号した画質が異なる２つの動画像情報のうち、低画質画像の方をベース・レイヤ、前記ベース・レイヤと組み合わせることにより高画質復号画像を実現する差分又は付加情報をエンハンスメント・レイヤと称する。
【０００６】
また、空間スケーラビリティを用いて、サイズ（又は解像度）の異なる２種類の画像（ベース・レイヤとエンハンスメント・レイヤ）を同時に圧縮符号化し、復号化装置側では、復号化回路及び画像表示装置等の性能に応じて、ベース・レイヤから空間解像度が低い画像を復元するか、ベース・レイヤ及びエンハンスメント・レイヤの両方からの高解像度の画像を復元するかを選択する方法も知られている。
【０００７】
空間スケーラビリティをＨＤＴＶとＮＴＳＣ画像信号を例に、図１を参照して説明する。原画像がＨＤＴＶ画像（１４４０×１１５２画素）とした場合、原画像データをＸ，Ｙ方向共に１／２に間引いた７２０×５７６画素の画像をベース・レイヤとする。原画像の前方予測（Ｐ）及び双方向予測（Ｂ）に加え、ベース・レイヤを原画像と同サイズにアップ・サンプルした画像（拡張ベース・レイヤ）も予測（比較）対象として符号化したものをエンハンスメント・レイヤという。
【０００８】
更に、ＳＮ比スケーラビリティを用いて、符号量（具体的には、量子化ステップ）が異なる２種類の画像（ベース・レイヤとエンハンスメント・レイヤ）を同時に圧縮し、復号化装置側では復号化回路の処理能力に応じて、ベース・レイヤから低レート（低画質）の画像を復元し、ベース・レイヤとエンハンスメント・レイヤの両方から高レート（高画質）の画像を復元する方法も、知られている。
【０００９】
ＳＮ比スケーラビリティについて簡単に説明する。図２はＳＮ比スケーラビリティの概念図を示す。同一の画像に対して、互いに異なる２種類の量子化係数を適用して、同一画像で圧縮比の異なる圧縮画像情報を生成する。この時、圧縮比の大きい画像情報、即ち、低ビットレートで低画質の画像情報をベースレイヤ、圧縮比の小さい画像情報、即ち、高ビットレートで高画質の画像情報と前記ベース・レイヤの画像情報との差分をエンハンスメント・レイヤと定義し、復号化装置側では、ベース・レイヤの画像情報とエンハンスメント・レイヤの画像情報をを加算したものが低圧縮比の高画質画像となる。
【００１０】
【発明が解決しようとする課題】
このように、ＭＰＥＧ２方式で空間スケーラビリティ又はＳＮ比スケーラビリティを使用する場合、空間スケーラビリティ及びＳＮ比スケーラビリティの何れか一方のみを選択可能であった。従って、従来の符号化装置では、同時に複数のスケーラビリティを使用して画像データを符号化することは不可能である。換言すると、１つの画像シーケンスに於いて、指定できるスケーラビリティは１種類のみである。また、何れか１つのスケーラビリティを使用して符号化された画像情報を受信した復号化装置側では、画質の選択枝は次の２種類のみである。即ち、ベース・レイヤのみから復号化した低画質画像か又は、ベース・レイヤから復号化した画像とエンハンスメント・レイヤから復号化した画像を合成した高画質画像である。
【００１１】
即ち、従来例では、復号化装置の性能や受信者のニーズに応じて画質又は復号化速度を選択できないという問題点があった。
【００１２】
上述の如き問題は、例示したＭＰＥＧ２のみならず所謂階層符号化を２種類以上のファクタに対して行う場合に共通の課題であることは明らかであろう。
【００１３】
本発明は上述した様な問題点を解決することを目的とする。
【００１４】
本発明は、受信側で任意のスケーラブルファクタを選択することのでき、しかも伝送データ量を最小限に抑えることのできる画像処理装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上述の如き目的下において、本発明の画像処理装置は、入力された画像データを第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して、単一のベースレイヤを形成するベースレイヤ形成手段と、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した前記入力画像データと、当該単一のベースレイヤとを用いて、前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤを形成する第１のエンハンスメントレイヤ形成手段と、前記ベースレイヤ及びエンハンスメントレイヤを高能率符号化する符号化手段を有することを特徴とする。
【００１６】
また、本発明の画像処理装置は、入力されたデータから、第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して得たベースレイヤのデータを抽出し、当該抽出されたベースレイヤのデータから画像信号を復元する復元手段と、前記入力データから、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した画像データと当該ベースレイヤとを用いて形成された前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤのデータを抽出し、前記ベースレイヤのデータと前記エンハンスメントレイヤのデータとから前記第１のスケーラブルファクタについて、前記復元されたベースレイヤの画像信号より情報量の多い複数の画像信号を形成する形成手段とを有することを特徴とする。
【００１７】
上述の如き装置を提示することにより、伝送するデータ量は最小限に抑え、様々なスケーラブルファクタにおける情報量の多い画像を受信側で任意に選択できるようにした。また、受信側での画像選択に適したシステムを構築した。
【００１８】
【発明の実施の形態】
以下、本発明をその好適なる態様を示す実施例についてのみ、図面を参照して詳細に説明する。
【００１９】
図３は、本発明の一実施例の符号化装置の概略構成ブロック図を示し、図４は、この符号化装置に対応する復号化装置の概略構成ブロック図を示す。共に、ＮＴＳＣ信号などのインターレース画像信号を扱う。本実施例では、空間スケーラビリティと時間スケーラビリティを併用する。
【００２０】
ここで、時間スケーラビリティについて図４を用いて説明する。図４に於いて、図示の如く２フレーム毎に原画像を平均化したり、フレーム間引することにより得た画像群をベースレイヤとする。そして、全フレームについての原画像を、図示の様にベースレイヤ中の時間軸が近接したフレームと全フレーム中の時間軸が近接したフレームとから予測し、予測差分をとって符号化したものをエンハンスメントレイヤとする。これによって時間軸方向について低解像度のベイスレイヤと、これを用いて時間軸方向に高解像度のエンハンスメントレイヤとが得られる。
【００２１】
先ず、図３を説明する。１０はＲＧＢ画像データを４：２：０のＹＣｂＣｒ画像データに変換する変換回路、１２は、変換回路１０の出力データを、スケーラビリティの使用及び不使用並びに、使用するモードを選択するスケーラビリティ選択器、１４は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から空間スケーラビリティに対応するエンハンスメント・レイヤのデータを生成する空間スケーラビリティ・エンハンスメント・レイヤ生成回路、１６は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から空間及び時間の各スケーラビリティに共通するベース・レイヤのデータを生成する共通ベース・レイヤ生成回路、１８は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から時間スケーラビリティに対応するエンハンスメント・レイヤのデータを生成する時間スケーラビリティ・エンハンスメント・レイヤ生成回路である。
【００２２】
２０は、生成回路１４，１６，１８の出力及びスケーラビリティ選択器１２のスケーラビリティ不使用時の出力を、１フレーム又は１フイールド毎に水平垂直共に各ｎ（ｎ≧２）画素のブロックを単位にブロック分割し、更に、Ｙ、Ｃｂ及びＣｒ独立にこのブロックをそれぞれａ個、ｂ個及びｃ個まとめてマクロブロックとして出力するブロック化処理回路であり、生成回路１４，１６，１８の出力及びスケーラビリティ選択器１２のスケーラビリティ不使用時の出力に応じた４つのブロック化回路２０ａ，２０ｂ，２０ｃ，２０ｄを具備する。
【００２３】
２２は、ブロック化処理回路１１８から出力されるＹＣｒＣｂのブロック・データをマクロブロックを符号化単位としてＭＰＥＧ２方式として周知の符号化方式で圧縮符号化する符号化回路である。符号化回路２２は、具体的には、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ）の選択）、直交変換（ＤＣＴ）、量子化及び可変長符号化を併用して、ブロック化処理回路２０からの画像データを圧縮符号化する。
【００２４】
ＲＧＢ／ＹＣｂＣｒ変換回路１０は、各８ビットのＲＧＢ画像信号を各８ビットで４：２：０のＹＣｂＣｒ信号に変換する。
【００２５】
符号化の際にスケーラビリティを使用する場合、スケーラビリティ選択器１２は、変換回路１０の出力を各生成回路１４，１６，１８に印加し、生成回路１４，１６，１８はそれぞれ、空間スケーラビリティのエンハンスメント・レイヤ、共通ベース・レイヤ及び時間スケーラビリティ・エンハンスメント・レイヤを生成し、ブロック化処理回路２０に印加する。
【００２６】
ブロック化処理回路２０は、入力画像データを１フレーム又は１フイールド毎に水平垂直共に各ｎ画素のブロックを単位にブロック分割し、更に、Ｙ、Ｃｂ及びＣｒ独立にこのブロックをそれぞれａ個、ｂ個及びｃ個まとめてマクロブロックとして出力する回路であり、上述のように、各レイヤ用とスケーラビリティの不使用とで合計４つのブロック化回路２０ａ，２０ｂ，２０ｃ，２０ｄを具備する。
【００２７】
ブロック化処理回路２０のブロック化回路２０ａ〜２０ｃは生成回路１４，１６，１８からの各レイヤのデータを上述の様にブロック化して符号化回路２２に印加し、符号化回路２２は、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ））の選択の下で予測処理を行った後、直交変換（ＤＣＴ）、量子化及び可変長符号化により、ブロック化回路２０ａ〜２０ｃの出力データを圧縮符号化する。
【００２８】
スケーラビリティを使用しない場合（ノーマル・モード）、スケーラビリティ選択器１２は、変換回路１０の出力をそのままブロック化処理回路２０のブロック化回路２０ｄに供給する。符号化回路２２は、ブロック化回路２０ｄからのブロック・データを、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ））の選択の下で予測処理を行った後、直交変換（ＤＣＴ）、量子化及び可変長符号化により圧縮符号化する。
【００２９】
ここで、図５及び図６を用いて本実施例における空間スケーラビリティ・エンハンストメントレイヤ、共通ベースレイヤ、時間スケーラビリティ・エンハンストメントレイヤについて、更に詳細に説明する。
【００３０】
図５は図３の回路１４，１６，１８を含む要部の詳細を示すブロック図であり、図６は図５の動作を説明するための概念図である。図中、回路１４ａ，１４ｂ，１４ｃ，１４ｄは夫々図３における回路１４に含まれ、回路１６ａは図３における回路１６に含まれ、回路１８ａ，１８ｂ，１８ｃは図３における回路１８に含まれる。
【００３１】
図６に示すように、時間解像度及び空間解像度が共に高い原画像群が図３のスケーラビリティ選択器１２から入力されると、フレーム間引き回路１４ａにおいては、隣接２フレームの平均をとるなどの時間方向のローパスフィルタリングを施した後、隣接２フレームの１フレームを間引くことにより原画像群の時間解像度を１／２とする。また、画素間引き回路１８ａは原画像を２次元ローパスフィルタにて帯域制限した後、サブサンプリングなどにより画素間引きを行って原画像群の空間解像度を例えば１／２に低下させる。
【００３２】
更に、フレーム＋画素間引き回路１６ａにおいては上記２つの処理を連続して行うことによって、原画像の空間解像度及び時間解像度の双方を低下させ、図６に示す共通ベースレイヤを得る。ここで、回路１６ａは、その回路規模の節約のために、回路１４ａもしくは回路１８ａの出力を利用し、回路１４ａの出力を不図示の画素間引き回路に導いたり，回路１８ａの出力を不図示のフレーム間引き回路に導くことによっても実現可能である。
【００３３】
共通ベースレイヤの画像群とフレーム間引き回路１４ａの出力する画像群はフレームレートが等しく、各フレームの画素数が異なるので、共通ベースレイヤの画像は画像補間回路１４ｃに導かれ、画素数を回路１４ａの出力と一致させる。このようにして共通ベースレイヤの各画面の画素数を単純に増やした画像群を本実施例では拡張ベースレイヤと呼ぶことにする。そして、予測回路１４ｄはこの拡張ベースレイヤの画像に基づいてフレーム間引き回路１４ａの出力を予測し、この予測値とフレーム間引き回路１４ａとの差分が差分回路１４ｂにて演算される。
【００３４】
ここで、予測は、単純には図６に示すように時間的に対応する拡張ベースレイヤの画像とフレーム間引き回路１４ａの出力との差分をとるだけでいいが、拡張ベースレイヤの画像を複数用いて予測することも可能である。
【００３５】
上記差分回路１４ｂの出力する差分値は、空間エンハンストメント・レイヤの画像群としてブロック化回路２０ａに供給される。また、前述の共通ベースレイヤの画像群はブロック化回路２０ｂに供給される。
【００３６】
一方、画素間引き回路１８ａの出力する画像は、共通ベースレイヤの画像群と画素数が共通であるため、予測回路１８ｂにおいて図示の如く予測を行うことができ、差分回路１８ｃにおいてその予測画面との差分をとられる。この差分回路１８ｃの出力は時間エンハンスメントレイヤとしてブロック化回路２０ｃに供給される。
【００３７】
本実施例においては、図６にハッチングで示す予測はＤＣＴ変換後に量子化した値から局部復号値を演算し、その復号値を元に予測差分を行う。即ち、このような処理は図３における符号化回路２２内部で行われる。このように本実施例においては、ブロック化前、即ちＤＣＴ変換前のラスタ画像の状態で、時間エンハンスメントレイヤと空間エンハンスメントレイヤとを形成したが、ＤＣＴ変換後にＤＣＴ係数を量子化したデータを一旦局部復号した値を用いて予測値を計算することで、時間エンハンスメントレイヤと空間エンハンスメントレイヤとを形成することも可能である。この場合には、ハッチングにて示す予測処理を組み合わせて単一の差分回路により構成することも可能である。
【００３８】
また、上記実施例においては、空間エンハンスメントレイヤと時間エンハンスメントレイヤのみを設ける構成としたが、更に上記共通ベースレイヤからＳＮエンハンスメントレイヤを設けるように構成することも可能である。更に、これら３つのエンハンスメントレイヤ中の任意の２つを設ける構成としたり、任意の２つの組み合わせによりなるエンハンスメントレイヤを複数設ける構成とすることも可能である。
【００３９】
上述の如く構成した、符号化側の装置によれば、複数のスケーラビリティを復号側で任意に選択することができ、様々なユーザーの要求に対応することができる。また、各エンハンスメントレイヤを形成する際に利用するベースレイヤとしては共通のものを利用する構成としているので、送信側の回路構成を最小限にすることができ、更に送信するデータ量も最小限にすることが可能である。
【００４０】
次に図７について説明する。３０は図３に示す符号化装置からのＭＰＥＧ２ビットストリーム・データを復号化する復号化装置、３２は、図３に示す符号化装置からのＭＰＥＧ２ビットストリームのヘッダ情報を読み取り、復号化回路３０での復号化処理を含めて図７に示す復号化装置の全体的に動作を制御する制御情報検出回路、３４は復号化回路３０により復号化された画像データをラスタリングすると共に、制御情報検出回路３２で検出されたスケーラビリティ・フラグに基づいて以後の処理経路を選択するラスタリング／選択回路である。
【００４１】
３６は、図３に示す符号化装置の共通ベース・レイヤ生成回路１６の出力に相当するラスタ化／選択回路３４の出力から共通ベース・レイヤのデータを復元する共通ベース・レイヤ復元回路である。
【００４２】
３８は、共通ベース・レイヤ復元回路３６で得られる拡張ベースレイヤの画像データを参照し、図３に示す符号化装置の空間スケーラビリティ・エンハンスメント・レイヤ生成回路１４の出力に相当するラスタ化／選択回路３４の出力から空間スケーラビリティ・エンハンスメント・レイヤのデータから高空間解像度の画像復元する空間スケーラビリティ・エンハンスメント・レイヤ復元回路である。
【００４３】
４０は、共通ベース・レイヤ生成回路１６の出力に相当する共通ベースレイヤ復元回路３６に入力される情報を参照し、図３に示す符号化装置の時間スケーラビリティ・エンハンスメント・レイヤ生成回路１８の出力に相当するラスタ化／選択回路３４の出力から時間スケーラビリティ・エンハンスメント・レイヤのデータから高時間解像度の画像を復元する時間スケーラビリティ・エンハンスメント・レイヤ復元回路である。
【００４４】
４６は、空間エンハンストメントレイヤ復元回路３８の出力ビデオ信号、時間エンハンストメントレイヤ復元回路４０の出力ビデオ信号、共通ベースレイヤ復元回路３６の出力ビデオ信号又は、ノーマル・モードでラスタ化／選択回路３４から出力されるビデオ信号を選択するビデオ選択器である。こうしてビデオ選択器４６は、スケーラビリティが使用されている場合には、時間的空間的に低解像度の画像信号、時間的に高解像度の画像信号及び空間的に高解像度の画像信号の何れかを選択可能である。
【００４５】
図７に示す復号化装置の動作を説明する。伝送（記録再生を含む。）されたビット・ストリームは、復号化回路３０に入力し、そのヘッダ情報は制御情報検出回路３２にも印加される。制御情報検出回路３２は、ヘッダ情報から符号化条件を解読し、解読内容に応じた制御信号を復号化回路３０及びラスタ／選択器３４に印加する。
【００４６】
復号化回路３０は、制御情報検出回路３２からの制御信号で指定された符号化形式（インター／イントラ）に従って受信データを復号化（可変長復号化、逆量子化及び逆ＤＣＴ）して、ラスタ化／選択回路３４に供給する。ラスタ化／選択回路３４は、復号化回路３０からの画像データをラスタ化し、制御情報検出回路３４２からの制御情報に従い、スケーラビリティが使用されているときには復号化回路３０の出力を復元回路３６，３８，４０に、スケーラビリティが使用されていないとき（ノーマル・モード）には、復号化回路３０の出力をビデオ選択器４６にそれぞれ供給する。前者の場合、共通ベース・レイヤの画像データは復元回路３６に、空間スケーラビリティのエンハンスメント・レイヤのデータは復元回路３８に、時間スケーラビリティのエンハンスメント・レイヤのデータ復元回路４０にそれぞれ印加され、復元回路３６，３８，４０により独立に処理される。
【００４７】
図８は、上記図７における共通ベースレイヤ復元回路３６，空間エンハンスメントレイヤ復元回路３８及び時間エンハンスレイや復元回路４０の詳細を説明するための図である。以下、この図８と先の図６とを用いて各レイヤの復元動作について詳細に説明する。
【００４８】
図８中、回路３６ａ，３６ｂは夫々図７における回路３６に含まれ、回路３８ａ，３８ｂ，３８ｃは図７における回路３８に含まれ、回路４０ａ，４０ｂ，４０ｃは図７における回路４０に含まれる。
【００４９】
ラスタ化／選択回路３４で抽出された共通ベースレイヤの情報は、画素補間回路３６ａに供給され、画素補間がされて、原画像と同じサイズの画像に戻される。この動作は符号化時の画素補間回路１４ｃの動作と同じであり、これによって拡張ベースレイヤの画像が得られる。なお、この拡張ベースレイヤの画像をフレーム補間回路３６ｂにてフレーム間補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。但し、このフレーム補間回路３６ｂの出力画像信号の時間解像度及び空間解像度は共に低解像度であることはいうまでもない。
【００５０】
なお、ここで、画素補間回路３６ａはこの共通ベースレイヤから空間エンハンスメントレイヤと組み合わせるための画像（拡張ベースレイヤ）を復元するための回路であると共に、この共通ベースレイヤそのものから画像を復元するための回路でもあり、この点で、この回路３６ａは兼用されている。この兼用によって回路規模は節減できているが、この回路３６ａにおける補間の仕方を上記２つの用途に応じて変える場合には、上記２つの用途に別々に設けることも可能である。
【００５１】
一方、ラスタ化／選択回路３４にて抽出された空間エンハンスメントレイヤの情報は、加算回路３８ｂに供給され、画素補間回路３６ａにて得られた拡張ベースレイヤの情報から予測回路３８ａにて得た予測情報と加算される。この加算回路３８ｂの出力のフレーム数は共通ベースラインレイヤと同じであるので、この回路３８ｂの出力はフレーム補間回路３８ｃに供給され、該回路３８ｃにてフレーム間補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。この画像情報は、時間解像度は低解像度であるが及び空間解像度は高解像度な画像情報となる。
【００５２】
更に、ラスタ化／選択回路３４にて抽出された時間エンハンスメントレイヤの情報は、加算回路４０ｂに供給され、共通ベースラインレイヤの情報から予測回路４０ａにおいて得た予測情報と加算される。この加算回路４０ｂの出力の画素数は共通ベースラインレイヤと同じであるので、この回路３８ｂの出力は画素補間回路４０ｃに供給され、該回路３８ｃにて空間的に画素補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。この画像情報は、空間解像度は低解像度であるが時間解像度は高解像度な画像情報となる。
【００５３】
最終的に、ビデオ選択器４８には各回路３６，３８，４０から出力された、空間解像度が高い画像信号、低解像度画像信号、時間高解像度画像信号の３種類が入力される。このビデオ選択器４６は選択信号４８により切り換えられ、スケーラビリティを用いて伝送されている場合には上記３種類の画像信号を全て得ることができこれらを選択的に出力できる。また、スケーラビリティを用いることなく伝送した場合には復号回路３０において復号された画像情報が一義的に出力される。
【００５４】
次に、上記実施例の復号装置を含むシステムの一例について説明する。図９は、本例システムの概略構成ブロック図を示す。５０はＤＶＤ再生装置、５２はディジタルＶＴＲ、５４はデイジタル画像のオーサリング・ツール（ＥＷＳ）、５６はツール５４に対するサーバ（ＥＷＳ）、５８はパーソナルコンピュータ（端末）、６０，６２，６４，６６はコンピュータ５８のモニタ画面に表示されるアイコン、６８は、コンピュータ５８に接続するマウス、７０はマウス６８に対応するマウス・カーソルである。
【００５５】
ＤＶＤ再生装置５０、ディジタルＶＴＲ５２及びツール５４はそれぞれ、図２に示す復号化装置に相当する構成を具備するものとする。即ち、ＤＶＤ再生装置５０、ディジタルＶＴＲ５２及びツール５４の出力は、ビデオ選択器４６の出力に相当する。
【００５６】
コンピュータ５８のモニタ画面上に表示されるアイコン６０はＤＶＤ再生装置５０からのディジタル動画像に関する画像を示し、アイコン６２はディジタルＶＴＲ５２のからのディジタル動画像に関する画像を示し、アイコン６４，６６はツール５４（即ち、サーバ５６）からのディジタル動画像に関する画像を示す。先にも述べたように、アイコン６０〜６６の絵柄は、対応するディジタル動画像の先頭フレーム又は任意のＩフレームの共通ベース・レイヤから形成される。
【００５７】
図１０は図９に示すシステムにおけるコンピュータ５８の動作を説明するためのフローチャートであり、以下この図１０及び図１１を用いて動作の説明をする。
【００５８】
コンピュータ５８の電源スイッチがオンされると、ステップＳ１〜Ｓ３において、コンピュータ５８はＤＶＤ５０，デジタルＶＴＲ５２，更にはサーバ５６が接続されているか否かをチェックする。このチェックに伴い、これらの装置が接続されていた場合には各装置から再生もしくは出力された画像を前述のようにアイコンとして表示する（ステップＳ４〜Ｓ６）。ここで表示される画像信号は、動画像そのものではなく、共通ベースレイヤから抽出された代表画像であり、この表示のみであればコンピュータ５８と各機器とのインターフェースの伝送レートをそれほど占有することはない。
【００５９】
このように、少なくとも１つの画像が表示された状態でマウス６８によりその画面上にカーソル７０を移動した状態で右クリックがなされると（ステップＳ７）、その画像を今度は共通ベースレイヤを用いて動画像表示する（ステップＳ８）。ここででは、最もデータ量の少ない共通ベースレイヤを表示することになるのでインターフェースに対してはそれほど大きな負担はかからない。図１０のフローチャートから明らかなように、マウス６８により別の画像の上にカーソル７０上に持っていき、そこで右クリックをすると、その別の画像が動画として表示されるが他の画像は、新たに抽出された先述の代表画像に戻る。
【００６０】
そして、このように共通ベースレイヤによる動画像が表示されている状態で、当該動画像上にカーソル７０をもっていき左クリックすると（ステップＳ９）、図１１の枠７２に示すような解像度選択表示がなされる（ステップＳ１０）。そして、この状態でカーソル７０を任意の解像度（低解像度，空間高解像度もしくは時間高解像度）表示上にもっていきマウス６８を右クリックすると、当該解像度が選択される。この選択に応じて、コンピュータ５８は各装置に設けられている図７のビデオ選択器４６に選択信号４８を供給し、所望の解像度の画像信号を選択し、これを受信し、その動画像をモニタ上に表示する（ステップＳ１１）。この時、この表示は所望の表示であるので、全画面表示に切り換えるのが望ましい。
【００６１】
上記、ステップＳ１〜Ｓ３，Ｓ７を含む検出は常時行われており、この検出中にステップＳ１２において電源がオフされたことが検出されれば処理を終了する。また、解像度選択画面表示中に枠７２にカーソル７０が位置した状態でマウス６８が右クリックされた場合には選択しなかったものとして、上記検出のループに戻る。尚、上記フローチャートに従う処理はコンピュータ５８内のＲＯＭ９０に記憶されているプログラムによって実行される。
【００６２】
上記、復号側装置及び復号装置を用いたシステムにおいては、ユーザの選択により任意のスケーラビリティを選択的に利用して、所望の画像をリアルタイムに鑑賞することができる。この結果、画像の検索などに要する不必要な復号化のための時間待ちを回避することができる。また、上述の如く、基本的には動画を表示せず、更に、表示する場合においても必要最小限の情報を転送するのみで表示可能としたので、インターフェースやコンピュータ内部のＣＰＵの占有時間を短縮でき、快適な操作が可能となる。
【００６３】
また、復号化回路においても、共通ベースレイヤの回路を複数のエンハンスメントレイヤの復号要に共用する構成となっているので、各復号装置内における回路規模の小型化の点でも有利である。
【００６４】
【発明の効果】
以上説明したように、本件発明の画像処理方法及び装置によれば、様々なスケーラブルファクタにおける情報量の多い画像を受信側で任意に選択できる様にすることが可能となった。また、受信側での画像選択に適したシステムを構築することができた。また、各エンハンスメントレイヤを形成する際に利用するベースレイヤとしては共通のものを利用する構成としているので、送信側の回路構成を最小限にすることができ、更に送信するデータ量も最小限にすることが可能となった。
【図面の簡単な説明】
【図１】空間スケーラビリティについて説明するための概念図である。
【図２】ＳＮ比スケーラビリティについて説明するための概念図である。
【図３】本発明の一実施例としての符号化装置の概略を示すブロック図である。
【図４】時間スケーラビリティについて説明するための概念図である。
【図５】図３の要部詳細を示すブロック図である。
【図６】図５の動作を説明するための概念図である。
【図７】図３の符号化装置に対応する復号化装置の構成を示すブロック図である。
【図８】図７の要部詳細を示すブロック図である。
【図９】図７の装置を用いたシステムの構成例を示す図である。
【図１０】図９のシステムの動作を説明するためのフローチャートである。
【図１１】図９のシステムの表示状態を示す図である。
【符号の説明】
１０ ＲＧＢ／ＹＣｂＣｒ変換回路
１２ スケーラビリティ選択器
１４ 空間スケーラビリティ・エンハンスメント・レイヤ生成回路
１６ 共通ベース・レイヤ生成回路
１８ 時間スケーラビリティ・エンハンスメント・レイヤ生成回路
２０ ブロック化処理回路
２０ａ，２０ｂ，２０ｃ，２０ｄ ブロック化回路
２２ 符号化回路
３０ 復号化装置
３２ 制御情報検出回路
３４ ラスタ化／選択回路
３６ 共通ベース・レイヤ復元回路
３８ 空間スケーラビリティ・エンハンスメント・レイヤ復元回路
４０ 時間スケーラビリティ・エンハンスメント・レイヤ復元回路
４２ 空間解像度復元回路
４４ 時間解像度復元回路
４６ ビデオ選択器
４８ 選択信号
５０ ＤＶＤ再生装置
５２ ディジタルＶＴＲ
５４ オーサリング・ツール（ＥＷＳ）
５６ サーバ（ＥＷＳ）
５８ パーソナルコンピュータ（端末）
６０，６２，６４，６６ モニタ画面に表示されるアイコン
６８ マウス
７０ マウス・カーソル
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に関し、特に階層符号化により互いに異なる複数のスケーラビリティをもって画像を処理する装置、及び方法に関するものである。
【０００２】
【従来の技術】
従前より動画像の符号化方式としてＭＰＥＧ２と呼ばれる方式が知られているが、このＭＰＥＧ２方式にあっては、空間スケーラビリティとＳＮ比スケーラビリティと称される２つのスケーラビリティによって、同一画像に対して二種類の空間的、時間的解像度の異なる符号化データを伝送可能とし、復号側の選択により低解像度画像と高解像度画像を選択して復号することができる。
【０００３】
ここでＭＰＥＧ２に於ける空間スケーラビリティとは、原画像を任意の手段にて低解像度化した画像を符号化した符号化データと、前記低解像度画像をアップンサンプルして原画像と同サイズとして画像と、原画像のフレーム（又はフィールド）間の両方を予測対象として符号化した高解像度画像の符号化データとを伝送するもので、復号側では、復号画像の解像度（高低）を選択可能である。
【０００４】
また、ＭＰＥＧ２の於けるＳＮ比スケーラビリティは、原画像のＤＣＴ係数を任意の量子化ステップで量子化したもの（低画質）と、前記符号化データを復号化し、原画像から差し引いた差分を前記符号化されたデータよりも小さいステップサイズで量子化したもの（高画質）を独立に符号化して両方とも伝送し、復号側では低画質画像と高画質画像を選択して復号することが可能である。
【０００５】
ここで、以下、本明細書においては、各スケーラビリティにおいて、復号した画質が異なる２つの動画像情報のうち、低画質画像の方をベース・レイヤ、前記ベース・レイヤと組み合わせることにより高画質復号画像を実現する差分又は付加情報をエンハンスメント・レイヤと称する。
【０００６】
また、空間スケーラビリティを用いて、サイズ（又は解像度）の異なる２種類の画像（ベース・レイヤとエンハンスメント・レイヤ）を同時に圧縮符号化し、復号化装置側では、復号化回路及び画像表示装置等の性能に応じて、ベース・レイヤから空間解像度が低い画像を復元するか、ベース・レイヤ及びエンハンスメント・レイヤの両方からの高解像度の画像を復元するかを選択する方法も知られている。
【０００７】
空間スケーラビリティをＨＤＴＶとＮＴＳＣ画像信号を例に、図１を参照して説明する。原画像がＨＤＴＶ画像（１４４０×１１５２画素）とした場合、原画像データをＸ，Ｙ方向共に１／２に間引いた７２０×５７６画素の画像をベース・レイヤとする。原画像の前方予測（Ｐ）及び双方向予測（Ｂ）に加え、ベース・レイヤを原画像と同サイズにアップ・サンプルした画像（拡張ベース・レイヤ）も予測（比較）対象として符号化したものをエンハンスメント・レイヤという。
【０００８】
更に、ＳＮ比スケーラビリティを用いて、符号量（具体的には、量子化ステップ）が異なる２種類の画像（ベース・レイヤとエンハンスメント・レイヤ）を同時に圧縮し、復号化装置側では復号化回路の処理能力に応じて、ベース・レイヤから低レート（低画質）の画像を復元し、ベース・レイヤとエンハンスメント・レイヤの両方から高レート（高画質）の画像を復元する方法も、知られている。
【０００９】
ＳＮ比スケーラビリティについて簡単に説明する。図２はＳＮ比スケーラビリティの概念図を示す。同一の画像に対して、互いに異なる２種類の量子化係数を適用して、同一画像で圧縮比の異なる圧縮画像情報を生成する。この時、圧縮比の大きい画像情報、即ち、低ビットレートで低画質の画像情報をベースレイヤ、圧縮比の小さい画像情報、即ち、高ビットレートで高画質の画像情報と前記ベース・レイヤの画像情報との差分をエンハンスメント・レイヤと定義し、復号化装置側では、ベース・レイヤの画像情報とエンハンスメント・レイヤの画像情報をを加算したものが低圧縮比の高画質画像となる。
【００１０】
【発明が解決しようとする課題】
このように、ＭＰＥＧ２方式で空間スケーラビリティ又はＳＮ比スケーラビリティを使用する場合、空間スケーラビリティ及びＳＮ比スケーラビリティの何れか一方のみを選択可能であった。従って、従来の符号化装置では、同時に複数のスケーラビリティを使用して画像データを符号化することは不可能である。換言すると、１つの画像シーケンスに於いて、指定できるスケーラビリティは１種類のみである。また、何れか１つのスケーラビリティを使用して符号化された画像情報を受信した復号化装置側では、画質の選択枝は次の２種類のみである。即ち、ベース・レイヤのみから復号化した低画質画像か又は、ベース・レイヤから復号化した画像とエンハンスメント・レイヤから復号化した画像を合成した高画質画像である。
【００１１】
即ち、従来例では、復号化装置の性能や受信者のニーズに応じて画質又は復号化速度を選択できないという問題点があった。
【００１２】
上述の如き問題は、例示したＭＰＥＧ２のみならず所謂階層符号化を２種類以上のファクタに対して行う場合に共通の課題であることは明らかであろう。
【００１３】
本発明は上述した様な問題点を解決することを目的とする。
【００１４】
本発明は、受信側で任意のスケーラブルファクタを選択することのでき、しかも伝送データ量を最小限に抑えることのできる画像処理装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上述の如き目的下において、本発明の画像処理装置は、入力された画像データを第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して、単一のベースレイヤを形成するベースレイヤ形成手段と、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した前記入力画像データと、当該単一のベースレイヤとを用いて、前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤを形成する第１のエンハンスメントレイヤ形成手段と、前記ベースレイヤ及びエンハンスメントレイヤを高能率符号化する符号化手段を有することを特徴とする。
【００１６】
また、本発明の画像処理装置は、入力されたデータから、第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して得たベースレイヤのデータを抽出し、当該抽出されたベースレイヤのデータから画像信号を復元する復元手段と、前記入力データから、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した画像データと当該ベースレイヤとを用いて形成された前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤのデータを抽出し、前記ベースレイヤのデータと前記エンハンスメントレイヤのデータとから前記第１のスケーラブルファクタについて、前記復元されたベースレイヤの画像信号より情報量の多い複数の画像信号を形成する形成手段とを有することを特徴とする。
【００１７】
上述の如き装置を提示することにより、伝送するデータ量は最小限に抑え、様々なスケーラブルファクタにおける情報量の多い画像を受信側で任意に選択できるようにした。また、受信側での画像選択に適したシステムを構築した。
【００１８】
【発明の実施の形態】
以下、本発明をその好適なる態様を示す実施例についてのみ、図面を参照して詳細に説明する。
【００１９】
図３は、本発明の一実施例の符号化装置の概略構成ブロック図を示し、図４は、この符号化装置に対応する復号化装置の概略構成ブロック図を示す。共に、ＮＴＳＣ信号などのインターレース画像信号を扱う。本実施例では、空間スケーラビリティと時間スケーラビリティを併用する。
【００２０】
ここで、時間スケーラビリティについて図４を用いて説明する。図４に於いて、図示の如く２フレーム毎に原画像を平均化したり、フレーム間引することにより得た画像群をベースレイヤとする。そして、全フレームについての原画像を、図示の様にベースレイヤ中の時間軸が近接したフレームと全フレーム中の時間軸が近接したフレームとから予測し、予測差分をとって符号化したものをエンハンスメントレイヤとする。これによって時間軸方向について低解像度のベイスレイヤと、これを用いて時間軸方向に高解像度のエンハンスメントレイヤとが得られる。
【００２１】
先ず、図３を説明する。１０はＲＧＢ画像データを４：２：０のＹＣｂＣｒ画像データに変換する変換回路、１２は、変換回路１０の出力データを、スケーラビリティの使用及び不使用並びに、使用するモードを選択するスケーラビリティ選択器、１４は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から空間スケーラビリティに対応するエンハンスメント・レイヤのデータを生成する空間スケーラビリティ・エンハンスメント・レイヤ生成回路、１６は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から空間及び時間の各スケーラビリティに共通するベース・レイヤのデータを生成する共通ベース・レイヤ生成回路、１８は、スケーラビリティ選択器１２のスケーラビリティ使用時の出力から時間スケーラビリティに対応するエンハンスメント・レイヤのデータを生成する時間スケーラビリティ・エンハンスメント・レイヤ生成回路である。
【００２２】
２０は、生成回路１４，１６，１８の出力及びスケーラビリティ選択器１２のスケーラビリティ不使用時の出力を、１フレーム又は１フイールド毎に水平垂直共に各ｎ（ｎ≧２）画素のブロックを単位にブロック分割し、更に、Ｙ、Ｃｂ及びＣｒ独立にこのブロックをそれぞれａ個、ｂ個及びｃ個まとめてマクロブロックとして出力するブロック化処理回路であり、生成回路１４，１６，１８の出力及びスケーラビリティ選択器１２のスケーラビリティ不使用時の出力に応じた４つのブロック化回路２０ａ，２０ｂ，２０ｃ，２０ｄを具備する。
【００２３】
２２は、ブロック化処理回路１１８から出力されるＹＣｒＣｂのブロック・データをマクロブロックを符号化単位としてＭＰＥＧ２方式として周知の符号化方式で圧縮符号化する符号化回路である。符号化回路２２は、具体的には、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ）の選択）、直交変換（ＤＣＴ）、量子化及び可変長符号化を併用して、ブロック化処理回路２０からの画像データを圧縮符号化する。
【００２４】
ＲＧＢ／ＹＣｂＣｒ変換回路１０は、各８ビットのＲＧＢ画像信号を各８ビットで４：２：０のＹＣｂＣｒ信号に変換する。
【００２５】
符号化の際にスケーラビリティを使用する場合、スケーラビリティ選択器１２は、変換回路１０の出力を各生成回路１４，１６，１８に印加し、生成回路１４，１６，１８はそれぞれ、空間スケーラビリティのエンハンスメント・レイヤ、共通ベース・レイヤ及び時間スケーラビリティ・エンハンスメント・レイヤを生成し、ブロック化処理回路２０に印加する。
【００２６】
ブロック化処理回路２０は、入力画像データを１フレーム又は１フイールド毎に水平垂直共に各ｎ画素のブロックを単位にブロック分割し、更に、Ｙ、Ｃｂ及びＣｒ独立にこのブロックをそれぞれａ個、ｂ個及びｃ個まとめてマクロブロックとして出力する回路であり、上述のように、各レイヤ用とスケーラビリティの不使用とで合計４つのブロック化回路２０ａ，２０ｂ，２０ｃ，２０ｄを具備する。
【００２７】
ブロック化処理回路２０のブロック化回路２０ａ〜２０ｃは生成回路１４，１６，１８からの各レイヤのデータを上述の様にブロック化して符号化回路２２に印加し、符号化回路２２は、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ））の選択の下で予測処理を行った後、直交変換（ＤＣＴ）、量子化及び可変長符号化により、ブロック化回路２０ａ〜２０ｃの出力データを圧縮符号化する。
【００２８】
スケーラビリティを使用しない場合（ノーマル・モード）、スケーラビリティ選択器１２は、変換回路１０の出力をそのままブロック化処理回路２０のブロック化回路２０ｄに供給する。符号化回路２２は、ブロック化回路２０ｄからのブロック・データを、予測符号化方式（イントラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピクチャ））の選択の下で予測処理を行った後、直交変換（ＤＣＴ）、量子化及び可変長符号化により圧縮符号化する。
【００２９】
ここで、図５及び図６を用いて本実施例における空間スケーラビリティ・エンハンストメントレイヤ、共通ベースレイヤ、時間スケーラビリティ・エンハンストメントレイヤについて、更に詳細に説明する。
【００３０】
図５は図３の回路１４，１６，１８を含む要部の詳細を示すブロック図であり、図６は図５の動作を説明するための概念図である。図中、回路１４ａ，１４ｂ，１４ｃ，１４ｄは夫々図３における回路１４に含まれ、回路１６ａは図３における回路１６に含まれ、回路１８ａ，１８ｂ，１８ｃは図３における回路１８に含まれる。
【００３１】
図６に示すように、時間解像度及び空間解像度が共に高い原画像群が図３のスケーラビリティ選択器１２から入力されると、フレーム間引き回路１４ａにおいては、隣接２フレームの平均をとるなどの時間方向のローパスフィルタリングを施した後、隣接２フレームの１フレームを間引くことにより原画像群の時間解像度を１／２とする。また、画素間引き回路１８ａは原画像を２次元ローパスフィルタにて帯域制限した後、サブサンプリングなどにより画素間引きを行って原画像群の空間解像度を例えば１／２に低下させる。
【００３２】
更に、フレーム＋画素間引き回路１６ａにおいては上記２つの処理を連続して行うことによって、原画像の空間解像度及び時間解像度の双方を低下させ、図６に示す共通ベースレイヤを得る。ここで、回路１６ａは、その回路規模の節約のために、回路１４ａもしくは回路１８ａの出力を利用し、回路１４ａの出力を不図示の画素間引き回路に導いたり，回路１８ａの出力を不図示のフレーム間引き回路に導くことによっても実現可能である。
【００３３】
共通ベースレイヤの画像群とフレーム間引き回路１４ａの出力する画像群はフレームレートが等しく、各フレームの画素数が異なるので、共通ベースレイヤの画像は画像補間回路１４ｃに導かれ、画素数を回路１４ａの出力と一致させる。このようにして共通ベースレイヤの各画面の画素数を単純に増やした画像群を本実施例では拡張ベースレイヤと呼ぶことにする。そして、予測回路１４ｄはこの拡張ベースレイヤの画像に基づいてフレーム間引き回路１４ａの出力を予測し、この予測値とフレーム間引き回路１４ａとの差分が差分回路１４ｂにて演算される。
【００３４】
ここで、予測は、単純には図６に示すように時間的に対応する拡張ベースレイヤの画像とフレーム間引き回路１４ａの出力との差分をとるだけでいいが、拡張ベースレイヤの画像を複数用いて予測することも可能である。
【００３５】
上記差分回路１４ｂの出力する差分値は、空間エンハンストメント・レイヤの画像群としてブロック化回路２０ａに供給される。また、前述の共通ベースレイヤの画像群はブロック化回路２０ｂに供給される。
【００３６】
一方、画素間引き回路１８ａの出力する画像は、共通ベースレイヤの画像群と画素数が共通であるため、予測回路１８ｂにおいて図示の如く予測を行うことができ、差分回路１８ｃにおいてその予測画面との差分をとられる。この差分回路１８ｃの出力は時間エンハンスメントレイヤとしてブロック化回路２０ｃに供給される。
【００３７】
本実施例においては、図６にハッチングで示す予測はＤＣＴ変換後に量子化した値から局部復号値を演算し、その復号値を元に予測差分を行う。即ち、このような処理は図３における符号化回路２２内部で行われる。このように本実施例においては、ブロック化前、即ちＤＣＴ変換前のラスタ画像の状態で、時間エンハンスメントレイヤと空間エンハンスメントレイヤとを形成したが、ＤＣＴ変換後にＤＣＴ係数を量子化したデータを一旦局部復号した値を用いて予測値を計算することで、時間エンハンスメントレイヤと空間エンハンスメントレイヤとを形成することも可能である。この場合には、ハッチングにて示す予測処理を組み合わせて単一の差分回路により構成することも可能である。
【００３８】
また、上記実施例においては、空間エンハンスメントレイヤと時間エンハンスメントレイヤのみを設ける構成としたが、更に上記共通ベースレイヤからＳＮエンハンスメントレイヤを設けるように構成することも可能である。更に、これら３つのエンハンスメントレイヤ中の任意の２つを設ける構成としたり、任意の２つの組み合わせによりなるエンハンスメントレイヤを複数設ける構成とすることも可能である。
【００３９】
上述の如く構成した、符号化側の装置によれば、複数のスケーラビリティを復号側で任意に選択することができ、様々なユーザーの要求に対応することができる。また、各エンハンスメントレイヤを形成する際に利用するベースレイヤとしては共通のものを利用する構成としているので、送信側の回路構成を最小限にすることができ、更に送信するデータ量も最小限にすることが可能である。
【００４０】
次に図７について説明する。３０は図３に示す符号化装置からのＭＰＥＧ２ビットストリーム・データを復号化する復号化装置、３２は、図３に示す符号化装置からのＭＰＥＧ２ビットストリームのヘッダ情報を読み取り、復号化回路３０での復号化処理を含めて図７に示す復号化装置の全体的に動作を制御する制御情報検出回路、３４は復号化回路３０により復号化された画像データをラスタリングすると共に、制御情報検出回路３２で検出されたスケーラビリティ・フラグに基づいて以後の処理経路を選択するラスタリング／選択回路である。
【００４１】
３６は、図３に示す符号化装置の共通ベース・レイヤ生成回路１６の出力に相当するラスタ化／選択回路３４の出力から共通ベース・レイヤのデータを復元する共通ベース・レイヤ復元回路である。
【００４２】
３８は、共通ベース・レイヤ復元回路３６で得られる拡張ベースレイヤの画像データを参照し、図３に示す符号化装置の空間スケーラビリティ・エンハンスメント・レイヤ生成回路１４の出力に相当するラスタ化／選択回路３４の出力から空間スケーラビリティ・エンハンスメント・レイヤのデータから高空間解像度の画像復元する空間スケーラビリティ・エンハンスメント・レイヤ復元回路である。
【００４３】
４０は、共通ベース・レイヤ生成回路１６の出力に相当する共通ベースレイヤ復元回路３６に入力される情報を参照し、図３に示す符号化装置の時間スケーラビリティ・エンハンスメント・レイヤ生成回路１８の出力に相当するラスタ化／選択回路３４の出力から時間スケーラビリティ・エンハンスメント・レイヤのデータから高時間解像度の画像を復元する時間スケーラビリティ・エンハンスメント・レイヤ復元回路である。
【００４４】
４６は、空間エンハンストメントレイヤ復元回路３８の出力ビデオ信号、時間エンハンストメントレイヤ復元回路４０の出力ビデオ信号、共通ベースレイヤ復元回路３６の出力ビデオ信号又は、ノーマル・モードでラスタ化／選択回路３４から出力されるビデオ信号を選択するビデオ選択器である。こうしてビデオ選択器４６は、スケーラビリティが使用されている場合には、時間的空間的に低解像度の画像信号、時間的に高解像度の画像信号及び空間的に高解像度の画像信号の何れかを選択可能である。
【００４５】
図７に示す復号化装置の動作を説明する。伝送（記録再生を含む。）されたビット・ストリームは、復号化回路３０に入力し、そのヘッダ情報は制御情報検出回路３２にも印加される。制御情報検出回路３２は、ヘッダ情報から符号化条件を解読し、解読内容に応じた制御信号を復号化回路３０及びラスタ／選択器３４に印加する。
【００４６】
復号化回路３０は、制御情報検出回路３２からの制御信号で指定された符号化形式（インター／イントラ）に従って受信データを復号化（可変長復号化、逆量子化及び逆ＤＣＴ）して、ラスタ化／選択回路３４に供給する。ラスタ化／選択回路３４は、復号化回路３０からの画像データをラスタ化し、制御情報検出回路３４２からの制御情報に従い、スケーラビリティが使用されているときには復号化回路３０の出力を復元回路３６，３８，４０に、スケーラビリティが使用されていないとき（ノーマル・モード）には、復号化回路３０の出力をビデオ選択器４６にそれぞれ供給する。前者の場合、共通ベース・レイヤの画像データは復元回路３６に、空間スケーラビリティのエンハンスメント・レイヤのデータは復元回路３８に、時間スケーラビリティのエンハンスメント・レイヤのデータ復元回路４０にそれぞれ印加され、復元回路３６，３８，４０により独立に処理される。
【００４７】
図８は、上記図７における共通ベースレイヤ復元回路３６，空間エンハンスメントレイヤ復元回路３８及び時間エンハンスレイや復元回路４０の詳細を説明するための図である。以下、この図８と先の図６とを用いて各レイヤの復元動作について詳細に説明する。
【００４８】
図８中、回路３６ａ，３６ｂは夫々図７における回路３６に含まれ、回路３８ａ，３８ｂ，３８ｃは図７における回路３８に含まれ、回路４０ａ，４０ｂ，４０ｃは図７における回路４０に含まれる。
【００４９】
ラスタ化／選択回路３４で抽出された共通ベースレイヤの情報は、画素補間回路３６ａに供給され、画素補間がされて、原画像と同じサイズの画像に戻される。この動作は符号化時の画素補間回路１４ｃの動作と同じであり、これによって拡張ベースレイヤの画像が得られる。なお、この拡張ベースレイヤの画像をフレーム補間回路３６ｂにてフレーム間補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。但し、このフレーム補間回路３６ｂの出力画像信号の時間解像度及び空間解像度は共に低解像度であることはいうまでもない。
【００５０】
なお、ここで、画素補間回路３６ａはこの共通ベースレイヤから空間エンハンスメントレイヤと組み合わせるための画像（拡張ベースレイヤ）を復元するための回路であると共に、この共通ベースレイヤそのものから画像を復元するための回路でもあり、この点で、この回路３６ａは兼用されている。この兼用によって回路規模は節減できているが、この回路３６ａにおける補間の仕方を上記２つの用途に応じて変える場合には、上記２つの用途に別々に設けることも可能である。
【００５１】
一方、ラスタ化／選択回路３４にて抽出された空間エンハンスメントレイヤの情報は、加算回路３８ｂに供給され、画素補間回路３６ａにて得られた拡張ベースレイヤの情報から予測回路３８ａにて得た予測情報と加算される。この加算回路３８ｂの出力のフレーム数は共通ベースラインレイヤと同じであるので、この回路３８ｂの出力はフレーム補間回路３８ｃに供給され、該回路３８ｃにてフレーム間補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。この画像情報は、時間解像度は低解像度であるが及び空間解像度は高解像度な画像情報となる。
【００５２】
更に、ラスタ化／選択回路３４にて抽出された時間エンハンスメントレイヤの情報は、加算回路４０ｂに供給され、共通ベースラインレイヤの情報から予測回路４０ａにおいて得た予測情報と加算される。この加算回路４０ｂの出力の画素数は共通ベースラインレイヤと同じであるので、この回路３８ｂの出力は画素補間回路４０ｃに供給され、該回路３８ｃにて空間的に画素補間することにより原画像とフレームレートと画素数とが一致した画像信号が得られる。この画像情報は、空間解像度は低解像度であるが時間解像度は高解像度な画像情報となる。
【００５３】
最終的に、ビデオ選択器４８には各回路３６，３８，４０から出力された、空間解像度が高い画像信号、低解像度画像信号、時間高解像度画像信号の３種類が入力される。このビデオ選択器４６は選択信号４８により切り換えられ、スケーラビリティを用いて伝送されている場合には上記３種類の画像信号を全て得ることができこれらを選択的に出力できる。また、スケーラビリティを用いることなく伝送した場合には復号回路３０において復号された画像情報が一義的に出力される。
【００５４】
次に、上記実施例の復号装置を含むシステムの一例について説明する。図９は、本例システムの概略構成ブロック図を示す。５０はＤＶＤ再生装置、５２はディジタルＶＴＲ、５４はデイジタル画像のオーサリング・ツール（ＥＷＳ）、５６はツール５４に対するサーバ（ＥＷＳ）、５８はパーソナルコンピュータ（端末）、６０，６２，６４，６６はコンピュータ５８のモニタ画面に表示されるアイコン、６８は、コンピュータ５８に接続するマウス、７０はマウス６８に対応するマウス・カーソルである。
【００５５】
ＤＶＤ再生装置５０、ディジタルＶＴＲ５２及びツール５４はそれぞれ、図２に示す復号化装置に相当する構成を具備するものとする。即ち、ＤＶＤ再生装置５０、ディジタルＶＴＲ５２及びツール５４の出力は、ビデオ選択器４６の出力に相当する。
【００５６】
コンピュータ５８のモニタ画面上に表示されるアイコン６０はＤＶＤ再生装置５０からのディジタル動画像に関する画像を示し、アイコン６２はディジタルＶＴＲ５２のからのディジタル動画像に関する画像を示し、アイコン６４，６６はツール５４（即ち、サーバ５６）からのディジタル動画像に関する画像を示す。先にも述べたように、アイコン６０〜６６の絵柄は、対応するディジタル動画像の先頭フレーム又は任意のＩフレームの共通ベース・レイヤから形成される。
【００５７】
図１０は図９に示すシステムにおけるコンピュータ５８の動作を説明するためのフローチャートであり、以下この図１０及び図１１を用いて動作の説明をする。
【００５８】
コンピュータ５８の電源スイッチがオンされると、ステップＳ１〜Ｓ３において、コンピュータ５８はＤＶＤ５０，デジタルＶＴＲ５２，更にはサーバ５６が接続されているか否かをチェックする。このチェックに伴い、これらの装置が接続されていた場合には各装置から再生もしくは出力された画像を前述のようにアイコンとして表示する（ステップＳ４〜Ｓ６）。ここで表示される画像信号は、動画像そのものではなく、共通ベースレイヤから抽出された代表画像であり、この表示のみであればコンピュータ５８と各機器とのインターフェースの伝送レートをそれほど占有することはない。
【００５９】
このように、少なくとも１つの画像が表示された状態でマウス６８によりその画面上にカーソル７０を移動した状態で右クリックがなされると（ステップＳ７）、その画像を今度は共通ベースレイヤを用いて動画像表示する（ステップＳ８）。ここででは、最もデータ量の少ない共通ベースレイヤを表示することになるのでインターフェースに対してはそれほど大きな負担はかからない。図１０のフローチャートから明らかなように、マウス６８により別の画像の上にカーソル７０上に持っていき、そこで右クリックをすると、その別の画像が動画として表示されるが他の画像は、新たに抽出された先述の代表画像に戻る。
【００６０】
そして、このように共通ベースレイヤによる動画像が表示されている状態で、当該動画像上にカーソル７０をもっていき左クリックすると（ステップＳ９）、図１１の枠７２に示すような解像度選択表示がなされる（ステップＳ１０）。そして、この状態でカーソル７０を任意の解像度（低解像度，空間高解像度もしくは時間高解像度）表示上にもっていきマウス６８を右クリックすると、当該解像度が選択される。この選択に応じて、コンピュータ５８は各装置に設けられている図７のビデオ選択器４６に選択信号４８を供給し、所望の解像度の画像信号を選択し、これを受信し、その動画像をモニタ上に表示する（ステップＳ１１）。この時、この表示は所望の表示であるので、全画面表示に切り換えるのが望ましい。
【００６１】
上記、ステップＳ１〜Ｓ３，Ｓ７を含む検出は常時行われており、この検出中にステップＳ１２において電源がオフされたことが検出されれば処理を終了する。また、解像度選択画面表示中に枠７２にカーソル７０が位置した状態でマウス６８が右クリックされた場合には選択しなかったものとして、上記検出のループに戻る。尚、上記フローチャートに従う処理はコンピュータ５８内のＲＯＭ９０に記憶されているプログラムによって実行される。
【００６２】
上記、復号側装置及び復号装置を用いたシステムにおいては、ユーザの選択により任意のスケーラビリティを選択的に利用して、所望の画像をリアルタイムに鑑賞することができる。この結果、画像の検索などに要する不必要な復号化のための時間待ちを回避することができる。また、上述の如く、基本的には動画を表示せず、更に、表示する場合においても必要最小限の情報を転送するのみで表示可能としたので、インターフェースやコンピュータ内部のＣＰＵの占有時間を短縮でき、快適な操作が可能となる。
【００６３】
また、復号化回路においても、共通ベースレイヤの回路を複数のエンハンスメントレイヤの復号要に共用する構成となっているので、各復号装置内における回路規模の小型化の点でも有利である。
【００６４】
【発明の効果】
以上説明したように、本件発明の画像処理方法及び装置によれば、様々なスケーラブルファクタにおける情報量の多い画像を受信側で任意に選択できる様にすることが可能となった。また、受信側での画像選択に適したシステムを構築することができた。また、各エンハンスメントレイヤを形成する際に利用するベースレイヤとしては共通のものを利用する構成としているので、送信側の回路構成を最小限にすることができ、更に送信するデータ量も最小限にすることが可能となった。
【図面の簡単な説明】
【図１】空間スケーラビリティについて説明するための概念図である。
【図２】ＳＮ比スケーラビリティについて説明するための概念図である。
【図３】本発明の一実施例としての符号化装置の概略を示すブロック図である。
【図４】時間スケーラビリティについて説明するための概念図である。
【図５】図３の要部詳細を示すブロック図である。
【図６】図５の動作を説明するための概念図である。
【図７】図３の符号化装置に対応する復号化装置の構成を示すブロック図である。
【図８】図７の要部詳細を示すブロック図である。
【図９】図７の装置を用いたシステムの構成例を示す図である。
【図１０】図９のシステムの動作を説明するためのフローチャートである。
【図１１】図９のシステムの表示状態を示す図である。
【符号の説明】
１０ ＲＧＢ／ＹＣｂＣｒ変換回路
１２ スケーラビリティ選択器
１４ 空間スケーラビリティ・エンハンスメント・レイヤ生成回路
１６ 共通ベース・レイヤ生成回路
１８ 時間スケーラビリティ・エンハンスメント・レイヤ生成回路
２０ ブロック化処理回路
２０ａ，２０ｂ，２０ｃ，２０ｄ ブロック化回路
２２ 符号化回路
３０ 復号化装置
３２ 制御情報検出回路
３４ ラスタ化／選択回路
３６ 共通ベース・レイヤ復元回路
３８ 空間スケーラビリティ・エンハンスメント・レイヤ復元回路
４０ 時間スケーラビリティ・エンハンスメント・レイヤ復元回路
４２ 空間解像度復元回路
４４ 時間解像度復元回路
４６ ビデオ選択器
４８ 選択信号
５０ ＤＶＤ再生装置
５２ ディジタルＶＴＲ
５４ オーサリング・ツール（ＥＷＳ）
５６ サーバ（ＥＷＳ）
５８ パーソナルコンピュータ（端末）
６０，６２，６４，６６ モニタ画面に表示されるアイコン
６８ マウス
７０ マウス・カーソル
Claims (8)
- 入力された画像データを第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して、単一のベースレイヤを形成するベースレイヤ形成手段と、
前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した前記入力画像データと、当該単一のベースレイヤとを用いて、前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤを形成する第１のエンハンスメントレイヤ形成手段と、
前記ベースレイヤ及びエンハンスメントレイヤを高能率符号化する符号化手段を有することを特徴とする画像処理装置。 - 前記画像処理装置は更に、第２のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した前記画像データと前記単一のベースレイヤとを用いて、前記第２のスケーラブルファクタに関する情報を有するエンハンスメントレイヤを形成する第２のエンハンスメントレイヤ形成手段とを有することを特徴とする請求項１に記載の画像処理装置。
- 前記ベースレイヤは、前記入力画像データの空間解像度と時間解像度を低下させることにより得たものであり、前記第１のエンハンスメントレイヤ形成手段は前記入力画像データの時間解像度を低下させたデータと前記ベースレイヤとから形成し、前記第２のエンハンスメントレイヤ形成手段は前記入力画像データの空間解像度を低下させたデータと前記ベースレイヤとから形成することを特徴とする請求項２に記載の画像処理装置。
- 前記ベースレイヤと前記エンハンスメントレイヤ、もしくは、前記入力画像データを選択的に出力するための選択手段を有することを特徴とする請求項１に記載の画像処理装置。
- 入力されたデータから、第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して得たベースレイヤのデータを抽出し、当該抽出されたベースレイヤのデータから画像信号を復元する復元手段と、
前記入力データから、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した画像データと当該ベースレイヤとを用いて形成された前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤのデータを抽出し、前記ベースレイヤのデータと前記エンハンスメントレイヤのデータとから前記第１のスケーラブルファクタについて、前記復元されたベースレイヤの画像信号より情報量の多い複数の画像信号を形成する形成手段とを有することを特徴とする画像処理装置。 - 入力された画像データを第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して、単一のベースレイヤを形成し、
前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した前記入力画像データと、当該単一のベースレイヤとを用いて、前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤを形成し、
前記ベースレイヤ及びエンハンスメントレイヤを高能率符号化することを特徴とする画像処理方法。 - 入力されたデータから、第１のスケーラブルファクタを含む少なくとも複数のスケーラブルファクタで削減して得たベースレイヤのデータを抽出し、当該抽出されたベースレイヤのデータから画像信号を復元すると共に、
前記入力データから、前記第１のスケーラブルファクタを除く該スケーラブルファクタに関する情報を用いて形成した画像データと当該ベースレイヤとを用いて形成された前記第１のスケーラブルファクタに関する情報を有するエンハンスメントレイヤのデータを抽出し、前記ベースレイヤのデータと前記エンハンスメントレイヤのデータとから前記第１のスケーラブルファクタについて、前記復元されたベースレイヤの画像信号より情報量の多い複数の画像信号を形成することを特徴とする画像処理方法。 - 請求項１〜５の何れか１項に記載の画像処理装置の機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読出可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP754999A JP4332246B2 (ja) | 1998-01-14 | 1999-01-14 | 画像処理装置、方法、及び記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-5476 | 1998-01-14 | ||
| JP547698 | 1998-01-14 | ||
| JP754999A JP4332246B2 (ja) | 1998-01-14 | 1999-01-14 | 画像処理装置、方法、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11266457A JPH11266457A (ja) | 1999-09-28 |
| JP4332246B2 true JP4332246B2 (ja) | 2009-09-16 |
Family
ID=26339425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP754999A Expired - Fee Related JP4332246B2 (ja) | 1998-01-14 | 1999-01-14 | 画像処理装置、方法、及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4332246B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940523B1 (en) | 2000-11-15 | 2005-09-06 | Koninklijke Philips Electronics N.V. | On the fly data transfer between RGB and YCrCb color spaces for DCT interface |
| JP4792157B2 (ja) * | 2000-12-05 | 2011-10-12 | 船井電機株式会社 | デジタル放送受信装置 |
| US20020118742A1 (en) * | 2001-02-26 | 2002-08-29 | Philips Electronics North America Corporation. | Prediction structures for enhancement layer in fine granular scalability video coding |
| JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
| JP4281309B2 (ja) | 2002-08-23 | 2009-06-17 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
| KR100552169B1 (ko) * | 2002-10-15 | 2006-02-13 | 에스케이 텔레콤주식회사 | 이동통신 시스템의 비디오 스트리밍 압축 장치 |
| KR100690710B1 (ko) | 2003-03-04 | 2007-03-09 | 엘지전자 주식회사 | 동영상 전송방법 |
| US7412100B2 (en) * | 2003-09-04 | 2008-08-12 | Qualcomm Incorporated | Apparatus and method for sub-sampling images in a transform domain |
| KR100679018B1 (ko) * | 2004-09-07 | 2007-02-05 | 삼성전자주식회사 | 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 |
| KR101375663B1 (ko) * | 2007-12-06 | 2014-04-03 | 삼성전자주식회사 | 영상을 계층적으로 부호화/복호화하는 방법 및 장치 |
| JP5375372B2 (ja) * | 2009-07-01 | 2013-12-25 | ヤマハ株式会社 | 圧縮符号化装置、および復号装置 |
| WO2014050009A1 (en) * | 2012-09-28 | 2014-04-03 | Sharp Kabushiki Kaisha | Picture processing in scalable video systems |
| JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
| WO2015155893A1 (ja) * | 2014-04-11 | 2015-10-15 | 日立マクセル株式会社 | 映像出力装置、映像受信装置、および映像出力方法 |
| JP6848872B2 (ja) * | 2015-09-30 | 2021-03-24 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP6848873B2 (ja) * | 2015-10-13 | 2021-03-24 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| WO2017138470A1 (ja) * | 2016-02-09 | 2017-08-17 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
-
1999
- 1999-01-14 JP JP754999A patent/JP4332246B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11266457A (ja) | 1999-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6650783B2 (en) | Image processing apparatus and method for processing images with different scalabilites | |
| JP4332246B2 (ja) | 画像処理装置、方法、及び記録媒体 | |
| JP5257447B2 (ja) | シャッター時間補償 | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JPH10304401A (ja) | 映像信号変換装置、映像信号変換方法及び映像提供システム | |
| JP2002518916A (ja) | 第１の解像度を有する符号化された形式の画像を第２の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法 | |
| JP2012120211A (ja) | 二層符号化及び単層復号化による階層的ビデオ符号化 | |
| JPH0686262A (ja) | 画像符号化装置 | |
| KR20010072074A (ko) | 비디오 신호의 인코딩 | |
| US6590938B1 (en) | DCT domain conversion of a higher definition signal to lower definition signal | |
| JP4382284B2 (ja) | サブバンドの符号化／復号 | |
| JP5529161B2 (ja) | ビデオストリームをブラウジングする方法及び装置 | |
| CN1608378A (zh) | 在视频清晰度增强中改善时间一致性 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH0622289A (ja) | 多解像度画像信号符号化装置及び復号装置 | |
| JPH0787491A (ja) | 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法 | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JP4339784B2 (ja) | 複数個のブロックとして符号化された圧縮ビットストリーム符号化ビデオを復号する方法。 | |
| JP2004357313A (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP3591025B2 (ja) | 画像情報処理装置 | |
| JP3723657B2 (ja) | 復号したマルチカラー・デジタル画像ビットマップを表示のためにｒａｍに格納する方法 | |
| JP2002094997A (ja) | 画像シーケンスのフォーマット変換方法 | |
| JP3416505B2 (ja) | 動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |