JP3834805B2 - 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 - Google Patents
画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 Download PDFInfo
- Publication number
- JP3834805B2 JP3834805B2 JP15514797A JP15514797A JP3834805B2 JP 3834805 B2 JP3834805 B2 JP 3834805B2 JP 15514797 A JP15514797 A JP 15514797A JP 15514797 A JP15514797 A JP 15514797A JP 3834805 B2 JP3834805 B2 JP 3834805B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- image
- representative vector
- quantized representative
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体に関し、特に、第１の画像を解像度が異なる第２の画像に変換する画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体に関する。
【０００２】
【従来の技術】
例えば、ＳＤ（Standard Definition）画像を、それよりも解像度の高いＨＤ（High Definition）画像に変換する方法としては、例えば、ベクトル量子化を用いる方法などが知られている。
【０００３】
図６は、ベクトル量子化を用いた画像変換装置の構成例を示すブロック図である。この図において、ベクトル化回路１は、入力されたＳＤ画像データを、例えば、２個ずつ組み合わせて２次元ベクトルを形成し、誤差判定回路２に出力する。
【０００４】
誤差判定回路２は、ＳＤ量子化代表ベクトルテーブル３からＳＤ量子化代表ベクトルを逐次読み出し、読み出された量子化代表ベクトルと入力されたベクトルの間の誤差を算出する。そして、算出された誤差が最小となるＳＤ量子化代表ベクトルを選択し、そのインデックス値を変換テーブル４に出力する。
【０００５】
変換テーブル４は、誤差判定回路２より出力されたＳＤ量子化代表ベクトルのインデックスに対応するＨＤ量子化代表ベクトルのインデックスを出力する。ＨＤ量子化代表ベクトルテーブル５は、ＨＤ量子化代表ベクトルを記憶しており、変換テーブル４から出力されたインデックスに対応するＨＤ量子化代表ベクトルを出力する。
【０００６】
次に、図７および図８を参照して、以上の従来例の動作について説明する。
【０００７】
ベクトル化回路１は、図７（Ａ）に示すように、入力されたＳＤ画像データを、例えば、２個ずつ順次組み合わせてベクトル（図７（Ｂ）参照）を生成する。このようにして生成されたベクトルは、誤差判定回路２に供給される。
【０００８】
誤差判定回路２は、ＳＤ量子化代表ベクトルテーブル３に格納されている量子化代表ベクトルの中から、入力されたベクトルに最も近い量子化代表ベクトルを検索し、そのインデックス値を出力する。即ち、図８に示すように、２つのデータｘnj，ｘnj+1をそれぞれ横軸と縦軸に対応させると、入力されたベクトルは２次元空間上に表すことができる。このような２次元空間をＮ個の領域に分割して、それぞれの領域の重心である代表点をＸ1乃至ＸNとする。このとき、誤差判定回路２は、入力されたベクトルｘとＳＤ量子化代表ベクトルテーブル３に格納されている各代表点Ｘ1乃至ＸNとの間の距離（誤差）を求め、求めた距離が最も小さい代表点を示すインデックス値（Ｘの添字番号）を出力する。
【０００９】
なお、ＨＤ量子化代表ベクトルテーブル５にも、同様にして生成されたＨＤ画像の代表点Ｙ1乃至ＹNが格納されている。なお、各代表点は、例えば、図７（Ａ）に示すように８個のデータ（ｙnj乃至ｙnj+3およびｙn+1j乃至ｙn+1j+3）により構成されており、それぞれＨＤ画像の画素値を示している。
【００１０】
誤差判定回路２から出力されたインデックス値は、変換テーブル４に供給され、そこで、対応するＨＤ量子化代表ベクトルを読み出すための新たなインデックスデータに変換されて出力される。
【００１１】
ＨＤ量子化代表ベクトルテーブル５は、変換テーブル４から出力されたインデックス値に対応するＨＤ量子化代表ベクトル、即ち、ＨＤ画像データを読み出して出力する。
【００１２】
以上のような動作により、ＳＤ画像データをＨＤ画像データに変換することが可能となる。
【００１３】
続いて、図６に示す変換テーブル４に格納されているデータを生成する処理について説明する。
【００１４】
図９は、変換テーブル４に格納されているデータを生成する処理の一例を説明するフローチャートである。
【００１５】
この処理が実行されると、ステップＳ１では、ＳＤ画像のコードブックが生成される。なお、生成の手法としては、例えば、ＬＢＧ法（「Y. Linde A. Buzo and R.M.Gray:"An Algorithm for Vector Quantizer Design", IEEE Trans. Commun., COM-28,1,pp.84-95(Jan. 1980)」参照）などを用いることができる。
【００１６】
即ち、先ず、所望の量子化代表ベクトルに対応する個数の仮量子化代表ベクトルを生成し、画像データをこの量子化代表ベクトルに最も近い画素の集合により分割する。続いて、分割された各領域内の重心を求め、得られた重心を量子化代表ベクトルとする。次に、量子化代表ベクトルを少し動かして空間分割を再度実行した後、各領域の重心を求め、得られた重心を量子化代表ベクトルとする。以上のような操作を繰り返し、量子化代表ベクトルが収束した時点で処理を終了することにより、量子化代表ベクトルの集合であるコードブックを得ることができる。
【００１７】
図９に戻って、ステップＳ２では、前述の場合と同様の手法によって、ＨＤ画像のコードブックが生成される。そして、ステップＳ３に進む。
【００１８】
ステップＳ３では、ＳＤ画像のコードブックとＨＤ画像のコードブックの対応関係から変換テーブルが生成される。即ち、原画（ＨＤ画像）と、ＳＤ画像から生成された画像との誤差が最小となるようにＳＤ量子化代表ベクトルとＨＤ量子化代表ベクトルとを対応づけていき、出現頻度が最も高い対応づけを選択し、これを変換テーブルとする。
【００１９】
そして、ステップＳ３の処理が完了すると処理を終了する（エンド）。
【００２０】
以上の処理により、ＳＤ画像のコードブック、ＨＤ画像のコードブック、および、変換テーブルを生成することができる。
【００２１】
【発明が解決しようとする課題】
しかしながら以上のような方法においては、ＳＤ画像とＨＤ画像のコードブックは、それぞれ独立に生成されていた。従って、ＳＤ画像側とＨＤ画像側の領域分割が独立に実施されることになり、その結果、ＳＤ画像をＨＤ画像に変換する際の変換精度を高くすることが困難であるという課題があった。
【００２２】
本発明は、以上のような状況に鑑みてなされたものであり、例えば、ＳＤ画像をＨＤ画像に変換する際に、より精度の高い変換を可能とするものである。
【００２３】
【課題を解決するための手段】
請求項１に記載の画像変換装置は、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとを対応させて格納する手段と、入力された第１の画像から第１のベクトルを生成する手段と、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルを検索し、検索された第１の量子化代表ベクトルに対応するインデックス値を出力する手段と、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルを出力する手段とを備え、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されることを特徴とする。
【００２４】
請求項４に記載の画像変換方法は、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとを対応させて格納するステップと、入力された第１の画像から第１のベクトルを生成するステップと、生成された前記第１のベクトルとの距離が最小となる第１の量子化代表ベクトルを検索し、検索された第１の量子化代表ベクトルに対応するインデックス値を出力するステップと、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルを出力するステップとを含み、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されることを特徴とする。
【００２５】
請求項５に記載の演算装置は、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出する手段と、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求める手段と、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求める手段と、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納する手段と、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求める手段とを備えることを特徴とする。
【００２６】
請求項６に記載の演算方法は、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出するステップと、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求めるステップと、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求めるステップと、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納するステップと、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求めるステップとを含むことを特徴とする。
【００２７】
請求項７に記載の記録媒体のプログラムは、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出するステップと、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求めるステップと、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求めるステップと、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納するステップと、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求めるステップとを含むことを特徴とする。
【００２８】
請求項１に記載の画像変換装置においては、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出される。
【００２９】
請求項４に記載の画像変換方法においては、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出される。
【００３０】
請求項５に記載の演算装置においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３１】
請求項６に記載の演算方法においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３２】
請求項７に記載の記録媒体においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３３】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。なお、この図において、図６の従来例と対応する部分には同一の符号が付してあるので、その説明は適宜省略する。
【００３４】
図１の実施の形態では、図６に示す従来例から、変換テーブル４が除外されており、また、ＳＤ量子化代表テーブル３がＳＤ量子化代表ベクトルテーブル２０（算出手段）に置換されている。その他の構成は、図６に示す場合と同様である。なお、ＳＤ量子化代表ベクトルテーブル２０に格納されているデータは、後述する方法により生成される。
【００３５】
次に、以上の実施の形態の動作について説明する。
【００３６】
ベクトル化回路１（入力手段）は、入力されたＳＤ画像データを、例えば、２個ずつ組み合わせてベクトルを生成し、誤差判定回路２（算出手段、選択手段）に供給する。誤差判定回路２は、ベクトル化回路１から出力されたベクトルとの間の距離（誤差）が最小となる量子化代表ベクトルをＳＤ量子化代表ベクトルテーブル２０より検索し、得られた量子化代表ベクトルのインデックス値を出力する。
【００３７】
ＨＤ量子化代表ベクトルテーブル５（選択手段、出力手段）は、誤差判定回路２から出力されたインデックス値に対応するＨＤ量子化代表ベクトルを読み出して、ＨＤ画像データとして出力する。
【００３８】
以上のような動作により、ＳＤ画像データをＨＤ画像データに変換することが可能となる。
【００３９】
なお、ＳＤ量子化代表ベクトルテーブル２０およびＨＤ量子化代表ベクトルテーブル５に格納されているデータ（ＳＤコードブックおよびＨＤコードブック）は、図２に示す装置により生成される。
【００４０】
この図において、ＣＰＵ（Central Processing Unit）３０（分割手段、選出手段、検出手段、ベクトル化手段、算出手段）は、装置各部を制御するとともに、各種演算を実行するようになされている。ＲＯＭ（Read Only Memory）３１は、ＣＰＵ３０が実行する各種プログラムを格納している。ＲＡＭ（Random Access Memory）３２（記憶手段）は、ＣＰＵ３０が所定の演算を実行する際に、演算途中のデータなどを一時的に格納するようになされている。ＩＦ３４は、ＣＰＵ３０が周辺機器との間でデータを授受する際に、データ形式を適宜変換するようになされている。なお、ＣＰＵ３０，ＲＯＭ３１，ＲＡＭ３２は、バス３３により相互に接続されている。
【００４１】
ハードディスク装置３５（記憶手段）は、ＳＤ量子化代表ベクトルおよびＨＤ量子化代表ベクトルを求めるためのプログラムや各種画像データなどを格納しており、ＣＰＵ３０の制御に応じて所定の領域に書き込まれているデータを読み出すとともに、ＣＰＵ３０から出力されるデータを所定の領域に書き込むようになされている。
【００４２】
ＣＲＴモニタ３６は、処理の進捗状況を表示したり、所定の情報の入力を促すメッセージ等を表示するようになされている。入力装置３７は、例えば、キーボードやマウスなどにより構成されており、所定の情報を入力する際に操作されるようになされている。
【００４３】
図３は、以上の実施の形態において実行される処理の一例を説明するフローチャートである。次に、この図３を参照して、ＨＤコードブックとＳＤコードブックの生成処理について説明する。
【００４４】
図３に示す処理が実行されると、ＣＰＵ３０は、ステップＳ３０において、ＨＤ画像のコードブックを、例えば、ＬＢＧ法を用いて生成する。なお、このステップＳ３０の処理はサブルーチンとなっており、その詳細を図５を参照して詳述する。
【００４５】
ステップＳ３０の処理が実行されると、ＣＰＵ３０は、ステップＳ５０の処理を呼び出して実行する。ステップＳ５０では、ＣＰＵ３０は、ハードディスク装置３５に記録されている学習用のＨＤ画像を読み込み、この学習用のＨＤ画像を、例えば、図７に示すように、縦、横、それぞれ２×４の画素から構成されるブロックに分割してそれぞれの画素を数値化し、Ｌ個の学習用ベクトルを生成する。
【００４６】
続くステップＳ５１では、ＣＰＵ３０は、Ｎ個の初期量子化代表ベクトル（コードブック）ＣN (0)を生成する。
【００４７】
ステップＳ５２では、ＣＰＵ３０は、処理回数が格納される変数ｍを値０に初期設定するとともに、平均歪を格納する変数Ｄの第（−１）番目の値として、無限大（処理装置が表現可能な最大の値）を初期設定する。
【００４８】
そして、ステップＳ５３に進み、ＣＰＵ３０は、コードブックＣN (m)（いま、ｍ＝０であるので初期コードブックＣN (0)）を固定して、分割ＰN (m)を最適化する。即ち、求めようとする量子化代表ベクトルｙi (m)（ｉ＝１，２，・・・，Ｎ）に対応する領域（ｙi (m)を代表点とする領域）Ｐi (m)は、ｙi (m)との間の距離（誤差）が最小となる学習ベクトルの集合として与えられる。このようにして、Ｌ個の学習ベクトルがＮ個の領域に分割される。また、ＣＰＵ３０は、各領域に属する学習ベクトルをその領域の量子化代表ベクトルで置き換えた場合に生ずる歪み（誤差）の相加平均を求め、平均歪みＤ(m)を算出する。
【００４９】
ステップＳ５４では、ＣＰＵ３０は、以下の式に基づいて収束判定を行う。ここで、εは収束判定用の所定の閾値である。
【００５０】
（Ｄ(m-1)−Ｄ(m)）／Ｄ(m)＜ε ・・・（１）
【００５１】
即ち、ＣＰＵ３０は、前回の処理で求めた平均歪みＤ(m-1)と今回の処理で求めた平均歪みＤ(m)の差分を今回の平均歪みＤ(m)により除算して得られた値が、閾値εよりも小さいか否かを判定する。その結果、前述の値が閾値εよりも小さい（ＹＥＳ）と判定した場合には、図３のステップＳ３１の処理に復帰（リターン）する。また、前述の値が閾値εよりも大きいか、等しい（ＮＯ）と判定した場合には、ステップＳ５５の処理に進む。
【００５２】
ステップＳ５５では、ＣＰＵ３０は、分割ＰN (m)を固定して、コードブックＣN’を最適化する。即ち、ＣＰＵ３０は、Ｎ個の領域に分割されている学習系列のそれぞれの領域において、平均歪みが最小となる量子化代表ベクトルｙ1’，ｙ2’，・・・，ｙN’を算出し、これをコードブックＣN’とする。なお、平均歪みが最小となる量子化代表ベクトルを算出する方法としては、例えば、各領域Ｐi (m)に所属する学習ベクトルの平均ベクトルとして与えられる重心を量子化代表ベクトルｙi’とする方法を用いることができる。
【００５３】
ステップＳ５６では、ＣＰＵ３０は、変数ｍを値１だけインクリメントし、ステップＳ５７に進む。ステップＳ５７では、ＣＰＵ３０は、ステップＳ５５において生成されたコードブックＣN’をＣN (m)に代入してステップＳ５３の処理に戻り、前述の場合と同様の処理を繰り返す。そして、平均歪みの差分が所定の値以下になった場合には、値が収束したとして、ステップＳ３１の処理に復帰（リターン）することになる。
【００５４】
以上の処理により、学習用のＨＤ画像に対応したコードブックＣNが生成されることになる。
【００５５】
図３に戻って、ステップＳ３１では、ＣＰＵ３０は、処理の回数を格納する変数ｉに初期値１を代入し、ステップＳ３２の処理に進む。
【００５６】
ステップＳ３２では、ＣＰＵ３０は、ハードディスク装置３５から、ステップＳ３０の処理において読み込まれたＨＤ画像に対応するＳＤ画像を読み込み、読み込んだＳＤ画像の所定のベクトルｘiに位置的に対応するＨＤ画像のベクトルｙiを求める。即ち、図５（Ａ）に示すように、ＳＤ画像のベクトルｘiを画面の水平方向（図の左右方向）に隣接する２つの画素から構成されるとし、また、ＨＤ画像のベクトルｙiを、水平方向と垂直方向にそれぞれ４×２個の画素から構成されるものとすると、ＣＰＵ３０は、図５（Ｂ）に示すように、ＳＤ画像のベクトルｘiと同一空間位置にあるベクトルｙiを求める。なお、このように、同一空間位置にあるベクトルを抽出する理由は、同一空間位置の画素は、同様の画像情報を表現しているからである。
【００５７】
ステップＳ３３では、ＣＰＵ３０は、ステップＳ３０の処理において求めたコードブックＣNを参照して、ステップＳ３２において求めたベクトルｙiが最も近い（誤差の少ない）量子化代表ベクトルＹkを求める。そして、ステップＳ３４に進み、ＣＰＵ３０は、ベクトルｘiをベクトルＹkに属するベクトルとする。例えば、ＣＰＵ３０は、配列Ｙの第ｋ番目の要素として、ベクトルｘiの値を格納する。
【００５８】
ステップＳ３５では、ＣＰＵ３０は、変数ｉの値を１だけインクリメントして、ステップＳ３６に進む。ステップＳ３６では、全てのＳＤ画素に対する処理が終了したか否かが判定され、処理が終了していない（ＮＯ）と判定した場合は、ステップＳ３２に戻り、前述の場合と同様の処理を繰り返す。また、処理が終了していない（ＮＯ）と判定した場合には、ステップＳ３７に進む。
【００５９】
ステップＳ３７では、ＣＰＵ３０は、変数ｉに値１を再度設定し、ステップＳ３８に進む。ステップＳ３８では、量子化代表ベクトルＹiに属するＳＤ画像のベクトル群の重心を求めて、これをＳＤ量子化代表ベクトルＸiとする。即ち、ＣＰＵ３０は、前述の配列Ｙに格納されているＳＤ画像のベクトル群を読み出し、これらのベクトル群の重心を求め、得られた値をＳＤ画像の量子化代表ベクトルＸiとする。
【００６０】
ステップＳ３９では、変数ｉの値が１だけインクリメントされ、ステップＳ４０に進む。ステップＳ４０では、全てのＨＤ量子化代表ベクトルに対する処理が終了したか否かが判定され、その結果、処理が終了していない（ＮＯ）と判定された場合には、ステップＳ３８に戻り、前述の場合と同様の処理が繰り返される。また、全ての処理が終了した（ＹＥＳ）と判定された場合には、処理を終了する（エンド）。
【００６１】
以上の処理によれば、図１に示すＳＤ量子化代表ベクトルテーブル２０に格納されているＳＤコードブックと、ＨＤ量子化代表ベクトルテーブル５に格納されているＨＤコードブックとを生成することが可能となる。
【００６２】
なお、ＳＤ量子化代表ベクトルテーブル２０に格納されているＳＤ量子化代表ベクトルは、ＨＤ量子化代表ベクトルテーブル５に格納されているＨＤ量子化代表コードブックに対応する順序で格納されているので、誤差判定回路２から出力されたＳＤ量子化代表ベクトルのインデックス値は、そのままＨＤ量子化代表ベクトルテーブル５に供給することができる。
【００６３】
以上の実施の形態によれば、ＨＤ量子化代表ベクトルに対応するように、領域分割を施してＳＤ量子化代表ベクトルを生成するようにしたので、ＳＤ画像をＨＤ画像に変換する際の精度を向上させることが可能となる。
【００６４】
なお、以上の実施の形態においては、先ず、ＨＤコードブックを生成した後に、このＨＤコードブックを参照してＳＤコードブックを生成するようにしたが、逆に、先ず、ＳＤコードブックを生成して、生成されたＳＤコードブックを参照してＨＤコードブックを生成するようにしてもよい。
【００６５】
また、以上の実施の形態においては、ＳＤ画像をＨＤ画像にアップコンバートするようにしたが、ＨＤ画像をＳＤ画像にダウンコンバートする場合においても本発明を適用することが可能である。
【００６６】
【発明の効果】
請求項１に記載の画像変換装置および請求項４に記載の画像変換方法によれば、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されるので、第１の画像を精度よく第２の像に変換することが可能となる。
【００６７】
請求項５に記載の演算装置、請求項６に記載の演算方法、および、請求項７に記載の記録媒体によれば、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められるので、第２の量子化代表ベクトルに応じた適切な第１の量子化代表ベクトルを生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像変換装置の実施の形態の構成例を示すブロック図である。
【図２】本発明の演算装置の実施の形態の構成例を示すブロック図である。
【図３】図２に示す実施の形態において実行される処理の一例を説明するフローチャートである。
【図４】図３のステップＳ３０の処理の詳細を説明するフローチャートである。
【図５】ＳＤ画像とＨＤ画像との対応関係の一例を示す図である。
【図６】従来の画像変換装置の構成例を示すブロック図である。
【図７】ＳＤ画像とＨＤ画像との対応関係を示す図である。
【図８】量子化代表ベクトルの一例を説明する図である。
【図９】図６に示すＳＤ量子化代表ベクトルテーブルに格納されているＳＤコードブックを生成するための処理の一例を説明するフローチャートである。
【符号の説明】
１ ベクトル化回路（入力手段）， ２ 誤差判定回路（算出手段、選択手段）， ５ ＨＤ量子化代表ベクトルテーブル（選択手段）， ２０ ＳＤ量子化代表ベクトルテーブル（算出手段）， ３０ ＣＰＵ（分割手段、選出手段、検出手段、ベクトル化手段、算出手段）， ３２ ＲＡＭ（記憶手段）， ３５ ハードディスク装置（記憶手段）
【発明の属する技術分野】
本発明は、画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体に関し、特に、第１の画像を解像度が異なる第２の画像に変換する画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体に関する。
【０００２】
【従来の技術】
例えば、ＳＤ（Standard Definition）画像を、それよりも解像度の高いＨＤ（High Definition）画像に変換する方法としては、例えば、ベクトル量子化を用いる方法などが知られている。
【０００３】
図６は、ベクトル量子化を用いた画像変換装置の構成例を示すブロック図である。この図において、ベクトル化回路１は、入力されたＳＤ画像データを、例えば、２個ずつ組み合わせて２次元ベクトルを形成し、誤差判定回路２に出力する。
【０００４】
誤差判定回路２は、ＳＤ量子化代表ベクトルテーブル３からＳＤ量子化代表ベクトルを逐次読み出し、読み出された量子化代表ベクトルと入力されたベクトルの間の誤差を算出する。そして、算出された誤差が最小となるＳＤ量子化代表ベクトルを選択し、そのインデックス値を変換テーブル４に出力する。
【０００５】
変換テーブル４は、誤差判定回路２より出力されたＳＤ量子化代表ベクトルのインデックスに対応するＨＤ量子化代表ベクトルのインデックスを出力する。ＨＤ量子化代表ベクトルテーブル５は、ＨＤ量子化代表ベクトルを記憶しており、変換テーブル４から出力されたインデックスに対応するＨＤ量子化代表ベクトルを出力する。
【０００６】
次に、図７および図８を参照して、以上の従来例の動作について説明する。
【０００７】
ベクトル化回路１は、図７（Ａ）に示すように、入力されたＳＤ画像データを、例えば、２個ずつ順次組み合わせてベクトル（図７（Ｂ）参照）を生成する。このようにして生成されたベクトルは、誤差判定回路２に供給される。
【０００８】
誤差判定回路２は、ＳＤ量子化代表ベクトルテーブル３に格納されている量子化代表ベクトルの中から、入力されたベクトルに最も近い量子化代表ベクトルを検索し、そのインデックス値を出力する。即ち、図８に示すように、２つのデータｘnj，ｘnj+1をそれぞれ横軸と縦軸に対応させると、入力されたベクトルは２次元空間上に表すことができる。このような２次元空間をＮ個の領域に分割して、それぞれの領域の重心である代表点をＸ1乃至ＸNとする。このとき、誤差判定回路２は、入力されたベクトルｘとＳＤ量子化代表ベクトルテーブル３に格納されている各代表点Ｘ1乃至ＸNとの間の距離（誤差）を求め、求めた距離が最も小さい代表点を示すインデックス値（Ｘの添字番号）を出力する。
【０００９】
なお、ＨＤ量子化代表ベクトルテーブル５にも、同様にして生成されたＨＤ画像の代表点Ｙ1乃至ＹNが格納されている。なお、各代表点は、例えば、図７（Ａ）に示すように８個のデータ（ｙnj乃至ｙnj+3およびｙn+1j乃至ｙn+1j+3）により構成されており、それぞれＨＤ画像の画素値を示している。
【００１０】
誤差判定回路２から出力されたインデックス値は、変換テーブル４に供給され、そこで、対応するＨＤ量子化代表ベクトルを読み出すための新たなインデックスデータに変換されて出力される。
【００１１】
ＨＤ量子化代表ベクトルテーブル５は、変換テーブル４から出力されたインデックス値に対応するＨＤ量子化代表ベクトル、即ち、ＨＤ画像データを読み出して出力する。
【００１２】
以上のような動作により、ＳＤ画像データをＨＤ画像データに変換することが可能となる。
【００１３】
続いて、図６に示す変換テーブル４に格納されているデータを生成する処理について説明する。
【００１４】
図９は、変換テーブル４に格納されているデータを生成する処理の一例を説明するフローチャートである。
【００１５】
この処理が実行されると、ステップＳ１では、ＳＤ画像のコードブックが生成される。なお、生成の手法としては、例えば、ＬＢＧ法（「Y. Linde A. Buzo and R.M.Gray:"An Algorithm for Vector Quantizer Design", IEEE Trans. Commun., COM-28,1,pp.84-95(Jan. 1980)」参照）などを用いることができる。
【００１６】
即ち、先ず、所望の量子化代表ベクトルに対応する個数の仮量子化代表ベクトルを生成し、画像データをこの量子化代表ベクトルに最も近い画素の集合により分割する。続いて、分割された各領域内の重心を求め、得られた重心を量子化代表ベクトルとする。次に、量子化代表ベクトルを少し動かして空間分割を再度実行した後、各領域の重心を求め、得られた重心を量子化代表ベクトルとする。以上のような操作を繰り返し、量子化代表ベクトルが収束した時点で処理を終了することにより、量子化代表ベクトルの集合であるコードブックを得ることができる。
【００１７】
図９に戻って、ステップＳ２では、前述の場合と同様の手法によって、ＨＤ画像のコードブックが生成される。そして、ステップＳ３に進む。
【００１８】
ステップＳ３では、ＳＤ画像のコードブックとＨＤ画像のコードブックの対応関係から変換テーブルが生成される。即ち、原画（ＨＤ画像）と、ＳＤ画像から生成された画像との誤差が最小となるようにＳＤ量子化代表ベクトルとＨＤ量子化代表ベクトルとを対応づけていき、出現頻度が最も高い対応づけを選択し、これを変換テーブルとする。
【００１９】
そして、ステップＳ３の処理が完了すると処理を終了する（エンド）。
【００２０】
以上の処理により、ＳＤ画像のコードブック、ＨＤ画像のコードブック、および、変換テーブルを生成することができる。
【００２１】
【発明が解決しようとする課題】
しかしながら以上のような方法においては、ＳＤ画像とＨＤ画像のコードブックは、それぞれ独立に生成されていた。従って、ＳＤ画像側とＨＤ画像側の領域分割が独立に実施されることになり、その結果、ＳＤ画像をＨＤ画像に変換する際の変換精度を高くすることが困難であるという課題があった。
【００２２】
本発明は、以上のような状況に鑑みてなされたものであり、例えば、ＳＤ画像をＨＤ画像に変換する際に、より精度の高い変換を可能とするものである。
【００２３】
【課題を解決するための手段】
請求項１に記載の画像変換装置は、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとを対応させて格納する手段と、入力された第１の画像から第１のベクトルを生成する手段と、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルを検索し、検索された第１の量子化代表ベクトルに対応するインデックス値を出力する手段と、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルを出力する手段とを備え、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されることを特徴とする。
【００２４】
請求項４に記載の画像変換方法は、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとを対応させて格納するステップと、入力された第１の画像から第１のベクトルを生成するステップと、生成された前記第１のベクトルとの距離が最小となる第１の量子化代表ベクトルを検索し、検索された第１の量子化代表ベクトルに対応するインデックス値を出力するステップと、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルを出力するステップとを含み、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されることを特徴とする。
【００２５】
請求項５に記載の演算装置は、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出する手段と、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求める手段と、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求める手段と、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納する手段と、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求める手段とを備えることを特徴とする。
【００２６】
請求項６に記載の演算方法は、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出するステップと、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求めるステップと、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求めるステップと、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納するステップと、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求めるステップとを含むことを特徴とする。
【００２７】
請求項７に記載の記録媒体のプログラムは、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルを算出するステップと、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれを求めるステップと、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルを求めるステップと、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルを格納するステップと、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心を求めるステップとを含むことを特徴とする。
【００２８】
請求項１に記載の画像変換装置においては、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出される。
【００２９】
請求項４に記載の画像変換方法においては、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出される。
【００３０】
請求項５に記載の演算装置においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３１】
請求項６に記載の演算方法においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３２】
請求項７に記載の記録媒体においては、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められる。
【００３３】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。なお、この図において、図６の従来例と対応する部分には同一の符号が付してあるので、その説明は適宜省略する。
【００３４】
図１の実施の形態では、図６に示す従来例から、変換テーブル４が除外されており、また、ＳＤ量子化代表テーブル３がＳＤ量子化代表ベクトルテーブル２０（算出手段）に置換されている。その他の構成は、図６に示す場合と同様である。なお、ＳＤ量子化代表ベクトルテーブル２０に格納されているデータは、後述する方法により生成される。
【００３５】
次に、以上の実施の形態の動作について説明する。
【００３６】
ベクトル化回路１（入力手段）は、入力されたＳＤ画像データを、例えば、２個ずつ組み合わせてベクトルを生成し、誤差判定回路２（算出手段、選択手段）に供給する。誤差判定回路２は、ベクトル化回路１から出力されたベクトルとの間の距離（誤差）が最小となる量子化代表ベクトルをＳＤ量子化代表ベクトルテーブル２０より検索し、得られた量子化代表ベクトルのインデックス値を出力する。
【００３７】
ＨＤ量子化代表ベクトルテーブル５（選択手段、出力手段）は、誤差判定回路２から出力されたインデックス値に対応するＨＤ量子化代表ベクトルを読み出して、ＨＤ画像データとして出力する。
【００３８】
以上のような動作により、ＳＤ画像データをＨＤ画像データに変換することが可能となる。
【００３９】
なお、ＳＤ量子化代表ベクトルテーブル２０およびＨＤ量子化代表ベクトルテーブル５に格納されているデータ（ＳＤコードブックおよびＨＤコードブック）は、図２に示す装置により生成される。
【００４０】
この図において、ＣＰＵ（Central Processing Unit）３０（分割手段、選出手段、検出手段、ベクトル化手段、算出手段）は、装置各部を制御するとともに、各種演算を実行するようになされている。ＲＯＭ（Read Only Memory）３１は、ＣＰＵ３０が実行する各種プログラムを格納している。ＲＡＭ（Random Access Memory）３２（記憶手段）は、ＣＰＵ３０が所定の演算を実行する際に、演算途中のデータなどを一時的に格納するようになされている。ＩＦ３４は、ＣＰＵ３０が周辺機器との間でデータを授受する際に、データ形式を適宜変換するようになされている。なお、ＣＰＵ３０，ＲＯＭ３１，ＲＡＭ３２は、バス３３により相互に接続されている。
【００４１】
ハードディスク装置３５（記憶手段）は、ＳＤ量子化代表ベクトルおよびＨＤ量子化代表ベクトルを求めるためのプログラムや各種画像データなどを格納しており、ＣＰＵ３０の制御に応じて所定の領域に書き込まれているデータを読み出すとともに、ＣＰＵ３０から出力されるデータを所定の領域に書き込むようになされている。
【００４２】
ＣＲＴモニタ３６は、処理の進捗状況を表示したり、所定の情報の入力を促すメッセージ等を表示するようになされている。入力装置３７は、例えば、キーボードやマウスなどにより構成されており、所定の情報を入力する際に操作されるようになされている。
【００４３】
図３は、以上の実施の形態において実行される処理の一例を説明するフローチャートである。次に、この図３を参照して、ＨＤコードブックとＳＤコードブックの生成処理について説明する。
【００４４】
図３に示す処理が実行されると、ＣＰＵ３０は、ステップＳ３０において、ＨＤ画像のコードブックを、例えば、ＬＢＧ法を用いて生成する。なお、このステップＳ３０の処理はサブルーチンとなっており、その詳細を図５を参照して詳述する。
【００４５】
ステップＳ３０の処理が実行されると、ＣＰＵ３０は、ステップＳ５０の処理を呼び出して実行する。ステップＳ５０では、ＣＰＵ３０は、ハードディスク装置３５に記録されている学習用のＨＤ画像を読み込み、この学習用のＨＤ画像を、例えば、図７に示すように、縦、横、それぞれ２×４の画素から構成されるブロックに分割してそれぞれの画素を数値化し、Ｌ個の学習用ベクトルを生成する。
【００４６】
続くステップＳ５１では、ＣＰＵ３０は、Ｎ個の初期量子化代表ベクトル（コードブック）ＣN (0)を生成する。
【００４７】
ステップＳ５２では、ＣＰＵ３０は、処理回数が格納される変数ｍを値０に初期設定するとともに、平均歪を格納する変数Ｄの第（−１）番目の値として、無限大（処理装置が表現可能な最大の値）を初期設定する。
【００４８】
そして、ステップＳ５３に進み、ＣＰＵ３０は、コードブックＣN (m)（いま、ｍ＝０であるので初期コードブックＣN (0)）を固定して、分割ＰN (m)を最適化する。即ち、求めようとする量子化代表ベクトルｙi (m)（ｉ＝１，２，・・・，Ｎ）に対応する領域（ｙi (m)を代表点とする領域）Ｐi (m)は、ｙi (m)との間の距離（誤差）が最小となる学習ベクトルの集合として与えられる。このようにして、Ｌ個の学習ベクトルがＮ個の領域に分割される。また、ＣＰＵ３０は、各領域に属する学習ベクトルをその領域の量子化代表ベクトルで置き換えた場合に生ずる歪み（誤差）の相加平均を求め、平均歪みＤ(m)を算出する。
【００４９】
ステップＳ５４では、ＣＰＵ３０は、以下の式に基づいて収束判定を行う。ここで、εは収束判定用の所定の閾値である。
【００５０】
（Ｄ(m-1)−Ｄ(m)）／Ｄ(m)＜ε ・・・（１）
【００５１】
即ち、ＣＰＵ３０は、前回の処理で求めた平均歪みＤ(m-1)と今回の処理で求めた平均歪みＤ(m)の差分を今回の平均歪みＤ(m)により除算して得られた値が、閾値εよりも小さいか否かを判定する。その結果、前述の値が閾値εよりも小さい（ＹＥＳ）と判定した場合には、図３のステップＳ３１の処理に復帰（リターン）する。また、前述の値が閾値εよりも大きいか、等しい（ＮＯ）と判定した場合には、ステップＳ５５の処理に進む。
【００５２】
ステップＳ５５では、ＣＰＵ３０は、分割ＰN (m)を固定して、コードブックＣN’を最適化する。即ち、ＣＰＵ３０は、Ｎ個の領域に分割されている学習系列のそれぞれの領域において、平均歪みが最小となる量子化代表ベクトルｙ1’，ｙ2’，・・・，ｙN’を算出し、これをコードブックＣN’とする。なお、平均歪みが最小となる量子化代表ベクトルを算出する方法としては、例えば、各領域Ｐi (m)に所属する学習ベクトルの平均ベクトルとして与えられる重心を量子化代表ベクトルｙi’とする方法を用いることができる。
【００５３】
ステップＳ５６では、ＣＰＵ３０は、変数ｍを値１だけインクリメントし、ステップＳ５７に進む。ステップＳ５７では、ＣＰＵ３０は、ステップＳ５５において生成されたコードブックＣN’をＣN (m)に代入してステップＳ５３の処理に戻り、前述の場合と同様の処理を繰り返す。そして、平均歪みの差分が所定の値以下になった場合には、値が収束したとして、ステップＳ３１の処理に復帰（リターン）することになる。
【００５４】
以上の処理により、学習用のＨＤ画像に対応したコードブックＣNが生成されることになる。
【００５５】
図３に戻って、ステップＳ３１では、ＣＰＵ３０は、処理の回数を格納する変数ｉに初期値１を代入し、ステップＳ３２の処理に進む。
【００５６】
ステップＳ３２では、ＣＰＵ３０は、ハードディスク装置３５から、ステップＳ３０の処理において読み込まれたＨＤ画像に対応するＳＤ画像を読み込み、読み込んだＳＤ画像の所定のベクトルｘiに位置的に対応するＨＤ画像のベクトルｙiを求める。即ち、図５（Ａ）に示すように、ＳＤ画像のベクトルｘiを画面の水平方向（図の左右方向）に隣接する２つの画素から構成されるとし、また、ＨＤ画像のベクトルｙiを、水平方向と垂直方向にそれぞれ４×２個の画素から構成されるものとすると、ＣＰＵ３０は、図５（Ｂ）に示すように、ＳＤ画像のベクトルｘiと同一空間位置にあるベクトルｙiを求める。なお、このように、同一空間位置にあるベクトルを抽出する理由は、同一空間位置の画素は、同様の画像情報を表現しているからである。
【００５７】
ステップＳ３３では、ＣＰＵ３０は、ステップＳ３０の処理において求めたコードブックＣNを参照して、ステップＳ３２において求めたベクトルｙiが最も近い（誤差の少ない）量子化代表ベクトルＹkを求める。そして、ステップＳ３４に進み、ＣＰＵ３０は、ベクトルｘiをベクトルＹkに属するベクトルとする。例えば、ＣＰＵ３０は、配列Ｙの第ｋ番目の要素として、ベクトルｘiの値を格納する。
【００５８】
ステップＳ３５では、ＣＰＵ３０は、変数ｉの値を１だけインクリメントして、ステップＳ３６に進む。ステップＳ３６では、全てのＳＤ画素に対する処理が終了したか否かが判定され、処理が終了していない（ＮＯ）と判定した場合は、ステップＳ３２に戻り、前述の場合と同様の処理を繰り返す。また、処理が終了していない（ＮＯ）と判定した場合には、ステップＳ３７に進む。
【００５９】
ステップＳ３７では、ＣＰＵ３０は、変数ｉに値１を再度設定し、ステップＳ３８に進む。ステップＳ３８では、量子化代表ベクトルＹiに属するＳＤ画像のベクトル群の重心を求めて、これをＳＤ量子化代表ベクトルＸiとする。即ち、ＣＰＵ３０は、前述の配列Ｙに格納されているＳＤ画像のベクトル群を読み出し、これらのベクトル群の重心を求め、得られた値をＳＤ画像の量子化代表ベクトルＸiとする。
【００６０】
ステップＳ３９では、変数ｉの値が１だけインクリメントされ、ステップＳ４０に進む。ステップＳ４０では、全てのＨＤ量子化代表ベクトルに対する処理が終了したか否かが判定され、その結果、処理が終了していない（ＮＯ）と判定された場合には、ステップＳ３８に戻り、前述の場合と同様の処理が繰り返される。また、全ての処理が終了した（ＹＥＳ）と判定された場合には、処理を終了する（エンド）。
【００６１】
以上の処理によれば、図１に示すＳＤ量子化代表ベクトルテーブル２０に格納されているＳＤコードブックと、ＨＤ量子化代表ベクトルテーブル５に格納されているＨＤコードブックとを生成することが可能となる。
【００６２】
なお、ＳＤ量子化代表ベクトルテーブル２０に格納されているＳＤ量子化代表ベクトルは、ＨＤ量子化代表ベクトルテーブル５に格納されているＨＤ量子化代表コードブックに対応する順序で格納されているので、誤差判定回路２から出力されたＳＤ量子化代表ベクトルのインデックス値は、そのままＨＤ量子化代表ベクトルテーブル５に供給することができる。
【００６３】
以上の実施の形態によれば、ＨＤ量子化代表ベクトルに対応するように、領域分割を施してＳＤ量子化代表ベクトルを生成するようにしたので、ＳＤ画像をＨＤ画像に変換する際の精度を向上させることが可能となる。
【００６４】
なお、以上の実施の形態においては、先ず、ＨＤコードブックを生成した後に、このＨＤコードブックを参照してＳＤコードブックを生成するようにしたが、逆に、先ず、ＳＤコードブックを生成して、生成されたＳＤコードブックを参照してＨＤコードブックを生成するようにしてもよい。
【００６５】
また、以上の実施の形態においては、ＳＤ画像をＨＤ画像にアップコンバートするようにしたが、ＨＤ画像をＳＤ画像にダウンコンバートする場合においても本発明を適用することが可能である。
【００６６】
【発明の効果】
請求項１に記載の画像変換装置および請求項４に記載の画像変換方法によれば、第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、第１の量子化代表ベクトルとが対応して格納され、入力された第１の画像から第１のベクトルが生成され、生成された第１のベクトルとの距離が最小となる第１の量子化代表ベクトルが検索され、検索された第１の量子化代表ベクトルに対応するインデックス値が出力され、格納している第２の量子化代表ベクトルから、インデックス値に対応する第２の量子化代表ベクトルが出力され、第１の量子化代表ベクトルと第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、第１の量子化代表ベクトルは、第２の量子化代表ベクトルに代表される学習用の第２の画像中の画素データ群と位置が対応する学習用の第１の画像の画素データ群を用いて算出されるので、第１の画像を精度よく第２の像に変換することが可能となる。
【００６７】
請求項５に記載の演算装置、請求項６に記載の演算方法、および、請求項７に記載の記録媒体によれば、学習用の第２の画像から生成された第１のベクトルを基にして、第２の量子化代表ベクトルが算出され、学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する第１のベクトルのそれぞれが求められ、求められた第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルが求められ、第１のベクトルのそれぞれに最も近い第２の量子化代表ベクトルに属するベクトルとして、第１のベクトルに画像上の位置が対応する第２のベクトルが格納され、第２の量子化代表ベクトルに属する第２のベクトルから、第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、第２のベクトルの重心が求められるので、第２の量子化代表ベクトルに応じた適切な第１の量子化代表ベクトルを生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像変換装置の実施の形態の構成例を示すブロック図である。
【図２】本発明の演算装置の実施の形態の構成例を示すブロック図である。
【図３】図２に示す実施の形態において実行される処理の一例を説明するフローチャートである。
【図４】図３のステップＳ３０の処理の詳細を説明するフローチャートである。
【図５】ＳＤ画像とＨＤ画像との対応関係の一例を示す図である。
【図６】従来の画像変換装置の構成例を示すブロック図である。
【図７】ＳＤ画像とＨＤ画像との対応関係を示す図である。
【図８】量子化代表ベクトルの一例を説明する図である。
【図９】図６に示すＳＤ量子化代表ベクトルテーブルに格納されているＳＤコードブックを生成するための処理の一例を説明するフローチャートである。
【符号の説明】
１ ベクトル化回路（入力手段）， ２ 誤差判定回路（算出手段、選択手段）， ５ ＨＤ量子化代表ベクトルテーブル（選択手段）， ２０ ＳＤ量子化代表ベクトルテーブル（算出手段）， ３０ ＣＰＵ（分割手段、選出手段、検出手段、ベクトル化手段、算出手段）， ３２ ＲＡＭ（記憶手段）， ３５ ハードディスク装置（記憶手段）
Claims (7)
- 第１の画像を、解像度が異なる第２の画像に変換する画像変換装置において、
第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、前記第１の量子化代表ベクトルとを対応させて格納する手段と、
入力された第１の画像から第１のベクトルを生成する手段と、
生成された前記第１のベクトルとの距離が最小となる前記第１の量子化代表ベクトルを検索し、検索された前記第１の量子化代表ベクトルに対応する前記インデックス値を出力する手段と、
格納している前記第２の量子化代表ベクトルから、前記インデックス値に対応する前記第２の量子化代表ベクトルを出力する手段とを備え、
前記第１の量子化代表ベクトルと前記第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、前記第１の量子化代表ベクトルは、前記第２の量子化代表ベクトルに代表される前記学習用の第２の画像中の画素データ群と位置が対応する前記学習用の第１の画像の画素データ群を用いて算出される
ことを特徴とする画像変換装置。 - 前記インデックス値と前記第１の量子化代表ベクトルとを対応させて格納する前記手段は、
学習用の第２の画像の第２のベクトルを基にして、前記第２の量子化代表ベクトルを生成し、
学習用の第２の画像に対応する第１の画像から生成された第３のベクトルのそれぞれについて、画像上の位置が対応する前記第２のベクトルのそれぞれを選出し、
選出された前記第２のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルを選出し、
前記第２のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルに属するベクトルとして、前記第２のベクトルに画像上の位置が対応する前記第３のベクトルを格納し、
前記第２の量子化代表ベクトルに属する前記第３のベクトルから、前記第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、前記第３のベクトルの重心を算出することによって得られた前記第１の量子化代表ベクトルと前記第２の量子化代表ベクトルのインデックス値とを対応させて格納する
ことを特徴とする請求項１に記載の画像変換装置。 - 前記第１の画像は、ＳＤ画像であり、前記第２の画像はＨＤ画像である
ことを特徴とする請求項１に記載の画像変換装置。 - 第１の画像を、解像度が異なる第２の画像に変換する画像変換方法において、
第１の画像の第１の量子化代表ベクトルに対応する、第２の画像の第２の量子化代表ベクトルであって、第２の画像の画素値を表す第２の量子化代表ベクトルのインデックス値と、前記第１の量子化代表ベクトルとを対応させて格納するステップと、
入力された第１の画像から第１のベクトルを生成するステップと、
生成された前記第１のベクトルとの距離が最小となる前記第１の量子化代表ベクトルを検索し、検索された前記第１の量子化代表ベクトルに対応する前記インデックス値を出力するステップと、
格納している前記第２の量子化代表ベクトルから、前記インデックス値に対応する前記第２の量子化代表ベクトルを出力するステップと
を含み、
前記第１の量子化代表ベクトルと前記第２の量子化代表ベクトルは夫々学習用の第１の画像および学習用の第２の画像を用いて算出されたものであり、前記第１の量子化代表ベ クトルは、前記第２の量子化代表ベクトルに代表される前記学習用の第２の画像中の画素データ群と位置が対応する前記学習用の第１の画像の画素データ群を用いて算出される
ことを特徴とする画像変換方法。 - 第１の画像を第１の量子化代表ベクトルにより量子化し、得られた値を対応する第２の量子化代表ベクトルに置換することにより、第１の画像を解像度が異なる第２の画像に変換する画像変換装置において使用される前記第１の量子化代表ベクトルを演算する演算装置において、
学習用の第２の画像から生成された第１のベクトルを基にして、前記第２の量子化代表ベクトルを算出する手段と、
学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する前記第１のベクトルのそれぞれを求める手段と、
求められた前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルを求める手段と、
前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルに属するベクトルとして、前記第１のベクトルに画像上の位置が対応する前記第２のベクトルを格納する手段と、
前記第２の量子化代表ベクトルに属する前記第２のベクトルから、前記第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、前記第２のベクトルの重心を求める手段と
を備えることを特徴とする演算装置。 - 第１の画像を第１の量子化代表ベクトルにより量子化し、得られた値を対応する第２の量子化代表ベクトルに置換することにより、第１の画像を解像度が異なる第２の画像に変換する画像変換装置において使用される前記第１の量子化代表ベクトルを演算する演算方法において、
学習用の第２の画像から生成された第１のベクトルを基にして、前記第２の量子化代表ベクトルを算出するステップと、
学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する前記第１のベクトルのそれぞれを求めるステップと、
求められた前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルを求めるステップと、
前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルに属するベクトルとして、前記第１のベクトルに画像上の位置が対応する前記第２のベクトルを格納するステップと、
前記第２の量子化代表ベクトルに属する前記第２のベクトルから、前記第２の量子化代表ベクトルに対応する第１の量子化代表ベクトルとして、前記第２のベクトルの重心を求めるステップと
を含むことを特徴とする演算方法。 - 第１の画像を第１の量子化代表ベクトルにより量子化し、得られた値を対応する第２の量子化代表ベクトルに置換することにより、第１の画像を解像度が異なる第２の画像に変換する画像変換装置において使用される前記第１の量子化代表ベクトルを演算する処理用のプログラムであって、
学習用の第２の画像から生成された第１のベクトルを基にして、前記第２の量子化代表ベクトルを算出するステップと、
学習用の第２の画像に対応する第１の画像から生成された第２のベクトルのそれぞれについて、画像上の位置が対応する前記第１のベクトルのそれぞれを求めるステップと、
求められた前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルを求めるステップと、
前記第１のベクトルのそれぞれに最も近い前記第２の量子化代表ベクトルに属するベクトルとして、前記第１のベクトルに画像上の位置が対応する前記第２のベクトルを格納す るステップと、
前記第２の量子化代表ベクトルに属する前記第２のベクトルから、第１の量子化代表ベクトルとして前記第２のベクトルの重心を求めるステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15514797A JP3834805B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15514797A JP3834805B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH114413A JPH114413A (ja) | 1999-01-06 |
| JP3834805B2 true JP3834805B2 (ja) | 2006-10-18 |
Family
ID=15599572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15514797A Expired - Fee Related JP3834805B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3834805B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3702464B2 (ja) | 2002-05-08 | 2005-10-05 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| WO2005067294A1 (ja) * | 2004-01-09 | 2005-07-21 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置および画像処理プログラム |
| US7738739B2 (en) * | 2006-01-26 | 2010-06-15 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for adjusting the resolution of a digital image |
| WO2007139070A1 (ja) | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
-
1997
- 1997-06-12 JP JP15514797A patent/JP3834805B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| JP4552506B2 (ja) * | 2003-05-29 | 2010-09-29 | ソニー株式会社 | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH114413A (ja) | 1999-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060193535A1 (en) | Image matching method and image interpolation method using the same | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2008234479A (ja) | 画像高品質化装置、方法、及びプログラム | |
| JP3834805B2 (ja) | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH07177502A (ja) | 画像情報圧縮方法、圧縮画像情報記録媒体、圧縮画像情報再生装置 | |
| KR100971822B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
| JP2012004616A (ja) | 適応量子化方法，適応量子化装置および適応量子化プログラム | |
| JP3932244B2 (ja) | 画像符号／復号方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| US7627198B2 (en) | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods | |
| JP5198500B2 (ja) | 信号処理装置及びプログラム | |
| JP4093114B2 (ja) | 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP5029869B2 (ja) | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム | |
| JP4214595B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP3977753B2 (ja) | 情報源の符号化方法，情報源の符号化装置，情報源の符号化プログラム，情報源の符号化プログラムを記録した記録媒体 | |
| JP3527415B2 (ja) | ベクトル量子化で用いるコードブックの作成装置および方法、ベクトル量子化方法、記録媒体 | |
| JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
| JP4552506B2 (ja) | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4200403B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体 | |
| JP4200401B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4264531B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2003303330A (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| KR101108635B1 (ko) | 계수 데이터의 생성 장치 및 생성 방법, 정보 신호의 처리 장치 및 처리 방법, 및 그것을 기록한 매체 | |
| JP4200402B2 (ja) | 画像変換装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060716 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |