JP3272309B2 - 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置 - Google Patents
画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置Info
- Publication number
- JP3272309B2 JP3272309B2 JP27961898A JP27961898A JP3272309B2 JP 3272309 B2 JP3272309 B2 JP 3272309B2 JP 27961898 A JP27961898 A JP 27961898A JP 27961898 A JP27961898 A JP 27961898A JP 3272309 B2 JP3272309 B2 JP 3272309B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- original
- value
- interpolation
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000006870 function Effects 0.000 description 31
- 239000004973 liquid crystal related substance Substances 0.000 description 28
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Liquid Crystal Display Device Control (AREA)
- Editing Of Facsimile Originals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
それよりも高解像度にするために、前記原画像の画素間
に補間する新たな画素の画素値を直線補間によって求め
る画素補間処理処理方法及びそのユニット、並びにそれ
を備えたデジタル画像表示装置に係り、特に、原画像の
シャープさや滑らかさを維持した高解像度の出力画像を
得ることができる技術に関する。
に応じて、パーソナルコンピュータ(以下、単に「パソ
コン」と呼ぶ。)などの表示装置として、CRTモニタ
の代わりに、液晶ディスプレイ等のデジタル画像表示装
置が利用され始めている。
ネル自体は、その画面を構成する画素の大きさや個数が
ほぼ規格化されており、比較的高解像度の画像を必要と
する。例えば、パソコン用の液晶ディスプレイに備える
15インチ前後の液晶パネルは、1024×768や1
280×1024の画素で構成されている。このため、
液晶ディスプレイ側では、パソコン側で生成された例え
ば640×480、800×600、1024×768
等の解像度の原画像を、1024×768、1280×
1024の画素で構成される高解像度の出力画像にし
て、液晶パネルにフルスクリーン表示する。
品質は、例えば640×480の解像度の原画像に基づ
いて、1024×768の解像度の出力画像を生成する
際の画素の補間処理の性能に左右される。つまり、出力
画像を生成する際に、原画像の各画素間に補間する画素
の画素値をどの様な値にするかが重要である。
素値を決める方法として、例えば、原画像の画素間を直
線で補間する直線補間( Liner interpolation ) があ
る。直線補間は、原画像の画素の隣り合う2点を直線で
結び、その直線上の値をその間に補間された画素の画素
値として採用する方法である。
うな構成を有する従来例の場合には、次のような問題が
ある。すなわち、直線補間においては、2つの画素間を
一直線で結ぶので、その間に補間された新たな画素の画
素値は、画素間の配置される位置によって略均等に変化
するような値となる。したがって、原画像が例えば風景
等の自然画像である場合には、画像処理によって生成さ
れる出力画像は比較的滑らかな画像で表示されるという
利点がある。しかし、縞模様やテキストを表示した場合
のように、縞模様やテキストを構成する画素と、その背
景の画素とで画素値に大きな差があるような原画像に直
線補間による補間処理を施すと、出力画像における縞模
様やテキストの輪郭がぼやけるという問題がある。
の輪郭のシャープさを上げるために、原画像の画素間に
補間される画素の画素値に一律に重み付けをすると、自
然画像などを表示する場合に、その出力画像の滑らかさ
がなくなり、視覚的に目ざわりな画像になるという問題
がある。さらに、従来、画素間の両端の画素に近づくほ
ど重くなるような重み付けを行う場合に、補間曲線を利
用したものもあるが、この場合には、曲線関数に基づく
演算処理のための回路規模が大きくなるという問題もあ
る。
たものであって、原画像の画素に最適な画素値をもつ新
たな画素が補間された出力画像を生成するとともに、回
路規模を比較的小さくすることができる画像処理方法及
びそのユニット、並びにそれを備えたデジタル画像表示
装置を提供することを目的とする。
的を達成するために、次のような構成をとる。すなわ
ち、請求項1に記載の発明は、原画像に基づいてその解
像度よりも高解像度の出力画像を生成するために、前記
原画像の原画素間に補間する新たな画素の画素値を直線
補間によって求める画素補間処理方法において、前記原
画像の解像度と、前記出力画像の解像度とに基づいて、
前記原画素間に補間する新たな画素の配置位置を特定す
る過程と、前記原画素間の画素値の差である差分値を算
出する過程と、前記差分値が閾値よりも小さい場合に
は、前記原画素間に補間する新たな画素の画素値を前記
直線補間によって求めるための標準的な補間直線を設定
し、前記差分値が閾値よりも大きい場合には、前記新た
な画素の配置位置が前記原画素間の特定位置よりも前記
原画素の画素値の大きい側にあるときには前記標準的な
補間直線から求められる画素値よりも大きくなり、前記
新たな画素の配置位置が前記原画素間の特定位置よりも
前記原画素の画素値の小さい側にあるときには前記標準
的な補間直線から求められる画素値よりも小さくなるよ
うな、前記標準的な補間直線を部分的に平行移動させた
重み付け補間直線を設定する過程と、前記新たな画素の
配置位置における前記設定された標準的な補間直線また
は重み付け補間直線上の画素値を、前記原画素間に補間
する新たな画素の画素値として算出する過程とを備える
ことを特徴とするものである。
てその解像度よりも高解像度の出力画像を生成するため
に、前記原画像の原画素間に補間する新たな画素の画素
値を直線補間によって求める画素補間処理ユニットにお
いて、前記原画像の解像度と、前記出力画像の解像度と
に基づいて、前記原画素間に補間する新たな画素の配置
位置を特定する配置位置特定手段と、前記原画素間の画
素値の差である差分値を算出する差分値算出手段と、前
記差分値算出手段によって算出された差分値が閾値より
も小さい場合には、前記原画素間に補間する新たな画素
の画素値を直線補間によって求めるための標準的な補間
直線を設定し、前記差分値が前記閾値よりも大きい場合
には、前記新たな画素の配置位置が前記原画素間の特定
位置よりも前記原画素の画素値の大きい側にあるときに
は前記標準的な補間直線から求められる画素値よりも大
きくなり、前記新たな画素の配置位置が前記原画素間の
特定位置よりも前記原画素の画素値の小さい側にあると
きには前記標準的な補間直線から求められる画素値より
も小さくなるような、前記標準的な補間直線を部分的に
平行移動させた重み付け補間直線を設定する補間条件設
定手段と、前記配置位置特定手段で特定された新たな画
素の配置位置における前記標準的な補間直線または前記
重み付け補間直線上の画素値を、前記原画素間に補間す
る新たな画素の画素値として算出する画素値算出手段と
を備えることを特徴とするものである。
の画素補間処理ユニットにおいて、前記配置位置特定手
段は、前記原画像の画素間を2の巾乗値で分割する画素
間分割手段と、前記画素間分割手段で分割された画素間
上に補間する新たな画素の配置位置を示す配置位置情報
を、前記原画像の解像度と出力画像の解像度とに基づい
て算出する配置位置情報算出手段とを備え、前記補間条
件設定手段は、前記差分値算出手段で算出された差分値
が閾値よりも小さい場合には、前記配置位置情報算出手
段で算出された配置位置情報を、新たな配置位置情報と
して設定し、前記差分値が前記閾値よりも大きい場合に
は、前記新たな画素の配置位置が前記原画素間の特定位
置よりも大きい側にあるときには前記配置位置情報算出
手段で算出された配置位置情報に所定値を加算した重み
付き配置位置情報を、前記新たな画素の配置位置が前記
原画素間の特定位置よりも小さい側にあるときには前記
配置位置情報から所定値を減算した重み付き配置位置情
報を、新たな配置位置情報として設定し、前記画素値算
出手段は、前記原画像の画素間において直線補間を行う
ための直線補間関数に、前記新たな配置位置情報を作用
させることで算出される画素値を前記原画素間に補間す
る新たな画素の画素値とすることを特徴とするものであ
る。
の画素補間処理ユニットにおいて、前記特定位置が、前
記原画素間の中心位置であるものである。
の画素補間処理ユニットにおいて、前記画素値算出手段
が、前記直線補間関数における除算演算を行うシフトレ
ジスタを備えるものである。
請求項5のいずれかに記載の画素補間処理ユニットを備
えるデジタル画像表示装置である。
記載の発明によれば、原画像の解像度と、出力画像の解
像度とから原画素間に補間する新たな画素の配置位置を
特定する。隣り合う2つの原画素間の画素値の差である
差分値を算出する。この差分値が閾値よりも小さい場合
には、原画像が滑らかな画像であると考えられるので、
通常の直線補間によって新たな画素の画素値を求めるた
めに標準的な補間直線を設定する。一方、差分値が閾値
よりも大きい場合には、原画像がシャープな画像である
と考えられるので、原画素間の特定位置よりも原画素の
画素値が大きい側に新たな画素の配置位置があるときに
は標準的な補間直線によって求められる画素値よりも大
きくなるように、原画素の画素値の小さい側に新たな画
素の配置位置があるときには標準的な補間直線によって
求められる画素値よりも小さくなるようにするため、標
準的な補間直線を部分的に平行移動させた重み付け補間
直線を設定する。新たな画素の配置位置における標準的
な補間直線または重み付け補間直線上の画素値を、前記
原画素間に補間する新たな画素の画素値として算出す
る。
特定手段は、原画像の解像度と出力画像の解像度とに基
づいて、原画素間に配置する新たな画素の配置位置を特
定する。差分値算出手段は、原画素間の両画素値の差で
ある差分値を算出する。補間条件設定手段は、差分値が
閾値よりも小さい場合には、通常の直線補間によって新
たな画素の画素値を求めるために標準的な補間直線を設
定する。一方、差分値が閾値よりも大きい場合には、原
画素間の特定位置よりも原画素の画素値が大きい側に新
たな画素の配置位置があるときには標準的な補間直線に
よって求められる画素値よりも大きくなるように、原画
素の画素値の小さい側に新たな画素の配置位置があると
きには標準的な補間直線によって求められる画素値より
も小さくなるようにするため、標準的な補間直線を部分
的に平行移動させた重み付け補間直線を設定する。画素
値算出手段は、標準的な補間直線または重み付け補間直
線に基づいて、配置位置特定手段で特定された配置位置
における画素値を算出する。このとき、重み付け補間直
線に基づいて算出された画素値は、標準的な補間直線に
基づいて算出された画素値に比べて、平行移動量に応じ
た重みが付けられた値となる。
割手段は、原画像の画素間を2の巾乗値で分割する。配
置位置情報算出手段は、分割された原画素間上に補間す
る新たな画素の配置位置を示す配置位置情報を、原画像
と出力画像との解像度に基づいて算出する。補間条件設
定手段は、差分値が閾値よりも小さい場合には、配置位
置情報算出手段で算出された配置位置情報を新たな配置
位置情報として設定する。一方、差分値が閾値よりも大
きい場合には、配置位置情報に所定値の重み付けを行っ
た重み付き配置位置情報を新たな配置位置情報として設
定する。その新たな配置位置情報の設定は、新たな画素
の配置位置が原画素間の特定位置よりも大きい側にある
ときには、配置位置情報に所定値を加算した重み付き配
置位置情報を新たな配置位置情報とする一方、新たな画
素の配置位置が原画素間の特定位置よりも小さい側にあ
るときには、配置位置情報から所定値を減算した重み付
き配置位置情報を新たな配置位置情報とする。画素値算
出手段は、原画像の画素間に直線補間するための補間直
線を示す関数である直線補間関数に、新たな配置位置情
報を作用させることで算出される画素値を、原画素間に
補間される新たな画素の画素値とする。
設定手段は、原画素間の特定位置を原画素間の中心位置
として、新たな画素の配置位置がその中心位置よりも大
きい側か、小さい側かを判断する。
出手段に備わるシフトレジスタは、直線補間関数におけ
る除算演算を行う。
画像表示装置は、画素補間処理ユニットで求められる各
画素の画素値に基づいて出力画像を表示する。
施例を説明する。図1は本発明の実施例に係るデジタル
画像表示装置の概略構成を示すブロック図である。
は、パソコン等から送られてくる原画像のアナログビデ
オ信号に基づいて、原画像のデジタルビデオ信号を生成
するビデオ信号処理部1と、ビデオ信号処理部1で生成
されたデジタルビデオ信号の原画像に基づいて、液晶パ
ネル4の表示に適した高解像度の出力画像を直線補間を
利用して生成する画素補間処理ユニット2と、画素補間
処理ユニット2で生成された出力画像に基づいて、液晶
パネル4を駆動する液晶パネル駆動部3と、出力画像を
表示する液晶パネル4とを備えて構成されている。
のビデオ信号源から送られてくるR(赤色成分)、G
(緑色成分)、B(青色成分)の各アナログビデオ信号
等をサンプリングして、デジタルビデオ信号に各々変換
する複数個のA/Dコンバータ回路や、所定のサンプリ
ングクロックを発生させるPLL(Phase Locked Loo
p)回路や、各種の演算処理や制御処理を行うMPU
や、各種の情報を記憶するメモリ等を備えて構成される
ものである。ビデオ信号処理部1は、ビデオ信号源から
送られてくる原画像のアナログビデオ信号に基づいて、
所定解像度のデジタルの原画像を生成する。さらに、ビ
デオ信号処理部1は、その原画像の各画素の画素値、原
画像の解像度、原画像の各画素間に補間する補間画素の
画素値を決める条件である条件値を画素補間処理ユニッ
ト2に送る。なお、条件値は、ビデオ信号処理部1のメ
モリに予め記憶されており、補間画素の画素値に重み付
けを行うための重み係数qと、補間画素の画素値に重み
付けを行うか否かを決めるための閾値Pとで構成され
る。重み係数q及び閾値Pの値は、任意に変更可能であ
る。また、画素値は、輝度値または濃度値などの各画素
の情報を示すものである。重み係数qは、本発明におけ
る所定値に相当する。
明するように、ビデオ信号処理部1から送られてくる各
種の情報に基づいて、各画素間において直線補間を行う
ための直線補間関数を利用して原画像の各画素間に新た
な画素を補間し、原画像よりも高解像度の出力画像の各
画素値を算出するものである。
示する1フレーム分の出力画像を各々記憶する図示しな
い複数個のフレームメモリと、液晶パネル駆動回路等と
を備えて構成されている。画素補間処理ユニット2から
送られる出力画像の各画素は、順次フレームメモリに記
憶され、液晶パネル駆動部3は、フレームメモリ内に記
憶された1フレーム分の出力画像に基づいて、液晶パネ
ル4を駆動させる。これにより、液晶パネル4はパソコ
ン等で生成された原画像を表示する。
細に説明する。画素補間処理ユニット2は、原画像と出
力画像との解像度に基づいて、原画像の画素間を2の巾
乗値で分割する画素間分割部21と、その画素間に補間
する新たな画素である出力画素の配置位置情報を算出す
る位置情報算出部22と、原画像の各画素間の画素値の
差分値を算出する差分値算出部23と、差分値、配置位
置情報及び条件値に基づいて、直線補間を行うための直
線補間条件を設定する補間条件設定部24と、直線補間
条件に応じた演算処理を行う加減乗算部25およびシフ
トレジスタ26とを備えて構成される。なお、画素間分
割部21は本発明の画素間分割手段に、位置情報算出部
22は本発明の配置位置情報算出手段に、差分値算出部
23は本発明の差分値算出手段に、補間条件設定部24
は本発明の補間条件設定手段に、加減乗算部25および
シフトレジスタ26は本発明の画素値算出手段に、それ
ぞれ相当する。
から順次送られる原画像の2画素間の画素値の差である
差分値を、各原画素間ごとに順次算出するものである。
算出された差分値は補間条件設定部24に送られる。
出力画像の解像度とに基づく2の巾乗値で、原画像の画
素間を分割するものである。例えば、原画像の水平走査
方向の解像度が640画素で構成され、出力画像の水平
走査方向の解像度が1024画素で構成される場合に
は、「640:1024=5:8」であるので、原画素
の5画素分を8画素分に増やせばよいことが分かる。し
たがって、画素間分割部21は、原画素の画素間を8
(23)分割する。なお、ここでは説明の便宜のため各原
画素間を8分割する場合について説明するが、本発明は
これに限定されるものではなく、2の巾乗値であれば良
く、好ましくは、原画像の画素間を64分割する。原画
像には種々の解像度があるのに対し、液晶パネルに表示
するための解像度は現在のところ1024×768画素
または1280×1024画素のものが多く、64分割
とすれば、比較的多くの原画像の解像度に基づいて、液
晶パネルに表示する解像度の出力画像を効率良く生成す
ることができるからである。
で分割された原画素間に配置する出力画素の配置位置情
報を順次算出するものであり、各配置位置情報は補間条
件設定部24に送られる。例えば、図2(a)に示すよ
うに、各原画素間が8分割された原画素G1〜G6間に
おいて、5分割目ごとに出力画素H1〜H9を各々配置
するための配置位置情報を算出する。具体的には、出力
画素H1は原画素G1から0分割目すなわち、原画素G
1の位置(配置位置情報「0」)、出力画素H2は原画
素G1から5分割目(配置位置情報「5」)、出力画素
H3は原画素G2から2分割目(配置位置情報
「2」)、出力画素H4は原画素G2から7分割目(配
置位置情報「7」)であり、同様に、出力画素H5〜H
9についての配置位置情報を求める。この配置位置情報
の算出を原画素の5画素分ごとに128回繰り返すこと
で、640画素の解像度から1024画素の解像度のた
めの各出力画素の配置位置情報が求まる。各配置位置情
報は、補間条件設定部24に順次送られる。
から送られる差分値およびビデオ信号処理部1からの条
件値に基づいて、後述の方法により重み付けをした配置
位置情報または重み付けをしない配置位置情報を新たな
配置位置情報とする。さらに、原画素間に補間される画
素の画素値を直線補間によって求めるために予め設定さ
れている直線補間関数に、その新たな配置位置情報を作
用させて、出力画素の画素値を算出するものである。こ
こで、直線補間関数を次式(1)に示す。
:原画素Gi の画素値、Ki+1 :原画素Gi+1 の画素
値、i:i番目の原画素 Kk :原画素Gi 、Gi+1 との間に補間される出力画素
Hk の画素値
i をもつ原画素Gi と、画素値Ki+1をもつ原画素Gi+1
の各画素間を結ぶ直線を関数で示している。原画素Gi
、Gi+1 の間は、画素間分割部21によって8分割さ
れており、原画素Gi 、Gi+1 の間に補間される出力画
素Hk の配置位置に応じた直線上の値が、出力画素Hk
の画素値Kk となる。また、直線補間関数(式(1))
は、次式(2)のように変形することができる。
素値Kk は、原画素Gi 、Gi+1 の画素値Ki 、Ki+1
と、出力画素Hk の配置位置情報xとに応じて求めら
れ、その直線補間関数は、加算、減算、乗算演算とによ
って算出された値を、分割数Nである2の巾乗値で除算
演算する関係式で表すことができる。
るように、閾値Pに基づいて、配置位置情報または、配
置位置情報に重み係数qで重み付けをした重み付き配置
位置情報を新たな配置位置情報xとして式(2)に代入
するとともに、画素値Ki と、画素値Ki+1 と、分割数
Nとを式(2)に代入するものである。
路を備えて構成されており、補間条件設定部24で各値
が代入された直線補間関数における加算、減算、乗算演
算を行うものである。加算、減算、乗算演算のみ施され
た直線補間関数の値は、シフトレジスタ26に送られ
る。
関数の値を3bitシフトさせることで除算演算処理を
行うものであり、最終的な直線補間関数の値である出力
画素Hk の画素値Kk を算出する。算出された画素値K
k は、液晶パネル駆動部3に順次送られる。なお、ここ
で3bitシフトさせるのは、原画素間の分割数に対応
しており、この実施例では値を分割数8(23 )で除算
するからである。例えば原画素間を64(26 )で分割
した場合には、6bitシフトさせる。
フトレジスタ26から液晶パネル駆動部3に送られる出
力画素H1〜H9は、出力画素を挟む原画素の画素値に
よって求められる。具体的には、出力画素H1は原画素
G1の画素値から求められ、出力画素H2は原画像G1
とG2の画素値から求められ、同様に、出力画素H3〜
H9が求められる。さらに、この処理を128回繰り返
すことで、水平走査方向において640画素の原画像か
ら1024画素の出力画像を生成することができる。
参照しながら、画素補間処理ユニット2で行われる処理
について説明する。
くる原画像の画素値を順次取得する。さらに、差分値算
出部23は、原画素の画素値を取得する度に、隣り合う
2つの原画素間の画素値の差の絶対値である差分値Dを
算出し、その差分値Dを補間条件設定部24に送る。具
体的に、差分値算出部23は、原画素Gi 、Gi+1 の画
素値Ki 、Ki+1 を取得すると、|Ki −Ki+1 |=差
分値Dを求め、その差分値Dを補間条件設定部24に送
る。
の解像度を取得する。さらに、画素間分割部21は、原
画像の解像度と、出力画像の解像度に基づいて、原画素
の画素間の分割数Nを算出する。具体的には、原画像の
水平走査方向の解像度が例えば640画素であり、液晶
パネル4に表示するための出力画像の水平走査方向の解
像度が例えば1024画素である場合には、原画素の5
画素分に基づいて、8画素分の出力画素を生成する必要
があるので、原画素の解像度:出力画像の解像度=5:
8の比率に基づいて、原画素の画素間の分割数Nを「2
3=8」とするとともに、分割数Nに対する出力画素の
配置間隔Mを「5」とする。つまり、原画素の6画素間
を8×5=40分割して、その間に配置間隔「5」ごと
に出力画素を配置して、原画素の5画素間に8画素の出
力画素を生成する。
算出) 位置情報算出部22は、8分割した各原画素間に、出力
画素を配置するための配置位置情報Zを算出する。この
配置位置情報Zは、出力画素が配置される原画素間にお
ける一方の原画素からの位置情報である。例えば、図2
(a)に示したように、原画素G1〜G6に基づいて、
出力画素H1〜H9を生成する場合には、全体として4
0分割された原画素G1から原画素G6の間において、
配置間隔「5」ごとに出力画素を配置していくので、各
原画素G1〜G6から各出力画素H1〜H9の配置位置
までの距離が各々異なる。具体的には、出力画素H1は
原画素G1の位置に配置されるが、出力画素H2は原画
素G1から「5」の位置に配置され、出力画素H3は原
画素G2から「2」の位置に配置され、出力画素H4は
原画素G2から「7」の位置に配置され、同様に、出力
画素H5〜H8が配置される。また、出力画素H1の場
合と同様に、出力画素H9は原画素G6の位置に配置さ
れ、それ以降の出力画素も同様に配置される。この各原
画素に対する出力画素の配置位置の数値が配置位置情報
Zであり、ステップS3ではこの配置位置情報Zを順次
算出する。
との配置位置情報Zを算出するまでを図5のフローチャ
ートを参照しながら説明する。
と分割数Nとを比較して、配置位置情報Zが分割数N以
上である場合には、配置位置情報Zから分割数Nを減算
した値を配置位置情報Zとして補間条件設定部24(ス
テップS4)に送るとともに、ステップT2に送る。一
方、配置位置情報Zが分割数N未満である場合には、そ
の配置位置情報Zを補間条件設定部2(ステップS4)
に送るとともに、ステップT2に送る。ステップT2で
は、配置位置情報Zに出力画素の配置間隔M(本実施例
では「5」)を加えた値を配置位置情報Zとする。ステ
ップT3では、全ての出力画素についての配置位置情報
Zを算出するまで、ステップT1、T2を繰り返し行
う。
3の場合について、具体的に説明する。なお、全ての出
力画素は出力画素H1、H2、H3の場合と同様に処理
される。まず、出力画素H1の場合には、出力画素H1
と原画素G1とは同じ位置に配置されるので、配置位置
情報(x=0)が予め与えられる。ステップT1では、
この配置位置情報(x=0)が分割数(N=8)未満で
あるので、出力画素H1の配置位置情報(x=0)を補
間条件設定部24(ステップS4)に送るとともに、ス
テップT2に送る。ステップT2では、配置位置情報
(x=0)に出力画素の配置間隔(M=5)が加算さ
れ、配置位置情報(x=5)が算出される。
置位置情報Zとして、配置位置情報(x=5)がステッ
プT1に与えられる。ステップT1では、配置位置情報
(x=5)が分割数(N=8)未満であるので、この配
置位置情報(x=5)を出力画素H2の配置位置情報Z
として、その配置位置情報Zを補間条件設定部24に送
るとともに、ステップT2に送る。ステップT2では、
配置位置情報(x=5)に出力画素の配置間隔(M=
5)が加算され、配置位置情報(x=10)が算出され
る。
の配置位置情報Zとして、配置位置情報(x=10)が
ステップT1に与えられる。ステップT1では、配置位
置情報(x=10)が分割数(N=8)以上であるの
で、この配置位置情報(x=10)から分割数(N=
8)を減算して、配置位置情報(x=2)を算出する。
この配置位置情報(x=2)を出力画素H3の配置位置
情報Zとして補間条件設定部24に送るとともに、ステ
ップT2に送る。
位置情報算出部22で順次算出された配置位置情報Z
と、ビデオ信号処理部1から送られてくる条件値である
閾値P及び重み係数qと、ステップS1で算出された差
分値Dと、その差分値Dに基づく各原画素の画素値とを
取得する。ステップS4では、この差分値Dと閾値Pと
を比較して、差分値Dが閾値Pよりも大きい場合にはス
テップS5に移行し、差分値が閾値P以下の場合にはス
テップS6に移行する。
大きい場合に、位置情報算出部22で算出された配置位
置情報Zの値に応じて、その配置位置情報Zに重み係数
qによる重み付けを行う。具体的には、原画素間におけ
る出力画素の配置位置が、その原画素間の中心位置に対
して大きい側にある場合には配置位置情報Zに重み係数
qを加算し、その中心位置に対して小さい側にある場合
には配置位置情報Zから重み係数qを減算する処理を行
う。ステップS5で行われる処理を、図6に示すフロー
チャートを参照しながら説明する。
数Nを「2」で除算した値である中心値が、配置位置情
報Zと等しくなるか否かを判断し、この中心値と配置位
置情報Zとが等しくなる場合にはステップS6に移行
し、等しくならない場合にはステップU2に移行する。
ステップU2では、配置位置情報Zが、中心値よりも大
きいか否かを判断し、配置位置情報Zが中心値よりも大
きい場合にはステップU3に移行し、配置位置情報Zが
中心値以下である場合にはステップU4に移行する。ス
テップU1、U2によって、出力画素の配置位置が、原
画素間の中心位置に対していずれの側にあるかを判断す
る。
係数qを加算した値が、分割数Nを越えるか否かを判断
する。分割数Nを越える場合には、最終的に得られる出
力画素の画素値が原画素間に与えられるべき補間画素値
の範囲を越えるので、これを防止するためである。した
がって、ステップU3は、配置位置情報Zに重み係数q
を加算した値が分割数Nよりも大きくなる場合には、配
置位置情報Zの値を「N」としてステップS6に移行す
る。一方、配置位置情報Zに重み係数qを加算した値が
分割数N以下になる場合には、配置位置情報Zに重み係
数qを加算した値を配置位置情報ZとしてステップS6
に移行する。
係数qを減算した値が、「0」よりも大きいか否かを判
断する。その減算した値が「0」よりも小さくなる場合
には、最終的に得られる出力画素の画素値が原画素間に
与えられるべき補間画素値の範囲を越えるので、これを
防止するためである。したがって、ステップU4は、配
置位置情報Zから重み係数qを減算した値が「0」以下
になる場合には、配置位置情報Zの値を「0」としてス
テップS6に移行する。一方、配置位置情報Zから重み
係数qを減算した値が「0」よりも大きくなる場合に
は、配置位置情報Zから重み係数qを減算した値を配置
位置情報ZとしてステップS6に移行する。
位置情報Zまたは重み係数qが作用された配置位置情報
Zと、その出力画素が配置される2つの原画素の各画素
値とが得られる。ステップS6では、それらの配置位置
情報Zを新たな配置位置情報x(以下、単に「配置位置
情報x」とよぶ)として、その配置位置情報xと、各原
画素の画素値と、分割数Nとを、式(2)に示した直線
補間関数に代入する。
加算、減算および乗算演算と、除算演算とに分けて処理
を行う。具体的には、まず、加減乗算部25によって、
直線補間関数の「〔Ki ×(N−x)+Ki+1 ×x〕」
の部分についての演算処理を行う。次に、加減乗算部2
5は、「〔Ki ×(N−x)+Ki+1 ×x〕」の部分か
ら算出した値を、シフトレジスタ26に送る。シフトレ
ジスタ26では、この算出された値を分割数(N=8)
で除算するため、3ビットシフトさせる。これにより、
直線補間関数の値である出力画素の画素値が算出され
る。
を繰り返し行うことによって画素値が算出されるたび
に、その画素値を出力画像の画素値として液晶パネル駆
動部3に順次出力する。
いて、図3および図7を参照しながら説明する。ステッ
プS4によって原画素間の差分値Dが閾値P以下となる
場合には、直線補間関数に代入される配置位置情報xに
は重み係数qが作用(加算または減算)されていないの
で、直線補間関数から算出される値は、図3に示したよ
うに、原画素Gi と原画素Gi+1 とを結ぶ一直線状の補
間直線K上の値を取る。つまり、ステップS5〜S7で
は、原画像の原画素間の画素値の差が比較的小さい場合
には、自然画像の場合のように、滑らかに補間する必要
があるので、従来と同様の直線補間によって出力画素の
画素値が算出される。
分値Dが閾値Pよりも大きくなる場合には、ステップS
5において直線補間関数に代入される配置位置情報xに
重み係数qが作用(加算または減算)されている。これ
により、図7に示すように、補間直線K(図中、破線で
示す)の少なくとも一部を平行移動させた重み付け補間
直線T上の値が出力画素の画素値として得られる。この
重み付け補間直線Tは、配置位置情報Zに重み付けされ
る重み係数qにより平行移動する移動量が変化するとと
もに、ステップS5で設定される分岐条件によってその
形状を変化させることができる。
したような分岐条件にすることで、図7に示すように、
重み付け補間直線Tは、原画素Gi 、Gi+1 との中心位
置を境として、補間直線Kの中心位置よりも原画素Gi+
1 側の部分が上方に平行し、その反対側の部分では下方
に平行した形状となる。また、この上方または下方への
移動量は、配置位置情報Zに重み付けされる重み係数q
によって決定される。例えば、図7(a)に示すよう
に、出力画素Hk の配置位置が補間直線Kの中心位置よ
りも原画素Gi 側にある場合には、補間直線Kにおける
配置位置情報(x=3)の画素値は、画素値Kk とな
る。しかし、ステップS5によって、配置位置情報(x
=3)から重み係数(q=1)が減算され、配置位置情
報(x=2)が算出される。この配置位置情報(x=
2)に基づいて、補間直線Kから画素値を算出すると、
画素値(Kk´)が得られる。つまり、重み係数qによ
って、配置位置情報(x=3)において直線補間関数K
から求められる画素値Kk よりも、画素値A分だけ原画
素Giの画素値Kiに近付いた画素値(Kk´)が得られ
る。同様に、図7(b)に示すように、出力画素Hk の
配置位置が補間直線Kの中心位置よりも原画素Gi+1 側
にある場合には、補間直線Kにおける配置位置情報(x
=6)の画素値は画素値Kk である。しかし、配置位置
情報(x=6)から重み係数(q=1)が加算され、配
置位置情報(x=7)が算出される。この配置位置情報
(x=7)に基づいて、補間直線Kから画素値を算出す
ると、画素値(Kk ´´)が得られる。つまり、重み係
数qによって、配置位置情報(x=6)において直線補
間関数Kから求められる画素値Kk よりも、画素値A分
だけ原画素Gi+1の画素値Ki+1に近付いた画素値(Kk
´´)が得られる。したがって、結果的に算出される画
素値は重み付け補間直線T上の値となり、原画像がシャ
ープな画像となっている場合に、そのシャープさを損な
うことなく補間する出力画素の画素値が得られる。
力画素の配置位置に対して重み付けを行うことで、直線
補間を行うための直線補間関数を利用して、重み付けさ
れた画素値を算出することができるので、従来のよう
に、重み付けを行うために複雑な演算処理をする必要が
ない。さらに、直線補間関数における除算演算をシフト
レジスタ26で行っているので、除算器を用いる回路構
成よりも、小規模の回路構成にすることができる。
が可能である。 (1)上述した実施例では、原画像の水平走査方向の解
像度が640画素で、出力画像の水平走査方向の解像度
が1024画素の場合について説明したが、本発明はこ
れに限られるものではなく、各種の解像度に対応するこ
とができる。例えば、原画像の解像度として、水平走査
方向の解像度×垂直走査方向の解像度=(640〜11
52)×(350〜900)等があり、出力画像の解像
度として、1024×768、1280×1024等が
ある。
走査方向の解像度が640画素で、出力画像の水平走査
方向の解像度が1024画素である場合について説明し
たが、例えば、原画像の水平走査方向の解像度が115
2画素で、出力画像の水平走査方向の解像度が1280
画素の場合には、1152:1280=576:640
となり、各原画素間を640分割して、その576分割
目ごとに出力画素を補間することもできるが、一度に処
理する演算量が増えるので回路規模が大きくなるという
問題が生じる。この場合には、原画像を1152=12
+57×20とし、出力画像を1240=64×20と
すると、原画像の57画素を64画素に増やす処理を2
0回繰り返せばよいことが分かるが、このとき原画像の
12画素分が余分になるので、58画素を64画素に増
やす処理を12回繰り返し、さらに、57画素を64画
素に増やす処理を8回繰り返せば、小規模の回路構成の
まま、原画像に基づいて出力画像の解像度を生成するこ
とができる。
走査方向の解像度について説明したが、本発明はこれに
限定されるものではなく、原画像の垂直走査方向につい
ても同様に適用することができる。なお、好ましくは、
原画像の垂直走査方向の2画素について補間処理を行
い、出力画像の垂直走査方向の画素を順次生成する。そ
の順次生成される出力画像の垂直走査方向の補間された
画素に基づいて、出力画像の水平走査方向の画素を同様
に順次補間する。このような処理を行えば、従来のいわ
ゆる4点補間に比べて、重み付けがしやすく、高速な処
理が可能となる。
表示装置の表示パネルとして、液晶パネルを例にとって
説明したが、本発明はこれに限定されるものではなく、
例えば、プラズマディスプレイパネルや、ドットマトリ
ックス式LEDパネル等の、デジタルビデオ信号に基づ
いて画像を表示する表示パネルを備えるデジタル画像表
示装置に適用することができる。
表示装置に備わる画素補間処理ユニットは単一のものと
して説明したが、好ましくは、R、G、Bの各ビデオ信
号(画素)ごとに、合計3つの画素補間処理ユニットを
設ける。さらに好ましくは、R、G、Bの各ビデオ信号
(画素)、及びそれら各ビデオ信号の垂直走査方向と水
平走査方向ごとに、合計6つの画素補間処理ユニットを
設ける。このような構成にすれば、さらに高速な補間処
理を行うことができる。
は、原画素間の中心位置を境にして上方と下方にそれぞ
れ所定値分移動したものであったが、本発明は中心位置
に限定されるものではなく、原画素間内であればどこで
もよい。また、補間直線Kを多段階に平行移動させた重
み付け補間直線を設定するようにしてもよい。
1に記載の発明によれば、原画素間の画素値の差分値が
閾値よりも大きいか小さいかで、新たな画素の画素値に
重み付けをするか否かを決めるので、原画像の画像状態
に応じて閾値を変化させることで、容易に最適な補間を
行うことができる。また、差分値が閾値よりも大きい場
合には、原画素間に補間される新たな画素の配置位置が
原画素の画素値の大きい側にあるときには、算出される
新たな画素の画素値がより大きくなるように重み付けを
行い、また、画素値の小さい側にある場合には、算出さ
れる新たな画素の画素値がより小さくなるように重み付
けを行っているので、原画像のシャープさが比較的忠実
な出力画像を得ることができる。一方、差分値が閾値よ
りも小さい場合には、従来と同様の直線補間を行い、原
画素間の画素値が滑らかに変化するような画素を補間す
るので、原画像の滑らかさが比較的忠実な出力画像を得
ることができる。
に記載の方法発明を好適に実施することができる。ま
た、重み付け補間直線は、標準的な補間直線を部分的に
平行移動させたものなので、従来の直線補間を行うため
の回路構成を利用することができる。その結果、同様の
効果を得るための従来の回路構成に比べて、その回路規
模を比較的小さくすることができる。
を2の巾乗値で分割した原画素間上における新たな画素
の配置位置を示す配置位置情報に所定値を加算または減
算した重み付き配置位置情報を新たな配置位置情報とし
て、この新たな配置位置情報を直線補間関数に作用させ
ることで重み付けされた画素値を算出しているので、所
定値を変化させるだけで容易に重み付けの度合いを変化
させることができる。したがって、原画像により忠実な
出力画像を得ることができる。また、従来の直線補間を
行うための直線補間関数の計算を行う回路構成を利用で
きるので、回路規模を比較的小さくすることができる。
の特定位置を中心位置としているので、原画像のシャー
プさがより忠実な出力画像を得ることができる。
を2の巾乗値で分割しているので、直線補間関数におけ
る除算演算を行う際に、シフトレジスタを利用すること
ができ、従来のように除算器を利用する場合に比べて、
回路規模をより小さく、単純化することができる。
画像表示装置は、請求項2ないし請求項5のいずれかに
記載の画像処理ユニットを備えているので、原画像に比
較的忠実な出力画像を表示できる。また、回路規模の比
較的小さくすることができるので、よりコンパクトで、
安価なデジタル画像表示装置を製造することが可能とな
る。
ック図である。
例を示す図である。
ローチャートである。
ートである。
ートである。
示す概念図である。
Claims (6)
- 【請求項1】 原画像に基づいてその解像度よりも高解
像度の出力画像を生成するために、前記原画像の原画素
間に補間する新たな画素の画素値を直線補間によって求
める画素補間処理方法において、 前記原画像の解像度と、前記出力画像の解像度とに基づ
いて、前記原画素間に補間する新たな画素の配置位置を
特定する過程と、 前記原画素間の画素値の差である差分値を算出する過程
と、 前記差分値が閾値よりも小さい場合には、前記原画素間
に補間する新たな画素の画素値を前記直線補間によって
求めるための標準的な補間直線を設定し、 前記差分値が閾値よりも大きい場合には、前記新たな画
素の配置位置が前記原画素間の特定位置よりも前記原画
素の画素値の大きい側にあるときには前記標準的な補間
直線から求められる画素値よりも大きくなり、前記新た
な画素の配置位置が前記原画素間の特定位置よりも前記
原画素の画素値の小さい側にあるときには前記標準的な
補間直線から求められる画素値よりも小さくなるよう
な、前記標準的な補間直線を部分的に平行移動させた重
み付け補間直線を設定する過程と、 前記新たな画素の配置位置における前記設定された標準
的な補間直線または重み付け補間直線上の画素値を、前
記原画素間に補間する新たな画素の画素値として算出す
る過程とを備えることを特徴とする画素補間処理方法。 - 【請求項2】 原画像に基づいてその解像度よりも高解
像度の出力画像を生成するために、前記原画像の原画素
間に補間する新たな画素の画素値を直線補間によって求
める画素補間処理ユニットにおいて、 前記原画像の解像度と、前記出力画像の解像度とに基づ
いて、前記原画素間に補間する新たな画素の配置位置を
特定する配置位置特定手段と、 前記原画素間の画素値の差である差分値を算出する差分
値算出手段と、 前記差分値算出手段によって算出された差分値が閾値よ
りも小さい場合には、前記原画素間に補間する新たな画
素の画素値を直線補間によって求めるための標準的な補
間直線を設定し、 前記差分値が前記閾値よりも大きい場合には、前記新た
な画素の配置位置が前記原画素間の特定位置よりも前記
原画素の画素値の大きい側にあるときには前記標準的な
補間直線から求められる画素値よりも大きくなり、前記
新たな画素の配置位置が前記原画素間の特定位置よりも
前記原画素の画素値の小さい側にあるときには前記標準
的な補間直線から求められる画素値よりも小さくなるよ
うな、前記標準的な補間直線を部分的に平行移動させた
重み付け補間直線を設定する補間条件設定手段と、 前記配置位置特定手段で特定された新たな画素の配置位
置における前記標準的な補間直線または前記重み付け補
間直線上の画素値を、前記原画素間に補間する新たな画
素の画素値として算出する画素値算出手段とを備えるこ
とを特徴とする画素補間処理ユニット。 - 【請求項3】 請求項2に記載の画素補間処理ユニット
において、 前記配置位置特定手段は、前記原画像の画素間を2の巾
乗値で分割する画素間分割手段と、前記画素間分割手段
で分割された画素間上に補間する新たな画素の配置位置
を示す配置位置情報を、前記原画像の解像度と出力画像
の解像度とに基づいて算出する配置位置情報算出手段と
を備え、 前記補間条件設定手段は、前記差分値算出手段で算出さ
れた差分値が閾値よりも小さい場合には、前記配置位置
情報算出手段で算出された配置位置情報を、新たな配置
位置情報として設定し、 前記差分値が前記閾値よりも大きい場合には、前記新た
な画素の配置位置が前記原画素間の特定位置よりも大き
い側にあるときには前記配置位置情報算出手段で算出さ
れた配置位置情報に所定値を加算した重み付き配置位置
情報を、前記新たな画素の配置位置が前記原画素間の特
定位置よりも小さい側にあるときには前記配置位置情報
から所定値を減算した重み付き配置位置情報を、新たな
配置位置情報として設定し、 前記画素値算出手段は、前記原画像の画素間において直
線補間を行うための直線補間関数に、前記新たな配置位
置情報を作用させることで算出される画素値を前記原画
素間に補間する新たな画素の画素値とすることを特徴と
する画素補間処理ユニット。 - 【請求項4】 請求項3に記載の画素補間処理ユニット
において、 前記特定位置は、前記原画素間の中心位置である画素補
間処理ユニット。 - 【請求項5】 請求項3に記載の画素補間処理ユニット
において、 前記画素値算出手段は、前記直線補間関数における除算
演算を行うシフトレジスタを備える画素補間処理ユニッ
ト。 - 【請求項6】 請求項2ないし請求項5のいずれかに記
載の画素補間処理ユニットを備えることを特徴とするデ
ジタル画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27961898A JP3272309B2 (ja) | 1998-10-01 | 1998-10-01 | 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27961898A JP3272309B2 (ja) | 1998-10-01 | 1998-10-01 | 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000112448A JP2000112448A (ja) | 2000-04-21 |
JP3272309B2 true JP3272309B2 (ja) | 2002-04-08 |
Family
ID=17613499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27961898A Expired - Lifetime JP3272309B2 (ja) | 1998-10-01 | 1998-10-01 | 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3272309B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4540191B2 (ja) * | 2000-07-17 | 2010-09-08 | 日本テキサス・インスツルメンツ株式会社 | 画像処理装置 |
JP3749473B2 (ja) | 2001-11-29 | 2006-03-01 | 株式会社日立製作所 | 表示装置 |
US7576749B2 (en) * | 2005-09-15 | 2009-08-18 | Microsoft Corporation | Positioning screen elements |
JP2008268725A (ja) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | 情報処理装置および画像データの高解像度化方法 |
KR20130057327A (ko) * | 2011-11-23 | 2013-05-31 | 엘지이노텍 주식회사 | 스테레오 매칭 시스템의 전처리 장치 |
CN113284050A (zh) * | 2021-06-25 | 2021-08-20 | 江苏新通达电子科技股份有限公司 | 图像像素值模型、高分辨率显示方法、系统及汽车仪表 |
CN114743509B (zh) * | 2022-03-31 | 2023-11-17 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置和显示装置 |
-
1998
- 1998-10-01 JP JP27961898A patent/JP3272309B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000112448A (ja) | 2000-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6389180B1 (en) | Resolution conversion system and method | |
JP7175553B2 (ja) | ムラ除去キャリブレーション情報のエンコード | |
JP3659065B2 (ja) | 画像表示装置 | |
US5937097A (en) | Motion detection method and apparatus | |
EP0210423A2 (en) | Color image display system | |
US7227524B2 (en) | Image display apparatus and method | |
US7750927B2 (en) | Image processing apparatus, image processing method, and computer program | |
US6292165B1 (en) | Adaptive piece-wise approximation method for gamma correction | |
US20070098302A1 (en) | Image converter circuit | |
US4607340A (en) | Line smoothing circuit for graphic display units | |
JP3272309B2 (ja) | 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置 | |
US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
JPH06333006A (ja) | 画像処理装置 | |
JPH10191090A (ja) | 色変換テーブルの製造装置及び製造方法並びに記録媒体 | |
JPH10200776A (ja) | 色変換装置および色変換方法並びに記録媒体 | |
JP3642580B2 (ja) | ドットマトリックス表示システム及びこのシステムでの表示データ変換方法 | |
WO2000057631A1 (fr) | Dispositif de traitement d'images et procede de traitement associe | |
KR100242976B1 (ko) | 표시장치의 해상도 변환장치 | |
JP3582540B2 (ja) | 解像度変換装置および解像度変換方法 | |
KR100487308B1 (ko) | 영상 보정 장치 | |
JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JPH10161633A (ja) | 画素補間装置 | |
JPH07262351A (ja) | 画像処理装置及びその制御方法 | |
JP2002204463A (ja) | コンバーゼンス補正装置およびコンバーゼンス補正方法 | |
JPH087093A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 12 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |