JP3561537B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3561537B2 JP3561537B2 JP20636094A JP20636094A JP3561537B2 JP 3561537 B2 JP3561537 B2 JP 3561537B2 JP 20636094 A JP20636094 A JP 20636094A JP 20636094 A JP20636094 A JP 20636094A JP 3561537 B2 JP3561537 B2 JP 3561537B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- color
- image
- colors
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】
本発明は画像処理装置、特に色情報に従った領域分割により圧縮された画像データから画像を再生する画像処理装置に関するものである。
【0002】
【従来の技術】
近年、家庭や店舗に情報機器端末や娯楽機器が普及するにつれ、カラー画像を高速に転送する技術が必要とされている。しかし画像転送においては、転送されるべき画像の鮮明度と転送の速度が常に相容れない性質のものであるため、画像の鮮明さと転送速度、転送費用等のいずれかの面である程度の犠牲を払わざるを得ない。ここでは、自然画ほど鮮明な画像は必要としないものの、電話回線等既存の回線を使用して安価にかつ大量のデータ転送が要求される場合について説明する。
【0003】
低速回線を介して画像を転送する場合、データを圧縮して転送する必要が生じる。データ圧縮には数々の手法があるが、最近では、画像において近接する領域が近似色を持つ場合、それらの領域を統合して平均色を付与し、領域情報と色情報のみを転送することでデータ量の低減を図る手法が見受けられるようになった。
【0004】
【発明が解決しようとする課題】
しかし上記の手法によって圧縮された画像データを受信して再生する場合、次のような課題があった。すなわち、データが圧縮される段階で画像が本来持っていた無数の色がせいぜい数十〜数百程度の色に縮退される場合が多く、再生画像が不自然になることである。この傾向は、空や照明に照らされた壁面等、原画像において色が徐々に変化する場合に顕著である。これは再生画像に使用される色の数に限りがあるため、本来徐々に変化する画像が段階的に変化し、場合によっては空が数色の帯で表現され得るためである。かかる問題は、圧縮後においても十分な数の色を保持することによって理論的には解消されるが、この場合はデータ圧縮率が低くなり、圧縮して転送を行う趣旨が没却される。
【0005】
本発明はかかる課題を解決するためになされたもので、一旦少ない数の色に圧縮された画像データを再生する際、隣接する領域の色差が一定値以内であれば、それらの領域の境界にグラデーション処理、すなわち徐々に変化する色を付する処理を施し、境目のない滑らかな画像を得る画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の課題を解決するために本発明の画像処理装置は、原画像において位置的に近接し、かつ色の近似する領域が単一色で表現されることによって領域単位に圧縮された画像データから画像を再生する画像処理装置であって、画像データの各領域の境界における色差を判定する判定手段と、判定手段によって判定された色差が一定値以内である境界を選別する選別手段と、選別手段によって選別された境界を形成する両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の色の間で徐々に変化するn通りの色を生成する色生成手段と、選別手段によって選別された境界に沿って、領域の境界付近にn個の新たな帯状領域を生成する領域生成手段と、領域生成手段によって生成されたn個の帯状領域に対し、色が徐々に変化する順序で、色生成手段によって生成されたn通りの色を一対一に付与する付与手段とを有するものである。
【0007】
また本発明の画像処理装置は、さらに、前記選別手段によって選別された境界であっても、その境界において前記付与手段による新たな色の付与を禁止する禁止手段を有するものである。
【0008】
また本発明の画像処理装置は、さらに、前記選別手段によって選別された境界を形成する両側の領域の幅を測定する測定手段と、測定手段によって測定された幅に従い、境界毎に前記nの値を決定する分割数決定手段とを有するものである。
【0009】
【作用】
上記の構成による本発明の画像処理装置によれば、まず判定手段が領域毎に単一色が与えられた原画像データの各領域の境界における色差を判定する。判定の結果、選別手段によって色差が一定値以内である境界が選別される。次に色生成手段が、選別された境界を形成する両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の色の間で徐々に変化するn通りの色を生成する。一方、領域生成手段は、選別された境界に沿って、領域の境界付近にn個の新たな帯状領域を生成する。こうしてn通りの色、およびn個の帯状領域が得られた後、付与手段によって、色が徐々に変化する順序で、n通りの色をn個の帯状領域に付与していく。この結果、領域の境界近辺において、徐々に変化する色が表現される。
【0010】
また本発明の画像処理装置によれば、禁止手段によって徐々に変化する色の付与を禁止することができる。その結果、例えば赤い机に赤いリンゴを置いたような場合であっても、リンゴと机の境界で不要なグラデーション処理がなされることがない。
【0011】
また本発明の画像処理装置によれば、まず測定手段が選別された境界を形成する両側の領域の幅を測定する。続いて、この幅に基づき、分割数決定手段が境界毎に前記nの値を決定する。このため、領域の幅に応じてnの値が決定され、生成される帯状領域および色の数が可変となる。
【0012】
【実施例】
実施例1.
ここで本発明の画像処理装置の実施例について、図を用いて説明する。まず、図1によって本実施例の概略構成図を示し、図2以降で実例を用いた具体的な説明を行う。
【0013】
図1において、本装置はまず回線10を介して送信されてきた画像データを画像データ入力部12から入力する。この画像データは、送信前に領域単位で単一色が与えられ、領域情報と領域色情報とに圧縮されているものとする。
【0014】
境界認識部14は画像データ入力部12によって入力された画像データを解析し、領域分割された画像データの領域の全境界を抽出し、それら境界の位置情報を境界記憶部16へ格納する。色差判定部18は境界記憶部16に格納された境界の位置情報を読み出し、その情報および画像データから、境界両側の領域の色差を判定する。この判定は全境界について行われ、判定結果は色差記憶部20へ格納される。境界選別部22は色差記憶部20から判定結果を読み出し、全境界の中から予め定められた色差以内の境界を選別し、それら境界の位置情報を処理対象境界記憶部24へ格納する。ここで選別された境界が処理対象境界となる。
【0015】
次に色生成部26が処理対象境界記憶部24から処理対象境界を読み出し、各境界について、両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の間で徐々に変化するn通りの色を生成する。生成された色は境界と対応づけられて処理準備色記憶部28へ格納される。一方、領域生成部30も処理対象境界記憶部24から処理対象境界を読み出し、各境界に沿って、境界と平行で、かつその境界をほぼ中心線とするn個の細い帯状領域を生成する。生成された帯状領域は境界と対応づけられて処理準備領域記憶部32へ格納される。
【0016】
こうしてn通りの色、およびn個の帯状領域が得られた後、処理実行部34がこれらの情報をもとに、境界の両側領域の間で色が徐々に変化する順に、n通りの色をn個の帯状領域に付与していく。かかる合成処理がされた画像データは再生画像記憶部36へ格納され、画像表示部38によってディスプレイ40へ表示される。この結果、近似色を有する領域の境界近辺において、徐々に変化する色が表示されるのである。
【0017】
なお、このようなグラデーション処理がなされた境界であっても、この処理が不要である場合には、以下の操作によってその境界を処理前の状態に戻すことができる。すなわち、ディスプレイ40に表示された画像において、ユーザがマウス42で処理後の境界付近をクリックすると、画像処理装置は当該境界における処理を解消すべきものと判断し、処理実行部34へ通知する。処理実行部34はクリックされた箇所からもとの処理対象境界を算出し、その境界については処理前の状態に戻して再生画像記憶部36へ再格納する。この結果ユーザによる画像修正が可能となるのである。
【0018】
ここで、図2に示す圧縮された画像データ、および図2の矩形領域54を拡大した図3、さらに図3の各領域に新たな色が付与された状態を示す図4によって、上記構成による画像再生の様子を説明する。
【0019】
図2は、リンゴ50が机52に置かれ、図の右上方から薄日が当たっている画像である。画像処理装置はまず回線10を介して送信されてきたこの画像データを画像データ入力部12から入力する。送信前のデータ圧縮の結果、リンゴ50は4つの領域a、b、c、dに分割され、領域aに最も明るい赤、領域dに最も暗い赤が付与され、その中間の色が領域b、cに付与されているものとする。つまり、本来ならば無数の色によって徐々に明暗表現のされるべきリンゴ50が、わずか4色によって塗り分けられており、通常の画像処理装置でこのデータを再生すれば、非常に不自然な画像を得ることしかできない。
【0020】
ここで境界認識部14がこの画像データを解析し、
領域aとbの境界−−>境界i
領域bとcの境界−−>境界j
領域cとdの境界−−>境界k
領域dと机の境界−−>境界m
というように、すべての境界を抽出し、その位置情報を境界記憶部16へ格納する。図2の画像には数本の境界線が存在するが、以降、領域bとcの境界である境界jに絞って説明する。
【0021】
境界が格納された後、色差判定部18が境界jの位置情報を読み出し、境界j両側の領域、すなわち領域bとcの色差を判定する。判定結果は色差記憶部20へ格納される。境界選別部22はこの判定結果を読み出し、予め定められた色差との比較を行うが、境界jは本来連続的に色の変化する部分であるため、領域bおよびcの色差は十分に小さく、本発明によるグラデーション処理を行うべき箇所であると判断される。この結果、境界jは処理対象境界として処理対象境界記憶部24へ記憶される。
【0022】
次に色生成部26が領域bとcの色差を4分割(本実施例ではn=4)し、両領域間で徐々に変化する4通りの色を生成する。生成された色は境界jと対応づけられて処理準備色記憶部28へ格納される。一方、領域生成部30は境界jに沿って、境界jと平行で、かつ境界jを中心線とする4個の細い帯状領域を生成する。図3は、図2の矩形領域54の拡大図で、境界jを含んでいる。いま領域生成部30によって、境界jを中心とする4個の帯状領域p、q、r、sが生成されている。これら帯状領域の幅は一定値でもよいし、領域bおよびcに対して一定の率を持つように計算されてもよい。
【0023】
こうして4通りの色、および4個の領域が生成され、最後に処理実行部34が領域bおよびcの間で色が徐々に変化する順に、4通りの色を4個の帯状領域p、q、r、sに付与していく。この例の場合、領域bが最も明るい色であるため、
領域b→帯状領域p→帯状領域q→帯状領域r→帯状領域s→領域cの順に、次第に暗くなる色が与えられる。こうして色が付され、処理が終了した時点における図3の各領域の様子を図4に示す。図4では、付与された色の明暗に従い、各領域の色を示す実線の間隔を強調して変化させている。
【0024】
以上が境界j近辺におけるグラデーション処理の様子である。境界i、kについても同様の処理がなされることになるが、ここで考慮すべきは、リンゴ50と机52の境界である境界mにおける処理である。この処理に際しては、机52の色によって場合分けが発生する。
【0025】
(1)机52と領域dの色差が大きいとき
例えば机52が青であれば、リンゴ50の領域dとの色差は大きい。従って境界mは、境界選別部22によって処理対象境界として選別されることはなく、境界m近辺におけるグラデーション処理は発生しない。その結果、最終的に得られる再生画像において、机52の青とリンゴ50の赤の中間色である紫色の領域が生成されることはなく、両者は鮮明に区分けされる。
【0026】
(2)机52と領域dの色差が小さいとき
例えば机52もリンゴ50同様赤であれば、その赤の種類によっては、領域dとの色差が非常に小さくなる。そのとき境界mは境界選別部22によって処理対象境界として選別されるため、境界m近辺におけるグラデーション処理が発生する。その結果、最終的に得られる再生画像において、机52とリンゴ50の境界mにおいて色が滑らかに変化し、両者の区分けが不鮮明になる。かかる境界におけるグラデーション処理は本来なされるべきではないが、境界毎に色差を判定する構成だけでこの事態を回避することはできない。
【0027】
そこでこの場合には、図1において説明した如く、ディスプレイ40に表示された画像について、ユーザがマウス42によって境界m付近をクリックするものとする。この結果、画像処理装置は境界mにおける処理を解消し、所望の画像を得ることができるのである。
【0028】
実施例2.
続いて実施例2を説明する。この実施例は、前記の色生成部26による色の生成を具体的に示すものである。
【0029】
図5は、隣接する2つの領域の境界でグラデーション処理の様子を示す図で、ここでは色生成部26によってn通りの色が生成され、これらが帯状領域に付与されている。色生成部26の機能を説明するために、以下の仮定を行う。
【0030】
・n=8とする。すなわち、2つの領域にはそれぞれ4つの帯状領域が生成されるものとする。
【0031】
・処理前の2つの領域の色番号をC1、C2とする。すなわち、図5において、上の領域の色番号をC1、下の領域の色番号をC2とする。
【0032】
・各帯状領域の幅は1画素とする。
【0033】
以上の仮定に基づき、色生成部26による色の生成を説明する。いま、色番号がC1、C2である領域をそれぞれ領域C1、領域C2と名付ける。また、境界から領域C1へ入り込む方向で、4つの帯状領域を順に、A1、A2、A3、A4と呼び、領域C2の側も同様に、4つの帯状領域を順に、B1、B2、B3、B4と呼ぶ。本実施例の場合、各帯状領域の幅が1画素しかないため、実際には各領域は帯状とならず、階段状となる。
【0034】
ここでまず、境界の色を考える。境界は領域C1、C2のちょうど中間であるから、理想的には両領域の平均色(C1+C2)/2が付与されるべきである。しかし、境界自体は幅を持たないため、現実には帯状領域A1とB1に対し、この平均色(C12と呼ぶ)に近い色が付与されるにとどまる。各帯状領域に付与される色は、次式によって決定することができる。
【0035】
[領域C1側について]
帯状領域Ai(i=1〜4)に対して、
C12+i・(C1−C12)/5 ・・・(1)
[領域C2側について]
帯状領域Bi(i=1〜4)に対して、
C12+i・(C2−C12)/5 ・・・(2)
この規則に従い、仮にC1=0、C2=100であるとすれば、C12=50であるから、各帯状領域の色番号を図5の順に並べて示せば、
帯状領域A4−−>10
帯状領域A3−−>20
帯状領域A2−−>30
帯状領域A1−−>40
帯状領域B1−−>60
帯状領域B2−−>70
帯状領域B3−−>80
帯状領域B4−−>90
となり、グラデーション処理が実現される。
【0036】
以上が実施例2の色生成部26の動作である。なお、本実施例ではn=8としたが、これを一般にn=2mたる偶数について考えれば、上式(1)(2)における除数5を(m+1)に置き換えればよい。この際、除算に余りが生じる場合も考えられるため、厳密には上式(1)(2)をそれぞれ、
C12+mode[i・(C1−C12)/(m+1)] (i=1〜m)
C12+mode[i・(C2−C12)/(m+1)] (i=1〜m)
とすればよい。ここでmode[x]は、xを越えない最大整数を表すものとする。
【0037】
実施例3.
続いて実施例3を説明する。実施例2では隣接する2つの領域を考えたが、本実施例では3つの領域が接する場合における色生成部26の動作を説明する。
【0038】
図6は、3つの領域が接する境界におけるグラデーション処理の様子を示す図である。ここでも実施例2同様、3つの領域を色番号に従って領域C1、C2、C3と呼ぶ。また、この実施例でもn=8、すなわち3つの領域にはそれぞれ4つの帯状領域が生成されるものとし、各帯状領域の幅は1画素とする。図6では説明のために、領域C3に含まれる画素をp1〜38と名付けている。また、
C1、C2の平均色 −−>C12
C1、C3の平均色 −−>C13
C2、C3の平均色 −−>C23
C1、C2、C3の平均色−−>C123
と記述する。
【0039】
以上の前提に基づき、色生成部26による色の生成を説明する。
【0040】
まず、境界の色について考察する。実施例2でも述べた通り、境界自体は色を持ち得ないが、境界または境界の接する点の上に色を想定することによって、色付与の様子が理解しやすくなる。本実施例では、3つの領域の接点から境界に沿って色を変えていき、領域内部は境界上の色を補間することによって色を付与するものとし、具体的には以下のステップで各画素の色が決定される。
【0041】
[ステップ1]
3つの領域C1、C2、C3の接点、すなわち図6の点XにC123 を付与し、点Xから4画素分、境界に沿って進んだ点Y、Z、Wに、それぞれC12、C13、C23を付与する。従って、境界に沿った画素については、以下の色が付与される。
【0042】
画素p1の色 −−>C123 +(C13−C123 )/5
画素p3の色 −−>C123 +2・(C13−C123 )/5
画素p6の色 −−>C123 +3・(C13−C123 )/5
画素p11の色 −−>C123 +4・(C13−C123 )/5
画素p2の色 −−>C123 +(C23−C123 )/5
画素p5の色 −−>C123 +2・(C23−C123 )/5
画素p9の色 −−>C123 +3・(C23−C123 )/5
画素p16の色 −−>C123 +4・(C23−C123 )/5
[ステップ2]
ステップ1の各画素間を補間するよう、関連する画素に色を付与する。ここで、画素pN(N=1〜38)の色番号を単純にpNと書けば、以下の規則で色が付与される。
【0043】
画素p4の色 −−>(p3+p5)/2
画素p7の色 −−>p9+(p6−p9)/3
画素p8の色 −−>p9+2・(p6−p9)/3
画素p12の色 −−>p11+(p11−p16)/5
画素p13の色 −−>p11+2・(p11−p16)/5
画素p14の色 −−>p11+3・(p11−p16)/5
画素p15の色 −−>p11+4・(p11−p16)/5
[ステップ3]
残りの画素、すなわち、隣接する2つの領域間におけるグラデーション処理は必要であるが、残り1つの領域の影響が現れない画素については、実施例2同様の方法で色が付与される。具体的には、以下の規則による。
【0044】
画素p10,17,27の色 −−>C13+(C3−C13)/5
画素p18,28 の色 −−>C13+2・(C3−C13)/5
画素p19,29 の色 −−>C13+3・(C3−C13)/5
画素p20,30 の色 −−>C13+4・(C3−C13)/5
画素p25,26,27の色 −−>C23+(C3−C23)/5
画素p24,36,37の色 −−>C23+2・(C3−C23)/5
画素p23,35 の色 −−>C23+3・(C3−C23)/5
画素p22,34 の色 −−>C23+4・(C3−C23)/5
画素p21,31,32,33 の色−−>C3
以上が実施例3における色付与の様子である。
【0045】
実施例4.
上記各実施例において、nの値は固定であった。しかし一般的にいって、幅の大きな領域についてはグラデーションのかかる領域を大きくとることが望ましい。この処理によって、より自然なイメージの画像を再生することができるためである。
【0046】
かかる機能を実現するために、本実施例では、処理対象境界を形成する両側の領域の幅を予め測定し、その数値の大小に応じて、境界毎に最適のnを決定するn値決定手段を有するものとする。このn値決定手段の機能を図によって説明する。
【0047】
図7は、処理対象境界uとその両側の領域を領域S、Tを示す図である。領域Sは境界uによって領域Tと接し、境界u上の点Pから見た領域S、Tの幅をそれぞれs、t(s<t)とする。また生成される各帯状領域の幅は一定値wと仮定する。この状況におけるn値決定手段の動作ステップは以下の通りである。
【0048】
1.まずs<tより、グラデーション処理可能な領域の最大幅がsの値によって制約されることを判断する。
【0049】
2.そこで、sに対して仮に30パーセントの幅、すなわち境界uから0.3 sの幅をグラデーション処理領域と決定する。
【0050】
3.続いて、0.3 s/wを計算し、領域S内において生成される帯状領域の数n( s) を求める。すなわち、n( s) =mode[0.3 s/w]とする。
【0051】
4.領域Tの側にも同数の帯状領域を生成するものとする。すなわち、領域T内において生成される帯状領域の数n( t) はn( s) に等しい。
【0052】
5.最終的にnをn=n( t) +n( s) =2・n( s) から求める。
【0053】
以上が本実施例のn値決定手段の動作である。
【0054】
なお本実施例では、境界u上に予め点Pを仮定したが、かかる点は上記sの値を最小にする点として求めることが望ましい。かかる計算は既知の方法によって容易に行うことができる。また本実施例では帯状領域の幅wを定数としたが、逆にn( s) を定数とし、wをw=mode[0.3s/n( s) ]から求める構成であってもよい。さらに、本実施例ではn( s) =n( t) としたが、これは必須の条件ではなく、例えばs:t=n( s) :n( t) としてnを求めることもできる。
【0055】
【発明の効果】
以上詳細に説明したように本発明の画像処理装置によれば、領域毎に単一色が与えられた原画像データの各領域の境界における色差を判定し、色差が一定値以内の境界においてグラデーション処理がなされるため、本来連続的に変化する色を当初の自然画像に近いイメージで再生することができる。この際、一連の処理はすべて本発明の画像処理装置で行われるため、原画像を送信する側の装置に負担をかけることはない。また本発明の画像処理装置によれば、圧縮の際に失われた情報を相当程度再現することができるため、従来に比べて更に高いデータ圧縮を施すことが可能となる。これは転送される色の数よりも再生される画像の色の数の方が多いという本発明特有の作用に起因するものであり、非常に簡単な構成にして実用性の高い装置を提供するものである。
【0056】
なお、本発明の画像処理装置は、当初より少ない数の色で描画された漫画等の画像から、より自然な画像を得るための処理装置として使用することも可能である。かかる用途にあっては、もはや当初の画像に近いイメージを再生するのではなく、当初の画像の情報量を越えて新たな画像を生成するものであり、画像処理装置として新しい用途を拓くものといってよい。
【図面の簡単な説明】
【図1】本発明の画像処理装置の実施例1の概略構成図を示す図である。
【図2】リンゴ50が机52に置かれ、右上方から光が当たっている画像である。
【図3】図2の矩形領域54を拡大した図である。
【図4】図3の各領域に色が付された状態を示す図である。
【図5】隣接する2つの領域の境界でグラデーション処理の様子を示す図である。
【図6】3つの領域が接する境界におけるグラデーション処理の様子を示す図である。
【図7】処理対象境界uとその両側の領域を領域S、Tを示す図である。
【符号の説明】
12 画像データ入力部
14 境界認識部
18 色差判定部
22 境界選別部
26 色生成部
30 領域生成部
34 処理実行部
42 マウス
【産業上の利用分野】
本発明は画像処理装置、特に色情報に従った領域分割により圧縮された画像データから画像を再生する画像処理装置に関するものである。
【0002】
【従来の技術】
近年、家庭や店舗に情報機器端末や娯楽機器が普及するにつれ、カラー画像を高速に転送する技術が必要とされている。しかし画像転送においては、転送されるべき画像の鮮明度と転送の速度が常に相容れない性質のものであるため、画像の鮮明さと転送速度、転送費用等のいずれかの面である程度の犠牲を払わざるを得ない。ここでは、自然画ほど鮮明な画像は必要としないものの、電話回線等既存の回線を使用して安価にかつ大量のデータ転送が要求される場合について説明する。
【0003】
低速回線を介して画像を転送する場合、データを圧縮して転送する必要が生じる。データ圧縮には数々の手法があるが、最近では、画像において近接する領域が近似色を持つ場合、それらの領域を統合して平均色を付与し、領域情報と色情報のみを転送することでデータ量の低減を図る手法が見受けられるようになった。
【0004】
【発明が解決しようとする課題】
しかし上記の手法によって圧縮された画像データを受信して再生する場合、次のような課題があった。すなわち、データが圧縮される段階で画像が本来持っていた無数の色がせいぜい数十〜数百程度の色に縮退される場合が多く、再生画像が不自然になることである。この傾向は、空や照明に照らされた壁面等、原画像において色が徐々に変化する場合に顕著である。これは再生画像に使用される色の数に限りがあるため、本来徐々に変化する画像が段階的に変化し、場合によっては空が数色の帯で表現され得るためである。かかる問題は、圧縮後においても十分な数の色を保持することによって理論的には解消されるが、この場合はデータ圧縮率が低くなり、圧縮して転送を行う趣旨が没却される。
【0005】
本発明はかかる課題を解決するためになされたもので、一旦少ない数の色に圧縮された画像データを再生する際、隣接する領域の色差が一定値以内であれば、それらの領域の境界にグラデーション処理、すなわち徐々に変化する色を付する処理を施し、境目のない滑らかな画像を得る画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の課題を解決するために本発明の画像処理装置は、原画像において位置的に近接し、かつ色の近似する領域が単一色で表現されることによって領域単位に圧縮された画像データから画像を再生する画像処理装置であって、画像データの各領域の境界における色差を判定する判定手段と、判定手段によって判定された色差が一定値以内である境界を選別する選別手段と、選別手段によって選別された境界を形成する両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の色の間で徐々に変化するn通りの色を生成する色生成手段と、選別手段によって選別された境界に沿って、領域の境界付近にn個の新たな帯状領域を生成する領域生成手段と、領域生成手段によって生成されたn個の帯状領域に対し、色が徐々に変化する順序で、色生成手段によって生成されたn通りの色を一対一に付与する付与手段とを有するものである。
【0007】
また本発明の画像処理装置は、さらに、前記選別手段によって選別された境界であっても、その境界において前記付与手段による新たな色の付与を禁止する禁止手段を有するものである。
【0008】
また本発明の画像処理装置は、さらに、前記選別手段によって選別された境界を形成する両側の領域の幅を測定する測定手段と、測定手段によって測定された幅に従い、境界毎に前記nの値を決定する分割数決定手段とを有するものである。
【0009】
【作用】
上記の構成による本発明の画像処理装置によれば、まず判定手段が領域毎に単一色が与えられた原画像データの各領域の境界における色差を判定する。判定の結果、選別手段によって色差が一定値以内である境界が選別される。次に色生成手段が、選別された境界を形成する両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の色の間で徐々に変化するn通りの色を生成する。一方、領域生成手段は、選別された境界に沿って、領域の境界付近にn個の新たな帯状領域を生成する。こうしてn通りの色、およびn個の帯状領域が得られた後、付与手段によって、色が徐々に変化する順序で、n通りの色をn個の帯状領域に付与していく。この結果、領域の境界近辺において、徐々に変化する色が表現される。
【0010】
また本発明の画像処理装置によれば、禁止手段によって徐々に変化する色の付与を禁止することができる。その結果、例えば赤い机に赤いリンゴを置いたような場合であっても、リンゴと机の境界で不要なグラデーション処理がなされることがない。
【0011】
また本発明の画像処理装置によれば、まず測定手段が選別された境界を形成する両側の領域の幅を測定する。続いて、この幅に基づき、分割数決定手段が境界毎に前記nの値を決定する。このため、領域の幅に応じてnの値が決定され、生成される帯状領域および色の数が可変となる。
【0012】
【実施例】
実施例1.
ここで本発明の画像処理装置の実施例について、図を用いて説明する。まず、図1によって本実施例の概略構成図を示し、図2以降で実例を用いた具体的な説明を行う。
【0013】
図1において、本装置はまず回線10を介して送信されてきた画像データを画像データ入力部12から入力する。この画像データは、送信前に領域単位で単一色が与えられ、領域情報と領域色情報とに圧縮されているものとする。
【0014】
境界認識部14は画像データ入力部12によって入力された画像データを解析し、領域分割された画像データの領域の全境界を抽出し、それら境界の位置情報を境界記憶部16へ格納する。色差判定部18は境界記憶部16に格納された境界の位置情報を読み出し、その情報および画像データから、境界両側の領域の色差を判定する。この判定は全境界について行われ、判定結果は色差記憶部20へ格納される。境界選別部22は色差記憶部20から判定結果を読み出し、全境界の中から予め定められた色差以内の境界を選別し、それら境界の位置情報を処理対象境界記憶部24へ格納する。ここで選別された境界が処理対象境界となる。
【0015】
次に色生成部26が処理対象境界記憶部24から処理対象境界を読み出し、各境界について、両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の間で徐々に変化するn通りの色を生成する。生成された色は境界と対応づけられて処理準備色記憶部28へ格納される。一方、領域生成部30も処理対象境界記憶部24から処理対象境界を読み出し、各境界に沿って、境界と平行で、かつその境界をほぼ中心線とするn個の細い帯状領域を生成する。生成された帯状領域は境界と対応づけられて処理準備領域記憶部32へ格納される。
【0016】
こうしてn通りの色、およびn個の帯状領域が得られた後、処理実行部34がこれらの情報をもとに、境界の両側領域の間で色が徐々に変化する順に、n通りの色をn個の帯状領域に付与していく。かかる合成処理がされた画像データは再生画像記憶部36へ格納され、画像表示部38によってディスプレイ40へ表示される。この結果、近似色を有する領域の境界近辺において、徐々に変化する色が表示されるのである。
【0017】
なお、このようなグラデーション処理がなされた境界であっても、この処理が不要である場合には、以下の操作によってその境界を処理前の状態に戻すことができる。すなわち、ディスプレイ40に表示された画像において、ユーザがマウス42で処理後の境界付近をクリックすると、画像処理装置は当該境界における処理を解消すべきものと判断し、処理実行部34へ通知する。処理実行部34はクリックされた箇所からもとの処理対象境界を算出し、その境界については処理前の状態に戻して再生画像記憶部36へ再格納する。この結果ユーザによる画像修正が可能となるのである。
【0018】
ここで、図2に示す圧縮された画像データ、および図2の矩形領域54を拡大した図3、さらに図3の各領域に新たな色が付与された状態を示す図4によって、上記構成による画像再生の様子を説明する。
【0019】
図2は、リンゴ50が机52に置かれ、図の右上方から薄日が当たっている画像である。画像処理装置はまず回線10を介して送信されてきたこの画像データを画像データ入力部12から入力する。送信前のデータ圧縮の結果、リンゴ50は4つの領域a、b、c、dに分割され、領域aに最も明るい赤、領域dに最も暗い赤が付与され、その中間の色が領域b、cに付与されているものとする。つまり、本来ならば無数の色によって徐々に明暗表現のされるべきリンゴ50が、わずか4色によって塗り分けられており、通常の画像処理装置でこのデータを再生すれば、非常に不自然な画像を得ることしかできない。
【0020】
ここで境界認識部14がこの画像データを解析し、
領域aとbの境界−−>境界i
領域bとcの境界−−>境界j
領域cとdの境界−−>境界k
領域dと机の境界−−>境界m
というように、すべての境界を抽出し、その位置情報を境界記憶部16へ格納する。図2の画像には数本の境界線が存在するが、以降、領域bとcの境界である境界jに絞って説明する。
【0021】
境界が格納された後、色差判定部18が境界jの位置情報を読み出し、境界j両側の領域、すなわち領域bとcの色差を判定する。判定結果は色差記憶部20へ格納される。境界選別部22はこの判定結果を読み出し、予め定められた色差との比較を行うが、境界jは本来連続的に色の変化する部分であるため、領域bおよびcの色差は十分に小さく、本発明によるグラデーション処理を行うべき箇所であると判断される。この結果、境界jは処理対象境界として処理対象境界記憶部24へ記憶される。
【0022】
次に色生成部26が領域bとcの色差を4分割(本実施例ではn=4)し、両領域間で徐々に変化する4通りの色を生成する。生成された色は境界jと対応づけられて処理準備色記憶部28へ格納される。一方、領域生成部30は境界jに沿って、境界jと平行で、かつ境界jを中心線とする4個の細い帯状領域を生成する。図3は、図2の矩形領域54の拡大図で、境界jを含んでいる。いま領域生成部30によって、境界jを中心とする4個の帯状領域p、q、r、sが生成されている。これら帯状領域の幅は一定値でもよいし、領域bおよびcに対して一定の率を持つように計算されてもよい。
【0023】
こうして4通りの色、および4個の領域が生成され、最後に処理実行部34が領域bおよびcの間で色が徐々に変化する順に、4通りの色を4個の帯状領域p、q、r、sに付与していく。この例の場合、領域bが最も明るい色であるため、
領域b→帯状領域p→帯状領域q→帯状領域r→帯状領域s→領域cの順に、次第に暗くなる色が与えられる。こうして色が付され、処理が終了した時点における図3の各領域の様子を図4に示す。図4では、付与された色の明暗に従い、各領域の色を示す実線の間隔を強調して変化させている。
【0024】
以上が境界j近辺におけるグラデーション処理の様子である。境界i、kについても同様の処理がなされることになるが、ここで考慮すべきは、リンゴ50と机52の境界である境界mにおける処理である。この処理に際しては、机52の色によって場合分けが発生する。
【0025】
(1)机52と領域dの色差が大きいとき
例えば机52が青であれば、リンゴ50の領域dとの色差は大きい。従って境界mは、境界選別部22によって処理対象境界として選別されることはなく、境界m近辺におけるグラデーション処理は発生しない。その結果、最終的に得られる再生画像において、机52の青とリンゴ50の赤の中間色である紫色の領域が生成されることはなく、両者は鮮明に区分けされる。
【0026】
(2)机52と領域dの色差が小さいとき
例えば机52もリンゴ50同様赤であれば、その赤の種類によっては、領域dとの色差が非常に小さくなる。そのとき境界mは境界選別部22によって処理対象境界として選別されるため、境界m近辺におけるグラデーション処理が発生する。その結果、最終的に得られる再生画像において、机52とリンゴ50の境界mにおいて色が滑らかに変化し、両者の区分けが不鮮明になる。かかる境界におけるグラデーション処理は本来なされるべきではないが、境界毎に色差を判定する構成だけでこの事態を回避することはできない。
【0027】
そこでこの場合には、図1において説明した如く、ディスプレイ40に表示された画像について、ユーザがマウス42によって境界m付近をクリックするものとする。この結果、画像処理装置は境界mにおける処理を解消し、所望の画像を得ることができるのである。
【0028】
実施例2.
続いて実施例2を説明する。この実施例は、前記の色生成部26による色の生成を具体的に示すものである。
【0029】
図5は、隣接する2つの領域の境界でグラデーション処理の様子を示す図で、ここでは色生成部26によってn通りの色が生成され、これらが帯状領域に付与されている。色生成部26の機能を説明するために、以下の仮定を行う。
【0030】
・n=8とする。すなわち、2つの領域にはそれぞれ4つの帯状領域が生成されるものとする。
【0031】
・処理前の2つの領域の色番号をC1、C2とする。すなわち、図5において、上の領域の色番号をC1、下の領域の色番号をC2とする。
【0032】
・各帯状領域の幅は1画素とする。
【0033】
以上の仮定に基づき、色生成部26による色の生成を説明する。いま、色番号がC1、C2である領域をそれぞれ領域C1、領域C2と名付ける。また、境界から領域C1へ入り込む方向で、4つの帯状領域を順に、A1、A2、A3、A4と呼び、領域C2の側も同様に、4つの帯状領域を順に、B1、B2、B3、B4と呼ぶ。本実施例の場合、各帯状領域の幅が1画素しかないため、実際には各領域は帯状とならず、階段状となる。
【0034】
ここでまず、境界の色を考える。境界は領域C1、C2のちょうど中間であるから、理想的には両領域の平均色(C1+C2)/2が付与されるべきである。しかし、境界自体は幅を持たないため、現実には帯状領域A1とB1に対し、この平均色(C12と呼ぶ)に近い色が付与されるにとどまる。各帯状領域に付与される色は、次式によって決定することができる。
【0035】
[領域C1側について]
帯状領域Ai(i=1〜4)に対して、
C12+i・(C1−C12)/5 ・・・(1)
[領域C2側について]
帯状領域Bi(i=1〜4)に対して、
C12+i・(C2−C12)/5 ・・・(2)
この規則に従い、仮にC1=0、C2=100であるとすれば、C12=50であるから、各帯状領域の色番号を図5の順に並べて示せば、
帯状領域A4−−>10
帯状領域A3−−>20
帯状領域A2−−>30
帯状領域A1−−>40
帯状領域B1−−>60
帯状領域B2−−>70
帯状領域B3−−>80
帯状領域B4−−>90
となり、グラデーション処理が実現される。
【0036】
以上が実施例2の色生成部26の動作である。なお、本実施例ではn=8としたが、これを一般にn=2mたる偶数について考えれば、上式(1)(2)における除数5を(m+1)に置き換えればよい。この際、除算に余りが生じる場合も考えられるため、厳密には上式(1)(2)をそれぞれ、
C12+mode[i・(C1−C12)/(m+1)] (i=1〜m)
C12+mode[i・(C2−C12)/(m+1)] (i=1〜m)
とすればよい。ここでmode[x]は、xを越えない最大整数を表すものとする。
【0037】
実施例3.
続いて実施例3を説明する。実施例2では隣接する2つの領域を考えたが、本実施例では3つの領域が接する場合における色生成部26の動作を説明する。
【0038】
図6は、3つの領域が接する境界におけるグラデーション処理の様子を示す図である。ここでも実施例2同様、3つの領域を色番号に従って領域C1、C2、C3と呼ぶ。また、この実施例でもn=8、すなわち3つの領域にはそれぞれ4つの帯状領域が生成されるものとし、各帯状領域の幅は1画素とする。図6では説明のために、領域C3に含まれる画素をp1〜38と名付けている。また、
C1、C2の平均色 −−>C12
C1、C3の平均色 −−>C13
C2、C3の平均色 −−>C23
C1、C2、C3の平均色−−>C123
と記述する。
【0039】
以上の前提に基づき、色生成部26による色の生成を説明する。
【0040】
まず、境界の色について考察する。実施例2でも述べた通り、境界自体は色を持ち得ないが、境界または境界の接する点の上に色を想定することによって、色付与の様子が理解しやすくなる。本実施例では、3つの領域の接点から境界に沿って色を変えていき、領域内部は境界上の色を補間することによって色を付与するものとし、具体的には以下のステップで各画素の色が決定される。
【0041】
[ステップ1]
3つの領域C1、C2、C3の接点、すなわち図6の点XにC123 を付与し、点Xから4画素分、境界に沿って進んだ点Y、Z、Wに、それぞれC12、C13、C23を付与する。従って、境界に沿った画素については、以下の色が付与される。
【0042】
画素p1の色 −−>C123 +(C13−C123 )/5
画素p3の色 −−>C123 +2・(C13−C123 )/5
画素p6の色 −−>C123 +3・(C13−C123 )/5
画素p11の色 −−>C123 +4・(C13−C123 )/5
画素p2の色 −−>C123 +(C23−C123 )/5
画素p5の色 −−>C123 +2・(C23−C123 )/5
画素p9の色 −−>C123 +3・(C23−C123 )/5
画素p16の色 −−>C123 +4・(C23−C123 )/5
[ステップ2]
ステップ1の各画素間を補間するよう、関連する画素に色を付与する。ここで、画素pN(N=1〜38)の色番号を単純にpNと書けば、以下の規則で色が付与される。
【0043】
画素p4の色 −−>(p3+p5)/2
画素p7の色 −−>p9+(p6−p9)/3
画素p8の色 −−>p9+2・(p6−p9)/3
画素p12の色 −−>p11+(p11−p16)/5
画素p13の色 −−>p11+2・(p11−p16)/5
画素p14の色 −−>p11+3・(p11−p16)/5
画素p15の色 −−>p11+4・(p11−p16)/5
[ステップ3]
残りの画素、すなわち、隣接する2つの領域間におけるグラデーション処理は必要であるが、残り1つの領域の影響が現れない画素については、実施例2同様の方法で色が付与される。具体的には、以下の規則による。
【0044】
画素p10,17,27の色 −−>C13+(C3−C13)/5
画素p18,28 の色 −−>C13+2・(C3−C13)/5
画素p19,29 の色 −−>C13+3・(C3−C13)/5
画素p20,30 の色 −−>C13+4・(C3−C13)/5
画素p25,26,27の色 −−>C23+(C3−C23)/5
画素p24,36,37の色 −−>C23+2・(C3−C23)/5
画素p23,35 の色 −−>C23+3・(C3−C23)/5
画素p22,34 の色 −−>C23+4・(C3−C23)/5
画素p21,31,32,33 の色−−>C3
以上が実施例3における色付与の様子である。
【0045】
実施例4.
上記各実施例において、nの値は固定であった。しかし一般的にいって、幅の大きな領域についてはグラデーションのかかる領域を大きくとることが望ましい。この処理によって、より自然なイメージの画像を再生することができるためである。
【0046】
かかる機能を実現するために、本実施例では、処理対象境界を形成する両側の領域の幅を予め測定し、その数値の大小に応じて、境界毎に最適のnを決定するn値決定手段を有するものとする。このn値決定手段の機能を図によって説明する。
【0047】
図7は、処理対象境界uとその両側の領域を領域S、Tを示す図である。領域Sは境界uによって領域Tと接し、境界u上の点Pから見た領域S、Tの幅をそれぞれs、t(s<t)とする。また生成される各帯状領域の幅は一定値wと仮定する。この状況におけるn値決定手段の動作ステップは以下の通りである。
【0048】
1.まずs<tより、グラデーション処理可能な領域の最大幅がsの値によって制約されることを判断する。
【0049】
2.そこで、sに対して仮に30パーセントの幅、すなわち境界uから0.3 sの幅をグラデーション処理領域と決定する。
【0050】
3.続いて、0.3 s/wを計算し、領域S内において生成される帯状領域の数n( s) を求める。すなわち、n( s) =mode[0.3 s/w]とする。
【0051】
4.領域Tの側にも同数の帯状領域を生成するものとする。すなわち、領域T内において生成される帯状領域の数n( t) はn( s) に等しい。
【0052】
5.最終的にnをn=n( t) +n( s) =2・n( s) から求める。
【0053】
以上が本実施例のn値決定手段の動作である。
【0054】
なお本実施例では、境界u上に予め点Pを仮定したが、かかる点は上記sの値を最小にする点として求めることが望ましい。かかる計算は既知の方法によって容易に行うことができる。また本実施例では帯状領域の幅wを定数としたが、逆にn( s) を定数とし、wをw=mode[0.3s/n( s) ]から求める構成であってもよい。さらに、本実施例ではn( s) =n( t) としたが、これは必須の条件ではなく、例えばs:t=n( s) :n( t) としてnを求めることもできる。
【0055】
【発明の効果】
以上詳細に説明したように本発明の画像処理装置によれば、領域毎に単一色が与えられた原画像データの各領域の境界における色差を判定し、色差が一定値以内の境界においてグラデーション処理がなされるため、本来連続的に変化する色を当初の自然画像に近いイメージで再生することができる。この際、一連の処理はすべて本発明の画像処理装置で行われるため、原画像を送信する側の装置に負担をかけることはない。また本発明の画像処理装置によれば、圧縮の際に失われた情報を相当程度再現することができるため、従来に比べて更に高いデータ圧縮を施すことが可能となる。これは転送される色の数よりも再生される画像の色の数の方が多いという本発明特有の作用に起因するものであり、非常に簡単な構成にして実用性の高い装置を提供するものである。
【0056】
なお、本発明の画像処理装置は、当初より少ない数の色で描画された漫画等の画像から、より自然な画像を得るための処理装置として使用することも可能である。かかる用途にあっては、もはや当初の画像に近いイメージを再生するのではなく、当初の画像の情報量を越えて新たな画像を生成するものであり、画像処理装置として新しい用途を拓くものといってよい。
【図面の簡単な説明】
【図1】本発明の画像処理装置の実施例1の概略構成図を示す図である。
【図2】リンゴ50が机52に置かれ、右上方から光が当たっている画像である。
【図3】図2の矩形領域54を拡大した図である。
【図4】図3の各領域に色が付された状態を示す図である。
【図5】隣接する2つの領域の境界でグラデーション処理の様子を示す図である。
【図6】3つの領域が接する境界におけるグラデーション処理の様子を示す図である。
【図7】処理対象境界uとその両側の領域を領域S、Tを示す図である。
【符号の説明】
12 画像データ入力部
14 境界認識部
18 色差判定部
22 境界選別部
26 色生成部
30 領域生成部
34 処理実行部
42 マウス
Claims (3)
- 原画像において位置的に近接し、かつ色の近似する領域が単一色で表現されることによって領域単位に圧縮された画像データから画像を再生する画像処理装置であって、
画像データの各領域の境界における色差を判定する判定手段と、
判定手段によって判定された色差が一定値以内である境界を選別する選別手段と、
選別手段によって選別された境界を形成する両側の領域の色差をn分割(n:2以上の自然数)し、両側の領域の色の間で徐々に変化するn通りの色を生成する色生成手段と、
選別手段によって選別された境界に沿って、領域の境界付近にn個の新たな帯状領域を生成する領域生成手段と、
領域生成手段によって生成されたn個の帯状領域に対し、色が徐々に変化する順序で、色生成手段によって生成されたn通りの色を一対一に付与する付与手段とを有することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって該装置はさらに、
前記選別手段によって選別された境界であっても、その境界において前記付与手段による色の付与を禁止する禁止手段を有し、
禁止手段によって禁止された境界においては、色を徐々に変化させることなく、原画像データの通り画像を再生することを可能とする画像処理装置。 - 請求項1または請求項2のいずれかに記載の画像処理装置であって該装置はさらに、
前記選別手段によって選別された境界を形成する両側の領域の幅を測定する測定手段と、
測定手段によって測定された幅に従い、境界毎に前記nの値を決定する分割数決定手段と、
を有することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20636094A JP3561537B2 (ja) | 1994-08-31 | 1994-08-31 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20636094A JP3561537B2 (ja) | 1994-08-31 | 1994-08-31 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0869536A JPH0869536A (ja) | 1996-03-12 |
JP3561537B2 true JP3561537B2 (ja) | 2004-09-02 |
Family
ID=16522038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20636094A Expired - Fee Related JP3561537B2 (ja) | 1994-08-31 | 1994-08-31 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3561537B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4490327B2 (ja) * | 2004-05-26 | 2010-06-23 | 富士フイルム株式会社 | 出力装置、色変換方法、及びプログラム |
-
1994
- 1994-08-31 JP JP20636094A patent/JP3561537B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0869536A (ja) | 1996-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2923648B2 (ja) | 物体の色特性を発生する方法と装置 | |
CN101170708B (zh) | 改进图像闪烁的显示装置和方法 | |
JP3830747B2 (ja) | 色再現域圧縮方法および色再現域圧縮装置 | |
US6606166B1 (en) | Pattern dithering | |
CN101082992A (zh) | 实时高动态范围图像的绘制和显示方法 | |
US6765587B1 (en) | Image processing apparatus | |
JP3561537B2 (ja) | 画像処理装置 | |
JPH10262266A (ja) | 信号処理装置、信号処理の方法、および信号処理システム | |
EP0424920B1 (en) | Method of and apparatus for obtaining tone curve | |
CN104981863A (zh) | 用于色彩渲染到二进制高维输出设备的方法和装置 | |
JP2001197321A (ja) | カラー画像処理方法並びに画像処理装置 | |
JPH05244444A (ja) | カラー画像における色むら修正方法 | |
JP3482083B2 (ja) | カラー画像の明るさ変換装置 | |
JPH03267885A (ja) | 映像特殊効果処理方式 | |
JP3255549B2 (ja) | 図形処理方法 | |
JP3006522B2 (ja) | 減色処理装置 | |
KR100363965B1 (ko) | 4그레이 표시장치를 위한 컬러영상의 최적화 방법 | |
US20240144426A1 (en) | Super resolution image generation circuit | |
JP3674965B2 (ja) | カラー画像圧縮方法 | |
JPH1032712A (ja) | 画像処理装置 | |
JPH10134167A (ja) | 局所色空間代表色リスト生成方法及びその装置 | |
JPH08110849A (ja) | 画像表示方法 | |
Su et al. | Color-gamut mapping in the non-uniform CIE-1931 space with perceptual hue fidelity constraints for SMPTE ST. 2094-40 standard | |
CN116205284A (zh) | 基于新型重参数化结构的超分网络、方法、装置及设备 | |
JPH04157872A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040531 |
|
LAPS | Cancellation because of no payment of annual fees |