JPH09247470A - 色彩データ変換装置 - Google Patents

色彩データ変換装置

Info

Publication number
JPH09247470A
JPH09247470A JP8050141A JP5014196A JPH09247470A JP H09247470 A JPH09247470 A JP H09247470A JP 8050141 A JP8050141 A JP 8050141A JP 5014196 A JP5014196 A JP 5014196A JP H09247470 A JPH09247470 A JP H09247470A
Authority
JP
Japan
Prior art keywords
input
value
output
designated
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8050141A
Other languages
English (en)
Other versions
JP2879006B2 (ja
Inventor
Atsushi Ikeda
淳 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP8050141A priority Critical patent/JP2879006B2/ja
Publication of JPH09247470A publication Critical patent/JPH09247470A/ja
Application granted granted Critical
Publication of JP2879006B2 publication Critical patent/JP2879006B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 簡易な操作による自由な配色を用いたポスタ
リゼーション効果の実施や、色空間を任意の形状で切り
出すことによる領域選択信号の生成を可能とする色彩デ
ータ変換装置を提供する。 【解決手段】 3次元色空間を所定の領域に分割するた
めの基準となる入力指定値を記録している入力指定値記
録部101aと、最終的に出力させたい出力指定値を各
入力指定値に対応づけて記録している出力指定値記録部
101bと、色彩データが与えられると、その色彩と入
力指定値記録部101aに記録された各入力指定値との
3次元色空間における距離を算出して比較することによ
りその距離が最小となる入力指定値を特定する距離比較
部102と、距離比較部102によって特定された入力
指定値に対応する出力指定値を出力指定値記録部101
bから読み出して出力する出力指定値選択部103とを
備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カラー画像に特定
の処理を施す装置に関し、特に、自然画像の階調を減少
させることにより画像に特殊な効果(ポスタリゼーショ
ン効果)を施す装置や、カラー画像の特定の領域を抽出
する装置に関する。
【0002】
【従来の技術】
(第1の従来技術)まず、第1の従来技術として、画像
処理における色彩の成分の階調数を減少させることによ
る特殊効果、いわゆるポスタリゼーション効果の実施方
法について図面を参照しながら説明する。
【0003】いわゆるポスタリゼーションとは、多階調
を有する自然画像の階調成分を指定の階調数に減ずるこ
とにより、元の自然画像をポスターデザインなどで用い
られるような少ない色数で表現された画像に変換する画
像処理をいう。なお、色彩を構成する各成分の値として
とり得る数を階調数、各成分の合成として表現された色
彩の種類としてとり得る数を色数と呼ぶ。
【0004】広告画像などを製作するデザイナらは、素
材となる自然画像にポスタリゼーション効果を含む様々
な特殊効果を組み合わせて施すことにより、自分のイメ
ージする作品を作り上げている。それらの特殊効果のな
かでも特にポスタリゼーション効果は、素材画像からア
ニメーションに用いられるセル画のような少数色で表現
される画像を簡易かつ効果的に生成するための手段とし
て様々な場面で多用されている。
【0005】図7は、従来のポスタリゼーションのため
の色彩データ変換装置の構成を示すブロック図である。
入力画像の画素を構成する3次元の値の各成分(ここで
はR、G、B成分)は、各々独立した信号変換部701
〜703によって階調を減ぜられ出力される。図8は、
この信号変換部701〜703における信号変換の動作
を説明するための図である。例えば、出力側の階調数を
2とする場合であれば、図8(a)に示されるように、
多階調の入力信号は、信号変換部701〜703によっ
て2階調の値に変換される。同様に出力側の階調数を3
とする場合であれば、図8(b)に示されるように、多
階調の入力信号は、信号変換部701〜703によって
3階調の値に変換される。
【0006】ここで、入力画像の画素を構成する値は3
次元の成分を持つので、各成分をいずれも2階調で表現
した場合は8色(2の3乗)、3階調で表現した場合は
27色(3の3乗)で塗り分けられた出力画像が得られ
ることになる。入力画像の画素を構成する3次元の値の
各成分をR、G、B(各成分とも0〜255の値を持
つ)とし、各成分を2階調及び3階調で表現した場合の
出力画像の塗り分けられる色の組み合わせの例をそれぞ
れ以下の表1及び表2に示す。
【0007】
【表1】
【0008】
【表2】
【0009】また、各成分を3階調で表現した場合にお
ける色空間の分割の例を図9に示す。なお、図9は、分
割された色空間におけるB成分を一定とする断面図、即
ち、RG平面のみを示しているが、実際には色空間は3
次元的に分割される。このようにして、第1の従来技術
では、色空間を固定的に分割し、同一の分割領域に属す
る入力画素の色彩をその領域を代表する同一の色に変更
することにより、入力画素の色彩数を減じている。
【0010】なお、上記の説明では、画素の各成分を
(R、G、B)による値で表現したが、従来の方式にお
けるポスタリゼーションに用いられる3次元の値の成分
としては、テレビジョン映像信号の処理などに用いられ
る(Y、Cb、Cr)や印刷用画像などに用いられる均
等知覚色空間で定義される(L*、a*、b*)などの値
が用いられる場合もある。 (第2の従来技術)次に、第2の従来技術として、画像
処理における色情報を用いた領域選択の方法について図
面を参照しながら説明する。
【0011】一連の画像処理において領域の選択は、静
止画像処理においてはマスクデータの生成、動画像処理
においてはキー信号の生成と呼ばれ、以降の処理におい
て特定の領域を他の領域と切り離して独立に処理するた
めに必須となる工程である。マスクデータ、キー信号は
いずれも、選択された部分において最大値、非選択部分
において最小値を持つような1次元の2値(最大値/最
小値)で表され、処理対象となる画像の信号に準じた形
式を持つある種の画像データである。
【0012】ここでは、人物などのテレビジョン映像か
ら、映像中の色情報を用いることによって単色系の背景
の領域のみを選択する信号、いわゆるキー信号を生成す
る場合について述べる。実際の映像製作の現場において
は、撮影した映像の背景の部分のみを他の映像に差し替
えるなどの目的に用いられるクロマキー合成の前段の処
理としてこのキー信号の生成が頻繁に行われる。
【0013】図10は、キー信号を生成する従来の色彩
データ変換装置の構成を示すブロック図である。入力映
像の画素を構成する3次元の信号成分をY、Cb、Cr
とすると、極座標変換部1001において元信号の色差
成分であるCb、Cr信号は彩度成分C(Chrom
a)、色相成分H(HueAngle)に変換される。
Y、C、Hの3成分は成分毎に対応する選択信号生成部
1002〜1004において選択信号key-y〜key-hに変
換されたのち、乗算部1005において合成され、最終
的にキー信号keyとして出力される。
【0014】図11は、図10における選択信号生成部
1002〜1004における動作を説明するための図で
あり、信号の入出力関係を示す。この関係は、各成分毎
にあらかじめ設定された選択中心値(CenterValue)と選
択幅(Width)によって定められる矩形状のグラフとな
る。従って、入力された信号のY、C、Hの各成分は、
図11に示されるグラフに従って変換が施され、それぞ
れ2値(0/255)で表される選択信号(key-y、key
-c、key-h)となる。
【0015】各成分ごとの選択信号は、乗算部1005
において論理積がとられ、キー信号(Key)として出力
される。図12(a)はC成分の選択信号(Key-c)、図
12(b)はH成分の選択信号(Key-h)、図12(c)
は合成後のキー信号(Key)のそれぞれのCbCr入力色
差平面における分布を示す。なお、図12(a)〜図1
2(c)は、分割された色空間におけるY成分を一定と
する断面図、即ち、CbCr入力色差平面のみを示して
いるが、実際には、特定YCbCr空間の特定領域が3
次元的に選択される。
【0016】このようにして、第2の従来技術により、
色各成分毎にあらかじめ設定された選択中心値と選択幅
に基づいてキー信号の生成が行われている。
【0017】
【発明が解決しようとする課題】しかしながら、上記第
1の従来技術によるポスタリゼーション効果の実施方法
では、階調の分割方法や効果の実施後の画像の配色が画
素を構成する3次元の値の各成分と指定された階調数に
より一意に定まっている。即ち、入力信号を2階調に減
ずる場合は、入力信号は図8(a)に示される通り固定
的に2分割されるだけであり、3階調に減ずる場合は同
様に図3(b)に示される通り固定的に3分割されるだ
けであり、これらの分割方法は実施の対象となる画像と
無関係に一律に決定されたものである。そのために、画
像の内容や種類に応じた最適なポスタリゼーション効果
を行うことができないという問題点がある。
【0018】配色についても表1や表2に示すような組
み合わせに固定されており、例えば3階調の場合であれ
ば、図9に示されるように、色空間を均等に分割し各領
域をそれぞれの代表色で塗り分けるだけであり、作業者
の意思が反映される余地はない。また、上記第2の従来
技術による色情報を用いたキー信号の生成では、入力映
像の画素を構成する3次元の信号は各成分毎に独立して
選択信号に変換された後にキー信号として合成されるた
め、キー信号として選択される領域の色空間における形
状は一定のものに限定されるという問題がある。
【0019】例えば、図10に示したような信号変換で
は、最終的に選択される色領域は、色空間上でみると図
12(c)で示されたような扇型(実際にはY方向への
3次元的な厚みを持つ)となってしまうため、実際に処
理を施したい入力画像における選択したい色領域の色空
間における分布が図13において斜線で示した領域のよ
うにいびつな形状であった場合には、もはやこのような
色領域の切り出しをすることはできない。
【0020】また、領域として選択したい色の分布する
色空間上の領域を切り出すために、作業者は3次元の信
号の各成分全てについて図11で示した選択中心値と選
択幅を指定する必要があるが、切り出したい色が3次元
の信号のいずれの成分の定義された軸に対しても傾いた
方向に分布している場合などは、その領域を的確に切り
出すことは困難である。また入力すべき切り出し領域の
選択中心値と選択幅の指定作業そのものについても、作
業者の熟練に負うものであり、最適な値を簡易に得るこ
とができる方法が望まれている。
【0021】そこで、本発明は、上記従来の問題点を解
決するものであり、簡易な操作により自由な色の分割に
よる任意の色数や配色を用いたポスタリゼーション効果
を実施することができる色彩データ変換装置を提供する
ことを目的とする。また、本発明は、入力信号の各成分
の定義された色空間において、簡易な操作で自由な形状
による最適な領域の切り出しによる選択信号の生成を可
能とする色彩データ変換装置を提供することをも目的と
する。
【0022】
【課題を解決するための手段】この課題を解決するため
に本発明に係る第1の色彩データ変換装置は、入力され
たカラー画像の色数を減じる装置であって、3次元色空
間を所定の領域に分割するための基準となる色彩を入力
指定値としてを記録している入力指定値記録手段と、各
入力指定値に対応づけられた色彩を出力指定値として記
録している出力指定値記録手段と、色彩データが与えら
れるとその色彩と前記入力指定値記録手段に記録された
各入力指定値との3次元色空間における距離を算出して
比較することによりその距離が最小となる入力指定値を
特定する入力指定値特定手段と、特定された入力指定値
に対応する出力指定値を前記出力指定値記録手段から読
み出して出力する出力手段とを備えることを特徴とす
る。
【0023】また、本発明に係る第2の色彩データ変換
装置は、入力されたカラー画像の各画素の色彩が所定の
選択領域の色彩に属するか否かを判断する装置であっ
て、3次元色空間を所定の領域に分割するための基準と
なる色彩を入力指定値として記録している入力指定値記
録手段と、その入力指定値に対応する領域がその選択領
域に含まれるか否かを表す値を出力指定値として記録し
ている出力指定値記録手段と、色彩データが与えられる
とその色彩と前記入力指定値記録手段に記録された各入
力指定値との3次元色空間における距離を算出して比較
することによりその距離が最小となる入力指定値を特定
する入力指定値特定手段と、特定された入力指定値に対
応する出力指定値を前記出力指定値記録手段から読み出
して出力する出力手段とを備えることを特徴とする。
【0024】さらに、これらの装置は、操作者の指示に
従って入力指定値及び出力指定値を決定しそれらを前記
入力指定値記録手段及び出力指定値記録手段に記録する
ためのグラフィカルユーザインタフェース部を備えるこ
ともできる。
【0025】
【発明の実施の形態】以下、本発明に係る色彩データ変
換装置の実施の形態について、図面を参照しながら説明
する。 (第1の実施形態)第1の実施形態は、本発明により入
力画像にポスタリゼーション効果を施す場合に関するも
のである。
【0026】図1は、本実施形態における色彩データ変
換装置の構成を示すブロック図である。本装置は、指定
値記録部101、距離比較部102、出力指定値選択部
103から構成される。指定値記録部101は、実施す
るポスタリゼーション効果の内容に応じて予め決定され
た値を記憶するものであり、さらに、入力指定値記録部
101aと出力指定値記録部101bとからなる。
【0027】入力指定値記録部101aには、複数の入
力指定値、即ち、色空間の領域分割を決定するための色
の成分であって各領域を代表するものが記録され、出力
指定値記録部101bには、入力指定値と同数の出力指
定値、即ち、ポスタリゼーション効果によって最終的に
得たい色の成分であって各入力指定値に対応するものが
記録されている。
【0028】表3は、入力指定値記録部101a及び出
力指定値記録部101bに格納されている入力指定値及
び出力指定値を示す。
【0029】
【表3】
【0030】なお、説明を容易にするため、入力指定値
と出力指定値を一致させている。また、入力信号系及び
出力信号系におけるデータは、L***色空間で定義
されているものとする。即ち、画像を構成する各画素
は、L*、a*、b*の各成分に対応する3次元の値を持
つものとする。距離比較部102は、入力された色彩デ
ータがいずれの領域に属するかを判定するものであり、
出力指定値選択部103は、階調数が減じられた後の色
彩データを出力するものである。
【0031】なお、本装置の各構成部101〜103
は、汎用のCPUの下で実行されるプログラムによって
実現される。以上のように構成された本装置の動作につ
いて説明する。まず、画像を構成する3次元の信号は、
色を構成する基本単位(ここでは画素)毎に入力値とし
て距離比較部102に入力される。距離比較部102
は、その入力値と入力指定値記録部101aに記録され
ている全ての入力指定値との3次元色空間におけるユー
クリッド距離ΔE(=√L*2+a*2+b*2)を算出し、
その値を順次比較することによって、その画素との距離
が最小となる入力指定値を決定し、出力指定値選択部1
03に通知する。
【0032】その通知を受けた出力指定値選択部103
は、その入力指定値に対応する出力指定値を出力指定値
記録部101bから読み出し、入力値に対応する出力値
として出力する。図2は、入力信号系の定義された色空
間の分割の様子を示す図であり、L*を一定とするa*
*平面における断面図である。図中の白丸は、表3の入
力指定値及び出力指定値に該当する。この図は、境界線
に囲まれた分割領域に属する入力値が本装置に与えられ
ると、その領域中の白丸に相当する出力値が出力される
ことを示している。このような手法による空間の分割図
は一般にはボロノイ図(Voronoi Diagrams)と呼ばれる。
【0033】このようにして、各成分ごとに256の階
調数を有していた入力値は、本装置によって、色空間上
の距離が最も近い出力値、即ち、6種類の色のいずれか
に変換されたことになる。そして、その6種類の色は、
作業者によって予め作成された出力指定値である。従っ
て、本装置により、作業者が得たい色数で、かつ、処理
の対象となる画像の内容に応じた色空間の分割方法によ
るポスタリゼーション効果の実施が可能となる。
【0034】なお、本装置においては、領域分割のため
の色(入力指定値)とその領域に属する入力値の変換後
の色(出力指定値)は、同一の色空間で表された同一の
成分を有したが、これに限定されるものではない。入力
指定値と出力指定値を異なる値に設定したり異なる色空
間で定義される値に設定しておくことにより、ポスタリ
ゼーション効果の実施後に得られる画像の配色を自由に
設定することが可能となり、出力画像の定義される色空
間も、システムの要請に合わせ自由に選択することが可
能となる。
【0035】また、本実施形態では、図2における表示
の便宜上、表3における入力指定値と出力指定値はいず
れもL*が一定となる値を用い、図2においてはL*が一
定となる断面を表示したが、一般には、入力指定値、出
力指定値共に3次元のL***色空間において自由に
設定することが可能であり、その場合の色空間の分割の
様子は3次元的なものとなる。
【0036】また、本実施形態において入力信号系の定
義された色空間をL***色空間としているが、RG
B、YCbCr、YUV、YIQ、CMY、CMYK、
***、HSV、HLSなど画像処理に一般に用い
られる他の色空間を用いてもよく、また処理画像に応じ
て独自に定義した色空間を用いてもよい。いずれの色空
間を用いた場合においても同様の効果が得られる。
【0037】また、本実施形態において距離比較部10
2で比較される色空間における距離は、L***色空
間におけるユークリッド距離ΔEを用いたが、ユークリ
ッド距離の二乗の値を用いてもよい。ユークリッド距離
を用いた場合は、入力信号系の定義としてあらゆる色空
間を用いることが可能となるが、一方、ユークリッド距
離の二乗の値を用いた場合は、距離計算において平方根
を求める処理が不要となるので処理コストの大幅な削減
が可能となる。なお、距離比較部102においては距離
の大小のみを判断するため、ユークリッド距離の二乗の
値を用いることによる処理結果の違いは発生しない。
【0038】また、本実施形態において入力指定値と出
力指定値は、指定値記録部101内の別個の場所に記録
されているとしたが、対応する入力指定値と出力指定値
が同一でありかつ同じ色空間において定義されるという
条件が守られる場合においては、入力指定値と出力指定
値を分けて記録せず一体化してもよい。この場合は、指
定値記録部101に必要とされる記憶容量を半分に削減
しながら、本実施形態と同様の効果を得ることが可能と
なる。
【0039】また、本装置は、コンピュータ装置内部で
動作するソフトウエアとして実現されるとしたが、一連
の動作の全部もしくは一部を専用もしくは汎用用途に設
計されたハードウエアにおいて実施してもよい。その場
合には、使用するハードウエアの性能に応じ、より高速
で快適な処理を施すことが可能となる。 (第2の実施形態)第2の実施形態は、キー信号を生成
する場合及びグラフィカルユーザインタフェースを用い
て入力画像にポスタリゼーション効果を施す場合に関す
るものである。
【0040】図3は、本実施形態における色彩データ変
換装置の構成を示すブロック図である。本装置は、指定
値決定部304、指定値記録部301、距離比較部30
2、出力指定値選択部303から構成される。本装置
は、第1の実施形態における装置に指定値決定部304
が付加された構成をとる。従って、指定値決定部304
及び第1の実施形態の装置と異なる点を中心に説明す
る。
【0041】指定値決定部304は、作業者からの指示
に基づいて指定値記録部301に記録する指定値を決定
するマンマシンインタフェースであり、一般のコンピュ
ータシステムにおけるマウス、CRT等の入出力装置及
びその制御プログラム等からなる。 <領域選択信号を生成する場合>以上のように構成され
た本装置により、入力画像の色情報を用いて領域選択信
号を生成する場合の装置の動作について説明する。ここ
では入力信号系はYCbCr色空間で定義された標準テ
レビ映像の動画信号とし、出力信号系はキー信号と呼ば
れる領域選択信号であり1次元の2値で表される。
【0042】指定値決定部304は、作業者からの指示
に基づいて、選択領域内もしくは選択領域外としたい色
に相当する入力指定値と、各々の入力指定値を選択領域
内とするか選択領域外とするかを示す出力指定値の複数
の組を決定する。ここで入力指定値は入力信号系の値と
同じY、Cb、Crの各成分により構成された3次元の
値である。一方、出力指定値は、第1の実施形態と異な
り、1次元の2値(最大値/最小値)で表される値であ
り、対応する入力指定値に相当する色が選択領域内であ
るときは最大値、選択領域外であるときは最小値とな
る。
【0043】指定値決定部304において決定された入
力指定値と出力指定値の組は、それぞれ指定値記録部3
01内の入力指定値記録部301a及び出力指定値記録
部301bに記録される。以下の表4は、7組の入力指
定値及び出力指定値が決定された場合のそれぞれの値の
例を示す。
【0044】
【表4】
【0045】次に、画像を構成する3次元の信号が入力
値として距離比較部302に入力されると、本装置はそ
の入力値に対応する領域選択信号を生成するが、距離比
較部302及び出力指定値選択部303での動作は、基
本的には第1の実施形態の場合と同様である。但し、出
力指定値選択部303が出力する領域選択信号は、出力
指定値記録部301bに記録されていた値のいずれかで
あるので、1次元の2値(0/255)である点で第1
の実施形態の場合と異なる。
【0046】図4は、本実施形態におけるキー信号発生
信号変換における色空間分割の例である。ここで、図中
の白丸は、対応する出力指定値が最大値(255)であ
る入力指定値を示し、黒丸は、対応する出力指定値が最
小値(0)である入力指定値を示している。図4から判
るように、本装置によれば、入力値に最も距離の近い入
力指定値が選択領域内である場合は最大値、選択領域外
である場合は最小値となる信号が、キー信号として出力
されることになる。
【0047】また、入力画像中の選択したい色の分布
が、図4中の斜線で示された領域のようないびつな形状
である場合においても、作業者は、領域内としたい色及
び領域外としたい色を入力指定値として任意に指定する
ことができるので、ボロノイ図による色空間分割を施す
ことにより、的確な領域の切り出しを行うことができ
る。
【0048】なお、図4においても、図2の場合と同様
に、表示の便宜上色空間の断面を示しているが、実際に
は3次元的な分割が施される。 <ポスタリゼーション効果を施す場合>次に、本装置に
より入力画像にポスタリゼーション効果を施す場合の装
置の動作について説明する。
【0049】なお、この場合が上述した領域選択信号生
成の場合と異なる点は、出力指定値記録部301bに記
録される出力指定値が1次元ではなく3次元の成分から
なること、及び出力指定値を決定する指定値決定部30
4の動作であるので、これらの内容を中心に説明する。
また、入力信号系及び出力信号系は、共にYCbCr色
空間で定義された標準テレビ映像の動画信号とする。
【0050】指定値決定部304は、作業者からの指示
に従って、ポスタリゼーション効果を施すための代表色
となる複数の色に相当する入力指定値と、それぞれの代
表色付近の色がどのような色になるべきかを示す出力指
定値の組を決定し、それらを入力指定値記録部301a
及び出力指定値記録部301bに記録する。距離比較部
302及び出力指定値選択部303は、第1の実施形態
の場合と同様に動作する。即ち、入力画像を構成する入
力値が与えられると、距離比較部302はその入力値と
の距離が最も近い入力指定値を決定し、出力指定値選択
部303はその入力指定値に対応する出力指定値を出力
値として出力する。これによって、入力画像の色数は、
入力指定値記録部301aに記録されていた入力指定値
の個数に等しい色数に減じられ、出力指定値記録部30
1bに記録されていた配色に従ったポスタリゼーション
効果画像が得られることになる。
【0051】ここでは、指定値決定部304の動作が特
徴的であるので、この動作について図面を参照しながら
更に詳細に説明する。なお、指定値決定部304は、上
述したように、主にマンマシンインタフェースの機能を
提供するものであるので、ここでは、指定値決定部30
4が提供する機能により作業者の操作がどのようになる
かという視点でこの機能を説明する。
【0052】図5は、指定値決定部304が作業者に提
供するユーザインタフェース、即ち、本装置が備える表
示装置への画面表示の例である。この画面表示は、入出
力画像表示部501、入出力指定値組表示部502、出
力指定値変更部503及び複数の操作ボタンからなる。
図6(a)は指定値決定部304の動作、図6(b)は
作業者による操作の流れを示すフロー図である。
【0053】まず、作業者がポスタリゼーションの開始
を指示すると(ステップS601b)、入出力画像表示
部501には、入力信号から分配されて得られる入力画
像が表示される(ステップS601a)。作業者は、本
装置が備えるマウスを用いて、その入力画像中の画素を
指定する(ステップS602b)。
【0054】指定された画素の色は、1つ目の入力指定
値及び出力指定値の組として、それぞれ入力指定値記録
部301a及び出力指定値記録部301bに登録される
と同時に、入出力指定値組表示部502に表示される
(ステップS602a)。入力指定値と出力指定値とを
同色にして指定値記録部301を作成する場合であれ
ば、出力指定値の変更は不要であるので、作業者は、続
いて、別の画素を指定することにより2つ目以降の入力
指定値と出力指定値の組を登録する(ステップS602
b、S602a)。
【0055】登録された複数の入力指定値と出力指定値
の組は入出力指定値組表示部502の同一子窓上に配置
されるが、これら入力指定値と出力指定値の組の数が多
くなった場合には同時にはこの子窓上に表示されない
が、子窓の側に配置されたスクロールバーを操作するこ
とによってスクロール表示させることができる。一方、
入力指定値と出力指定値とを異なる色にして指定値記録
部301を作成する場合は、出力指定値の変更を行う必
要がある。
【0056】そのために、作業者は、まず入出力指定値
組表示部502の同一子窓に配置された入力指定値と出
力指定値の組の中から変更する対象となる組をマウスで
選択する。すると、選択された組は他の組と異なる表示
に変わると同時に、その出力指定値の3つの成分が出力
指定値変更部503の3つのスライダーに表示される。
【0057】作業者は、マウスで各スライダーを操作す
ることにより、現在の出力指定値を所望の値に変更でき
る(ステップS603b)。変更された出力指定値は、
常に入出力指定値組表示部502の該当出力指定値の表
示に反映される(ステップS603a)。このようにし
て、所望のポスタリゼーション効果処理に必要な入力指
定値と出力指定値の組の登録が完了すると、作業者は、
該当する操作ボタンによりポスタリゼーション効果処理
の実行を指示する(ステップS604b)。すると、入
出力画像表示部501の表示は、それまでの入力画像か
ら効果を施された出力画像に切り替わる(ステップS6
04a)。ここで、出力画像が作業者の意図した画像で
あれば、この作業は終了する。
【0058】パラメータを変更して更に繰り返す場合
は、作業者は、入力指定値と出力指定値の組を追加・変
更するために以下の操作をおこなう。まず、作業者は、
該当する操作ボタンにより、入出力画像表示部501に
表示させる画像を入力画像又は出力画像に切り替えるこ
とにより、いずれかの画像上でマウスによる画素の指定
を行い、入力指定値と出力値の組を新たに登録する。こ
こで入力画像より画素を指定した場合は、指定された画
素値が入力指定値と出力指定値の両方に登録され、一
方、出力画像より画素を指定した場合は、指定された画
素値が出力指定値として、入力画像における同一位置の
画素値が入力指定値として登録される。
【0059】また、既に登録された入力指定値と出力指
定値の組を削除したり、変更対象である出力指定値を入
力指定値と同色に戻す場合には、該当する操作ボタンを
操作することにより行う。このようにして、作業者は、
所望の入力指定値と出力指定値の組を追加・変更するこ
とができる。以上の説明から明らかなように、本装置の
指定値決定部304は上述のようなグラフィカルユーザ
インタフェースの機能を有するので、作業者は、簡易な
操作でかつ自己の意図を充分に反映した色空間の分割に
よるポスタリゼーション効果処理を実施することができ
る。即ち、入力指定値と出力指定値を同一窓上における
操作で決定することができるので、統一的な操作で効果
的に必要なパラメータの指定をすることができる。
【0060】また、入力画像と出力画像は同一窓上に交
互に切り替えて表示することができるので、入出力画像
の変化の確認が容易となる。また、画素指定による入力
指定値と出力指定値の組の指定において、入力画像にお
いて指定を実施した場合には、登録される入力指定値と
出力指定値が同色となり、一方、出力画像において指定
を実施した場合には、入力指定値と出力指定値とが異な
る値となって前回の処理を反映することとなるので、こ
れにより、ポスタリゼーション効果によってあまり変化
させたくない色の指定は入力画像で実施し、効果実施済
みの画像の微調整や強調させたい色の指定は出力画像で
実施するといった方法が可能となり、作業者の意図を反
映した入力指定値と出力指定値の決定がさらに簡易なも
のとなる。
【0061】また、入力指定値と出力指定値の組は同一
の子窓にスクロールして表示されるので、数多くの入力
指定値と出力指定値の組を登録した場合においても表示
装置の表示可能面積などによる制限を受けることなく以
降の操作をおこなうことが可能となる。また、同一の子
窓に配置された入力指定値と出力指定値の組のうち、選
択された組の出力指定値のみを変更対象とする出力指定
値変更部503が設けられているので、出力指定値変更
部503の配置に十分な面積を用いることができ、操作
し易い表示が可能となる。
【0062】また、本装置を領域選択信号の発生に用い
ることにより、選択したい色の色空間内における3次元
的な分布がいかなる場合においても、領域内としたい色
と領域外としたい色を入力画像に応じ指定値決定部30
4によって複数指定するだけで、作業者の熟練によら
ず、入力画像に応じた自由な形状による最適な領域の切
り出しが可能となる。
【0063】また、本実施形態の色彩データ変換装置
は、コンピュータ装置及びソフトウエアプログラムによ
り制御される信号処理ハードウエアを用いて実現される
ので、動画像信号に対する信号処理を実時間で処理する
ことが可能となり、また静止画像信号に対する処理はよ
り高速に行われるため、作業者にストレスを感じさせな
い処理が可能となる。
【0064】なお、本実施形態における色彩データ変換
装置は、コンピュータ装置及びソフトウエアプログラム
により制御される信号処理ハードウエアにより実現され
るものとしたが、動画像における実時間処理が不要であ
る場合や、さほど高速な処理を必要としない場合、ある
いは信号処理ハードウエアがなくともコンピュータ装置
において十分な処理速度が得られる場合などにおいて
は、コンピュータ装置及びソフトウエアプログラムとし
て実現しても良い。この場合は実現のコストが低くまた
方式の改良が容易であるという効果が得られる。
【0065】また、本実施形態において入力信号系の定
義された色空間をYCbCr色空間としているが、RG
B、YUV、YIQ、CMY、CMYK、L***
* **、HSV、HLSなど画像処理に一般に用い
られる他の色空間を用いてもよく、また処理画像に応じ
て独自に定義した色空間を用いてもよい。いずれの色空
間を用いた場合においても同様の効果が得られる。
【0066】さらに、本実施形態に記載の入出力画像表
示部501における入力画像と出力画像の表示は、同一
子窓において交互におこなわれるとしたが、子窓を複数
に分割し同時に表示しても良く、この場合入力画像と出
力画像を同時に見比べることが出来るので、指定値の組
の指定がより簡易なものとなる。また、本実施形態に記
載の出力指定値変更部503における出力指定値の変更
はスライダーの操作によりおこなわれるとしたが、図示
しない色見本表示からの選択や、数値入力、及びこれら
の組合せによっておこなっても良く、この場合目的に応
じて更に柔軟かつ簡易な変更をおこなうことが可能とな
る。例えば、空の色の指定にはスライダーを用い、口紅
等の化粧品の色の指定には商品の見本に対応した色見本
からの選択を用い、また画像にインポーズされた文字の
色の指定については表示デバイスの特性を考慮して予め
決めておいた数値を用いるといった柔軟な利用が可能と
なる。
【0067】さらに、本実施形態に記載の指定値決定部
304は、ポスタリゼーション効果を施すために用いら
れるとしたが、入出力指定値組表示部502における出
力指定値の表示を領域の内外を示す表示に変更し、出力
指定値変更部503において領域の内外を指定可能と
し、入出力画像表示部501における出力画像の表示は
領域そのものを示すモノクロ画像とすることにより、同
様のユーザインタフェースを用いて領域選択信号の発生
を実施しても良い。この場合は領域内としたい色と領域
外としたい色の指定が更に簡易になり、入力画像に応じ
た自由な形状による最適な領域の切り出しが更に容易と
なる。
【0068】
【発明の効果】以上の説明から明らかなように、本発明
に係る色彩データ変換装置は、入力指定値を記録してい
る入力指定値記録手段と、各入力指定値に対応づけられ
た色彩を出力指定値として記録している出力指定値記録
手段と、与えられた色彩と入力指定値記録手段に記録さ
れている各入力指定値との3次元色空間における距離が
最小となる入力指定値を特定する入力指定値特定手段
と、特定された入力指定値に対応する出力指定値を出力
する出力手段とを備える。
【0069】これにより、カラー画像を構成する各画素
の色彩は、色空間上の距離が最も近い入力指定値に対応
する出力指定値に変換されるので、カラー画像の色彩の
色数は入力指定値と出力指定値の組数に等しい数に減じ
られる。即ち、色数を減少させるための領域分割は、色
空間の各軸ごとの分割による画一的な方法ではなく、
「最も近い色(入力指定色)がどれであるか」によって
行われるので、作業者の意図を十分に反映したポスタリ
ゼーション効果の実施が容易となる。
【0070】また、領域分割のための色(入力指定色)
と最終的に出力したい色(出力指定色)とは独立して登
録されるので、ポスタリゼーションのための領域分割と
出力色とを独立して決定することが可能となり、任意の
配色による柔軟なポスタリゼーション効果の実施が実現
される。なお、入力指定値と出力指定値とを同一の値と
し、入力指定値記録手段に出力指定値記録手段の機能を
兼用させることもできる。これにより、これら記録手段
を一体化させることができるので、記憶容量を節約する
ことができる。
【0071】また、前記出力指定値は、出力させたい色
ではなく、対応する色空間上の領域が所定の選択領域に
属するか否かを表す値(領域選択信号)とすることもで
きる。これにより、色空間の各軸ごとの分割による画一
的な形状による切り出しではなく、与えられた色彩と入
力指定値との色空間上の距離による切り出し、即ち、任
意の形状による切り出しに基づいて領域選択信号が出力
される。
【0072】また、前記入力指定値特定手段は、ユーク
リッド距離ではなく、その2乗を距離として算出し比較
するとすることもできる。これにより、距離計算におけ
る平方根を求める処理が不要となるので、処理コストの
削減と処理の高速化が可能となる。また、本発明に係る
色彩データ変換装置は、さらに、操作者の指示に従って
入力指定値及び出力指定値を決定しそれらを前記入力指
定値記録手段及び出力指定値記録手段に記録するための
グラフィカルユーザインタフェース部を備えることもで
きる。
【0073】これにより、操作者は、領域分割の基準と
なる入力指定値や最終的な出力となる出力指定値を簡易
な操作で任意に設定・変更することができるので、処理
の対象となるカラー画像の内容や種類に応じた多様なポ
スタリゼーションの実施や選択信号の生成が可能とな
る。また、グラフィカルユーザインタフェース部は、入
力画像と出力画像とを表示装置に同時又は交互に表示し
たり、入力画像上の画素が指定された場合にはその画素
の色彩を入力指定値及び出力指定値とし、出力画像上の
画素が指定された場合にはその画素の色彩を出力指定
値、対応する入力画像における同一位置の画素の色彩を
入力指定値として決定することもできる。
【0074】これにより、ポスタリゼーション効果によ
ってあまり変化させたくない色の指定は入力画像で実施
し、効果実施済みの画像の微調整や強調させたい色の指
定は出力画像で実施するといった方法をとることができ
るので、前回の指定を反映した無駄のない効率的な作業
が可能となる。また、グラフィカルユーザインタフェー
ス部は、決定した入力指定値と出力指定値の複数の組を
同一窓上に配置して表示装置に表示することもできる。
【0075】これにより、操作者は、既に決定した入力
指定値と出力指定値の組を容易に確認することができる
ので、重複した指定等の誤った操作が回避される。ま
た、グラフィカルユーザインタフェース部は、それらの
組のうちの一つが操作者によって選択されると、色空間
の各軸に対応する成分を変更するためのスライダーの操
作、色見本による選択、数値の入力等により、その組の
出力指定値の変更を受け付けることもできる。
【0076】これにより、操作者は、意図する出力指定
値を自然な操作で柔軟かつ容易に指定することできるの
で、所望のポスタリゼーションや選択信号の生成作業を
より短時間で終えることが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施形態における色彩データ変換
装置の構成を示すブロック図である。
【図2】同装置による色空間の分割を示すa**平面図
である。
【図3】本発明の第2実施形態における色彩データ変換
装置の構成を示すブロック図である。
【図4】同装置による色空間の分割を示すa**平面図
である。
【図5】同装置の指定値決定部304が提供するグラフ
ィカルユーザインターフェースである。
【図6】図6(a)は、同装置の指定値決定部304の
動作手順を示すフロー図である。図6(b)は、同装置
を用いて作業者が操作する場合の流れを示すフロー図で
ある。
【図7】従来のポスタリゼーション色彩データ変換装置
の構成を示すブロック図である。
【図8】図8(a)は、同装置により、入力信号を2階
調に減じる場合の入出力信号の関係を示す図である。図
8(b)は、同装置により、入力信号を3階調に減じる
場合の入出力信号の関係を示す図である。
【図9】同装置による色空間の分割を示すRG平面図で
ある。
【図10】従来のキー信号生成のための色彩データ変換
装置の構成を示すブロック図である。
【図11】同装置の選択信号生成部1002〜1004
における動作を説明するための図である。
【図12】図12(a)は、同装置におけるC成分の選
択信号(Key-c)のCbCr入力色差平面における分布を
示す図である。図12(b)は、同装置におけるH成分
の選択信号(Key-h)のCbCr入力色差平面における分
布を示す図である。図12(c)は、同装置における合
成後のキー信号(Key)のCbCr入力色差平面における
分布を示す。
【図13】選択したい色領域がいびつな形状である場合
のキー信号のCbCr入力色差平面における分布を示す
図である。
【符号の説明】
101、301 指定値記録部 101a、301a 入力指定値記録部 101b、301b 出力指定値記録部 102、302 距離比較部 103、303 出力指定値選択部 304 指定値決定部 501 入出力画像表示部 502 入出力指定値組表示部 503 出力指定値変更部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 カラー画像を構成する画素の色彩データ
    を変換する色彩データ変換装置であって、 前記色彩を特定するために用いられる3次元色空間を所
    定の領域に分割するための基準となる色彩(入力指定
    値)を記録している入力指定値記録手段と、 前記入力指定値ごとに対応づけられた値であって最終的
    に出力させたいもの(出力指定値)を記録している出力
    指定値記録手段と、 前記カラー画像を構成する画素の色彩データが与えられ
    ると、その色彩と前記入力指定値記録手段に記録された
    各入力指定値との3次元色空間における距離を算出して
    比較することによりその距離が最小となる入力指定値を
    特定する入力指定値特定手段と、 前記入力指定値特定手段によって特定された入力指定値
    に対応する出力指定値を前記出力指定値記録手段から読
    み出して出力する出力手段とを備えることを特徴とする
    色彩データ変換装置。
  2. 【請求項2】 前記入力指定値特定手段は、ユークリッ
    ド距離の2乗を前記距離として算出し比較することを特
    徴とする請求項1記載の色彩データ変換装置。
  3. 【請求項3】 前記出力指定値は、その出力指定値に対
    応する領域が所定の選択領域に含まれるか否かを表す値
    であることを特徴とする請求項2記載の色彩データ変換
    装置。
  4. 【請求項4】 前記出力指定値は、その出力指定値に対
    応する領域に属する色彩に対して変換後に得たい色彩を
    表す値であることを特徴とする請求項2記載の色彩デー
    タ変換装置。
  5. 【請求項5】 前記入力指定値と対応する前記出力指定
    値は同一の値であることを特徴とする請求項4記載の色
    彩データ変換装置。
  6. 【請求項6】 前記色彩データ変換装置はさらに、 操作者の指示に従って入力指定値及び出力指定値を決定
    しそれらを前記入力指定値記録手段及び出力指定値記録
    手段に記録する指定値決定手段を備えることを特徴とす
    る請求項3又は4記載の色彩データ変換装置。
  7. 【請求項7】 前記指定値決定手段は、 表示装置と、 操作者からの指示を受け付ける入力部と、 前記表示装置に一つの窓とその窓上に配置される操作パ
    ネルを表示すると共に前記入力部を制御することにより
    前記入力指定値及び出力指定値を決定するグラフィカル
    ユーザインタフェース部とからなることを特徴とする請
    求項6記載の色彩データ変換装置。
  8. 【請求項8】 前記グラフィカルユーザインタフェース
    部は、 処理対象となる入力画像とその入力画像に対応して前記
    出力手段から得られる出力画像とを前記表示装置に同時
    又は交互に表示する入出力画像表示部と、 前記入力部によって入力画像上の画素が指定された場合
    にはその画素の色彩を入力指定値及び出力指定値とし、
    出力画像上の画素が指定された場合にはその画素の色彩
    を出力指定値、対応する入力画像における同一位置の画
    素の色彩を入力指定値として決定する決定部とを有する
    ことを特徴とする請求項7記載の色彩データ変換装置。
  9. 【請求項9】 前記グラフィカルユーザインタフェース
    部はさらに、決定した入力指定値と出力指定値の複数の
    組を同一窓上に配置して前記表示装置に表示する入出力
    指定値組表示部を有することを特徴とする請求項8記載
    の色彩データ変換装置。
  10. 【請求項10】 前記グラフィカルユーザインタフェー
    ス部はさらに、前記入出力指定値組表示部によって表示
    された組のいずれかが前記入力部により選択されると、
    その組の出力指定値を変更対象として受け付ける出力指
    定値変更部を有することを特徴とする請求項9記載の色
    彩データ変換装置。
  11. 【請求項11】 前記出力指定値変更部は、前記3次元
    色空間の各軸に対応する成分を変更するためのスライダ
    ーの表示と前記入力部による操作、色見本の表示と前記
    入力部による選択、前記入力部による数値の入力及びこ
    れらの組合せにより前記出力指定値を変更することを特
    徴とする請求項10記載の色彩データ変換装置。
JP8050141A 1996-03-07 1996-03-07 色彩データ変換装置 Expired - Lifetime JP2879006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8050141A JP2879006B2 (ja) 1996-03-07 1996-03-07 色彩データ変換装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8050141A JP2879006B2 (ja) 1996-03-07 1996-03-07 色彩データ変換装置

Publications (2)

Publication Number Publication Date
JPH09247470A true JPH09247470A (ja) 1997-09-19
JP2879006B2 JP2879006B2 (ja) 1999-04-05

Family

ID=12850885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8050141A Expired - Lifetime JP2879006B2 (ja) 1996-03-07 1996-03-07 色彩データ変換装置

Country Status (1)

Country Link
JP (1) JP2879006B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086348A (ja) * 1999-09-09 2001-03-30 Asahi Optical Co Ltd 画像パラメータのトリミング装置
JP2006184631A (ja) * 2004-12-28 2006-07-13 Casio Comput Co Ltd 表示制御装置、表示制御処理のプログラムおよび画像通信システム
US7280258B2 (en) 2001-01-05 2007-10-09 Seiko Epson Corporation Logo data generating system, logo data generating method, and data storage medium
US7283275B2 (en) 2000-12-28 2007-10-16 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US7292369B2 (en) 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
JP2008109431A (ja) * 2006-10-26 2008-05-08 Seiko Epson Corp 画像出力装置、画像出力方法、およびプログラム
US7375844B2 (en) 2000-12-22 2008-05-20 Seiko Epson Corporation Method for generating a print data file, method for storing print data, a data storage medium therefor, and an apparatus for generating a data storage file
US7428074B2 (en) 2000-12-28 2008-09-23 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
JP2011186492A (ja) * 2011-05-12 2011-09-22 Casio Computer Co Ltd 表示制御装置、表示制御処理のプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086348A (ja) * 1999-09-09 2001-03-30 Asahi Optical Co Ltd 画像パラメータのトリミング装置
US7375844B2 (en) 2000-12-22 2008-05-20 Seiko Epson Corporation Method for generating a print data file, method for storing print data, a data storage medium therefor, and an apparatus for generating a data storage file
US7283275B2 (en) 2000-12-28 2007-10-16 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US7292369B2 (en) 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
US7428074B2 (en) 2000-12-28 2008-09-23 Seiko Epson Corporation Logo data generating apparatus, logo data generating method, and data storage medium
US8289566B2 (en) 2000-12-28 2012-10-16 Seiko Epson Corporation Logo data generating method, data storage medium recording the logo data generating method, a computer program product containing commands executing the steps of the logo data generating logo data generating method, and a logo data generating system
US7280258B2 (en) 2001-01-05 2007-10-09 Seiko Epson Corporation Logo data generating system, logo data generating method, and data storage medium
JP2006184631A (ja) * 2004-12-28 2006-07-13 Casio Comput Co Ltd 表示制御装置、表示制御処理のプログラムおよび画像通信システム
JP2008109431A (ja) * 2006-10-26 2008-05-08 Seiko Epson Corp 画像出力装置、画像出力方法、およびプログラム
JP2011186492A (ja) * 2011-05-12 2011-09-22 Casio Computer Co Ltd 表示制御装置、表示制御処理のプログラム

Also Published As

Publication number Publication date
JP2879006B2 (ja) 1999-04-05

Similar Documents

Publication Publication Date Title
US6522329B1 (en) Image processing device and method for producing animated image data
JPH0927916A (ja) 画像処理装置および画像処理方法
JPH06333039A (ja) エアブラシ方法及びエアブラシ装置
JP3088063B2 (ja) カラー画像処理方法及びカラー画像処理装置
JPH0850648A (ja) 配色支援方法およびその装置
JPH08186727A (ja) 画像処理装置及び方法
JP2879006B2 (ja) 色彩データ変換装置
JPH10210306A (ja) 画像処理方法及び装置
US6788441B1 (en) Color image processing apparatus, image processing apparatus, color image processing method, image processing method, and a computer-readable recording medium for making a computer execute the methods
JP2007233717A (ja) 画像処理装置及び画像処理方法並びに制御プログラム及び記憶媒体
JPH1026967A (ja) 画像処理装置
JP2006121421A (ja) 画像データの色変換装置、画像データの色変換方法およびそのプログラムを記録した記録媒体
JPH0793567A (ja) 画像処理装置
JP2001076126A (ja) 配色支援装置および配色支援方法
JP2936599B2 (ja) カラー画像処理装置
JP2882754B2 (ja) ソフトクロマキー処理方法
JP2701056B2 (ja) 三次元物体の二次表現方法
JP2008118335A (ja) 色変換テーブル作成プログラム、色変換テーブル作成装置及び色変換テーブル作成システム
JPH05204351A (ja) カラー画像表示方法
JP2795083B2 (ja) 画像処理における同一材質感画像の作成方法
JP2911126B2 (ja) 画像表示装置
JP2001202073A (ja) 時系列的色変更処理装置および時系列的色変更処理方法、並びに色生成装置
JPH05225299A (ja) 色変換システム
JP3780587B2 (ja) 色彩データ変換装置
JPH0642067B2 (ja) 無地網フィルム作成装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100122

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110122

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110122

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120122

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 14

EXPY Cancellation because of completion of term