JP5055569B2 - カラー撮像装置及び画像処理プログラム - Google Patents
カラー撮像装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP5055569B2 JP5055569B2 JP2006215834A JP2006215834A JP5055569B2 JP 5055569 B2 JP5055569 B2 JP 5055569B2 JP 2006215834 A JP2006215834 A JP 2006215834A JP 2006215834 A JP2006215834 A JP 2006215834A JP 5055569 B2 JP5055569 B2 JP 5055569B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- illumination
- groups
- white balance
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
このため、特許文献1には、2種類の照明光の加重平均色を被写界全域の照明色とみなし、その照明色に最適なホワイトバランス制御量でホワイトバランス制御を行う技術が開示されている。各照明色の加重は、その照明色で照明された物体の存在領域が広いほど大きく設定される。このように、2種類の照明光の中間色を被写界全体の照明色とみなせば、フレーミングを少しずつ変えながら撮影された複数の画像間に色の連続性を与えることができる。
そこで本発明は、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムを提供することを目的とする。
また、前記算出部は、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。
また、本発明の画像処理プログラムは、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順と、を含む画像処理プログラムであって、前記算出手順では、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、前記リミット手順では、前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行うことを特徴とする。
また、前記算出手順では、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。
以下、本発明の第1実施形態を説明する。本実施形態は、ディジタルカメラシステムの実施形態である。
先ず、本システムの構成を説明する。
図1は、本システムの構成図である。図1に示すとおり、本システムは、一眼レフレックスタイプのディジタルカメラ本体1と、それに装着された交換レンズ2とからなる。
また、上述した画像処理や圧縮処理の一部又は全部は、CPU15とは別に設けられた画像処理回路、圧縮処理回路が実行してもよいが、ここでは、CPU15が実行するものとして説明する。
図2は、ホワイトバランス処理に関わるCPU15の動作フローチャートである。この動作プログラムは、ROM16に予め書き込まれている。
図2に示すとおり、CPU15は、測光部20から撮影前画像信号を取り込み(ステップS11)、その撮影前画像信号から被写界の配色を示す評価値を抽出し(ステップS12)、その評価値と予め用意されたデータベースとに基づき被写界の照明種類が自然光である可能性が高いか、それとも人工光(蛍光灯や電球)である可能性が高いかを判定する(ステップS13)。これらステップS11,S12,S13による照明種類の判定は、レリーズ釦14が全押しされない限り(ステップS14NO)繰り返される。なお、この判定は、被写界を照明する照明光の種類が1つであるとの前提に立つ。前述したデータベースには、照明種類が既知である各種の画像の情報が含まれており、それら画像の配色と、被写界の配色との相関を調べることにより、被写界の照明種類を判定することが可能となる。この判定結果(自然光/人工光)は、後のステップS18で利用される。
(ステップS16)
図3上部に示すのは、撮影画像信号が示す被写界の画像(撮影画像I)の概念である。CPU15は、この撮影画像Iを等面積の小領域A1,A2,A3,…に分割し、それら小領域A1,A2,A3,…の各々の色C1,C2,C3,…を算出する。小領域Aiの色Ciは、小領域Ai内の平均色である。なお、このとき、小領域A1,A2,A3,…の各々の輝度Y1,Y2,Y3…も算出される。小領域Aiの輝度Yiは、小領域Ai内の平均輝度である。
CPU15は、自然光グループ(色範囲En)に属する各小領域を、その色によりさらに細かい小グループe1,e2,e3,…に分類する。この分類の結果、図3(A)に示すとおり、自然光グループ(色範囲En)の色ヒストグラムが作成される。図3(A)の縦軸は、領域数Fである。
同様に、CPU15は、電球グループ(色範囲El)に含まれる各小領域を、その色によりさらに細かい小グループe1,e2,e3,…に分類する。この分類の結果、図3(C)に示すとおり、電球グループ(色範囲El)の色ヒストグラムが作成される。
続いて、CPU15は、自然光グループのヒストグラム(図3(A))から、領域数Fが第1位の第1小グループen1と、領域数Fが第2位の第2小グループen2とを見出し、第1小グループen1の色Cn1と、第2小グループen2の色Cn2とをそれぞれ算出する。第1小グループen1の色Cn1は、第1小グループen1に属する小領域の平均色であり、第2小グループen2の色Cn2は、第2小グループen2に属する小領域の平均色である。
Cn=Wn1Cn1+Wn2Cn2 …(1n)
但し、式(1n)において、色Cn,Cn1,Cn2は、それぞれ2つの成分を持ったベクトルであり、加重Wn1,Wn2は、それぞれスカラーである。以下、色を表す2つの成分を、色温度成分(単位:ミレッド)と、黒体軌跡からの乖離成分との組み合わせとする。
具体的に、第1小グループen1の色Cn1に付与すべき加重Wn1は、第1小グループen1の輝度Yn1が高いほど、また、第1小グループen1の領域数Fn1が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Cnには、自然光グループのうち、高輝度かつ多数派の小領域の色が反映される。
Cf=Wf1Cf1+Wf2Cf2 …(1f)
但し、式(1f)において、色Cf,Cf1,Cf2は、それぞれ2つの成分を持ったベクトルであり、加重Wf1,Wf2は、それぞれスカラーである。
具体的に、第1小グループef1の色Cf1に付与すべき加重Wf1は、第1小グループef1の輝度Yf1が高いほど、また、第1小グループef1の領域数Ff1が多いほど、大きく設定される。
したがって、本ステップで推定される蛍光灯の照明色Cfには、蛍光灯グループのうち、高輝度かつ多数派の小領域の色が反映される。
Cl=Wl1Cl1+Wl2Cl2 …(1l)
但し、式(1l)において、色Cl,Cl1,Cl2は、それぞれ2つの成分を持ったベクトルであり、加重Wl1,Wl2は、それぞれスカラーである。
具体的に、第1小グループel1の色Cl1に付与すべき加重Wl1は、第1小グループel1の輝度Yl1が高いほど、また、第1小グループel1の領域数Fl1が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Clには、電球グループのうち、高輝度かつ多数派の小領域の色が反映される。
CPU15は、図4に示すとおり、ステップS17で推定した自然光の照明色Cnと、蛍光灯の照明色Cfと、電球の照明色Clとを下式(2)で加重平均し、それによって得られた加重平均色Cを、撮影時における被写界の照明色とみなす。
C=WnCn+WfCf+WlCl …(2)
但し、式(2)において、色C,Cn,Cf,Clは、それぞれ2つの成分を持ったベクトルであり、加重Wn,Wf,Wlは、それぞれスカラーである。
具体的に、自然光グループの加重Wnは、自然光グループの輝度Fnが高いほど、また、自然光グループの領域数Fnが多いほど、また、判定結果が「自然光」であるときほど、大きく設定される。
また、電球グループの加重Wlは、電球グループの輝度Flが高いほど、また、電球グループの領域数Fkが多いほど、また、判定結果が「人工光」であるときほど、大きく設定される
なお、ここでは、自然光グループの輝度Ynを、自然光グループの第1小グループen1の輝度Yn1とし、自然光グループの領域数Fnを、自然光グループの第1小グループen1の領域数Fn1とする。また、蛍光灯グループの輝度Yfを、蛍光灯グループの第1小グループef1の輝度Yf1とし、蛍光灯グループの領域数Ffを、蛍光灯グループの第1小グループef1の領域数Ff1とする。また、電球グループの輝度Ylを、電球グループの第1小グループel1の輝度Yl1とし、電球グループの領域数Flを、電球グループの第1小グループel1の領域数Fl1とする(ステップS18の説明終了)。
なお、本システムのCPU15は、ステップS18において、自然光グループの輝度Ynを、自然光グループに属する第1小グループen1の輝度Yn1としたが、第1小グループen1の輝度Yn1と第2小グループen2の輝度Yn2とを両者の領域数Fn1,Fn2で加重平均したものとしてもよい。その場合、蛍光灯グループの輝度Yfは、第1小グループef1の輝度Yf1と第2小グループef2の輝度Yf2とを両者の領域数Ff1,Ff2で加重平均したものとなる。また、電球グループの輝度Ylは、第1小グループel1の輝度Yl1と第2小グループel2の輝度Yl2とを両者の領域数Fl1,Fl2で加重平均したものとなる。
また、本システムのCPU15は、照明色Cn,Cf,Clを加重平均してからホワイトバランスゲインを算出したが、照明色Cn,Cf,Clの各々に最適なホワイトバランスゲインを算出してから、それらを加重平均してもよい。その加重平均の加重の設定を、前述した設定と同様に行えば、同じ効果を得ることができる。
また、本システムのCPU15は、以下の各処理の幾つかを実行し、ホワイトバランス制御の成功率を更に向上させてもよい。
(1)撮影画像Iに対し顔認識処理を施し、撮影画像I中に人物が存在するか否かを判定する。人物が存在した場合には、その存在領域やその周辺領域の色に基づき、その人物の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップS17におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
(2)(1)と同じ手順で人物の照明色を判定し、さらに、その照明色の属する大きなグループ(自然光グループ、蛍光灯グループ、電球グループ)を調べる。ステップS18における加重の設定では、その大グループに対応する加重を、大きめに設定する。
(3)撮影情報(スポット測光エリア、AF測距点の位置など)に基づき、撮影画像Iにおける主要被写体位置を推定する。そして、その主要被写体やその周辺領域の色に基づき、その主要被写体の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップS17におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
(4)(3)と同じ手順で主要被写体の照明色を判定し、さらに、その照明色の属する大きなグループ(自然光グループ、蛍光灯グループ、電球グループ)を調べる。ステップS18における加重の設定では、その大グループに対応する加重を大きめに設定する。
(5)撮影情報に基づき、被写界における主要被写体の輝度を認識する。そして、その輝度が所定の閾値以上であるか否か判定する。その輝度が閾値以上であった場合、ステップS17における自然光グループのヒストグラムの作成では、色温度の高い小グループの領域数を、少なめに計上する。
(6)(5)と同じ手順で主要被写体の輝度を認識する。そして、ステップS18における各加重の設定では、各加重を、その輝度に応じて調節する。具体的には、主要被写体の輝度が所定の閾値以上であったときには、自然光グループに対応する加重を大きめに設定し、輝度が所定の閾値未満であったときには、人工光グループ(蛍光灯グループ及び電球グループ)に対応する加重を大きめに設定する。
以下、本発明の第2実施形態を説明する。本実施形態も、ディジタルカメラシステムの実施形態である。ここでは、第1実施形態との相違点のみ説明する。
図6は、本実施形態のホワイトバランス処理に関わるCPU15の動作フローチャートである。図6に点線で示すとおり、第1実施形態との相違点は、ステップS18とステップS19との間に、算出照明色Cの色温度成分にリミッタをかける手順(ステップS18’)が挿入された点にある。
一般的に、算出照明色の色温度成分にリミッタをかける場合、その照明種類が自然光であるときには、図7(A)に示すような自然光用のリミッタ特性(但し、リミット範囲は、被写体輝度によって異なる。)を使用し、その照明種類が蛍光灯であるときには、図7(B)に示すような蛍光灯用のリミッタ特性(但し、リミット範囲は、被写体輝度によって異なる。)を使用し、その照明種類が電球であるときには、図7(C)に示すような電球用のリミッタ特性(但し、リミット範囲は、被写体輝度によって異なる。)を使用する。これらの図7(A),(B),(C)に明らかなとおり、被写体輝度が同じであっても、自然光と、蛍光灯と、電球との間では、リミット範囲(Tmin,Tmax)が互いに異なる。
すなわち、CPU15は、先ず、撮影情報から認識した主要被写体の輝度Y0に応じて自然光用のリミッタ特性(図7(A))を参照し、輝度Y0に対応するリミット範囲(Tnmin ,Tnmax)を認識する。また、その輝度Y0に応じて蛍光灯用のリミッタ特性(図7(B))を参照し、輝度Y0に対応するリミット範囲(Tfmin,Tfmax)を認識する。また、輝度Y0に応じて電球用のリミッタ特性(図7(C))を参照し、輝度Y0に対応するリミット範囲(Tlmin,Tlmax)を認識する。
Tmax=WnTnmax+WfTfmax+WlTlmax
Tmin=WnTnmin+WfTfmin+WlTlmin …(3)
なお、式(3)は、色温度Tmax,Tnmax,Tlmax,Tmin,Tnmin,Tfmin,Tlminの単位が、式(2)における色C,Cn,Cf,Clの色温度成分の単位(ここでは、ミレッド)と同じであることを前提とした。この場合、式(3)における加重Wn,Wf,Wlの値は、式(2)における加重Wn,Wf,Wlの値と同じになる。しかし、単位を変えた場合は、加重Wn,Wf,Wlの値も変える必要がある。
[その他の実施形態]
なお、上述した実施形態では、一眼レフレックスタイプのディジタルカメラ(少なくともクイックリターンミラーと被写体監視用のカラー撮像素子とを搭載。)を説明したが、コンパクトタイプのディジタルカメラ(クイックリターンミラーと被写体監視用のカラー撮像素子とを非搭載。)にも、本発明は適用可能である。その場合、撮影前画像信号の取得と、撮影画像信号の取得との双方を、画像撮影同一のカラー撮像素子(画像撮影用のカラー撮像素子)によって行うことになる。
Claims (8)
- 被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部と、
前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、
前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット部と、
を含むカラー撮像装置であって、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、
前記リミット部は、
前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
ことを特徴とするカラー撮像装置。 - 請求項1に記載のカラー撮像装置において、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
ことを特徴とするカラー撮像装置。 - 請求項1又は請求項2に記載のカラー撮像装置において、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
ことを特徴とするカラー撮像装置。 - 請求項1〜請求項3の何れか一項に記載のカラー撮像装置において、
前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理部を更に含む
ことを特徴とするカラー撮像装置。 - 被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、
前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、
前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順と、
を含む画像処理プログラムであって、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定し、
前記リミット手順では、
前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
ことを特徴とする画像処理プログラム。 - 請求項5に記載の画像処理プログラムにおいて、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
ことを特徴とする画像処理プログラム。 - 請求項5又は請求項6に記載の画像処理プログラムにおいて、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
ことを特徴とする画像処理プログラム。 - 請求項5〜請求項7の何れか一項に記載の画像処理プログラムにおいて、
前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理手順を更に含む
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006215834A JP5055569B2 (ja) | 2006-08-08 | 2006-08-08 | カラー撮像装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006215834A JP5055569B2 (ja) | 2006-08-08 | 2006-08-08 | カラー撮像装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008042644A JP2008042644A (ja) | 2008-02-21 |
JP5055569B2 true JP5055569B2 (ja) | 2012-10-24 |
Family
ID=39177165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006215834A Expired - Fee Related JP5055569B2 (ja) | 2006-08-08 | 2006-08-08 | カラー撮像装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5055569B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7515271B2 (ja) * | 2020-02-28 | 2024-07-12 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7455656B2 (ja) | 2020-05-18 | 2024-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08251620A (ja) * | 1995-03-07 | 1996-09-27 | Eastman Kodak Japan Kk | オートホワイトバランス装置 |
JP3466167B2 (ja) * | 2001-05-11 | 2003-11-10 | 株式会社東芝 | 白バランスの光源色推定方法およびその推定方法を用いた撮像装置 |
-
2006
- 2006-08-08 JP JP2006215834A patent/JP5055569B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008042644A (ja) | 2008-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7092625B2 (en) | Camera with an exposure control function | |
JP4537255B2 (ja) | 撮像装置および撮像方法 | |
KR100944908B1 (ko) | 촬상장치, 포커스 제어방법 및 포커스 제어프로그램을기록한 기록매체 | |
EP1900197B1 (en) | Image capturing apparatus with flash device | |
US8106965B2 (en) | Image capturing device which corrects a target luminance, based on which an exposure condition is determined | |
US7430369B2 (en) | Image capture apparatus and control method therefor | |
US7009641B2 (en) | Electronic camera with gain adjustment | |
US20050212950A1 (en) | Focal length detecting method, focusing device, image capturing method and image capturing apparatus | |
US20050099522A1 (en) | Variable length encoding method and variable length decoding method | |
JP2006352795A (ja) | 撮像装置及び画像処理方法 | |
US20080100721A1 (en) | Method of detecting specific object region and digital camera | |
JP5092565B2 (ja) | 撮像装置、画像処理装置およびプログラム | |
JP2003046848A (ja) | 撮像システムおよび撮像プログラム | |
JP4029206B2 (ja) | 撮像装置 | |
JP5055569B2 (ja) | カラー撮像装置及び画像処理プログラム | |
US20040179111A1 (en) | Imaging device | |
JP2005065186A (ja) | 撮像装置 | |
JP5316923B2 (ja) | 撮像装置及びそのプログラム | |
JP2007005966A (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
JP2009063674A (ja) | 撮像装置及びフラッシュ制御方法 | |
JP5202245B2 (ja) | 撮像装置およびその制御方法 | |
JP4553570B2 (ja) | オートフォーカスカメラ | |
JP5387645B2 (ja) | 撮像装置及びそのプログラム | |
JP2006054775A (ja) | 色バランス調整機能を有する電子カメラ、およびプログラム | |
JP2004173251A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120626 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5055569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |