JP4657477B2 - ホワイトバランス制御装置およびデジタルカメラ - Google Patents

ホワイトバランス制御装置およびデジタルカメラ Download PDF

Info

Publication number
JP4657477B2
JP4657477B2 JP2001075104A JP2001075104A JP4657477B2 JP 4657477 B2 JP4657477 B2 JP 4657477B2 JP 2001075104 A JP2001075104 A JP 2001075104A JP 2001075104 A JP2001075104 A JP 2001075104A JP 4657477 B2 JP4657477 B2 JP 4657477B2
Authority
JP
Japan
Prior art keywords
achromatic
color
white balance
extraction range
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001075104A
Other languages
English (en)
Other versions
JP2002281522A (ja
Inventor
靖 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001075104A priority Critical patent/JP4657477B2/ja
Publication of JP2002281522A publication Critical patent/JP2002281522A/ja
Application granted granted Critical
Publication of JP4657477B2 publication Critical patent/JP4657477B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ、ビデオカメラ、画像撮影装置等におけるホワイトバランス制御装置に関する。特に、無彩色範囲抽出のための領域設定に関する。
【0002】
【従来の技術】
デジタルカメラ、デジタルビデオカメラ等においては、良質のカラー画像を得るためにはホワイトバランスの調整が必要である。このホワイトバランスが崩れると、白色の被写体を撮影した場合に、その撮像画像に色が付いてくるばかりでなく、一般の被写体を撮影した場合にも色の再現性が劣化し、良質の再現画像が得られなくなる。
このようなホワイトバランスの調整に関する技術は、特開平5−292533号公報の技術のように、色空間を複数の色空間に分割して、被写体のそれぞれの色領域における分布を計算してホワイトバランスのずれを検出して、調整している。
一般的に、無彩色抽出時に、一つの画像中に複数の色温度の異なった光源があるような状況が起こる確率は低く、光源の色温度による無彩色の色ずれは一様に起こることが多いと考えられる。しかしながら、画像内に色温度の変化と同様な色が存在した場合に無彩色と判定されるデータの分布のピークが複数箇所に現れ、あたかも光源が複数あるようなデータが得られる場合が少なからずある。このような場合に、前記のような従来技術では、無彩色抽出範囲の全てのデータの積算値がホワイトバランス調整に利用されるため、精度のよいホワイトバランス調整を達成できないことがある。この問題は画像を複数の領域に分割して扱う場合でも同様である。
この問題を解決するために、特開平10−210495号公報、特開平11−205812号公報および特開平11−308634号公報の技術では、無彩色抽出範囲を柔軟に細かく設定し、無彩色と判定されるデータの分布のピークが複数箇所に現れるような画像データに対しても無彩色抽出誤差を減少させ、画像の様々な撮影条件に対し柔軟に対応し高精度なホワイトバランス調整を可能にしている。
また、メッシュ分割を利用しないホワイトバランス制御時の設定方法としては固定モードと呼ばれる予め外光、蛍光灯、白熱灯などのモードをユーザーが選択する方法やワンプッシュオートと呼ばれる無彩色を撮影し、設定をおこなうもの等がある。
【0003】
【発明が解決しようとする課題】
しかしながら、このような従来のオートホワイトバランス制御においては自然光(日中の高色温度の状態や夕焼けのような低色温度)、蛍光灯、白熱灯に対応するために無彩色抽出範囲の設定が広いことや、撮影画像中に各種光源下での無彩色と同様な色差をもった被写体(自然光源下での肌色が白熱灯下での無彩色と同様の色差となる)があった場合など、無彩色の誤判定を起こし、間違ったホワイトバランス制御を画像に対しておこない、色ずれの原因となってしまう。
また、人工灯の色温度は千差万別であり、全ての色温度下における無彩色抽出範囲を設定することは不可能であり、設定されていない色温度の光源下での撮影時には色ずれを引き起こす可能性が高い。
本発明は、上記の問題点を解決するために、ホワイトバランス制御時の無彩色設定をユーザーが簡便に設定・変更を行えるホワイトバランス制御装置を提案することを目的とし、このようなホワイトバランス制御装置を備えることによって、ユーザーが所望の色バランスで撮影可能なデジタルカメラを提供することを目的とする。
また、ユーザーが設定した無彩色抽出範囲設定を記憶することにより、ユーザーの使用環境に合った無彩色抽出範囲を設定できるホワイトバランス制御装置およびデジタルカメラを提供することを目的とする。
【0004】
【課題を解決するための手段】
上記の問題を解決するために、本発明の請求項1のホワイトバランス制御装置は、少なくとも、撮像素子から得られた画像データを色差データに変換し、この色差データを複数の領域に分割して無彩色の判定を行い、無彩色と判定された領域の画素データをもとに色データのゲイン量を調整してホワイトバランスを制御する撮影モードと、前記無彩色の判定に用いられる無彩色抽出範囲を設定する設定モードとを含むホワイトバランス制御装置において、前記設定モードでは、無彩色と思われる被写体を指定して撮影された撮像データの色差データに相当する一の領域が複数の領域にメッシュ分割された色差空間のいずれの領域に含まれるかを判定し、前記判定により特定された一の領域が、予め複数の領域にメッシュ分割された色差空間内の少なくとも一の領域からなりデフォルト値として設定されている初期無彩色抽出範囲に含まれるか否かを判定し、前記初期無彩色抽出範囲に含まれると判定された前記一の領域を前記無彩色抽出範囲として設定すことを特徴とする。また、本発明の請求項2のホワイトバランス制御装置は、前記設定モードにおいて、前記一の領域が前記初期無彩色抽出範囲に含まれないと判定された場合には、ユーザーに警告するようにしたことを特徴とする。また、本発明の請求項3のホワイトバランス制御装置は、数の無彩色抽出領域を前記無彩色抽出範囲として順次追加設定できるようにして、複数の色を無彩色と設定することができるようにしたことを特徴とする。また、本発明の請求項4のホワイトバランス制御装置は、ーザーが設定した複数の無彩色抽出範囲のデータを記憶する手段を設け、撮影時にこの記憶された複数の無彩色抽出範囲から前記ユーザーが選択できるようにした読出モードを含むことを特徴とする。また、本発明の請求項5のデジタルカメラは、請求項1乃至請求項4のいずれか1つに記載のホワイトバランス制御装置を備えることを特徴とする。
【0005】
【発明の実施の形態】
以下に、図面を用いて本発明の実施の形態の構成および動作を詳細に述べる。
(1)構成
図1は、本発明の実施の形態に係るホワイトバランス制御装置の構成を示すブロック図である。
ホワイトバランス制御装置は、CCD10、CDS回路20、A/D変換器30、色補間手段40、無彩色抽出範囲設定手段50、無彩色判定手段60、ゲイン制御手段70、記憶手段80を備えて構成されている。
CCD10は、電荷結合素子等の撮像素子であり、入力された映像を電気信号(アナログ画像データ)に変換する。
CDS(相関2重サンプリング)回路20は、CCD10で入力された映像信号の雑音を低減するための回路である。
A/D変換器30は、CDS回路20で低雑音化された映像信号を最適なサンプリング周波数(例えば、NTSC信号のサブキャリア周波数の整数倍)にてデジタルデータに変換する。
色補間手段40は、A/D変換器30で変換されたデジタルデータを周辺画素から補完することで一画素あたりR(赤)、G(緑)、B(青)の3つのデータとして出力する。
無彩色抽出範囲設定手段50は、予め色差空間をメッシュ分割し、そのメッシュ位置毎に無彩色と判定する領域であるか否かの設定を行う(設定方法の詳細は後述する)。
無彩色抽出範囲は、予め光源を変え、無彩色の被写体を撮影したデータ等をもとに、メッシュ分割された領域の色差(例えば、Cr,Cb)軸のどの分割位置に撮像データが含まれるかを計測することによって求める(図2の網掛けが付された部分参照)。
無彩色判定手段60は、色補間手段40から出力されるRGBの3つのデータから色差データを算出し、その色差データが色差空間を領域分割したどの領域に含まれるかを判断し、そのデータが無彩色と予め設定されている領域に含まれる場合はその画素のRGBデータを積算し、計数値をカウントアップする。
この判断を全ての画素に対して行う。
【0006】
ゲイン制御手段70は、無彩色判定手段60で計算したRGBそれぞれのデータの積算値(それぞれの積算値をR、G、Bとする)と計数値(計数値をCとする)をもとに、G/R、G/B演算または(G/C)/(R/C)、(G/C)/(B/C)演算を行い、この演算結果をAWB制御のためのゲイン制御値として、RGBそれぞれのデータにゲイン制御を行って、AWB制御(自動ホワイトバランス)を実現する。(ゲイン制御値の計算については、特開平11−205812号公報を参照。)
記憶手段80は、デフォルトやユーザーが設定した撮影条件を記憶するフラッシュメモリである。この中には、無彩色抽出範囲の情報も含まれる。
【0007】
(2)撮影時の動作
図3は、撮影時の動作の概略手順を示すフローチャートである。
入力された映像を電荷結合素子等の撮像素子によってアナログ画像データの電気信号に変換する(ステップS100)。
このアナログ画像データに変換された映像信号を相関2重サンプリング方法によって低雑音化する(ステップS110)。
低雑音化されたアナログ画像データを最適なサンプリング周波数にてデジタルデータに変換する(ステップS120)。
デジタル化されたデータを一画素あたりRGBの3つのデータとして出力する(ステップS130)。
このRGBデータから色差データを算出し、その色差データが色差空間をメッシュ分割したうちのどの領域に含まれるかを判断し、予め設定された無彩色と判定される領域にそのデータが含まれる場合はその画素のRGBデータを積算し、計数値をカウントアップする(ステップS140)。
この計算されたRGBそれぞれのデータの積算値(それぞれの積算値をR,G,Bとする)と計数値(計数値をCとする)をもとに、G/R、G/B演算または(G/C)/(R/C)、(G/C)/(B/C)演算を行い、この演算結果をゲイン制御値として、RGBそれぞれのデータにゲイン制御を行って、AWB制御(自動ホワイトバランス)を実現する(ステップS150)。
【0008】
(3)無彩色抽出範囲の設定方法
図4は、無彩色抽出範囲を予め設定するときの概略手順を示すフローチャートである。ユーザーは、ファインダー内の中央部に設けた円形の領域内(図5参照)に撮影しようとする光源下で無彩色と思われる部分を入れ、シャッターボタンを押すと、無彩色抽出範囲設定のためのデータが入力される。この入力された映像を電荷結合素子等の撮像素子によってアナログ画像データの電気信号に変換する(ステップS200)。このアナログ画像データに変換された映像信号を相関2重サンプリング方法によって低雑音化する(ステップS210)。低雑音化されたアナログ画像データを最適なサンプリング周波数にてデジタルデータに変換する(ステップS220)。デジタル化されたデータのうち画像中央部分(ファインダー内中央部分の円形の領域)にあるデータをサンプリングによって抽出する(ステップS230)。このサンプリングされたデータを一画素あたりRGBの3つのデータとして出力する(ステップS240)。このRGBデータから色差データ(例えばCr,Cb)を算出し、その色差データが色差空間をメッシュ分割したうちのどの領域に含まれるかを求める(ステップS250)。例えば、図6のように色差軸をメッシュ分割した領域のひとつAのような領域が選ばれる。ステップS250で選択された領域が記憶手段80の中の無彩色抽出範囲のデフォルト設定の値と同じものがあるかどうかを調べる(ステップS260)。デフォルトで設定されている無彩色判定範囲(初期無彩色抽出範囲)以外のメッシュ領域が選択された場合、ファインダー内等に設置されたLED等によってユーザーに対して警告を表示する(ステップS270)。
【0009】
例えば、図7のように斜線で示した領域がデフォルトの無彩色抽出範囲(初期無彩色抽出範囲)として設定されていたとする。このとき、ユーザーがAの位置を指定した場合は、デフォルトの設定領域に含まれるため警告はなく、Bの位置の時にはデフォルトの領域で設定されていない領域が選ばれたので、ユーザーの設定ミスの可能性があるとして警告を行う。このような警告をすることにより、ユーザーは無彩色として選択した画像が間違っていないか、シャッターを押した状態の時に誤って無彩色でない色をファインダー中央の領域に捉えていないかを確認することができる。デフォルトで設定されている無彩色判定範囲(初期無彩色抽出範囲)内のメッシュ領域が選択された場合、この領域を無彩色抽出範囲として設定し、記憶手段80のユーザーによる設定領域へ記憶する(ステップS280)。また、ステップS270で警告が発生した場合でもユーザがその領域を無彩色と設定したい場合は、ステップS280へ移行し、ユーザが間違ったエリアを撮影している場合は、無彩色抽出範囲として設定をおこなわない(ステップS290)。従って、ユーザーが設定する色差範囲を簡便に設定できるので、ユーザーが所望するホワイトバランスで撮影することができる。
【0010】
(4)モード指定による処理
図8は、カメラのモード別の処理手順を示したフローチャートである。
ユーザーは、先ず、撮影するのか、または撮影条件等の設定をするのかをダイアル等によって設定し、カメラの電源を入れたときにこの設定を読み取る(ステップS300)。
これによりファインダー等の表示部にさらに細かなメニューを表示して、それぞれの処理が行われる。
ダイアル等によって撮影モードが選択されたとき、撮影が行われ、(2)で説明した処理が行われる(ステップS310、S315)。
ダイアル等によって読出モードが選択されたとき、ユーザーの設定した無彩色抽出範囲をファインダー内に表示し、その中から今回の撮影に適当と思われる設定値を選択することによって、記憶手段80から読み出す(ステップS320、S325)。
この読み出された設定値をホワイトバランス制御に使うフラッシュメモリ等に記憶させ、その値を用いて撮影された映像に対してホワイトバランス制御が行われる。
このように複数の設定値を撮影状況に応じてユーザーが選択できるので、シーンにあった無彩色抽出範囲設定を選択して、ユーザーの所望するホワイトバランスで撮影することができる。
ダイアル等によって設定モードが選択されたとき、(3)で説明したように、色差軸をメッシュ分割した領域の1領域のみを無彩色抽出範囲として初期設定を行う(ステップS330、S335)。
このモードの時には、記憶手段80へ新たなユーザー設定として、ここで指定された無彩色抽出範囲を登録する。このとき、すでに登録された無彩色抽出範囲とは別に設定するようにもできる。即ち、無彩色抽出範囲を複数個分記憶できるように設定することができ、読出モードでこの中から1つを選択するようになる。
ダイアル等によって追加モードが選択されたとき、すでに記憶手段80に登録されている無彩色抽出範囲をファインダー内に表示し、その中からユーザーが選択して、その無彩色として設定したメッシュ領域に、さらに今回設定した領域を追加して、記憶手段80を更新する(ステップS340、S345)。
【0011】
例えば、図9に示したように、無彩色抽出の設定モードで設定された無彩色抽出領域がAであるとき、この追加モードでBの領域が選ばれた場合は、AおよびBともに無彩色抽出領域として設定される。
従って、無彩色抽出領域を順次追加することによって、ユーザーの用途に最も適切な無彩色抽出範囲を設定することができるので、簡便に、ユーザーの所望するホワイトバランスで撮影することができる。
ダイアル等によってクリアモードが選択されたとき、記憶手段80に登録されているすべてのまたは選択された無彩色抽出範囲の設定をクリアする(ステップS350、S355)。
これにより、不要になった無彩色抽出範囲を削除でき、新たな無彩色抽出範囲の設定を登録することができる。
ダイアル等によってその他のモードが選択されたとき、例えば、他の露光条件、特殊撮影条件、日付等を設定する(ステップS360)。
尚、本実施の形態におけるホワイトバランス制御のための処理、無彩色抽出範囲の設定の処理および各モード選択とその処理は、マイクロプロセッサ等を利用してプログラムにより実現することも可能である。
【0012】
【発明の効果】
以上説明したように、本発明によれば、ユーザーが設定する色差範囲を簡便に設定することができるので、ユーザーが所望するホワイトバランスで撮影することができる。
また、デフォルトの設定値と異なる設定が行われた場合に、ユーザーに警告を行って、ホワイトバランスのずれた撮影を未然に防ぐことができる。
また、複数の色を無彩色設定領域として順次追加することによって、ユーザーの用途に最も適切な無彩色抽出範囲設定を設定することができるので、簡便に、よりユーザーが所望するホワイトバランスで撮影することができる。
また、ユーザーが無彩色抽出範囲を複数設定することができるので、シーンにあった無彩色抽出範囲設定を選択でき、ユーザーが所望するホワイトバランスで撮影することができる。
【図面の簡単な説明】
【図1】本発明の一実施例のホワイトバランス制御装置を示すブロック図である。
【図2】無彩色抽出範囲の例を示す図である。
【図3】撮影時の動作の概略手順を示すフローチャートである。
【図4】無彩色検出範囲を予め設定するときの概略手順を示すフローチャートである。
【図5】ファインダー内の中央部に設けられた円形の領域を示す図である。
【図6】色差データがメッシュ分割したうちのどの領域に含まれるかを説明するための図である。
【図7】無彩色抽出範囲がデフォルトの設定領域に含まれるかどうかを説明するための図である。
【図8】カメラのモード別の処理手順を示したフローチャートである。
【図9】無彩色抽出の追加モードを説明するための図である。
【符号の説明】
10 CCD(電荷結合素子)
20 CDS(相関2重サンプリング)回路
30 A/D変換器
40 色補間手段
50 無彩色抽出範囲設定手段
60 無彩色判定手段
70 ゲイン制御手段
80 記憶手段

Claims (5)

  1. 少なくとも、撮像素子から得られた画像データを色差データに変換し、この色差データを複数の領域に分割して無彩色の判定を行い、無彩色と判定された領域の画素データをもとに色データのゲイン量を調整してホワイトバランスを制御する撮影モードと、前記無彩色の判定に用いられる無彩色抽出範囲を設定する設定モードとを含むホワイトバランス制御装置において、
    前記設定モードでは、無彩色と思われる被写体を指定して撮影された撮像データの色差データに相当する一の領域が複数の領域にメッシュ分割された色差空間のいずれの領域に含まれるかを判定し、前記判定により特定された一の領域が、予め複数の領域にメッシュ分割された色差空間内の少なくとも一の領域からなりデフォルト値として設定されている初期無彩色抽出範囲に含まれるか否かを判定し、前記初期無彩色抽出範囲に含まれると判定された前記一の領域を前記無彩色抽出範囲として設定することを特徴とするホワイトバランス制御装置。
  2. 前記設定モードにおいて、前記一の領域が前記初期無彩色抽出範囲に含まれないと判定された場合には、ユーザーに警告するようにしたことを特徴とする請求項1に記載のホワイトバランス制御装置。
  3. 数の無彩色抽出領域を前記無彩色抽出範囲として順次追加設定できるようにして、複数の色を無彩色と設定することができるようにしたことを特徴とする請求項1または請求項2に記載のホワイトバランス制御装置。
  4. ーザーが設定した複数の無彩色抽出範囲のデータを記憶する手段を設け、撮影時にこの記憶された複数の無彩色抽出範囲から前記ユーザーが選択できるようにした読出モードを含むことを特徴とする請求項1乃至請求項3のいずれか1項に記載のホワイトバランス制御装置。
  5. 請求項1乃至請求項4のいずれか1つに記載のホワイトバランス制御装置を備えたことを特徴とするデジタルカメラ。
JP2001075104A 2001-03-15 2001-03-15 ホワイトバランス制御装置およびデジタルカメラ Expired - Fee Related JP4657477B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001075104A JP4657477B2 (ja) 2001-03-15 2001-03-15 ホワイトバランス制御装置およびデジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001075104A JP4657477B2 (ja) 2001-03-15 2001-03-15 ホワイトバランス制御装置およびデジタルカメラ

Publications (2)

Publication Number Publication Date
JP2002281522A JP2002281522A (ja) 2002-09-27
JP4657477B2 true JP4657477B2 (ja) 2011-03-23

Family

ID=18932233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001075104A Expired - Fee Related JP4657477B2 (ja) 2001-03-15 2001-03-15 ホワイトバランス制御装置およびデジタルカメラ

Country Status (1)

Country Link
JP (1) JP4657477B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328955B1 (ko) 2007-07-25 2013-11-14 엘지전자 주식회사 디스플레이 장치 및 색온도 조정 방법
JP6024098B2 (ja) * 2011-11-15 2016-11-09 株式会社ニコン 撮像装置及び撮像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698337A (ja) * 1992-09-11 1994-04-08 Canon Inc 電子カメラ
JPH10210495A (ja) * 1997-01-20 1998-08-07 Ricoh Co Ltd 白バランス制御装置
JPH11262021A (ja) * 1998-03-06 1999-09-24 Nikon Corp 色バランス調整装置
JPH11308634A (ja) * 1998-04-20 1999-11-05 Ricoh Co Ltd 白バランス制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698337A (ja) * 1992-09-11 1994-04-08 Canon Inc 電子カメラ
JPH10210495A (ja) * 1997-01-20 1998-08-07 Ricoh Co Ltd 白バランス制御装置
JPH11262021A (ja) * 1998-03-06 1999-09-24 Nikon Corp 色バランス調整装置
JPH11308634A (ja) * 1998-04-20 1999-11-05 Ricoh Co Ltd 白バランス制御装置

Also Published As

Publication number Publication date
JP2002281522A (ja) 2002-09-27

Similar Documents

Publication Publication Date Title
KR100799215B1 (ko) 카메라
US7969483B2 (en) White balance control method, imaging apparatus and storage medium storing white balance control program
JP4628937B2 (ja) カメラシステム
US6906744B1 (en) Electronic camera
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
CN100461828C (zh) 图像处理装置和图像处理方法
EP2426927B1 (en) Image processing apparatus, image processing method and computer program
US20040017594A1 (en) White balance processing apparatus and processing method thereof
JP4487342B2 (ja) デジタルカメラ
JP4059708B2 (ja) デジタルカメラ及びホワイトバランス調整方法
JP2009017229A (ja) 撮像装置及び撮像制御方法
JP2004312139A (ja) 撮像装置
JP5211926B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
JP2008278354A (ja) 撮像装置
JP3821729B2 (ja) デジタルカメラ
JP2002290988A (ja) 撮像装置
JP2006217169A (ja) 画像処理装置及びカラー撮像装置
JP4657477B2 (ja) ホワイトバランス制御装置およびデジタルカメラ
JP2002218495A (ja) ホワイトバランス制御方法及び電子カメラ
CN108353123B (zh) 摄影装置及其控制方法
JP4717229B2 (ja) 撮像装置及びそのホワイトバランス処理方法
JP4960597B2 (ja) ホワイトバランス補正装置及び方法、及び撮像装置
JP2007027984A (ja) 撮影装置およびその制御方法
JP4069690B2 (ja) 画像処理装置および電子カメラ
JP2007074201A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080306

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees