JP4342149B2 - 固体撮像素子と撮像装置 - Google Patents

固体撮像素子と撮像装置 Download PDF

Info

Publication number
JP4342149B2
JP4342149B2 JP2002137305A JP2002137305A JP4342149B2 JP 4342149 B2 JP4342149 B2 JP 4342149B2 JP 2002137305 A JP2002137305 A JP 2002137305A JP 2002137305 A JP2002137305 A JP 2002137305A JP 4342149 B2 JP4342149 B2 JP 4342149B2
Authority
JP
Japan
Prior art keywords
sensitivity
light source
red
color
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002137305A
Other languages
English (en)
Other versions
JP2003332543A (ja
Inventor
康生 青塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002137305A priority Critical patent/JP4342149B2/ja
Publication of JP2003332543A publication Critical patent/JP2003332543A/ja
Application granted granted Critical
Publication of JP4342149B2 publication Critical patent/JP4342149B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はCCDやCMOSセンサ等の固体撮像素子を搭載した撮像装置に関する。
【0002】
【従来の技術】
図11は、例えば特開平10―136391号公報に記載されている従来の固体撮像素子の平面図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑(G)の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行,各列の各フォトダイオードに対して、1/2ピッチづつずらした位置に、青(B)と赤(R)の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。図示する例では、「R」「G」「B」と記載された8角形の枠が夫々赤,緑,青の色フィルタを示し、対応するフォトダイオードは、その下側(紙面の下側)に配置される。より正確には、8角形の枠がフォトダイオードの形を表し、赤,緑,青の色フィルタは、8角形の枠より大きなサイズ(例えば8角形や4角形)で設けられる。
【0003】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印aに示す様に各フォトダイオードの脇に形成されている垂直転送路20に読み出され、この信号電荷は、矢印bに示す様に垂直転送路20に沿って転送されて水平転送路21に至り、今度は矢印cに示す様に水平転送路21に沿って転送され、固体撮像素子から読み出される。各画素(フォトダイオード)から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【0004】
この様に、固体撮像素子の各フォトダイオードの表面には色フィルタが重ねて設けられるが、この色フィルタは、例えば顔料や染料を用いて製造される。図12は、従来の各色フィルタを設けたフォトダイオードの分光感度を示し、各色フィルタR,G,Bは夫々赤色,緑色,青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。即ち、図12に示すように従来の赤色フィルタRは、波長580nm以上の光を透過し、それより低い波長の光は一律にカットする様に製造されている。尚、図12の赤色フィルタRで530nm付近に小さなピークがあるが、これはあまり意味がないため、以下、このピークは無視して説明する。
【0005】
【発明が解決しようとする課題】
固体撮像素子を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で各種シーンを撮影する場合、様々な照明光源の下で撮影が行われるため、どの様な光源の下で撮影されてもホワイトバランスが合うように、カメラが自動的にR,G,B信号のゲイン調整を行ったり、あるいは撮影者が手動でホワイトバランスを合わせる様にしている。
【0006】
しかし、ホワイトバランスが精度良く合わせられていても、F6光源といわれる普通型白色蛍光灯の下で撮影が行われると、肌色がYG(黄緑)味になってしまうことが良く知られている。これは、太陽光の下で撮影された時の肌色が良好な肌色になるようにリニアマトリクスや色差マトリクスが調整されていても、F6光源の分光分布が580nm付近の波長域に偏っているために起きる現象である。また同様に、F12光源といわれる電球色蛍光灯の下での撮影においても、肌色がYG味になる傾向がある。
【0007】
本発明の目的は、太陽光の下での撮影では従来通り良好な肌色の色再現性を保ち、F6光源やF12光源の下での撮影では肌色のYG味を軽減して色再現性を高めた固体撮像素子を搭載した撮像装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成する撮像装置は、赤色の光を透過する赤色フィルタと緑色の光を透過する緑色フィルタと青色の光を透過する青色フィルタとが設けられた固体撮像素子を搭載し、太陽光撮影で最適化された色差マトリクスを用いて肌色再現を行う撮像装置において、前記赤色フィルタを設けたフォトダイオードのピーク感度値を値100としたとき、該赤色フィルタ付フォトダイオードの分光感度として波長420nmの光に対して値5以上9.42以下の感度を有し、且つ、波長435nmの光に対する感度(S435)と波長420nmの光に対する感度との比(S435/S420)の値を0.06以上0.5以下とした固体撮像素子を搭載したことを特徴とする。
【0009】
この構成により、赤色フィルタを通して得られる「赤色」の信号電荷量が、赤色より低い波長域の光によって増量され、しかも、撮影光源(蛍光灯)のピーク波長と異なる波長域の光で増量されるため、蛍光灯の光で撮影した場合にはホワイトバランスゲインに大きな影響を与えることがないので、太陽光撮影で最適化された色差マトリクスを用いたときの、蛍光灯撮影時の赤味不足が抑制される。
【0011】
更に好適には、前記赤色フィルタ付フォトダイオードは、波長545nmにおける感度の値が2.7以上15以下であることを特徴とする。この構成により、波長545nmの光による赤色としての信号電荷量の増量が抑制され、肌色の色相悪化が抑制でき、肌色の再現性が一層良好となる。
【0013】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【0014】
先ず、F6光源(普通型白色蛍光灯)やF12光源(電球色蛍光灯)の下で肌色がYG味となる理由を考察する。図13は、太陽光(D65光源)とF6光源とF12光源の同一照度における分光放射分布を示す図である。F6光源もF12光源も、約545nm,約435nm,約405nmに鋭いピークをもっている(図13で、点線で示すF6光源の約405nm,約435nmのピークと、実線で示すF12光源の約405nm,約435nmのピークは重なっている。)。
【0015】
一方、太陽光(D65光源)にはその様なピークは存在せず、おおむねなだらかな分光分布となっている。即ち、F6光源やF12光源の上記のピーク位置における放射エネルギは、同じ波長における太陽光の放射エネルギより大きい。CCDやCMOSセンサ等の固体撮像素子の赤色に対する分光感度(赤色フィルタ付フォトダイオードの分光感度)が、F6光源やF12光源のピーク波長に対して感度を有していると、F6光源やF12光源の下で撮影したとき、肌色から赤味が失われ、結果としてYG(黄緑)味の肌色になってしまう。
【0016】
それは、赤色の分光感度として上記3本のピーク波長に対する感度を持った場合、その分を含めたホワイトバランスをとれば、当然に、3本のピーク波長に対する感度を持たなかった場合に比べて赤色信号に掛けられるホワイトバランスのゲインが小さくなるためである。
【0017】
更に、太陽光の下で撮影した時に肌色その他の色全般に渡って色再現性が良好になるように色差マトリクスが決められるが、この色差マトリクスの機能によって、赤色分光感度として上記3本のピーク波長に対する感度を多少有していても、良好な色再現性が得られる様になっている。
【0018】
具体的には、上記3本のピーク波長に対する感度の分と、ホワイトバランスゲインとが変更になったことにより、肌色中の赤色信号値が適正値からずれても、これを適正値に戻す様に色差マトリクスが決定されるためである。このようにして、太陽光の下での肌色再現性は良好な状態になる。
【0019】
しかし、F6光源やF12光源の下で撮影した場合、夫々のホワイトバランスを合わせると、赤色信号に掛けられるホワイトバランスゲインの大きさは、上記3本のピーク波長に対する感度を持たなかった場合に比べて小さくなり、太陽光の場合よりも一層小さくなってしまう。これは、上記3本のピーク波長に対する感度による赤色出力値の増加量が太陽光撮影の場合よりも大きくなっているからである。このため、上記の様に太陽光で決めた色差マトリクスを用い、F6光源やF12光源で撮影して得た肌色を再現すると、肌色中の赤色信号値は適正値より小さくなってしまい、赤味不足のYG味の肌色になってしまう。
【0020】
そこで、本実施形態では、F6光源やF12光源のピーク波長の谷間に副感度(赤色の光に対する感度を主感度といい、赤色以外の光に対する感度を副感度ということとする。)を持たせ、YG味になっているF6光源やF12光源での撮影時に得られた肌色の赤味を増し、良好な肌色を再現するようにする。具体的には、400nm以下および410nm〜430nmの波長域に副感度を持たせる。
【0021】
更に具体的には、副感度の大きさとしては、435nmと405nmで感度値が低く、400nm以下および410nm〜430nmでは感度値を高くするのが望ましい。実質的には、F6光源やF12光源の405nmでのピークエネルギは、太陽光(D65)との差がさほど大きくないので、435nmの副感度の値を低くし、且つ、430nm以下の副感度の値を高くするのが良い。
【0022】
特に検討の結果、赤色分光感度(主感度)の最大値を“100”(図12参照)としたとき、S420(“S”を付けることで、この例では420nmでの感度を意味するものとして使用する。以下、同じ)を“5”以上とし、S435/S420の比を“0.5”以下としたとき、最も好ましい結果が得られる。
【0023】
また、F12光源に関しては、545nm±5nmでの放射エネルギが極めて高いので、ここに赤色分光感度を持たせることは極めて好ましくなく、S545の値は小さいほど、具体的には“15”以下が良い。
【0024】
次に、本発明の具体的な実施形態について説明する。図1は、低波長域に副感度を持たせた本発明の2つの実施形態(イ)(ロ)に係る赤色フィルタ付フォトダイオードの分光感度を示すグラフである。赤色フィルタ付フォトダイオードの特性しか図示していないが、緑色フィルタ付フォトダイオードと青色フィルタ付フォトダイオードの分光感度特性は、図12に示す従来のものと同じである。
【0025】
これらの実施形態(イ)(ロ)に係る赤色フィルタは、従来の赤色フィルタと比較して、560nm以上の波長に対しては同じであるが、それ以下の波長の光に対し、特に、435nm以下の波長に対して副感度を設けている(図12参照)。即ち、青色の波長域の光も赤色フィルタを透過させ、透過光量に応じてフォトダイオードに蓄積される信号電荷量を増量させている。しかも、副感度を設ける波長域として光源(蛍光灯)のピーク波長の谷間の波長域を選択し、副感度を設けたことで、蛍光灯撮影の場合にはホワイトバランスゲインに与える影響を小さくしている。
【0026】
図2は、上述した実施形態(イ)(ロ)の赤色フィルタを有する固体撮像素子を搭載したデジタルスチルカメラの分光感度特性を示すグラフである。比較のために、図12の従来の赤色フィルタR(従来)を搭載したカメラの分光感度特性も一緒に示している。このデジタルスチルカメラでは、太陽光(D65光源)にてホワイトバランスをとった後、色再現性が良好になるように夫々最適な色差マトリクスを決めている。
【0027】
次の表1に、固体撮像素子及びデジタルスチルカメラの赤色(R)分光感度の、上記“S420”,“S435/S420”,“S545”の値の一覧を従来例と共に示す。
【0028】
【表1】
Figure 0004342149
【0029】
図3は、図2に示す夫々のカメラ分光感度を持つデジタルスチルカメラで肌色を撮影したときの再現色をシミュレーションで求めたグラフである。撮影光源としては、各種太陽光(D50,D55,D65,D75)の他に、F6光源、昼光蛍光灯、F12光源、白熱灯を用いており、縦軸に、D65光源による撮影で得られる肌色の色相角を基準とした肌色の色相角を示す。
【0030】
この図3によれば、本実施形態に係る固体撮像素子を搭載したデジタルスチルカメラを用い、F6光源下やF12光源下で肌色を撮影した場合、従来に比べて色相角がプラス方向(YG味方向)にずれにくいことが分かる。これは、赤色フィルタの下側にあるフォトダイオードが、赤色の光の他に、本来は赤色ではない波長420nm付近の光を受光することで受光光量が増し(「赤色」として得られる信号電荷量が増し)、これにより、撮像画像データの赤味が増すためである。
【0031】
図3に示すグラフ上では、本実施形態と従来例との間の色相角のYG味方向に対するズレの差は小さいが、人間の目は肌色に対しては敏感なため、肌色の再現色を人の目で見たとき、赤味が不足するか否かは大きな差として認識される。
【0032】
上述した本実施形態(イ)(ロ)に係る赤色フィルタを製造する場合、従来はPR254番とPY139番の顔料(Pはピグメントの略、Rは赤の略、Yはイエローの略である。)を混合していたのに対し、実施形態(イ)ではPR254番とPY185番を混合することで容易に得ることができる。また、実施形態(ロ)の赤色フィルタは、PR254番を多目に、PY185番を少な目にすることで得ることができる。
【0033】
図4,図5,図6は、色差がどの程度あれば良いかを調べたシミュレーション結果を示す図である。今、図4に示す様に、デジタルスチルカメラの赤色の分光感度のうち青色波長領域(特に、波長450nm以下)における洩れを少しずつ変えた3種類の特性をR1,R2,R3とする。
【0034】
色相差が“0.3”以下の場合、2色の差は認知されず、50%の確率で色相差を認知するには色相差として“0.6”が必要である(例えば、財団法人、日本色彩研究所編「色彩ワンポイント」2巻参照)。つまり、肌色の色相を改善するに当たって、改善前の色相に対して“0.6”以上の色相差の絶対値が確保できれば、改善効果があるといえる。
【0035】
そこで、このシミュレーションでは、従来型の赤色分光感度に対して、短波長部分のみに赤色の分光感度R1,R2,R3(R1<R2<R3)を図4の様に付与し、どれだけの色相改善がなされるかを検証する。赤のピーク波長605nmの感度を“100”としたときの各分光感度R1,R2,R3の“S420”,“S435/S420”,“S545”の値を従来例と比較して示した表が、次の表2である。
【0036】
【表2】
Figure 0004342149
【0037】
従来型の赤色(R)分光感度と、感度特性R1,R2,R3を用いた場合、太陽光(D65光源)での撮影時において、夫々、肌色および一般色が忠実に再現されるように色差マトリクスを最適化する。そして、各種の撮影光源の下で撮影をした時に再現される肌色の色度を計算する(このときの青(B),緑(G)の感度は図12と同じである。)。
【0038】
この計算結果を示すのが図5であり、F6光源やF12光源での肌色の色相角は好ましい方向に改善されていることが分かる。どの程度の改善がなされたかを色相差で表したのが図6である。この図6において、横軸がR分光感度のS420であり、縦軸が色相差である。この図6によれば、F12光源において、D65光源を基準としたとき、色相差の絶対値が“0.6”となるのはS420の値が略“5.0”となるときであることが分かる。即ち、“S420≧5.0”となるR分光感度を用いれば、F12光源で撮影した肌色が有意に改善されることになる。同様に、この図6によれば、“S420≧8.0”にすると、F6光源の肌色も有意に改善されることが分かる。
【0039】
図7,図8は、S435/S420の値がどの程度の値であれば有意に肌色の色相が改善されるかを調べたシミュレーション結果を示す図である。図7に示す様に、このシミュレーションでも感度特性Ra,Rb,Rcの3つを定める。感度特性Raとして、395nm〜430nmの範囲において値“10.6”の副感度(図中に台形上の特性として示される。)を付与する。
【0040】
感度値“10.6”は、図4〜図6のシミュレーションで説明したように、F6光源による肌色が有意に改善される範囲の感度値である。そして、435nmに感度を付与した感度特性Rb,Rc(Rb<Rc)を作る。感度特性Ra,Rb,Rcの“S420”,“S435/S420”,“S545”の値の一覧を従来例と共に表にしたのが、次の表3である。
【0041】
【表3】
Figure 0004342149
【0042】
このシミュレーションでも、D65光源による撮影で肌色及び一般色が忠実に再現されるように色差マトリクスを最適化し、その上で、各種光源の下で撮影した時に再現される肌色の色度を計算する。この計算の結果得られたデータが図8に示すグラフである。この図8は、F6光源の下で撮影した肌色の色相改善度を示し、横軸がS435/S420の値であり、縦軸が色相差である。この図8によれば、色相差の絶対値が“0.6”以上であるのは、S435/S420の値が“0.5”以下の場合であることが分かる。
【0043】
図9,図10は、S545が存在することでF12光源での撮影で肌色の色相が悪化することを検証したシミレーション結果を示す図である。図9に示す実線の感度特性R2は、図4に示した感度特性R2と同一である。この感度特性R2に対して、S545の値を変えた2種類の感度特性R22,R21(R22>R21)を作る。感度特性R2,R21,R22の“S420”,“S435/S420”,“S545”の値を一覧表示したのが、次の表4である。
【0044】
【表4】
Figure 0004342149
【0045】
夫々のR感度(G感度,B感度は従来と同様である。)において、D65光源での撮影時に肌色および一般色が忠実に再現される様に色差マトリクスを最適化し、その上で各種光源で撮影したときに再現される肌色の色度を計算する。この計算結果を示すグラフが図10であり、横軸がS545の値であり、縦軸が色相差である。この図10によれば、F12光源において肌色が有意に改善されるのは、即ち、色相差の絶対値が“0.6”以上となるのは、S545の値が“15”以下であることが分かる。
【0046】
上述した赤色フィルタを設ける固体撮像素子は、図11で説明したハニカム配列構造のCCDに限らず、ベイヤー方式のCCDでもよく、また、CCDに限らず、CMOSセンサでも良く、F6光源,F12光源での撮影時に肌色の再現性が向上する。また、これらの固体撮像素子を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で肌色を撮像した場合、光源がF6光源やF12光源であっても肌色の再現性が優れた画像を撮像することができる。
【0047】
【発明の効果】
本発明によれば、F6光源やF12光源の下で肌色を撮影した場合でも肌色の再現色が赤味不足で黄緑(YG)味になるのを抑制することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態(イ)(ロ)に係る固体撮像素子で用いる赤色フィルタ付フォトダイオードの分光感度特性を示すグラフである。
【図2】図1に示す実施形態(イ)(ロ)の赤色フィルタ付固体撮像素子を搭載したデジタルスチルカメラの分光感度特性を示すグラフである。
【図3】図2に示す分光感度特性を持つデジタルスチルカメラでの肌色の色相角の変動を示すグラフである。
【図4】青色領域の波長に対する洩れを少しずつ変えた複数のR感度特性を示すグラフである。
【図5】図4に示すR感度特性R1,R2,R3による肌色の色相角変動量を示すグラフである。
【図6】本発明の実施例を適用したときに蛍光灯で撮影した肌色の色相改善度を示すグラフである。
【図7】R分光感度のうちS435/S420を少しずつ変化させた分光感度特性を示すグラフである。
【図8】図7に示す感度特性Ra,Rb,Rcによる肌色色相の改善度を示すグラフである。
【図9】R分光感度のうちS545を少しずつ変化させた分光感度特性を示すグラフである。
【図10】図9に示す感度特性R2,R21,R22による肌色色相の改善度を示すグラフである。
【図11】ハニカム配列構造を持つ固体撮像素子の説明図である。
【図12】従来の各色フィルタを搭載した固体撮像素子の分光感度特性を示すグラフである。
【図13】D65光源,F6光源,F12光源の放射エネルギ分布を示すグラフである。
【符号の説明】
D65 太陽光光源
F6 普通型白色蛍光灯
F12 電球色蛍光灯
R(イ),R(ロ) R分光感度特性
R1,R2,R3,R21,R22,Ra,Rb,Rc シミュレーションで用いたR分光感度特性

Claims (2)

  1. 赤色の光を透過する赤色フィルタと緑色の光を透過する緑色フィルタと青色の光を透過する青色フィルタとが設けられた固体撮像素子を搭載し、太陽光撮影で最適化された色差マトリクスを用いて肌色再現を行う撮像装置において、前記赤色フィルタを設けたフォトダイオードのピーク感度値を値100としたとき、該赤色フィルタ付フォトダイオードの分光感度として波長420nmの光に対して値5以上9.42以下の感度を有し、且つ、波長435nmの光に対する感度(S435)と波長420nmの光に対する感度との比(S435/S420)の値を0.06以上0.5以下とした固体撮像素子を搭載したことを特徴とする撮像装置。
  2. 前記赤色フィルタ付フォトダイオードは、波長545nmにおける感度の値が2.7以上15以下であることを特徴とする請求項1に記載の撮像装置。
JP2002137305A 2002-05-13 2002-05-13 固体撮像素子と撮像装置 Expired - Fee Related JP4342149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002137305A JP4342149B2 (ja) 2002-05-13 2002-05-13 固体撮像素子と撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002137305A JP4342149B2 (ja) 2002-05-13 2002-05-13 固体撮像素子と撮像装置

Publications (2)

Publication Number Publication Date
JP2003332543A JP2003332543A (ja) 2003-11-21
JP4342149B2 true JP4342149B2 (ja) 2009-10-14

Family

ID=29699103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002137305A Expired - Fee Related JP4342149B2 (ja) 2002-05-13 2002-05-13 固体撮像素子と撮像装置

Country Status (1)

Country Link
JP (1) JP4342149B2 (ja)

Also Published As

Publication number Publication date
JP2003332543A (ja) 2003-11-21

Similar Documents

Publication Publication Date Title
US10389959B2 (en) Image-capturing device and image sensor
JP4324404B2 (ja) 固体撮像装置及びデジタルカメラ
TWI249950B (en) Color imaging element and color signal processing circuit
US7148920B2 (en) Solid state image pickup device capable of distinguishing between light sources and image pickup apparatus using such solid state image pickup device
CN205726019U (zh) 成像系统、成像设备和图像传感器
US9497370B2 (en) Array camera architecture implementing quantum dot color filters
KR100818987B1 (ko) 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
CN103503143B (zh) 固体摄像元件以及摄像装置
JP2008524924A (ja) 複レンズ式撮像系および方法
JP5501448B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5589073B2 (ja) 撮像装置及びホワイトバランスゲイン算出方法
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JP4049257B2 (ja) 固体撮像装置及びデジタルカメラ
JP2005033609A (ja) 固体撮像装置及びデジタルカメラ
US8848077B2 (en) Imaging apparatus and imaging method
JP4342149B2 (ja) 固体撮像素子と撮像装置
JP4303922B2 (ja) 固体撮像素子および撮像装置
JP5677413B2 (ja) 撮像装置
JP4681792B2 (ja) デジタルカメラ
JP4276847B2 (ja) 撮像装置
JP4724735B2 (ja) 固体撮像装置及びデジタルカメラ
JP4769851B2 (ja) 撮像装置
CN108683893A (zh) 利用量子点技术扩展cmos摄像机中传感器色域的方法
Noble The Technology Inside the New Kodak Professional DCS 620x Digital Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees