JP4422353B2 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP4422353B2
JP4422353B2 JP2001033362A JP2001033362A JP4422353B2 JP 4422353 B2 JP4422353 B2 JP 4422353B2 JP 2001033362 A JP2001033362 A JP 2001033362A JP 2001033362 A JP2001033362 A JP 2001033362A JP 4422353 B2 JP4422353 B2 JP 4422353B2
Authority
JP
Japan
Prior art keywords
gradation conversion
contrast
luminance
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001033362A
Other languages
English (en)
Other versions
JP2002237995A5 (ja
JP2002237995A (ja
Inventor
哲也 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001033362A priority Critical patent/JP4422353B2/ja
Publication of JP2002237995A publication Critical patent/JP2002237995A/ja
Publication of JP2002237995A5 publication Critical patent/JP2002237995A5/ja
Application granted granted Critical
Publication of JP4422353B2 publication Critical patent/JP4422353B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Cameras In General (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、電子カメラに関し、特にシーンの輝度にかかわらず撮影時に撮影者が認識した階調特性を記録画像上に再現できるようにした電子カメラに関する。
【0002】
【従来の技術】
一般に、電子カメラにおいては、階調特性(明るさ特性)はカメラの種別によってプリセット状態で設定されており、露光調整によって全体の像の明るさを調整するけれども、最も明るいシーンから最も暗いシーンまで階調については一律に決まったものとなっている。最近の電子カメラにおいては、コントラストについてはユーザが選択設定できるようになっているものもあるが、選択選定したレベルのコントラストで継続して撮影されるようになっており、シーンによってあるいは撮影状態によってコントラストを自動的に変えるような構成にはなっていない。
【0003】
また、撮影した後、ユーザが撮影画像をパソコン上でコントラストの調整を行ったり、あるいはコントラストの調整を自動的に行うためのソフトウェアは知られているが、そのユーザの調整やソフトウェアも、撮影画像を解析して、低コントラストのものは高くし、高コントラストのものは低くするなど、画像のコントラストを一定値にするのを目的とするものであり、撮影するシーンの状態によってコントラストを調整することは行われていない。
【0004】
【発明が解決しようとする課題】
ところで、図7はシーン輝度と人間の眼の明るさ反応の関係を示すグラフ図で、横軸はシーン輝度、すなわち撮影時のその場の輝度を示し、その高低は明るい場及び暗い場を示しており、縦軸は明るさ反応を示している。この図からわかるように、人間の眼では、シーン輝度の高い明るい場では輝度変化に対する明るさの反応の幅が広くなり、コントラストが実際のコントラストより高く感じられ、シーン輝度の低い暗い場では明るさ反応の幅が狭くなり、実際のコントラストより低く感じられる。
【0005】
このように、明るい環境では暗い環境に比べてコントラストが高く認識されるという視感度特性が知られているが、一方、電子カメラでは上記のように、シーンの明暗に拘らずシーンに対する階調特性は一般的に固定されており、したがって、明るいシーンの撮影画像は、撮影者がその場で感じた階調に比べてコントラストが低く感じられ、暗いシーンではその逆になり、実際にその場で撮影者が感じた階調と撮影された画像の階調とが違って来る可能性がある。
【0006】
本発明は、従来の電子カメラにおける上記問題点を解消するためになされたもので、シーンの輝度に応じて実際の撮影画像の階調特性(コントラスト)を変えられるようにした電子カメラを提供することを目的とする。
【0007】
【課題を解決するための手段】
上記問題点を解決するため、本発明は、結像された被写体像を光電変換して電子的な画像データを得るための撮像手段と、該撮像手段による撮影時のシーンの輝度情報を検出する輝度検出手段と、前記撮像手段により得られた画像データに対し、階調変換処理を行う階調変換手段と、前記輝度検出手段により検出された輝度情報に応じて、階調変換特性を変更するように前記階調変換手段を制御する制御手段とを備え、前記制御手段は、前記輝度検出手段により検出された輝度情報の値の増減に応じて、コントラストが増減するように階調変換特性を変更すべく、前記階調変換手段を制御し、更に、被写体に向けて発光を行うストロボ手段を備え、前記制御手段は、前記ストロボ手段による発光が行われたときに、基準となる階調変換特性により階調変換処理を行うように前記階調変換手段を制御するようにして電子カメラを構成するものである。
【0008】
このように構成した電子カメラにおいては、シーン輝度に応じて記録画像の階調変換特性を調整するようになっているので、シーンの輝度が高く明るいときには、撮影者はシーンのコントラストを「高い」と感じているはずなので、通常より高いコントラストの階調特性とし、シーン輝度が低く暗いときにはその逆とする。これにより、その場合での人間の視感度に合った画像を取得することができる。また、ストロボ発光時には階調変換処理は標準で行われるように制御しているので、ストロボ発光時において画質を悪化させることを防止することができる。
【0009】
【発明の実施の形態】
次に、実施の形態について説明する。図1は、本発明に係る電子カメラの実施の形態を示すブロック構成図である。図1において、1はズームレンズ系、2はズームレンズ系により結像された被写体像を光電変換するCCD等の撮像素子、3は撮像素子2から出力される撮像信号を処理するための撮像回路、4はA/D変換回路、5は撮影画像を記録するメモリカード用のメモリI/F、6は着脱可能に装着されるメモリカード7を装着するためのカードスロットである。8はA/D変換された画像データのJPEG圧縮伸長処理、リサイズ処理等の画像処理を行う画像処理部、9は画像処理部8で画像処理を行う場合等に用いる一時的記憶用のRAM、10は階調変換テーブル等の画像処理用の情報を記憶しているROM、11は外部入出力端子12からの入出力信号用の外部I/F、13はLCD画像表示部15へ表示する画像信号用のビデオメモリ、14はビデオ出力回路、16はビデオ出力端子である。17はズームレンズ系駆動用のレンズ駆動部、18はレンズ駆動制御回路、19はストロボ発光部、20は各指示の入力を行う操作部、21は各部の動作の制御処理、色変換処理、階調変換処理等を行うシステムコントローラ、22は各部への電力を供給する電源部、23はカメラ電池、24は外部電源入力端子である。
【0010】
次に、このように構成されている電子カメラの動作について説明する。電子カメラの撮影モード全体の概略動作については、まとめて後述することとし、まず最初に本発明の従来のものとは異なる特有の動作について説明する。
【0011】
本発明は、撮影シーンの輝度値に応じて、システムコントローラ21で撮像信号の階調変換処理を行うようになっているが、この階調変換処理は、図2に示すような階調変換テーブルを用いて行われる。この図示例では、▲1▼,▲2▼,▲3▼の3つの階調変換特性をもつテーブルを示しているが、この階調変換テーブルはROM10に記憶されていて、これを読み出してシステムコントローラ21で階調変換処理を行うようになっている。図2に示す階調変換テーブルの横軸は、階調変換前のデジタル値、すなわち露出制御された撮像素子2の出力信号のデジタル値であり、縦軸は階調変換後のデジタル値を示している。▲1▼,▲2▼,▲3▼の3つの階調変換テーブルの中、▲2▼の階調変換テーブルを標準とすると、▲1▼で示す階調変換特性をもつテーブルはコントラストの低い画像を作成するのに用いる階調変換テーブルとなり、▲3▼で示す階調変換特性をもつテーブルはコントラストの高い画像を作成するのに用いる階調変換テーブルとなる。そして、シーンの輝度に応じて、どの階調変換テーブルを使用するかを自動的に選択して階調変換処理を行うこととなる。
【0012】
次に、階調変換テーブルの選択手法について説明する。A/D変換回路4から出力されるデジタル化されたCCD撮像信号が、前記階調変換テーブルの階調変換前のデジタル値であり、この値を階調変換テーブルに対応させて階調変換処理を行うわけであるが、電子カメラで実際の撮像を行う場合には、本撮像を行う前に露出制御(AE)を行う必要があり、この露出制御に際してはシーンの明るさ(輝度)を測定する。シーンの明るさ測定には種々の手法があるが、この実施の形態では例えば撮像素子2の出力からシーンの明るさの測定を行い、その測定されたシーンの明るさに基づいて、図3に示すようなプログラム線図の実線に沿ってシャッタスピードと絞り値が設定されるようになっている。
【0013】
シャッタスピードと絞り値が決まると、シーンの輝度がどの程度かがわかる。この図3に示した例では、シーンの輝度レンジを3つの領域に分けている。すなわち、このグラフ図の左下領域のシャッタスピードが遅く更に絞り値が小さい露出量を多くとる暗いシーンを輝度レンジ1の領域とし、右上領域のシャッタスピードが速く更に絞り値が大きい露出量を小さくする明るいシーンを輝度レンジ3とし、中間の領域を輝度レンジ2とするように、輝度レンジを3つの領域に分け、どの輝度レンジに当該シーンが入っているかによって、階調変換テーブル▲1▼,▲2▼,▲3▼のどのテーブルを使うかを自動的に選択設定する。例えば、最も簡単な選択設定手法としては、標準状態の輝度レンジ2の場合には、▲2▼の階調変換テーブルを使い、輝度レンジ1の暗い部分に関しては、階調(コントラスト)を低くするため▲1▼の階調変換テーブルを用い、輝度レンジ3の場合には▲3▼の階調変換テーブルを用いるようにする。このような選択設定手法が最も簡単な手法である。
【0014】
階調変換テーブルの選択設定手法としては、上記手法の他に次のような設定手法がある。実際に撮影された画像自体のコントラスト、つまりシーンの明るさだけでなく、撮影された画像データのコントラスト、すなわち、その画像の中に明るい部分と暗い部分がどの程度含まれているかという態様を判断して、それによって、もともとコントラストが高い画像を更に高くするのは好ましい方向ではないので、そのような階調変換処理は行わないようにし、またもともとコントラストが低い画像を更に低くするようなことは好ましい方向からずれるので、そのような階調変換処理も行わないというような設定手法を用いることもできる。
【0015】
ここで、上記設定手法において用いる画像コントラストの判定の手法について、図4のヒストグラムとコントラストとの関係図を参照しながら説明する。このヒストグラムは、横軸に画像信号のデジタル値(0〜255 )をとり、縦軸にそのデジタル値をもつ画素の出現頻度を示している。図4において、Min-10 %はヒストグラム全面積(全画素数)に対して左裾部分の面積比率が10%となるデジタル値(画素値)を、Max-10 %は全面積に対して右裾部分の面積比率が10%となるデジタル値を示しており、その差〔Max-10 %−Min-10 %〕を、その画像のコントラストと定義する。この定義の手法は、ノイズの影響を避けるための手法で、上記定義によれば、コントラストは上記ヒストグラムの両側部をカットしたヒストグラムの山の幅部分に相当するものとなり、その山の幅が狭い部分に分布していると、コントラストが低い画像(朝もやや霧がかったシーンなど)とみなされ、山の幅が広い状態で分布していると、コントラストが高い画像(晴れた日に影が存在しているシーンなど)とみなされる。
【0016】
このようにして画像のコントラストを求めたのち、次のようにして輝度レンジに階調変換テーブルを対応させて階調変換処理を行う。すなわち、シーン輝度(輝度レンジ1,2,3)とコントラスト(0〜255 )と階調変換テーブル▲1▼,▲2▼,▲3▼の関係を表した図5に示すように、輝度レンジ1,2,3を階調変換テーブル▲1▼,▲2▼,▲3▼にそのまま対応させるのではなく、コントラストをみながら、コントラストの高い画像に対しては、例えば階調変換テーブル▲3▼のように高くするものを適用するのは、シーンのコントラストがもともと高いのに更にコントラストを高めることになり、好ましい方向ではないので、このような階調変換処理は行わずに、標準の階調変換テーブル▲2▼のままにしておくとか、また非常にシーンの輝度が低くて輝度レンジ1の領域に入っている画像に対して階調変換テーブル▲1▼のように低くするものを適用するのは、コントラストがもともと低いのに更にコントラストを低くすることになり、好ましい方向ではないので、そのような階調変換処理は行わず、標準の階調変換テーブル▲2▼を用いるようにする。
【0017】
すなわち、単純な手法では、本来ならば、図5において一番上の輝度レンジ3の領域のものに対しては、いずれのコントラストの画像でも階調変換テーブル▲3▼を対応させてもよいのではあるが、上記理由により、コントラストの高い画像に対してだけは標準の階調変換テーブル▲2▼を用いるようにする。また一番下の輝度レンジ1の領域の画像に対しても、コントラストの低い画像には標準の階調変換テーブル▲2▼を用いるようにする。
【0018】
このように、標準状態の階調変換テーブル▲2▼を変えて階調変換処理を行うのは、輝度が高くて且つコントラストが標準か若しくは低いシーンに対して階調変換テーブル▲3▼を用いて階調変換処理を行うか、あるいは輝度が低くて暗いシーンで且つコントラストは標準か若しくは高いシーンに対して階調変換テーブル▲1▼を用いて階調変換処理を行う場合だけにする。このような関係をもたせて階調変換処理を行うことにより、極めて好ましい画質の階調変換画像が得られる。
【0019】
なお、ストロボ発光を伴う撮影時には、もともとストロボはシーンが暗い場合に発光するようになっており、ストロボ発光すると画像コントラストはある程度よくなるように制御されるので、ストロボ発光時に更にコントラストを変える階調変換処理を加えると、かえって画質を悪化させることがある。したがって、ストロボ発光時には階調変換処理は標準で行われるように設定する。
【0020】
次に、以上説明した階調変換処理動作を含めた撮像モード全体の動作の概要を、図6に示すフローチャートに基づいて説明する。撮像モードが設定されると、まずズームレバーが操作されているか否かの判定が行われ(ステップS1)、ズームレバーが操作されている場合はTELE又はWIDEの設定に対応してズームレンズ系1がレンズ駆動部17により駆動される(ステップS2)。ズームレバーの操作がなされていない場合、続いて第1のレリーズの押下操作が行われたか否かの判定が行われ(ステップS3)、第1のレリーズ押下操作が行われている場合、プリ撮像信号に基づいてAE,AF動作が行われる(ステップS4)。続いて第2のレリーズの押下操作の判定が行われ(ステップS5)、第2のレリーズ押下操作が行われている場合、本撮像が実行され撮像回路3で撮像信号処理が行われ(ステップS6)、続いて、WB(ホワイトバランス)、色変換処理が行われる(ステップS7,S8)。
【0021】
次いで、ストロボ発光が行われたか否かの判定が行われ(ステップS9)、ストロボ発光が行われていない場合、AEの結果からシーンの輝度レンジを判定し(ステップS10)、次いで画像のヒストグラムからコントラストを判定し(ステップS11)、次いで輝度レンジとコントラストの判定結果によって、図5に示した表に従って階調変換処理に使用する階調変換テーブルを選択し(ステップS12)、実際の階調変換処理を実行する(ステップS13)。
【0022】
なお、前記ストロボ発光の判定ステップS9において、ストロボ発光を行っている場合は、先に述べた理由で階調変換テーブルの標準テーブル▲2▼に設定し(ステップS14)、階調変換処理を行う(ステップS13)。階調変換処理を行った画像データは、次いで、データ圧縮処理が行われ(ステップS15)、圧縮処理された画像データはメモリカード7へ記録される(ステップS16)。
【0023】
以上の動作で撮像モードの一連の処理が終了するが、先に述べたように、階調変換テーブルはROM10に収納されており、シーン輝度及び画像コントラストに応じて対応する階調変換テーブルを選択し、そのテーブルを用いた階調変換処理はシステムコントローラ21で行われ、階調変換処理された画像データの圧縮処理は画像処理部8で行われる。
【0024】
なお、上記動作説明においては、AE動作のための測光は第1のレリーズ押下操作で得られるプリ撮像信号に基づいて行われるようにしたものを示したが、別個の測光素子を設け、その測光素子からの測光信号を用いてAE動作を行わせるようにしてもよく、そのAE動作結果に基づいてシーンの輝度レンジを判定してもよい。更に、測光によるAE動作結果を利用せず、別個の輝度検出手段でシーンの輝度を検出するようにしてもよい。
【0025】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、シーンの輝度に応じて実際の撮影画像の階調を変え、人間の視感度に合った画像を取得できるようにし、且つストロボ発光時においても画質の悪化を防止できるようにした電子カメラを提供することができる。
【図面の簡単な説明】
【図1】本発明に係る電子カメラの実施の形態を示すブロック構成図である。
【図2】階調変換処理において用いる階調変換テーブルを示す図である。
【図3】プログラム線図と輝度レンジの関係を示すグラフ図である。
【図4】画素値ヒストグラムとコントラストの関係を示す図である。
【図5】輝度レンジとコントラストと階調変換テーブルとの関係を示すグラフ図である。
【図6】図1に示した実施の形態の撮影モードの動作を説明するためのフローチャートである。
【図7】シーン輝度と人間の眼の明るさ反応の関係を示す図である。
【符号の説明】
1 ズームレンズ系
2 撮像素子
3 撮像回路
4 A/D変換回路
5 メモリI/F
6 カードスロット
7 メモリカード
8 画像処理部
9 RAM
10 ROM
11 外部I/F
12 外部入出力端子
13 ビデオメモリ
14 ビデオ出力回路
15 LCD画像表示部
16 ビデオ出力端子
17 レンズ駆動部
18 レンズ駆動制御回路
19 ストロボ発光部
20 操作部
21 システムコントローラ
22 電源部
23 カメラ電池
24 外部電源入力端子

Claims (5)

  1. 結像された被写体像を光電変換して電子的な画像データを得るための撮像手段と、該撮像手段による撮影時のシーンの輝度情報を検出する輝度検出手段と、前記撮像手段により得られた画像データに対し、階調変換処理を行う階調変換手段と、前記輝度検出手段により検出された輝度情報に応じて、階調変換特性を変更するように前記階調変換手段を制御する制御手段とを備え、前記制御手段は、前記輝度検出手段により検出された輝度情報の値の増減に応じて、コントラストが増減するように階調変換特性を変更すべく、前記階調変換手段を制御し、更に、被写体に向けて発光を行うストロボ手段を備え、前記制御手段は、前記ストロボ手段による発光が行われたときに、基準となる階調変換特性により階調変換処理を行うように前記階調変換手段を制御することを特徴とする電子カメラ。
  2. 前記制御手段は、前記輝度検出手段により検出された輝度情報が所定値より高いときに、基準となる階調変換特性よりコントラストが高くなるように階調変換特性を変更すべく、前記階調変換手段を制御することを特徴とする請求項1に係る電子カメラ。
  3. 前記制御手段は、前記輝度検出手段により検出された輝度情報が所定値より高く、且つ、そのシーンのコントラストが所定値より高いときには、基準となる階調変換特性によって階調変換処理を行うように前記階調変換手段を制御することを特徴とする請求項1に係る電子カメラ。
  4. 前記制御手段は、前記輝度検出手段により検出された輝度情報が所定値より低いときに、基準となる階調変換特性よりコントラストが低くなるように階調変換特性を変更すべく、前記階調変換手段を制御することを特徴とする請求項1に係る電子カメラ。
  5. 前記制御手段は、前記輝度検出手段により検出された輝度情報が所定値より低く、且つ、そのシーンのコントラストが所定値より低いときには、基準となる階調変換特性により階調変換処理を行うように前記階調変換手段を制御することを特徴とする請求項1に係る電子カメラ。
JP2001033362A 2001-02-09 2001-02-09 電子カメラ Expired - Fee Related JP4422353B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001033362A JP4422353B2 (ja) 2001-02-09 2001-02-09 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001033362A JP4422353B2 (ja) 2001-02-09 2001-02-09 電子カメラ

Publications (3)

Publication Number Publication Date
JP2002237995A JP2002237995A (ja) 2002-08-23
JP2002237995A5 JP2002237995A5 (ja) 2007-12-06
JP4422353B2 true JP4422353B2 (ja) 2010-02-24

Family

ID=18897122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001033362A Expired - Fee Related JP4422353B2 (ja) 2001-02-09 2001-02-09 電子カメラ

Country Status (1)

Country Link
JP (1) JP4422353B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888456B2 (ja) * 2002-09-10 2007-03-07 ソニー株式会社 デジタルスチルカメラ
JP4466261B2 (ja) 2004-07-30 2010-05-26 カシオ計算機株式会社 撮像装置、明るさ補正方法及びプログラム
JP4694424B2 (ja) * 2006-06-21 2011-06-08 三菱電機株式会社 認証装置
JP4629002B2 (ja) * 2006-06-21 2011-02-09 三菱電機株式会社 撮像装置
CN113408415B (zh) * 2021-06-18 2024-02-02 中国民用航空大连空中交通管理站 基于图像识别技术机场能见度与跑道视程的探测与显示方法

Also Published As

Publication number Publication date
JP2002237995A (ja) 2002-08-23

Similar Documents

Publication Publication Date Title
US10412296B2 (en) Camera using preview image to select exposure
US7298402B2 (en) Image-pickup apparatus with expanded dynamic range capabilities
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
KR100942634B1 (ko) 화상보정장치 및 화상보정방법과 컴퓨터 판독 가능한 매체
JP4914300B2 (ja) 撮像装置及び撮像制御方法
JP2002290829A (ja) 画像処理装置、プログラムおよび記録媒体
JP4200428B2 (ja) 顔領域抽出方法及び装置
JP4554094B2 (ja) 撮像装置
JP6741881B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2002135648A (ja) 撮像装置
JP2007036438A (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
JP4126784B2 (ja) 画像取り込み装置
JP4422353B2 (ja) 電子カメラ
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP4285668B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP4458194B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2001045363A (ja) カメラの自動露出装置
JPH10322592A (ja) 電子カメラの制御方法及び装置
JP2009063674A (ja) 撮像装置及びフラッシュ制御方法
JP4274207B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2004173251A (ja) カメラ
JP2003333381A (ja) 画像評価機能付き撮像装置
JP2012129611A (ja) 撮像装置
JP4635899B2 (ja) カメラ
JP3717790B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4422353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees