JP4015357B2 - ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法 - Google Patents

ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法 Download PDF

Info

Publication number
JP4015357B2
JP4015357B2 JP2000338714A JP2000338714A JP4015357B2 JP 4015357 B2 JP4015357 B2 JP 4015357B2 JP 2000338714 A JP2000338714 A JP 2000338714A JP 2000338714 A JP2000338714 A JP 2000338714A JP 4015357 B2 JP4015357 B2 JP 4015357B2
Authority
JP
Japan
Prior art keywords
signal
signal processing
video signal
lacking
recording medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000338714A
Other languages
English (en)
Other versions
JP2002152580A (ja
Inventor
悟 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000338714A priority Critical patent/JP4015357B2/ja
Publication of JP2002152580A publication Critical patent/JP2002152580A/ja
Application granted granted Critical
Publication of JP4015357B2 publication Critical patent/JP4015357B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【技術分野】
この発明は,ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法に関する。
【0002】
【発明の背景】
ディジタル・スチル・カメラ,ムービ・ビデオ・カメラなどのディジタル・カメラでは,CCDのような固体電子撮像素子を用いて被写体が撮像される。被写体を撮像することによって得られた映像信号は,画素補間,フィルタリング処理など様々な信号処理がカメラ内において行われる。
【0003】
しかしながら,信号処理は日々進歩しており,ディジタル・カメラにおいて行われる信号処理技術が古いものとなってしまうことがある。
【0004】
【発明の開示】
この発明は,古いディジタル・カメラを用いて被写体を撮像して得られた映像信号であっても最新の信号処理を行うことができるようにすることを目的とする。
【0005】
この発明によるシステムは,ディジタル・カメラおよびサーバとから構成されるシステムであって,上記ディジタル・カメラは,固体電子撮像素子を用いて被写体を撮像し,被写体像を表す映像信号を出力する撮像手段,上記撮像手段から出力された映像信号を記録媒体に記録するための複数の信号処理を行う第1信号処理手段,上記第1信号処理手段によって複数の信号処理が行われた映像信号を第1の記録媒体に記録する第1の記録制御手段,上記第1信号処理手段における複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を第2の記録媒体に記録する第2の記録制御手段,上記第1の記録媒体に記録されている複数の信号処理が行われた映像信号にもとづく一または複数の画像を表示する表示手段,上記表示手段によって表示された画像の中から,一または複数の画像の選択を受付ける画像選択手段,上記画像選択手段によって選択された画像に対応する,上記第2の記録媒体に記録されている複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を,読出す手段,ならびに上記読出し手段によって読出された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号および上記固体電子撮像素子の関連情報を上記サーバに送信する送信手段を備え,上記サーバは,ディジタル・カメラから送信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を受信する受信手段,および上記受信手段によって受信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号に対して,上記欠いている信号処理を,上記固体電子撮像素子の関連情報に基づいて実施する第2信号処理手段を備えていることを特徴とする。
【0006】
この発明は,上記システムに適した動作制御方法も提供している。すなわち,この方法は,ディジタル・カメラが,固体電子撮像素子を用いて被写体を撮像し,被写体像を表す映像信号を得,得られた映像信号を記録媒体に記録するための複数の信号処理を行い,複数の信号処理が行われた映像信号を第1の記録媒体に記録し,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を第2の記録媒体に記録し,上記第1の記録媒体に記録されている複数の信号処理が行われた映像信号にもとづく一または複数の画像を表示し,表示された画像の中から,一または複数の画像の選択を受付け,選択された画像に対応する,上記第2の記録媒体に記録されている複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を,読出し,読出した複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号および上記固体電子撮像素子の関連情報を上記サーバに送信し,上記サーバが,上記ディジタル・カメラから送信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を受信し,受信した,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号に対して,上記欠いている信号処理を,上記固体電子撮像素子の関連情報に基づいて実施するものである。
【0007】
この発明によると,被写体を撮像することにより被写体像を表す映像信号が得られる。得られた映像信号について複数の信号処理が行われ,信号処理された映像信号が記録媒体に記録される。特にこの発明においては,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号が得られ,上記固体電子撮像素子の関連情報とともに出力される。出力された映像信号は上記サーバにおいて受信される。欠いた信号処理に対応する信号処理がサーバにおいて実行される。最新の信号処理を実行できる信号処理機能をサーバが有していれば,上記固体電子撮像素子の関連情報を用いて最新の信号処理を実行できる。ディジタル・カメラ自体は,古いものであっても最新の信号処理技術を用いて信号処理された映像信号をサーバにおいて得ることができる。
【0008】
上記固体電子撮像素子の関連情報には,固体電子撮像素子の画素数,色フィルタ配列,先頭画素の種類,水平画素数,垂直画素数などがある。また,上記複数の信号処理は,一つの信号処理回路により実施するものでもよいし,複数の信号処理回路により実施するものでもよい。
【0012】
【実施例の説明】
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラ1とサーバ40との関係を示している。
【0013】
この実施例によるディジタル・スチル・カメラ1は,インターネットのようなネットワークを介してサーバ40と通信することができる。
【0014】
ディジタル・スチル・カメラ1においては,被写体を撮像することにより被写体像を表す画像データが得られる。得られた画像データについて複数の信号処理が行われ,その複数の信号処理のすべてが行われた画像データがメモリ・カードに記録される。
【0015】
この実施例によるディジタル・スチル・カメラ1においては,複数の信号処理のうち一部の信号処理が行われていない画像データ(RAW画像データという)を出力することができる。このRAW画像データがインターネットを介してサーバ40に送信される。ディジタル・スチル・カメラ1において行われていない信号処理をサーバ40において実施することができる。サーバ40において信号処理に関するソフトウエアが更新されることにより,サーバ40において最新の信号処理ができるようになる。より詳細は,以下の説明により明らかとなろう。
【0016】
図2は,ディジタル・スチル・カメラ1の電気的構成を示すブロック図である。
【0017】
ディジタル・スチル・カメラ1の全体の動作は,システム制御回路10によって統括される。
【0018】
ディジタル・スチル・カメラ1には,第1のコネクタ14および第2のコネクタ15が設けられている。第1のコネクタ14には,メモリ・カード20がディジタル・スチル・カメラ1の本体16に着脱自在に装着される。第2のコネクタ15には,モデム・カード30がディジタル・スチル・カメラ1の本体16に着脱自在に装着される。
【0019】
ディジタル・スチル・カメラ1の本体16には,データ入力装置12も含まれている。このデータ入力装置12には,モード設定スイッチ,駒指定スイッチ,電源スイッチ,シャッタ・レリーズ・ボタンなどが含まれている。モード設定スイッチにより通常記録モード,RAW記録モード(通常の画像データのほかにRAW画像データをメモリ・カード20に記録するモード),再生モード,アップロード・モード(RAW画像データをサーバ40にアップロードするモード)などを設定することができる。データ入力装置12により設定等を表わす信号は,システム制御回路10に入力する。
【0020】
モード設定スイッチにより通常記録モードが設定されると,撮像レンズ2によって被写体像がCCD4の受光面上に結像される。CCD4の前方には,光学的ロウ・パス・フィルタ3が設けられており,ノイズが除去される。
【0021】
CCD4には,駆動信号生成回路11から駆動信号が与えられている。与えられる駆動信号に応じて,CCD4の動作が制御され,被写体像を表すRGBのカラー映像信号が出力される。
【0022】
CCD4から出力されたカラー映像信号は,アナログ信号処理回路5において,増幅,相関二重サンプリングなどの所定のアナログ信号処理が行われる。アナログ信号処理回路5から出力されたカラー映像信号がアナログ/ディジタル変換回路6に与えられ,カラーのRGBディジタル画像データに変換される。
【0023】
アナログ/ディジタル変換回路6から出力されたRGB画像データは,ディジタル信号処理回路7にも与えられる。このディジタル信号処理回路7において,RGB画像データから輝度データおよび色差データの生成,画素補間,黒レベルのオフセット処理,白バランス調整などの所定のディジタル信号処理が行われる。ディジタル信号処理回路7から出力された画像データは,表示装置13にも与えられる。表示装置13の表示画面上に被写体像が表示されることとなる。
【0024】
シャッタ・レリーズ・ボタンが押されると,信号処理回路7から出力された画像データは,データ圧縮/伸長回路8に与えられ,データ圧縮が行われる。データ圧縮された画像データがインターフェイス9を介してコネクタ14に与えられる。コネクタ14にメモリ・カード20が装着されていることにより,圧縮された画像データがメモリ・カード20のインターフェイス21を介して半導体メモリ22に与えられ,記録されることとなる。
【0025】
この実施例によるディジタル・スチル・カメラ1においては,ディジタル信号処理回路7におけるディジタル信号処理を行う前の画像データ(上述したRAW画像データ)もメモリ・カード20に記録することができる。モード設定スイッチによりRAW記録モードが設定されると,上述のようにして被写体を撮像することにより得られ,アナログ/ディジタル変換回路6から出力された画像データ(この画像データがRAW画像データ)が信号処理回路7およびデータ圧縮/伸長回路8を介さずにインターフェイス9を通ってメモリ・カード20に与えられる。メモリ・カード20の半導体メモリ22には,上述したようにデータ圧縮された通常の画像データの他にRAWデータも記録される。もっとも,通常の画像データは記録せずにRWAデータのみをメモリ・カード20に記録するようにしてもよい。
【0026】
モード設定スイッチにより再生モードが設定されると,メモリ・カード20に記録されている画像データ(通常記録モードおいて記録された画像データ)が読み出される。読み出された画像データは,コネクタ14およびインターフェイス9を介してデータ圧縮/伸長回路8に与えられる。データ圧縮/伸長回路8においてデータ伸長が行われ,ディジタル信号処理回路7を介して表示装置13に入力する。表示装置13の表示画面上に,メモリ・カード20に記録されている画像データによって表される画像が表示されることとなる。
【0027】
モード設定スイッチによりアップロード・モードが設定されると,再生モードと同様にして,メモリ・カード20に記録されている通常記録モードにおいて記録された画像データが読み取られる。表示装置13の表示画面上にメモリ・カード20に記録されている画像データによって表される画像が表示される。ユーザは,表示装置13の表示画面上に表示されている画像を見ながら,サーバ40にアップロードする画像データに対応する画像が選択される。
【0028】
画像が選択されると,その選択された画像に対応するRAW画像データがメモリ・カード20から読み取られる。読み取られたRAW画像データは,コネクタ14,インターフェイス9およびコネクタ15を介してモデム・カード30に入力する。RAW画像データは,インターフェイス31を介してモデム32に与えられ,インターネットを介してサーバ40に送信されることとなる。ディジタル・スチル・カメラ1からサーバ40にRAW画像データを送信するときには,そのRAW画像データについての付帯情報もRAW画像データに関連づけられてサーバ40に送信される。
【0029】
図3は,付帯情報の一例である。
【0030】
付帯情報は,ディジタル・スチル・カメラ1にあらかじめ設定されている。付帯情報には,次のものがある。
【0031】
CCDの種別:
CCDの受光面上に設けられている色フィルタの配列を示すものである。「03H」が設定されていると,いわゆるGストライプR/B完全市松の色フィルタが用いられていることを示す。
【0032】
先頭画素:
CCDから読み出された映像信号の最初の色の画素を示す。「01H」が設定されていると,G画素が最初の画素であることを示す。
【0033】
水平画素数:
CCD4の水平画素数を示す。
【0034】
垂直画素数:
CCD4の垂直画素数を示す。
【0035】
黒レベルのオフセット値:
黒レベル(オプティカル・ブラック・レベル)のオフセット値を示すもので,Rの画素,Gの画素およびBの画素のそれぞれのオフセットが規定される。色フィルタがGストライプR/B完全市松の場合には,R画素の左隣に位置するG画素とB画素の左隣に位置するG画素とではオフセット量が異なるため,それぞれの画素に応じてオフセット量が規定される。
【0036】
白バランス調整のゲイン量:
白バランス調整のゲイン量を示すもので,Rの画素,Gの画素およびBの画素のそれぞれのオフセットが規定される。色フィルタがGストライプR/B完全市松の場合には,R画素の左隣に位置するG画素とB画素の左隣に位置するG画素とではゲイン量が異なるため,それぞれの画素に応じてゲイン量が規定される。
【0037】
図4は,ディジタル・スチル・カメラ1の動作を示すフローチャートである。
【0038】
メモリ・カード20には,RAW画像データが記録されているものとする。また,モード設定スイッチによりアップロード・モードが設定されているものとする。
【0039】
上述のようにメモリ・カード20に記録されている画像データが読み取られ,表示装置13に与えられることにより,読み取られた画像データによって表される画像が表示される。ユーザによって,表示装置13の表示画面上に表示された画像の中から,サーバ40にアップロードすべきRAW画像データに対応する画像がすべて選択される(ステップ41)。この選択は,データ入力装置12に含まれている駒指定スイッチを利用して行われるのはいうまでもない。画像がすべて選択されると,その指定された画像の数および画像リストが作成される(ステップ42)。
【0040】
指定された一駒目のRAW画像データがメモリ・カード20から読み出され,この読み出されたRAW画像データによって表される画像と付帯情報の水平画素数および垂直画素数とが比較され,対応する画像かどうかがチェックされる(ステップ43)。対応すると(ステップ43でYES),選択された画像に対応するRAW画像データがモデム・カード30に与えられ,サーバ40にアップロードされる(ステップ44)。また,そのRAW画像データに関連づけて付帯情報もサーバ40にアップロードされる(ステップ45)。
【0041】
作成された画像リストにしたがったすべての画像に対応するRAW画像データおよび付帯情報がサーバ40にアップロードされるまで,ステップ44および45の処理が繰り返される(ステップ46)。
【0042】
画像と付帯情報とが対応していないと(ステップ43でNO),どの点で対応していないかを示すエラー内容が表示装置13の表示画面上に表示されることとなる(ステップ47)。ユーザは,エラー内容に応じて再度画像の選択等の処理を行うこととなろう。
【0043】
このようにしてRAW画像データがサーバ40にアップロードされると,サーバ40において,ディジタル・スチル・カメラ1のディジタル信号処理回路7に相当するディジタル信号処理が行われる。サーバ40では,最新の信号処理のソフトウエアをインストールされることが比較的多い。ディジタル・スチル・カメラ1が古いものであっても最新のディジタル信号処理を実行することができる。たとえば,CCDの種別を示す付帯情報を用いて,CCDの色フィルタ配列がわかるのでRAW画像データの補間処理に適した補間処理ソフトウエアがわかる。また,先頭画素によりRAW画像データの色の順序がわかるので,RGBの順序に応じた輝度データおよび色差データを生成するための係数を決定できる。さらに,水平画素数および垂直画素数がわかるので,それらの画素数に応じて画素補間,輝度データおよび色差データの生成を繰り返す順番がわかる。このように付帯情報を利用してサーバ40においてディジタル信号処理回路7に応じた最新の信号処理が実現できるようになる。
【0044】
好ましくは,サーバ40においてディジタル信号処理されたRAW画像データをモデム・カード30を用いて受信できるようにするとよい。最新の信号処理された画像データをメモリ・カード20に記録できるようになる。
【0045】
さらに,上述の実施例においては,RAW画像データに対応した付帯情報をRAW画像データとともに常にサーバ40にアップロードしているが,RAW画像データを関連づけることができれば付帯情報は1回だけアップロードするものでもよい。
【図面の簡単な説明】
【図1】この発明の実施例を示すもので,ディジタル・スチル・カメラとサーバとの関係を示している。
【図2】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図3】付帯情報の一例を示している。
【図4】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【符号の説明】
1 ディジタル・スチル・カメラ
4 CCD
5 アナログ信号処理回路
7 ディジタル信号処理回路
10 システム制御回路
12 データ入力装置
20 メモリ・カード
30 モデム・カード
40 サーバ

Claims (2)

  1. ディジタル・カメラおよびサーバとから構成されるシステムにおいて,
    上記ディジタル・カメラは,
    固体電子撮像素子を用いて被写体を撮像し,被写体像を表す映像信号を出力する撮像手段,
    上記撮像手段から出力された映像信号を記録媒体に記録するための複数の信号処理を行う第1信号処理手段,
    上記第1信号処理手段によって複数の信号処理が行われた映像信号を第1の記録媒体に記録する第1の記録制御手段,
    上記第1信号処理手段における複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を第2の記録媒体に記録する第2の記録制御手段,
    上記第1の記録媒体に記録されている複数の信号処理が行われた映像信号にもとづく一または複数の画像を表示する表示手段,
    上記表示手段によって表示された画像の中から,一または複数の画像の選択を受付ける画像選択手段,
    上記画像選択手段によって選択された画像に対応する,上記第2の記録媒体に記録されている複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を,読出す手段,ならびに
    上記読出し手段によって読出された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号および上記固体電子撮像素子の関連情報を上記サーバに送信する送信手段を備え,
    上記サーバは,
    ディジタル・カメラから送信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を受信する受信手段,および
    上記受信手段によって受信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号に対して,上記欠いている信号処理を,上記固体電子撮像素子の関連情報に基づいて実施する第2信号処理手段を備えている,
    システム。
  2. ディジタル・カメラおよびサーバとから構成されるシステムにおいて,
    上記ディジタル・カメラは,
    固体電子撮像素子を用いて被写体を撮像し,被写体像を表す映像信号を得,
    得られた映像信号を記録媒体に記録するための複数の信号処理を行い,
    複数の信号処理が行われた映像信号を第1の記録媒体に記録し,
    複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を第2の記録媒体に記録し,
    上記第1の記録媒体に記録されている複数の信号処理が行われた映像信号にもとづく一または複数の画像を表示し,
    表示された画像の中から,一または複数の画像の選択を受付け,
    選択された画像に対応する,上記第2の記録媒体に記録されている複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を,読出し,
    読出した複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号および上記固体電子撮像素子の関連情報を上記サーバに送信し,
    上記サーバは,
    上記ディジタル・カメラから送信された,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号を受信し,
    受信した,複数の信号処理のうち少なくとも1つの信号処理を欠いた映像信号に対して,上記欠いている信号処理を,上記固体電子撮像素子の関連情報に基づいて実施する,
    システム動作制御方法。
JP2000338714A 2000-11-07 2000-11-07 ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法 Expired - Fee Related JP4015357B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000338714A JP4015357B2 (ja) 2000-11-07 2000-11-07 ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000338714A JP4015357B2 (ja) 2000-11-07 2000-11-07 ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法

Publications (2)

Publication Number Publication Date
JP2002152580A JP2002152580A (ja) 2002-05-24
JP4015357B2 true JP4015357B2 (ja) 2007-11-28

Family

ID=18813886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000338714A Expired - Fee Related JP4015357B2 (ja) 2000-11-07 2000-11-07 ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法

Country Status (1)

Country Link
JP (1) JP4015357B2 (ja)

Also Published As

Publication number Publication date
JP2002152580A (ja) 2002-05-24

Similar Documents

Publication Publication Date Title
JP3887060B2 (ja) 電子スチルカメラの画像補正情報記録装置および画像復元処理装置
JP4443735B2 (ja) 撮像装置およびその動作制御方法
US7808533B2 (en) Electronic camera having signal processing units that perform signal processing on image data
JP2004128985A (ja) 撮像システム、再生システム、撮像プログラム、再生プログラム
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
US20100141823A1 (en) Image Processing Apparatus And Electronic Appliance
WO2008150017A1 (ja) 信号処理方法および信号処理装置
JP2001008092A (ja) 画像データ形成装置および画像データ処理方法
JP2000244823A (ja) 撮像素子の欠陥画素補正装置
JP2002135789A (ja) 撮像装置及びその信号処理方法及びその信号処理を実行するモジュールを有する記憶媒体
JP4560180B2 (ja) 撮像装置
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
JP3496744B2 (ja) 画像データ記録装置およびディジタルカメラ
JPH114402A (ja) テンプレート画像と撮影画像の合成方法,テンプレート画像の記録方法,ディジタルカメラおよびテンプレート画像記録装置
JP4817529B2 (ja) 撮像装置及び画像処理方法
JP2008199271A (ja) 動画静止画兼用の撮像装置
JPH11168745A (ja) デジタルカメラ
JP4015357B2 (ja) ディジタル・カメラおよびサーバとから構成されるシステムならびにその動作制御方法
JP3971201B2 (ja) デジタルカメラ
JP4001501B2 (ja) 撮像装置
JP4256028B2 (ja) 圧縮符号化装置および方法
JP6594485B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP6602425B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP2007053482A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees