JPH07123314A - スチルビデオカメラの自動焦点調節装置 - Google Patents

スチルビデオカメラの自動焦点調節装置

Info

Publication number
JPH07123314A
JPH07123314A JP6220793A JP22079394A JPH07123314A JP H07123314 A JPH07123314 A JP H07123314A JP 6220793 A JP6220793 A JP 6220793A JP 22079394 A JP22079394 A JP 22079394A JP H07123314 A JPH07123314 A JP H07123314A
Authority
JP
Japan
Prior art keywords
signal
color
value
focusing
taking lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6220793A
Other languages
English (en)
Other versions
JP3579462B2 (ja
Inventor
Shinichi Kakiuchi
伸一 垣内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP22079394A priority Critical patent/JP3579462B2/ja
Publication of JPH07123314A publication Critical patent/JPH07123314A/ja
Application granted granted Critical
Publication of JP3579462B2 publication Critical patent/JP3579462B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【目的】 撮影レンズの合焦状態の検出精度を向上させ
るとともに、自動焦点調節に要する時間を短縮させる。 【構成】 CCDの前面に、G、Mg、YeおよびCy
のカラーフィルタ要素から成る補色市松カラーフィルタ
を配設する。各カラーフィルタ要素から得られる色信号
を、色毎にメモリに格納する。G、Mg、YeおよびC
yの色信号に微積処理を施すことにより、各色毎にAF
信号を得る。AF信号の値が最も高い色信号を用い、こ
のAF信号の値ができるだけ大きくなるように制御する
ことにより、撮影レンズの自動焦点調節を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、スチルビデオカメラに
設けられ、撮影レンズを合焦位置に定める自動焦点調節
装置に関する。
【0002】
【従来の技術】従来、撮像素子の前面にカラーフィルタ
を設けてカラー画像を得るように構成されたスチルビデ
オカメラにおける自動焦点調節装置として、カラーの画
素信号から輝度信号を検出し、この輝度信号を利用して
コントラスト法により撮影レンズの合焦状態を検出する
ものが知られている。この装置における自動焦点調節で
は、輝度信号はカラーフィルタの全ての色の画素信号か
ら求められ、撮影レンズは、その輝度信号に基づいて、
光量変化の高周波成分が最も多くなるような位置に定め
られる。
【0003】
【発明が解決しようとする課題】ところが各色フィルタ
別に考えた時、各々の出力信号信号のなかには、各画素
間の輝度差が小さい色信号も含まれており、このためコ
ントラストが低下して合焦状態を高精度に検出すること
は困難であった。また全ての色の画素信号から輝度信号
を得ているため、信号処理に時間がかかり、従来、自動
焦点調節動作をさらに迅速に行うことが望まれていた。
【0004】本発明は、撮影レンズの合焦状態の検出精
度を向上させるとともに、自動焦点調節に要する時間を
短縮させることを目的としている。
【0005】
【問題を解決するための手段】本発明に係るスチルビデ
オカメラの自動焦点調節装置は、所定の色の画素信号を
出力する撮像素子と、各色毎に画素信号を処理し、画素
信号のレベル変化の最も大きい色を選択する手段と、こ
の選択手段によって選択された画素信号に基づいて撮影
レンズの合焦状態を検出する合焦状態検出手段と、この
合焦状態検出手段の出力信号に従って撮影レンズを合焦
位置の方向に移動させるレンズ移動手段とを備えたこと
を特徴としている。
【0006】
【実施例】以下図示実施例により本発明を説明する。図
1は本発明の実施例を適用したスチルビデオカメラのブ
ロック図である。
【0007】システムコントロール回路10はマイクロ
コンピュータであり、本スチルビデオカメラ全体の制御
を行う。
【0008】撮影レンズ11はモータ12により駆動さ
れ光軸Xに沿って移動し、モータ12はモータ駆動回路
13によって駆動される。モータ駆動回路13はシステ
ムコントロール回路10によって制御され、これにより
撮影レンズ11は合焦位置に定められる。なおシステム
コントロール回路10には、自動焦点調節(以下、単に
AFという)およびシャッターレリーズを行うためのレ
リーズボタン19が接続されている。
【0009】撮影レンズ11の後方にはCCD(撮像素
子)21が設けられ、この撮像素子21の前面にはカラ
ーフィルタ29が配設されている。カラーフィルタ29
は、後述するようにグリーン(G)、マゼンタ(M
g)、イエロー(Ye)およびシアン(Cy)のカラー
フィルタ要素から構成される補色市松カラーフィルタで
ある。撮影レンズ11を通った光線は、カラーフィルタ
29を介してCCD21に入射する。
【0010】CCD21上に結像された画像に対応した
信号は相関二重サンプリング(CDS)回路23に供給
される。CDS23に入力された画像信号は、リセット
雑音の除去等の所定の処理を施された後、A/D変換器
25においてデジタル信号に変換され、各色毎に、Gメ
モリ81、Mgメモリ82、Yeメモリ83およびCy
メモリ84に格納される。すなわちGメモリ81、Mg
メモリ82、Yeメモリ83およびCyメモリ84に
は、それぞれG、Mg、YeおよびCyの色信号が格納
される。
【0011】これらの色信号はAF時、システムコント
ロール回路10において所定の処理を施され、これによ
り撮影レンズ11の合焦状態を示すAF信号が得られ
る。このAF信号に基づいてモータ駆動回路13が制御
され、撮影レンズ11は合焦位置に定められる。
【0012】図2は、カラーフィルタ29のカラーフィ
ルタ要素の配列を有している。この図に示されるように
カラーフィルタ29は、MgとGを交互に配置して成る
水平方向の列T1、T1’と、YeとCyを交互に配置
して成る水平方向の列T2とを有し、これらの列は垂直
方向に交互に、T1、T2、T1’、T2、T1、T2
・・・の順に配置されている。なおMgとGとから成る
列T1と、この列T1に近接し、MgとGとから成る他
の列T1’において、列T1のMgとGの垂直方向下方
には、列T1’のGとMgがそれぞれ位置している。
【0013】本実施例におけるAF動作を説明する。図
3は、一般的な被写体からの反射光線が撮影レンズ11
を介してカラーフィルタ29に入射した場合における、
CCD21の各フォトダイオード(各画素に対応してい
る)への入力信号と各フォトダイオードからの出力信号
との一例を示している。実線S1はカラーフィルタ29
への光線の入力レベル、すなわち1本の水平走査線上に
おける光量分布を示している。Gのカラーフィルタ要素
を通過した光線は、このフィルタ要素を通過したことに
より、被写体に含まれるグリーンの要素に応じて、実線
S2に示されるような画素信号分布となる。同様に、M
g、YeおよびCyのカラーフィルタ要素を通過した各
光線は、各フィルタ要素を通過したことにより、それぞ
れ実線S3、S4およびS5に示されるような画素信号
分布となる。この図の例では、特にYeとCyのフィル
タ要素を通過した光線は、画素信号のレベル変化が入力
信号のレベル変化に比べてなだらかになっている。
【0014】実線S2〜S5によって示される各色信号
は、CDS23において所定の処理を施された後、A/
D変換器25においてデジタル信号に変換され、それぞ
れGメモリ81、Mgメモリ82、Yeメモリ83およ
びCyメモリ84に格納される。これらの信号は、後述
するようにシステムコントロール回路10において所定
の微積処理を施され、これにより撮影レンズ11の合焦
状態を示すAF信号に変換される。
【0015】図4はAF信号を求める過程で得られる輝
度変化信号を示すものである。輝度変化信号S6、S
7、S8およびS9は、それぞれG、Mg、Yeおよび
Cyの各色信号を横方向画素に関して微分するととも
に、その微分値の絶対値をとることにより得られる。A
F信号は輝度変化信号を横方向画素に関して積分するこ
とにより得られ、実線S6、S7、S8およびS9によ
り囲まれる面積に等しい。この図において、各色信号に
おけるAF信号は、Gの色信号が最大値をとり、Mgの
色信号、Yeの色信号およびCyの色信号の順に小さく
なっている。すなわちこの例では、Gの色信号によるA
F信号が被写体の各部における輝度の差異(コントラス
ト)を最もよく表しており、G信号が高周波成分を最も
多く含んでいる。本実施例では、このように最大値を示
すAF信号が得られる色信号を用いて、AF動作が行わ
れる。
【0016】図5はAF動作のフローチャートであり、
AF動作はレリーズボタン19を半押しすることにより
開始する。ステップ101ではCCD21の出力信号が
A/D変換され、ステップ102では、G、Mg、Ye
およびCyの色信号がそれぞれGメモリ81、Mgメモ
リ82、Yeメモリ83およびCyメモリ84に読み込
まれる。ステップ103では、各メモリ毎に、所定の領
域の画素データが読み出される。この所定の領域とは、
例えば1画面の中央に位置する1本の水平走査線に対応
している。
【0017】ステップ104では、ステップ103にお
いて読み出された各色の画素データに微積処理が施さ
れ、AF信号が求められる。すなわち、図4において実
線S2〜S5によって示される各色信号に対応したデジ
タル信号が、微分された後、絶対値をとって積分される
ことにより、実線S6〜S9によって囲まれる面積、す
なわちAF信号が得られる。この微積処理の内容につい
ては後に詳述する。
【0018】ステップ105では、各色信号から、AF
信号が最大値をとる色信号が選択される。この後のAF
動作では、ステップ105において選択された色信号が
用いられる。ステップ105における色信号の選択処理
については後に詳述する。
【0019】ステップ106では、撮影レンズ11が初
期位置から所定量だけ移動させられる。なおこのとき、
撮影レンズ11を合焦位置に移動させるための移動方向
は不明であるため、撮影レンズ11は取敢えず所定の方
向(例えば前方)に移動させられる。
【0020】ステップ107、108では、それぞれス
テップ101、102と同様に、CCD21の出力信号
がA/D変換され、G、Mg、YeおよびCyの色信号
がそれぞれ各メモリ81〜84に読み込まれる。なお、
この後の処理ではステップ105において選択した色信
号のみが用いられるため、ステップ108の処理では、
この色信号だけをメモリに読み込むようにしてもよい。
これによりAF動作を高速化することができる。
【0021】ステップ109では、最初に選んだ色信
号、すなわちステップ105において選択した色信号の
微積処理が行われ、AF信号が求められる。ステップ1
10では、前回ステップ104(あるいは109)にお
いて求められたAF信号と今回ステップ109において
求められたAF信号とが比較されることにより、ステッ
プ106における撮影レンズ11の移動によってAF信
号の値が大きくなったか否かが判別される。AF信号が
大きくなっている場合、ステップ106に戻り、撮影レ
ンズ11はそれまでの移動方向と同じ方向に所定量だけ
移動させられる。これに対し、ステップ110において
AF信号の値が小さくなっていると判断された場合、前
回のステップ106の処理により撮影レンズ11は合焦
位置から遠ざかる方向に移動しているので、ステップ1
11へ移り、撮影レンズ11はそれまでとは逆方向に、
所定量だけ移動させられる。
【0022】ステップ112、113では、それぞれス
テップ107、108と同様に、CCD21の出力信号
がA/D変換され、G、Mg、YeおよびCyの色信号
がそれぞれ各メモリ81〜84に読み込まれる。このス
テップ113の処理でもステップ108と同様に、ステ
ップ105において選択された色信号だけをメモリに読
み込むようにしてもよい。
【0023】ステップ114では、ステップ109と同
様に、最初に選んだ色信号の微積処理が行われ、AF信
号が求められる。ステップ115では、ステップ110
と同様に、前回ステップ109(あるいは114)にお
いて求められたAF信号と今回ステップ114において
求められたAF信号とが比較されることにより、ステッ
プ111における撮影レンズ11の移動によってAF信
号の値が大きくなったか否かが判別される。AF信号が
大きくなっている場合、ステップ111に戻り、撮影レ
ンズ11はそれまでの移動方向と同じ方向に所定量だけ
移動させられる。これに対し、ステップ115において
AF信号の値が小さくなっていると判断された場合、前
回のステップ111の処理により撮影レンズ11は合焦
位置から遠ざかる方向に移動しているので、撮影レンズ
11はほぼ合焦位置にあると判断され、AF動作は終了
する。すなわち、この直前のステップ111の処理によ
り、撮影レンズ11は厳密には合焦位置から外れている
が、ステップ111における撮影レンズ11の移動量は
充分に小さく、その量は本実施例における自動焦点調節
の誤差範囲内であると見做される。
【0024】次に、ステップ104、109、114に
おける微積処理の内容について説明する。
【0025】画素データは、水平走査線方向の距離によ
って微分される。n番目の画素データに対する微分値
は、(n−1)番目の画素データと(n+1)番目の画
素データとの和の半分をn番目の画素データから引くこ
とにより得られる。すなわち、(n−1)番目、n番目
および(n+1)番目の画素データを(N−1)、N、
(N+1)とすると、n番目の画素データの微分値N’
は、 N’=N−(1/2){(N−1)+(N+1)} となる。そしてこの微分値N’の絶対値をとることによ
り、輝度変化信号(図4参照)が得られる。すなわち輝
度変化信号Lは、 L=|N−(1/2){(N−1)+(N+1)}| (1) として表される。
【0026】Kn-4 からKn+4 までの積分処理は、これ
らのデータの和をその個数で割ることにより得られる。
すなわち、その積分値Iは、 I=(1/9){ΣKi } (2) であり、ここでΣは(n−4)番目のデータから(n+
4)番目のデータまでの和をとることを示す。
【0027】したがって、(n−4)番目の画素データ
から(n+4)番目の画素データまでに基づいてAF信
号SAFを求めると、 SAF=(1/7) Σ|〔N− (1/2){(N−1)+(N+1)}〕| (3) であり、Σは(n−3)番目の画素データから(n+
3)番目の画素データまでの和をとることを示す。
【0028】図6は微積処理のフローチャートを示す。
ステップ201では、Gメモリ81から読み出された画
素データに基づき、(3)式に従ってGの色信号による
AF信号GAFが算出される。このAF信号GAFは、ステ
ップ202においてシステムコントロール回路10内の
メモリに格納される。
【0029】同様にして、ステップ203では、Mgメ
モリ82から読み出された画素データに基づいて、Mg
の色信号によるAF信号MgAFが算出され、ステップ2
04においてメモリに格納される。ステップ205で
は、Yeメモリ83から読み出された画素データに基づ
いて、Yeの色信号によるAF信号YeAFが算出され、
ステップ206においてメモリに格納される。またステ
ップ207では、Cyメモリ84から読み出された画素
データに基づいて、Cyの色信号によるAF信号CyAF
が算出され、ステップ208においてメモリに格納され
る。
【0030】図7は色信号選択処理のフローチャートを
示す。ステップ301では、AF信号GAFがAF値とし
ていったんシステムコントロール回路10のAF値メモ
リに格納される。ステップ302ではAF値がAF信号
MgAFよりも大きいか否かが判別される。AF値がAF
信号MgAFよりも大きいとき、次にステップ304が実
行されるが、AF値がAF信号MgAF以下であるとき、
ステップ303においてAF信号MgAFがAF値として
AF値メモリに格納される。
【0031】ステップ304では、AF値がAF信号Y
AFよりも大きいか否かが判別され、AF値がAF信号
YeAFよりも大きいとき、次にステップ306が実行さ
れる。これに対してAF値がAF信号YeAF以下である
とき、ステップ305においてAF信号YeAFがAF値
としてAF値メモリに格納される。ステップ306で
は、AF値がAF信号CyAFよりも大きいか否かが判別
され、AF値がAF信号CyAFよりも大きいとき、この
ルーチンはこのまま終了する。これに対してAF値がA
F信号CyAF以下であるとき、ステップ307において
AF信号CyAFがAF値としてAF値メモリに格納され
る。
【0032】このようにして、AF信号GAF、MgAF
YeAF、CyAFの中から最も大きい値をとるものが、A
F値としてAF値メモリに格納される。
【0033】以上のように本実施例は、各色信号のう
ち、各画素間の輝度差が大きい色信号のみを選択して合
焦状態を判定するように構成されているため、被写体か
らの反射信号に含まれる高周波成分の量を高精度に検出
することでき、したがって合焦状態の検出精度を向上さ
せることができる。また本実施例では、1つの色の画素
信号から輝度信号を得ているため、信号処理の時間を短
縮化することができ、AF動作を迅速に行うことが可能
となる。
【0034】なお上記実施例は、1つの色信号だけから
を用いて撮影レンズ11の合焦状態を検出するように構
成されていたが、2以上の色信号を用いてもよい。
【0035】また上記実施例では、CCD21は1つの
み示されているが、複数のCCDが撮影レンズ11から
相互に等しい光路長の位置に設けられ、また各CCDの
前面には同じ構成を有するカラーフィルタが配設される
構成であってもよい。
【0036】さらにカラーフィルタ29については、補
色市松カラーフィルタに限定されず、G,R/B方式の
2板式のフィルタでもよく、またG,R,Bの3板式の
フィルタでもよい。
【0037】また図5のステップ103において、画素
データを読み出す領域としては、水平走査線に限定され
ず、例えば1画面の中央部に位置する矩形の領域であっ
てもよい。
【0038】
【発明の効果】以上のように本発明によれば、撮影レン
ズの合焦状態の検出精度を向上させ、また自動焦点調節
に要する時間を短縮させることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例を適用したスチルビデオカメ
ラのブロック図である。
【図2】補色市松カラーフィルタのフィルタ要素の配列
を示す図である。
【図3】各カラーフィルタ要素を通ってCCDへ入力す
る信号とCCDからの出力信号とを示す図である。
【図4】CCDからの出力信号とこの信号から得られる
輝度変化信号とを示す図である。
【図5】AF動作のフローチャートである。
【図6】微積処理のフローチャートである。
【図7】色信号選択処理のフローチャートである。
【符号の説明】
11 撮影レンズ 21 CCD(撮像素子)

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 所定の色の画素信号を出力する撮像素子
    と、各色毎に前記画素信号を処理し、画素信号のレベル
    変化の最も大きい色を選択する手段と、この選択手段に
    よって選択された画素信号に基づいて撮影レンズの合焦
    状態を検出する合焦状態検出手段と、この合焦状態検出
    手段の出力信号に従って撮影レンズを合焦位置の方向に
    移動させるレンズ移動手段とを備えたことを特徴とする
    スチルビデオカメラの自動焦点調節装置。
  2. 【請求項2】 前記選択手段は画素信号に微積処理を施
    すことにより各色毎にAF信号を生成し、AF信号が最
    大値をとる色を選択することを特徴とする請求項1に記
    載のスチルビデオカメラの自動焦点調節装置。
  3. 【請求項3】 前記微積処理は、画素信号を水平走査線
    方向の距離によって微分するとともに、その微分値の絶
    対値を積分するものであることを特徴とする請求項2に
    記載のスチルビデオカメラの自動焦点調節装置。
  4. 【請求項4】 前記合焦状態検出手段は、選択された色
    のAF信号の値が撮影レンズの移動によって大きくなっ
    ていると判断したとき、撮影レンズをそれまでの移動方
    向と同じ方向に移動させることを特徴とする請求項2に
    記載のスチルビデオカメラの自動焦点調節装置。
  5. 【請求項5】 前記合焦状態検出手段は、選択された色
    のAF信号の値が撮影レンズの移動によって小さくなっ
    ていると判断したとき、撮影レンズをそれまでの移動方
    向とは逆方向に移動させることを特徴とする請求項2に
    記載のスチルビデオカメラの自動焦点調節装置。
JP22079394A 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置 Expired - Fee Related JP3579462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22079394A JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-240275 1993-09-02
JP24027593 1993-09-02
JP22079394A JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Publications (2)

Publication Number Publication Date
JPH07123314A true JPH07123314A (ja) 1995-05-12
JP3579462B2 JP3579462B2 (ja) 2004-10-20

Family

ID=26523915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22079394A Expired - Fee Related JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Country Status (1)

Country Link
JP (1) JP3579462B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967505A2 (en) * 1998-06-18 1999-12-29 Agfa Corporation Autofocus process and system with fast multi-region sampling
JP2006267261A (ja) * 2005-03-22 2006-10-05 Victor Co Of Japan Ltd オートフォーカス装置
WO2015012096A1 (ja) * 2013-07-22 2015-01-29 オリンパスメディカルシステムズ株式会社 医療用観察装置
JP2020043337A (ja) * 2016-02-25 2020-03-19 株式会社東京精密 制御装置及び制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967505A2 (en) * 1998-06-18 1999-12-29 Agfa Corporation Autofocus process and system with fast multi-region sampling
EP0967505A3 (en) * 1998-06-18 2003-07-30 Agfa Corporation Autofocus process and system with fast multi-region sampling
JP2006267261A (ja) * 2005-03-22 2006-10-05 Victor Co Of Japan Ltd オートフォーカス装置
WO2015012096A1 (ja) * 2013-07-22 2015-01-29 オリンパスメディカルシステムズ株式会社 医療用観察装置
JP2020043337A (ja) * 2016-02-25 2020-03-19 株式会社東京精密 制御装置及び制御方法

Also Published As

Publication number Publication date
JP3579462B2 (ja) 2004-10-20

Similar Documents

Publication Publication Date Title
US5648817A (en) Dual type imaging device having multiple light sensitive elements
US7471329B2 (en) Digital camera that performs autofocusing according to chromatic and achromatic sensing elements
US6453124B2 (en) Digital camera
US8823858B2 (en) Imaging apparatus
US20080211902A1 (en) Imaging device
JP3634232B2 (ja) デジタルスチルカメラ
US7358999B2 (en) Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor
JP2959142B2 (ja) 固体撮像装置
CN103843318B (zh) 摄像设备及其控制方法
JP2010178027A (ja) カメラシステム
JPH0779444A (ja) スチルビデオカメラ
US7158183B1 (en) Digital camera
US20010055064A1 (en) Digital still camera
JPH07288824A (ja) 輝度信号生成装置
JP2001275033A (ja) デジタルスチルカメラ
JP3370438B2 (ja) スチルビデオカメラの露出制御装置
JP3579462B2 (ja) スチルビデオカメラの自動焦点調節装置
US6094537A (en) Auto focus camera
US5835143A (en) Automatic focusing system for a still video camera
JP3563508B2 (ja) 自動焦点調節装置
JPH06189187A (ja) 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP3397384B2 (ja) 撮像装置
JPH05316432A (ja) 撮像装置
JPH099132A (ja) 自動焦点調節装置及びカメラ
JPH0879597A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees