JPH10271518A - ビデオカメラ装置 - Google Patents
ビデオカメラ装置Info
- Publication number
- JPH10271518A JPH10271518A JP9068356A JP6835697A JPH10271518A JP H10271518 A JPH10271518 A JP H10271518A JP 9068356 A JP9068356 A JP 9068356A JP 6835697 A JP6835697 A JP 6835697A JP H10271518 A JPH10271518 A JP H10271518A
- Authority
- JP
- Japan
- Prior art keywords
- information
- luminance
- pseudo
- adjustment
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】 的確なアイリス調整及びループ収束性の向
上。 【解決手段】 ＣＣＤ撮像素子２から出力され、かつ画
像信号処理手段７に入力される前段での各画素情報を積
算していく（積算部９ｂ）ことで疑似輝度情報（明るさ
情報ＤAE）を生成し、これに基づいてアイリス調整を行
う。また、この輝度情報生成はホワイトバランスアンプ
よりも前段の各画素情報を積算して行う。
上。 【解決手段】 ＣＣＤ撮像素子２から出力され、かつ画
像信号処理手段７に入力される前段での各画素情報を積
算していく（積算部９ｂ）ことで疑似輝度情報（明るさ
情報ＤAE）を生成し、これに基づいてアイリス調整を行
う。また、この輝度情報生成はホワイトバランスアンプ
よりも前段の各画素情報を積算して行う。
Description
【０００１】
【発明の属する技術分野】本発明はＣＣＤ等のイメージ
センサを用いたビデオカメラ装置に関するものである。
センサを用いたビデオカメラ装置に関するものである。
【０００２】
【従来の技術】一般にＣＣＤ（CHARGE COUPLED DEVICE
）を固体撮像素子として用いたビデオカメラ装置が普
及しているが、これらのビデオカメラ装置では、オート
アイリス調整（自動絞り調整）、オートフォーカス調
整、オートホワイトバランス調整などの機能が搭載さ
れ、それぞれフィードバックループにより自動調整が実
行されるようにしている。
）を固体撮像素子として用いたビデオカメラ装置が普
及しているが、これらのビデオカメラ装置では、オート
アイリス調整（自動絞り調整）、オートフォーカス調
整、オートホワイトバランス調整などの機能が搭載さ
れ、それぞれフィードバックループにより自動調整が実
行されるようにしている。
【０００３】これらの自動調整を実現するための従来の
ビデオカメラ装置の構成を図３、図４に示す。まず図３
の構成において、レンズ系２１を介してＣＣＤ撮像素子
２２に入射される撮影光に応じて、ＣＣＤ撮像素子２２
からは例えばＲ、Ｇ、Ｂ各画素信号が出力される。画素
信号はＡＧＣ回路２３でゲインコントロールされた後、
Ａ／Ｄ変換器２４でデジタルデータに変換される。そし
てクランプ回路２５でデジタルクランプ処理された後、
ホワイトバランスアンプ２６でホワイトバランスのため
の各色の画素データに対して所定のゲインが与えられ
る。ホワイトバランスのためのゲイン調整が行われた
後、各画素データは輝度信号処理回路２７及びクロマ信
号処理回路２８に供給される。
ビデオカメラ装置の構成を図３、図４に示す。まず図３
の構成において、レンズ系２１を介してＣＣＤ撮像素子
２２に入射される撮影光に応じて、ＣＣＤ撮像素子２２
からは例えばＲ、Ｇ、Ｂ各画素信号が出力される。画素
信号はＡＧＣ回路２３でゲインコントロールされた後、
Ａ／Ｄ変換器２４でデジタルデータに変換される。そし
てクランプ回路２５でデジタルクランプ処理された後、
ホワイトバランスアンプ２６でホワイトバランスのため
の各色の画素データに対して所定のゲインが与えられ
る。ホワイトバランスのためのゲイン調整が行われた
後、各画素データは輝度信号処理回路２７及びクロマ信
号処理回路２８に供給される。
【０００４】輝度信号処理回路２７では供給されたＲ、
Ｇ、Ｂの画素データに対してγ補正やホワイトクリップ
などのプロセス処理を行うとともに、Ｒ、Ｇ、Ｂの画素
データを用いたマトリクス演算処理により輝度信号（Ｙ
信号）を生成し、撮影画像としての輝度信号として後段
の回路系に出力する。またクロマ信号処理回路２８も、
プロセス処理を施したＲ、Ｇ、Ｂの画素データを用いた
マトリクス演算処理により色差信号Ｒ−Ｙ，Ｂ−Ｙを生
成し、後段の回路系に出力する。
Ｇ、Ｂの画素データに対してγ補正やホワイトクリップ
などのプロセス処理を行うとともに、Ｒ、Ｇ、Ｂの画素
データを用いたマトリクス演算処理により輝度信号（Ｙ
信号）を生成し、撮影画像としての輝度信号として後段
の回路系に出力する。またクロマ信号処理回路２８も、
プロセス処理を施したＲ、Ｇ、Ｂの画素データを用いた
マトリクス演算処理により色差信号Ｒ−Ｙ，Ｂ−Ｙを生
成し、後段の回路系に出力する。
【０００５】ホワイトバランスアンプ２６における各色
の画素データに与えられるゲインはフィードバックルー
プにより制御されるが、このための各色の信号（Ｒ信
号、Ｇ信号、Ｂ信号）としてのレベルが検出される必要
がある。このため、Ｒ信号、Ｇ信号、Ｂ信号がクロマ信
号処理回路２８から抽出され、ホワイトバランス検波部
３１でレベル検出が行われる。各色の画素データのレベ
ル情報ＤAWB はマイクロコンピュータで形成されている
コントローラ３２に供給され、オートホワイトバランス
のための各色のゲインが算出される。例えば基準被写体
を撮影している状態においてＧ信号レベルに対してＲ信
号、Ｂ信号が同一レベルになるように、Ｒ信号、Ｂ信号
に対するゲインが算出される。そしてそのホワイトバラ
ンスゲイン制御情報ＳAWB がホワイトバランスアンプ２
６に供給され、例えばＲ信号ゲインとＢ信号ゲインが調
整される。
の画素データに与えられるゲインはフィードバックルー
プにより制御されるが、このための各色の信号（Ｒ信
号、Ｇ信号、Ｂ信号）としてのレベルが検出される必要
がある。このため、Ｒ信号、Ｇ信号、Ｂ信号がクロマ信
号処理回路２８から抽出され、ホワイトバランス検波部
３１でレベル検出が行われる。各色の画素データのレベ
ル情報ＤAWB はマイクロコンピュータで形成されている
コントローラ３２に供給され、オートホワイトバランス
のための各色のゲインが算出される。例えば基準被写体
を撮影している状態においてＧ信号レベルに対してＲ信
号、Ｂ信号が同一レベルになるように、Ｒ信号、Ｂ信号
に対するゲインが算出される。そしてそのホワイトバラ
ンスゲイン制御情報ＳAWB がホワイトバランスアンプ２
６に供給され、例えばＲ信号ゲインとＢ信号ゲインが調
整される。
【０００６】一方、オートアイリス動作、オートフォー
カス動作には撮影された画像信号の輝度情報が用いられ
る。即ち輝度信号処理回路２７で生成された輝度信号が
抽出されてオートアイリス検波部２９及びオートフォー
カス検波部３０に供給される。このオートアイリス検波
部２９及びオートフォーカス検波部３０において、それ
ぞれ絞り調整及びフォーカス調整のための情報ＤAE、Ｄ
AFが抽出されコントローラ３２に供給される。
カス動作には撮影された画像信号の輝度情報が用いられ
る。即ち輝度信号処理回路２７で生成された輝度信号が
抽出されてオートアイリス検波部２９及びオートフォー
カス検波部３０に供給される。このオートアイリス検波
部２９及びオートフォーカス検波部３０において、それ
ぞれ絞り調整及びフォーカス調整のための情報ＤAE、Ｄ
AFが抽出されコントローラ３２に供給される。
【０００７】コントローラ３２は情報ＤAE、即ち明るさ
情報に応じてアイリス制御信号ＳAEをタイミングジェネ
レータ３４及びＡＧＣ回路２３に出力して、ＣＣＤ露光
時間やゲイン調整を行わせ、アイリス調整を実現する。
またコントローラ３２は情報ＤAF、即ちレンズ系２１の
ピント状態に相当する情報に応じてフォーカス制御信号
ＳAFをフォーカスモータ３３に出力して、レンズ系２１
内のフォーカスレンズを移動させ、適切なフォーカス状
態が得られるようにする。
情報に応じてアイリス制御信号ＳAEをタイミングジェネ
レータ３４及びＡＧＣ回路２３に出力して、ＣＣＤ露光
時間やゲイン調整を行わせ、アイリス調整を実現する。
またコントローラ３２は情報ＤAF、即ちレンズ系２１の
ピント状態に相当する情報に応じてフォーカス制御信号
ＳAFをフォーカスモータ３３に出力して、レンズ系２１
内のフォーカスレンズを移動させ、適切なフォーカス状
態が得られるようにする。
【０００８】図４は従来のカメラ装置の他の構成例であ
る。ただし、図３の構成と同一部分については同一符号
を付し説明を省略する。この例の場合は、オートアイリ
ス検波部２９及びオートフォーカス検波部３０において
明るさ情報等を得るために、輝度信号生成部３５が輝度
信号処理回路２７とは独立して設けられているものであ
る。つまりホワイトバランスアンプ２６から出力される
Ｒ、Ｇ、Ｂの各画素データが輝度信号生成部３５に供給
されてオートアイリス検波及びオートフォーカス検波に
用いるための輝度信号が生成される。
る。ただし、図３の構成と同一部分については同一符号
を付し説明を省略する。この例の場合は、オートアイリ
ス検波部２９及びオートフォーカス検波部３０において
明るさ情報等を得るために、輝度信号生成部３５が輝度
信号処理回路２７とは独立して設けられているものであ
る。つまりホワイトバランスアンプ２６から出力される
Ｒ、Ｇ、Ｂの各画素データが輝度信号生成部３５に供給
されてオートアイリス検波及びオートフォーカス検波に
用いるための輝度信号が生成される。
【０００９】
【発明が解決しようとする課題】これらの従来の回路構
成では次のような問題がある。まず図３の構成の場合、
オートアイリス検波及びオートフォーカス検波に用いる
ための輝度信号は、輝度信号処理回路２７から取り出さ
れるわけであるが、この輝度信号は、輝度信号処理回路
２７内での多数の処理を経て得られる信号である。オー
トアイリス動作に関しては、なるべくＣＣＤ素子２２か
ら出力された画素信号に近い状態の信号に基づいて動作
制御されることが好ましいが、輝度信号処理回路２７内
の多段の処理を経た輝度信号を用いざるを得ない。
成では次のような問題がある。まず図３の構成の場合、
オートアイリス検波及びオートフォーカス検波に用いる
ための輝度信号は、輝度信号処理回路２７から取り出さ
れるわけであるが、この輝度信号は、輝度信号処理回路
２７内での多数の処理を経て得られる信号である。オー
トアイリス動作に関しては、なるべくＣＣＤ素子２２か
ら出力された画素信号に近い状態の信号に基づいて動作
制御されることが好ましいが、輝度信号処理回路２７内
の多段の処理を経た輝度信号を用いざるを得ない。
【００１０】一方、図４のように独立した輝度信号生成
部３５を設ける場合、輝度信号生成部内では検波専用の
輝度信号を生成すればよいため、検波にとって不要な処
理は省くことができるが、基本的には輝度信号生成回路
２７内と同様の輝度信号生成演算を行う回路が必要とな
る。つまり装置内に同様な回路構成の部位を２つ持つこ
とになり、構成上の無駄がある。
部３５を設ける場合、輝度信号生成部内では検波専用の
輝度信号を生成すればよいため、検波にとって不要な処
理は省くことができるが、基本的には輝度信号生成回路
２７内と同様の輝度信号生成演算を行う回路が必要とな
る。つまり装置内に同様な回路構成の部位を２つ持つこ
とになり、構成上の無駄がある。
【００１１】また図３、図４のいづれの場合も、オート
ホワイトバランス制御ループとオートアイリス制御ルー
プが交錯している。特にホワイトバランス調整は、なる
べく輝度／クロマ処理よりも前段で行うことが好ましい
ため、アイリス調整に用いる輝度信号はホワイトバラン
スアンプ２６よりも後段位置で取り出さざるを得ないた
めである。一方、アイリス調整とは基本的には明るさ調
整動作であり、ホワイトバランスは色バランスの調整で
あるといえるが、明るさが変化すればそれに応じた色の
変化も発生する。このため各例のように、アイリス調整
のための輝度信号をホワイトバランスアンプ２６より後
段から取り出さなければならないことは、各制御ループ
の動作が互いに他方のループに影響を与えることにな
り、各制御ループが収束しにくくなるという欠点を生む
ことになる。
ホワイトバランス制御ループとオートアイリス制御ルー
プが交錯している。特にホワイトバランス調整は、なる
べく輝度／クロマ処理よりも前段で行うことが好ましい
ため、アイリス調整に用いる輝度信号はホワイトバラン
スアンプ２６よりも後段位置で取り出さざるを得ないた
めである。一方、アイリス調整とは基本的には明るさ調
整動作であり、ホワイトバランスは色バランスの調整で
あるといえるが、明るさが変化すればそれに応じた色の
変化も発生する。このため各例のように、アイリス調整
のための輝度信号をホワイトバランスアンプ２６より後
段から取り出さなければならないことは、各制御ループ
の動作が互いに他方のループに影響を与えることにな
り、各制御ループが収束しにくくなるという欠点を生む
ことになる。
【００１２】
【課題を解決するための手段】本発明はこれらの問題点
に鑑みてなされたもので、特にオートアイリス調整のた
めの明るさ情報の抽出を簡易に実行できるようにすると
ともに、互いに影響を与える複数の制御ループが交錯し
ないようにし、ループ動作をより効率化することを目的
とする。
に鑑みてなされたもので、特にオートアイリス調整のた
めの明るさ情報の抽出を簡易に実行できるようにすると
ともに、互いに影響を与える複数の制御ループが交錯し
ないようにし、ループ動作をより効率化することを目的
とする。
【００１３】このためにビデオカメラ装置に、固体撮像
素子から出力され、かつ画像信号処理手段に入力される
前段での各画素情報を積算していくことで、疑似輝度情
報を生成する疑似輝度情報生成手段と、疑似輝度情報生
成手段から出力される疑似輝度情報を用いてアイリス調
整を行うアイリス調整手段とを設ける。固体撮像素子の
カラーフィルタを、Ｇ（グリーン）フィルタが市松状
（千鳥状）に配置されるとともに、ライン毎にＲ（レッ
ド）、Ｂ（ブルー）が交互に配置される、Ｇ市松及びＲ
Ｂ線順次方式とされたカラーフィルタとする場合、疑似
輝度情報生成手段は、２Ｇ＋Ｒ＋Ｂの演算により疑似輝
度信号を生成する。また、疑似輝度情報生成手段は、ホ
ワイトバランスアンプ手段よりも前段で得られる各画素
情報を積算していくことで、疑似輝度情報を生成するよ
うにする。画素情報の積算値である疑似輝度情報は、擬
似的な輝度信号として明るさ情報を有するものとなるた
め、画素情報の積算値を用いてアイリス調整を行うこと
ができる。また、この場合輝度信号を用いるものではな
いためホワイトバランスアンプよりも前段の画素情報を
用いることができる。
素子から出力され、かつ画像信号処理手段に入力される
前段での各画素情報を積算していくことで、疑似輝度情
報を生成する疑似輝度情報生成手段と、疑似輝度情報生
成手段から出力される疑似輝度情報を用いてアイリス調
整を行うアイリス調整手段とを設ける。固体撮像素子の
カラーフィルタを、Ｇ（グリーン）フィルタが市松状
（千鳥状）に配置されるとともに、ライン毎にＲ（レッ
ド）、Ｂ（ブルー）が交互に配置される、Ｇ市松及びＲ
Ｂ線順次方式とされたカラーフィルタとする場合、疑似
輝度情報生成手段は、２Ｇ＋Ｒ＋Ｂの演算により疑似輝
度信号を生成する。また、疑似輝度情報生成手段は、ホ
ワイトバランスアンプ手段よりも前段で得られる各画素
情報を積算していくことで、疑似輝度情報を生成するよ
うにする。画素情報の積算値である疑似輝度情報は、擬
似的な輝度信号として明るさ情報を有するものとなるた
め、画素情報の積算値を用いてアイリス調整を行うこと
ができる。また、この場合輝度信号を用いるものではな
いためホワイトバランスアンプよりも前段の画素情報を
用いることができる。
【００１４】
【発明の実施の形態】以下、図１、図２により本発明の
実施の形態を説明する。図１は本例のビデオカメラ装置
における、オートアイリス調整、オートフォーカス調
整、オートホワイトバランス調整の制御ループを含む要
部のブロック図である。
実施の形態を説明する。図１は本例のビデオカメラ装置
における、オートアイリス調整、オートフォーカス調
整、オートホワイトバランス調整の制御ループを含む要
部のブロック図である。
【００１５】図１において、レンズ系１として被写体か
らの光線をＣＣＤ撮像素子２に導くための各種レンズが
配置される。このレンズ系１内のフォーカス用のレンズ
は、フォーカスモータ１３により前後に移動可能に配置
されており、これによって撮影画像のフォーカス状態が
調整される構造となっている。ＣＣＤ撮像素子２の画素
は、例えば図２に示すようなＲ、Ｇ、Ｂ３原色フィルタ
構成とされている。図２はＣＣＤ撮像素子２のｎライン
目近辺の画素構成を示しているが、図からわかるよう
に、各画素のカラーフィルタの構成はＧ市松及びＲ／Ｂ
線順次方式とされている。つまりｎライン、ｎ＋２ライ
ン、ｎ＋４ラインは、Ｒ画素とＧ画素が交互に形成され
ており、一方、ｎ＋１ライン、ｎ＋３ライン、ｎ＋５ラ
インは、Ｇ画素とＢ画素が交互に形成されている。この
ように１ライン毎にＲ−Ｇ画素ラインとＢ−Ｇ画素ライ
ンが形成される。
らの光線をＣＣＤ撮像素子２に導くための各種レンズが
配置される。このレンズ系１内のフォーカス用のレンズ
は、フォーカスモータ１３により前後に移動可能に配置
されており、これによって撮影画像のフォーカス状態が
調整される構造となっている。ＣＣＤ撮像素子２の画素
は、例えば図２に示すようなＲ、Ｇ、Ｂ３原色フィルタ
構成とされている。図２はＣＣＤ撮像素子２のｎライン
目近辺の画素構成を示しているが、図からわかるよう
に、各画素のカラーフィルタの構成はＧ市松及びＲ／Ｂ
線順次方式とされている。つまりｎライン、ｎ＋２ライ
ン、ｎ＋４ラインは、Ｒ画素とＧ画素が交互に形成され
ており、一方、ｎ＋１ライン、ｎ＋３ライン、ｎ＋５ラ
インは、Ｇ画素とＢ画素が交互に形成されている。この
ように１ライン毎にＲ−Ｇ画素ラインとＢ−Ｇ画素ライ
ンが形成される。
【００１６】このようなカラーフィルタ配列とされたＣ
ＣＤ撮像素子２は、入射される撮影光に応じてＲ、Ｇ、
Ｂの各画素信号を出力する。出力された画素信号はＣＤ
Ｓ／ＡＧＣ回路３（CORRELATED DOUBLE SAMPLING /AUTO
GAIN CONTROL）で、相関２重サンプリングによるデー
タ抽出及びゲインコントロール処理が行われた後、Ａ／
Ｄ変換器４でデジタルデータに変換される。そしてクラ
ンプ回路５でデジタルクランプ処理された後、ホワイト
バランスアンプ６でホワイトバランスのための各色の画
素データに対して所定のゲインが与えられる。ホワイト
バランスのためのゲイン調整が行われた各画素データ
は、輝度信号処理回路７及びクロマ信号処理回路８に供
給される。
ＣＤ撮像素子２は、入射される撮影光に応じてＲ、Ｇ、
Ｂの各画素信号を出力する。出力された画素信号はＣＤ
Ｓ／ＡＧＣ回路３（CORRELATED DOUBLE SAMPLING /AUTO
GAIN CONTROL）で、相関２重サンプリングによるデー
タ抽出及びゲインコントロール処理が行われた後、Ａ／
Ｄ変換器４でデジタルデータに変換される。そしてクラ
ンプ回路５でデジタルクランプ処理された後、ホワイト
バランスアンプ６でホワイトバランスのための各色の画
素データに対して所定のゲインが与えられる。ホワイト
バランスのためのゲイン調整が行われた各画素データ
は、輝度信号処理回路７及びクロマ信号処理回路８に供
給される。
【００１７】輝度信号処理回路７では供給されたＲ、
Ｇ、Ｂの画素データに対してγ補正やホワイトクリップ
などのプロセス処理を行うとともに、Ｒ、Ｇ、Ｂの画素
データを用いたマトリクス演算処理により輝度信号（Ｙ
信号）を生成し、撮影画像としての輝度信号として後段
の回路系に出力する。またクロマ信号処理回路８も、プ
ロセス処理を施したＲ、Ｇ、Ｂの画素データを用いたマ
トリクス演算処理により色差信号Ｒ−Ｙ，Ｂ−Ｙを生成
し、後段の回路系に出力する。
Ｇ、Ｂの画素データに対してγ補正やホワイトクリップ
などのプロセス処理を行うとともに、Ｒ、Ｇ、Ｂの画素
データを用いたマトリクス演算処理により輝度信号（Ｙ
信号）を生成し、撮影画像としての輝度信号として後段
の回路系に出力する。またクロマ信号処理回路８も、プ
ロセス処理を施したＲ、Ｇ、Ｂの画素データを用いたマ
トリクス演算処理により色差信号Ｒ−Ｙ，Ｂ−Ｙを生成
し、後段の回路系に出力する。
【００１８】ホワイトバランスアンプ６における各色の
画素データに与えられるゲインはフィードバックループ
により制御される。この制御のためにＲ信号、Ｇ信号、
Ｂ信号の各レベルが検出される必要があるが、このた
め、Ｒ信号、Ｇ信号、Ｂ信号がクロマ信号処理回路８か
ら抽出され、ホワイトバランス検波部１１でレベル検出
が行われる。各色の画素データのレベル情報ＤAWB はマ
イクロコンピュータで形成されているコントローラ１２
に供給され、オートホワイトバランスのための各色のゲ
インが算出される。例えば基準被写体を撮影している状
態においてＧ信号レベルに対してＲ信号、Ｂ信号が同一
レベルになるように、Ｒ信号、Ｂ信号に対するゲインが
算出される。そしてそのホワイトバランスゲイン制御情
報ＳAWB がホワイトバランスアンプ６に供給されて、例
えばＲ信号ゲインとＢ信号ゲインが調整される。
画素データに与えられるゲインはフィードバックループ
により制御される。この制御のためにＲ信号、Ｇ信号、
Ｂ信号の各レベルが検出される必要があるが、このた
め、Ｒ信号、Ｇ信号、Ｂ信号がクロマ信号処理回路８か
ら抽出され、ホワイトバランス検波部１１でレベル検出
が行われる。各色の画素データのレベル情報ＤAWB はマ
イクロコンピュータで形成されているコントローラ１２
に供給され、オートホワイトバランスのための各色のゲ
インが算出される。例えば基準被写体を撮影している状
態においてＧ信号レベルに対してＲ信号、Ｂ信号が同一
レベルになるように、Ｒ信号、Ｂ信号に対するゲインが
算出される。そしてそのホワイトバランスゲイン制御情
報ＳAWB がホワイトバランスアンプ６に供給されて、例
えばＲ信号ゲインとＢ信号ゲインが調整される。
【００１９】また、オートアイリス調整、オートフォー
カス調整のためには、クランプ回路５の出力（ホワイト
バランスアンプ６の前段の信号）が抽出され、これがオ
ートアイリス検波部９及びオートフォーカス検波部１０
に供給される。
カス調整のためには、クランプ回路５の出力（ホワイト
バランスアンプ６の前段の信号）が抽出され、これがオ
ートアイリス検波部９及びオートフォーカス検波部１０
に供給される。
【００２０】オートフォーカス検波部１０は、例えばク
ランプ回路５から出力される画素データについてハイパ
スフィルタ処理を行った後、エッジ検出処理を行う。そ
してエッジ検出信号の平均化等を行ってフォーカス情報
ＤAFを生成する。コントローラ１２はフォーカス情報Ｄ
AFに応じてフォーカス制御信号ＳAFをフォーカスモータ
１３に出力して、レンズ系１内のフォーカスレンズを移
動させ、適切なフォーカス状態が得られるようにする。
ジャストフォーカス状態にあるときは、画像データのエ
ッジ成分がある程度はっきりと観測される。従って画素
データのエッジ情報を検出してフィードバックループに
よるフォーカス制御を行うことで、適切なフォーカス状
態が得られることになる。
ランプ回路５から出力される画素データについてハイパ
スフィルタ処理を行った後、エッジ検出処理を行う。そ
してエッジ検出信号の平均化等を行ってフォーカス情報
ＤAFを生成する。コントローラ１２はフォーカス情報Ｄ
AFに応じてフォーカス制御信号ＳAFをフォーカスモータ
１３に出力して、レンズ系１内のフォーカスレンズを移
動させ、適切なフォーカス状態が得られるようにする。
ジャストフォーカス状態にあるときは、画像データのエ
ッジ成分がある程度はっきりと観測される。従って画素
データのエッジ情報を検出してフィードバックループに
よるフォーカス制御を行うことで、適切なフォーカス状
態が得られることになる。
【００２１】アイリス調整に関しては、前処理部９ａに
おいて必要に応じて供給された画素データの平均化等の
処理が行われる。例えば入力された画素データについて
４画素毎の平均化処理を行い、その４画素の平均値を順
次出力していく。このような前処理を経たデータは積算
部９ｂに供給されるが、この積算部９ｂは１画面分の全
画素データを積算する動作を行う。なお、前処理部９ａ
において４画素毎の平均値を求め、その平均値を順次出
力していることにより、積算部９ｂにおける１画面分の
画素データの積算の際に、その積算データ数を１／４に
減らすことができることになり、回路構成や処理の簡素
化を計ることができる。
おいて必要に応じて供給された画素データの平均化等の
処理が行われる。例えば入力された画素データについて
４画素毎の平均化処理を行い、その４画素の平均値を順
次出力していく。このような前処理を経たデータは積算
部９ｂに供給されるが、この積算部９ｂは１画面分の全
画素データを積算する動作を行う。なお、前処理部９ａ
において４画素毎の平均値を求め、その平均値を順次出
力していることにより、積算部９ｂにおける１画面分の
画素データの積算の際に、その積算データ数を１／４に
減らすことができることになり、回路構成や処理の簡素
化を計ることができる。
【００２２】図２に示したように、ＣＣＤ撮像素子２か
らの画素データとしては、ｎライン目のタイミングでは
ＲデータとＧデータが、一方、ｎ＋１ライン目のタイミ
ングではＧデータとＢデータが交互に出力されてくるこ
とになる。積算部９ｂではこのような各色のタイミング
で供給されてくる画素データをそのまま加算していき、
その加算結果を明るさ情報ＤAEとして出力する。従っ
て、１画面分の画素データを加算して得られる情報ＤAE
は、 ＤAE＝Ｋ（２Ｇ＋Ｒ＋Ｂ） となる（Ｋは加算画素数に伴う係数）。加算処理で得ら
れる（２Ｇ＋Ｒ＋Ｂ）という値は、ほぼ明るさ情報を示
す値となるものである。つまり本例では、輝度信号を用
いなくとも（２Ｇ＋Ｒ＋Ｂ）という明るさ情報（疑似輝
度情報）を得ることができる。
らの画素データとしては、ｎライン目のタイミングでは
ＲデータとＧデータが、一方、ｎ＋１ライン目のタイミ
ングではＧデータとＢデータが交互に出力されてくるこ
とになる。積算部９ｂではこのような各色のタイミング
で供給されてくる画素データをそのまま加算していき、
その加算結果を明るさ情報ＤAEとして出力する。従っ
て、１画面分の画素データを加算して得られる情報ＤAE
は、 ＤAE＝Ｋ（２Ｇ＋Ｒ＋Ｂ） となる（Ｋは加算画素数に伴う係数）。加算処理で得ら
れる（２Ｇ＋Ｒ＋Ｂ）という値は、ほぼ明るさ情報を示
す値となるものである。つまり本例では、輝度信号を用
いなくとも（２Ｇ＋Ｒ＋Ｂ）という明るさ情報（疑似輝
度情報）を得ることができる。
【００２３】このオートアイリス検波部９からの明るさ
情報ＤAEはコントローラ１２に供給されるが、コントロ
ーラ１２は明るさ情報ＤAEに応じてアイリス制御信号Ｓ
AEを発生する。このアイリス制御信号ＳAEとしては、Ｃ
ＣＤ撮像素子２の露光時間を設定する電子シャッタデー
タと、ＡＧＣゲインデータとなる。電子シャッタデータ
はタイミングジェネレータ１４に供給される。タイミン
グジェネレータ１４は電子シャッタデータに応じたタイ
ミング信号を発生させてＣＣＤ撮像素子２の露光時間を
制御する。これがアイリス調整に相当する動作となる。
またＡＧＣゲインデータはＡＧＣ回路３に供給され、Ａ
ＧＣ回路３のゲイン設定が行われる。つまり明るさ調節
がＡＧＣ回路３で電気的に行われ、これもアイリス調整
動作となる。
情報ＤAEはコントローラ１２に供給されるが、コントロ
ーラ１２は明るさ情報ＤAEに応じてアイリス制御信号Ｓ
AEを発生する。このアイリス制御信号ＳAEとしては、Ｃ
ＣＤ撮像素子２の露光時間を設定する電子シャッタデー
タと、ＡＧＣゲインデータとなる。電子シャッタデータ
はタイミングジェネレータ１４に供給される。タイミン
グジェネレータ１４は電子シャッタデータに応じたタイ
ミング信号を発生させてＣＣＤ撮像素子２の露光時間を
制御する。これがアイリス調整に相当する動作となる。
またＡＧＣゲインデータはＡＧＣ回路３に供給され、Ａ
ＧＣ回路３のゲイン設定が行われる。つまり明るさ調節
がＡＧＣ回路３で電気的に行われ、これもアイリス調整
動作となる。
【００２４】なお、この例では電子シャッタとしてＣＣ
Ｄ撮像素子２の露光時間を調整することでアイリス調整
を行うこととしているが、もちろんメカニカルな絞り機
構によってアイリス調整を行う方式も考えられる。この
場合アイリス制御信号ＳAEとして、上記電子シャッタデ
ータに相当するモータ制御データが発生され、絞り機構
の駆動モータが駆動制御されることになる。
Ｄ撮像素子２の露光時間を調整することでアイリス調整
を行うこととしているが、もちろんメカニカルな絞り機
構によってアイリス調整を行う方式も考えられる。この
場合アイリス制御信号ＳAEとして、上記電子シャッタデ
ータに相当するモータ制御データが発生され、絞り機構
の駆動モータが駆動制御されることになる。
【００２５】以上のように本例では、アイリス調整に用
いる情報を輝度信号処理回路７で生成される輝度信号と
はせず、（２Ｇ＋Ｒ＋Ｂ）という積算信号としている。
このため図４のように独立した輝度信号生成部を持たな
くてもよく、回路構成上の無駄がないとともに、簡易な
処理でアイリス調整に用いる擬似的な輝度情報を得るこ
とができる。。また、ホワイトバランスアンプ６は輝度
信号処理回路７及びクロマ信号処理回路８の前段に配す
ることが好ましいとされるが、アイリス調整に関しては
（２Ｇ＋Ｒ＋Ｂ）という積算信号を用いることで、ホワ
イトバランスアンプ６の後段となる輝度信号処理回路７
から輝度信号を取り出す必要はなくなる。そして上記の
ようにクランプ回路５の出力段階のデータから積算信号
（２Ｇ＋Ｒ＋Ｂ）を生成すればよい。そして本例の構成
は、アイリス調整ループとホワイトバランス調整ループ
が交錯していない状態となっているものである。即ちフ
ィードバックループの動作が互いに影響を与えることに
なるアイリス調整ループとホワイトバランス調整ループ
が、それぞれ信号経路上で分離されることで、各調整ル
ープが他方のループに影響されず、それぞれ効率的に収
束できるようになる。ところで図１の場合、オートアイ
リス調整ループとオートフォーカス調整ループは独立し
た信号系内でのループとはいえないが、フォーカス状態
と明るさ状態は互いに大きな影響を与えるものではない
ため問題ない。
いる情報を輝度信号処理回路７で生成される輝度信号と
はせず、（２Ｇ＋Ｒ＋Ｂ）という積算信号としている。
このため図４のように独立した輝度信号生成部を持たな
くてもよく、回路構成上の無駄がないとともに、簡易な
処理でアイリス調整に用いる擬似的な輝度情報を得るこ
とができる。。また、ホワイトバランスアンプ６は輝度
信号処理回路７及びクロマ信号処理回路８の前段に配す
ることが好ましいとされるが、アイリス調整に関しては
（２Ｇ＋Ｒ＋Ｂ）という積算信号を用いることで、ホワ
イトバランスアンプ６の後段となる輝度信号処理回路７
から輝度信号を取り出す必要はなくなる。そして上記の
ようにクランプ回路５の出力段階のデータから積算信号
（２Ｇ＋Ｒ＋Ｂ）を生成すればよい。そして本例の構成
は、アイリス調整ループとホワイトバランス調整ループ
が交錯していない状態となっているものである。即ちフ
ィードバックループの動作が互いに影響を与えることに
なるアイリス調整ループとホワイトバランス調整ループ
が、それぞれ信号経路上で分離されることで、各調整ル
ープが他方のループに影響されず、それぞれ効率的に収
束できるようになる。ところで図１の場合、オートアイ
リス調整ループとオートフォーカス調整ループは独立し
た信号系内でのループとはいえないが、フォーカス状態
と明るさ状態は互いに大きな影響を与えるものではない
ため問題ない。
【００２６】なお、上記例では積算部９ｂは１画面分
（１フレーム分）の画素データ積算するようにしたが、
積算する範囲はこれに限られない。（２Ｇ＋Ｒ＋Ｂ）と
いう明るさ情報を得るには、少なくとも偶数ライン分の
積算が行われればよい。また、固体撮像素子としてＣＣ
Ｄの例をあげたが、ＢＢＤ（BUCKET BRIGADE DEVICE ）
を撮像素子として用いるものでも本発明を適用できる。
（１フレーム分）の画素データ積算するようにしたが、
積算する範囲はこれに限られない。（２Ｇ＋Ｒ＋Ｂ）と
いう明るさ情報を得るには、少なくとも偶数ライン分の
積算が行われればよい。また、固体撮像素子としてＣＣ
Ｄの例をあげたが、ＢＢＤ（BUCKET BRIGADE DEVICE ）
を撮像素子として用いるものでも本発明を適用できる。
【００２７】
【発明の効果】以上説明したように本発明のビデオカメ
ラ装置は、固体撮像素子から出力され、かつ画像信号処
理手段に入力される前段での各画素情報を積算していく
ことで疑似輝度情報を生成し、これに基づいてアイリス
調整を行う。このため複雑な処理を経て得られる輝度信
号を用いなくてもよく、簡易な回路構成でオートアイリ
ス調整のための信号を得ることができるという効果があ
る。特に、固体撮像素子のカラーフィルタがＧ市松及び
Ｒ／Ｂ線順次方式とされている場合は、単に画素情報を
積算するのみで２Ｇ＋Ｒ＋Ｂという、明るさ情報として
適切な疑似輝度情報を得ることができ、的確なアイリス
調整が実現できる。
ラ装置は、固体撮像素子から出力され、かつ画像信号処
理手段に入力される前段での各画素情報を積算していく
ことで疑似輝度情報を生成し、これに基づいてアイリス
調整を行う。このため複雑な処理を経て得られる輝度信
号を用いなくてもよく、簡易な回路構成でオートアイリ
ス調整のための信号を得ることができるという効果があ
る。特に、固体撮像素子のカラーフィルタがＧ市松及び
Ｒ／Ｂ線順次方式とされている場合は、単に画素情報を
積算するのみで２Ｇ＋Ｒ＋Ｂという、明るさ情報として
適切な疑似輝度情報を得ることができ、的確なアイリス
調整が実現できる。
【００２８】またホワイトバランスアンプ手段は、輝度
／色信号処理の前段に配することが好ましいとされる
が、本発明のアイリス調整に用いる疑似輝度情報は、い
わゆる輝度信号ではなく各画素情報の積算値であるた
め、疑似輝度情報生成手段はホワイトバランスアンプ手
段よりも前段の各画素情報を積算して疑似輝度情報を生
成できる。従ってオートアイリス調整ループとオートホ
ワイトバランス調整ループが交錯しないように構成する
ことができ、これによって各制御ループは効率的に収束
されるようになるという効果がある。
／色信号処理の前段に配することが好ましいとされる
が、本発明のアイリス調整に用いる疑似輝度情報は、い
わゆる輝度信号ではなく各画素情報の積算値であるた
め、疑似輝度情報生成手段はホワイトバランスアンプ手
段よりも前段の各画素情報を積算して疑似輝度情報を生
成できる。従ってオートアイリス調整ループとオートホ
ワイトバランス調整ループが交錯しないように構成する
ことができ、これによって各制御ループは効率的に収束
されるようになるという効果がある。
【図１】本発明の実施の形態の要部のブロック図であ
る。
る。
【図２】実施の形態のＣＣＤ撮像素子の画素構成の説明
図である。
図である。
【図３】従来のカメラ装置の構成例の説明図である。
【図４】従来のカメラ装置の構成例の説明図である。
１ レンズ系、２ ＣＣＤ撮像素子、３ ＡＧＣ／ＣＤ
Ｓ回路、４ Ａ／Ｄ変換器、５ クランプ回路、６ ホ
ワイトバランスアンプ、７ 輝度信号処理回路、８ ク
ロマ信号処理回路、９ オートアイリス検波部、９ａ
前処理部、９ｂ積算部、１０ オートフォーカス検波
部、１１ ホワイトバランス検波部、１２ コントロー
ラ、１３ フォーカスモータ、１４ タイミングジェネ
レータ
Ｓ回路、４ Ａ／Ｄ変換器、５ クランプ回路、６ ホ
ワイトバランスアンプ、７ 輝度信号処理回路、８ ク
ロマ信号処理回路、９ オートアイリス検波部、９ａ
前処理部、９ｂ積算部、１０ オートフォーカス検波
部、１１ ホワイトバランス検波部、１２ コントロー
ラ、１３ フォーカスモータ、１４ タイミングジェネ
レータ
Claims (3)
- 【請求項１】 マトリクス状に配置された複数の画素を
有し、各画素に対してカラーフィルタが設けられた固体
撮像素子と、 前記固体撮像素子から出力される各画素情報に基づいて
輝度情報及び色情報から成る撮影画像情報を得る画像信
号処理手段と、 前記固体撮像素子から出力され、かつ前記画像信号処理
手段に入力される前段での各画素情報を積算していくこ
とで、疑似輝度情報を生成する疑似輝度情報生成手段
と、 前記疑似輝度情報生成手段から出力される疑似輝度情報
を用いてアイリス調整を行うアイリス調整手段と、 を備えたことを特徴とするビデオカメラ装置。 - 【請求項２】 前記固体撮像素子のカラーフィルタは、
Ｇ（グリーン）市松及びＲ（レッド）、Ｂ（ブルー）線
順次方式とされたカラーフィルタであり、 前記疑似輝度情報生成手段は、 ２Ｇ＋Ｒ＋Ｂ の演算により疑似輝度信号を生成することを特徴とする
請求項１に記載のビデオカメラ装置。 - 【請求項３】 前記画像信号処理手段から抽出される色
情報に基づいて、前記固体撮像素子から出力される各色
毎の画素情報のゲイン調整を行うことでホワイトバラン
ス調整を行うホワイトバランス調整手段を備え、 前記疑似輝度情報生成手段は、前記ホワイトバランス調
整手段よりも前段で得られる各画素情報を積算していく
ことで、輝度情報を生成することを特徴とする請求項１
に記載のビデオカメラ装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06835697A JP4003246B2 (ja) | 1997-03-21 | 1997-03-21 | ビデオカメラ装置 |
| TW087102415A TW373412B (en) | 1997-03-21 | 1998-02-20 | Video camera apparatus capable of simply extracting brightness information used in auto-iris control |
| US09/035,425 US6747704B1 (en) | 1997-03-21 | 1998-03-05 | Video camera apparatus capable of simply extracting brightness information used in auto-iris control |
| KR10-1998-0009809A KR100504974B1 (ko) | 1997-03-21 | 1998-03-21 | 자동-아이리스제어에사용되는브라이트니스정보를용이하게추출가능한비디오카메라장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06835697A JP4003246B2 (ja) | 1997-03-21 | 1997-03-21 | ビデオカメラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10271518A true JPH10271518A (ja) | 1998-10-09 |
| JP4003246B2 JP4003246B2 (ja) | 2007-11-07 |
Family
ID=13371458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06835697A Expired - Fee Related JP4003246B2 (ja) | 1997-03-21 | 1997-03-21 | ビデオカメラ装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6747704B1 (ja) |
| JP (1) | JP4003246B2 (ja) |
| KR (1) | KR100504974B1 (ja) |
| TW (1) | TW373412B (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6750906B1 (en) * | 1998-05-08 | 2004-06-15 | Cirrus Logic, Inc. | Histogram-based automatic gain control method and system for video applications |
| JP3902492B2 (ja) * | 2002-03-13 | 2007-04-04 | 株式会社リコー | 撮像装置 |
| JP3824225B2 (ja) * | 2002-10-04 | 2006-09-20 | ソニー株式会社 | デジタルカメラ |
| JP4260003B2 (ja) * | 2003-12-26 | 2009-04-30 | 三洋電機株式会社 | 電子カメラ |
| US20100225779A1 (en) * | 2009-03-06 | 2010-09-09 | Nokia Corporation | Method and Device to extend camera battery life |
| KR101806289B1 (ko) * | 2011-11-14 | 2017-12-07 | 삼성전자주식회사 | 촬상 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4998162A (en) | 1988-08-22 | 1991-03-05 | Sony Corporation | Video camera |
| JP3113259B2 (ja) * | 1989-07-18 | 2000-11-27 | 富士写真フイルム株式会社 | ビデオカメラの露出制御方法及び装置 |
| JP3271196B2 (ja) * | 1992-06-12 | 2002-04-02 | ソニー株式会社 | ビデオカメラ |
| JP3216022B2 (ja) * | 1992-09-14 | 2001-10-09 | キヤノン株式会社 | 撮像装置 |
-
1997
- 1997-03-21 JP JP06835697A patent/JP4003246B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-20 TW TW087102415A patent/TW373412B/zh not_active IP Right Cessation
- 1998-03-05 US US09/035,425 patent/US6747704B1/en not_active Expired - Fee Related
- 1998-03-21 KR KR10-1998-0009809A patent/KR100504974B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100504974B1 (ko) | 2005-11-08 |
| JP4003246B2 (ja) | 2007-11-07 |
| TW373412B (en) | 1999-11-01 |
| KR19980080516A (ko) | 1998-11-25 |
| US6747704B1 (en) | 2004-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8953056B2 (en) | Method, apparatus and system for dynamic range estimation of imaged scenes | |
| EP3429189B1 (en) | Dual image capture processing | |
| US8842194B2 (en) | Imaging element and imaging apparatus | |
| US20110115971A1 (en) | Imaging device | |
| JP2002354498A (ja) | 電子カメラ | |
| US20200154034A1 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
| JP2004023605A (ja) | 画像処理装置、カメラ装置、及びその自動露光制御方法 | |
| JPH03204281A (ja) | 撮像装置 | |
| US20060197866A1 (en) | Image taking apparatus | |
| JP2003319407A (ja) | 撮像装置 | |
| JP4003246B2 (ja) | ビデオカメラ装置 | |
| JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
| JP2006157342A (ja) | カメラモジュール | |
| JP3932601B2 (ja) | カラー撮像装置 | |
| JP3628856B2 (ja) | 撮像装置 | |
| JP2002287013A (ja) | 自動焦点装置及び合焦方法、プログラム | |
| US20170013219A1 (en) | Cinematic image blur in digital cameras based on exposure timing manipulation | |
| JP4326997B2 (ja) | 撮像装置および合焦方法、制御プログラム、記録媒体 | |
| JP2893983B2 (ja) | 撮像装置 | |
| JP2000278613A (ja) | ディジタルカメラ | |
| JP4027643B2 (ja) | 撮像処理装置 | |
| JPH0215793A (ja) | 白バランス調節装置 | |
| JP2634601B2 (ja) | カメラの白バランス調整装置 | |
| JP2724924B2 (ja) | ビデオカメラ | |
| JP2003298929A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060410 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070523 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070813 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |