JP4323781B2 - 撮像装置とその制御方法 - Google Patents

撮像装置とその制御方法 Download PDF

Info

Publication number
JP4323781B2
JP4323781B2 JP2002343840A JP2002343840A JP4323781B2 JP 4323781 B2 JP4323781 B2 JP 4323781B2 JP 2002343840 A JP2002343840 A JP 2002343840A JP 2002343840 A JP2002343840 A JP 2002343840A JP 4323781 B2 JP4323781 B2 JP 4323781B2
Authority
JP
Japan
Prior art keywords
imaging
amount
image
flash
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002343840A
Other languages
English (en)
Other versions
JP2004179963A5 (ja
JP2004179963A (ja
Inventor
敏文 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002343840A priority Critical patent/JP4323781B2/ja
Publication of JP2004179963A publication Critical patent/JP2004179963A/ja
Publication of JP2004179963A5 publication Critical patent/JP2004179963A5/ja
Application granted granted Critical
Publication of JP4323781B2 publication Critical patent/JP4323781B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルスチルカメラ等の撮像装置に関し、特にそのフラッシュ撮影制御に関するものである。
【0002】
【従来の技術】
デジタルスチルカメラにおいてのフラッシュ(ストロボ)撮影時に、フラッシュの光量と背景光(定常光)の光量をどのくらいの比率でミックスすれば撮影意図通りの雰囲気のある画像が得られるかというのは撮影者の経験や感に頼る部分が多く、撮影が難しかった。
【0003】
そこで下記特許文献1では定常光による画像とストロボ光による画像を連続撮影してそれぞれ記憶した後に任意の比率にて加算合成するという提案をしている。
【0004】
【特許文献1】
特開2000−307941号公報
【0005】
【発明が解決しようとする課題】
しかし、定常光による画像とストロボ光による画像を連続撮影してそれぞれ記憶した後に任意の比率にて加算合成する手法では連続撮影する間に被写体が動いてしまった場合に加算合成がうまくいかなくなってしまい不自然な画像になる可能性がある。
【0006】
本発明は、このような状況のもとでなされたもので、撮像装置において、自動的にフラッシュ(ストロボ)の光量を変えて複数回撮像し、撮影意図通りの画像得ることを課題とするものである。
【0007】
【課題を解決するための手段】
前記課題を解決するため、本発明にかかる撮像装置は、フラッシュ発光を伴い連続撮影を行う撮像装置において、連続撮影される画像の被写体の露出量はそれぞれ等しく、且つ、該露出量を構成するフラッシュ光と背景光の比率が該連続撮影される画像それぞれで異なるように制御する制御手段を備えることを特徴とする。
また、本発明にかかる撮像装置は、フラッシュ発光を伴い連続撮影を行う撮像装置において、フラッシュ発光を伴い第1の露出値で第1の画像を撮像する第1の撮像手段と、前記第1の露出値を所定量減じて第2の露出値を設定し、該第1の露出値を所定量増加させて第3の露出値を設定する、露出値設定手段と、前記第2の露出値で第2の画像が撮像される際に、被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を減じて撮像する第2の撮像手段と、前記第3の露出値で第3の画像が撮像される際に、前記被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を増加させて撮像する第3の撮像手段と、を備えることを特徴とする。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態をカメラの実施例により詳しく説明する。なお、本発明は、装置の形に限らず、実施例の説明に裏付けられて、方法の形で、また、この方法を実現するためのプログラムの形で実施することもできる。
【0014】
【実施例】
図1は、実施例である“カメラ”における主として光学部材の配置を示す断面図である。
【0015】
図1においては、レンズ交換可能ないわゆる一眼レフタイプのカメラの構成を示しているが、1はカメラ本体、2は交換レンズ、3はフラッシュ装置である。
【0016】
カメラ本体1において、10はメカニカルシャッター、11はロウパスフィルター、12は例えばCMOSやCCDといったエリアの蓄積型光電変換素子からなる撮像素子、13は半透過性の主ミラー、14は第1の反射ミラーで主ミラー13と第1の反射ミラー14はともに撮影時には上部に跳ね上がる。15は第1の反射ミラー14による撮像素子12面と共役な近軸的結像面、16は第2の反射ミラー、17は赤外カットフィルター、18は2つの開口部を有する絞り、19は2次結像レンズ、20は焦点検出用センサーである。
【0017】
焦点検出用センサー20は例えばCMOSやCCDといったエリアの蓄積型光電変換素子からなり、図2に示すように、絞り18の2つの開口部に対応して多数分割された受光センサー部が20Aと20Bとの2対のエリアの構成になっている。また、受光センサー部20Aと20Bに加えて、信号蓄積部や信号処理用の周辺回路などが同一チップ上に集積回路として作り込まれる。
【0018】
第1の反射ミラー14から焦点検出用センサー20までの構成は、特開平9−184965号公報等に詳細に記載されているように、撮影画面内の任意の位置での像ずれ方式での焦点検出を可能とするものである。
【0019】
21は拡散性を有するピント板、22はペンタプリズム、23は接眼レンズ、24は第3の反射ミラー、25は集光レンズ、26は被写体の輝度に関する情報を得るための測光用センサーである。
【0020】
測光用センサー26は例えばシリコンフォトダイオード等の光電変換素子からなり、図3に例示するように格子状に複数分割された受光センサー部を有した構成になっており、撮影画面の略全体を視野としている。図示したように本例では受光視野内を7列×5行=35分割としている。35分割された各受光部に対してはPD11〜PD57と呼ぶこととする。受光センサー部以外に信号増幅部や信号処理用の周辺回路などが同一チップ上に集積回路として作り込まれることは周知である。
【0021】
ピント板21,ペンタプリズム22,接眼レンズ23によってファインダー光学系が構成される。測光用センサー26には主ミラー13によって反射されてピント板21によって拡散された光線のうち光軸外の一部が入射する。
【0022】
図4は前記した焦点検出用センサー20等による焦点検出手段による撮影画面内の焦点検出位置と35分割された測光用センサー26との対応位置関係を表した図である。本例では撮影画面内の焦点検出位置をS01からS23までの9点の例とし、焦点検出位置S01は測光用センサー26の受光部PD23に対応した位置にて焦点検出を行う。さらに、図示のように焦点検出位置S02は測光用センサー26の受光部PD24に対応した位置にて焦点検出を行い、焦点検出位置S03は測光用センサー26の受光部PD25に対応した位置にて焦点検出を行い、以下同様であって焦点検出位置S23は測光用センサー26の受光部PD45に対応した位置にて焦点検出を行う。
【0023】
図1の説明に戻る。27は撮影レンズを取り付けるマウント部、28は撮影レンズと情報通信を行うための接点部,29はフラッシュ装置を取り付けられる接続部である。
【0024】
交換レンズ2において、30a〜30eは撮影レンズを構成する各光学レンズ、31は絞り、32はカメラ本体と情報通信を行うための接点部、33はカメラに取り付けられるためのマウント部である。
【0025】
フラッシュ装置3において、34はキセノン管、35は反射笠、36はフレネル板、37はキセノン管34の発光量をモニターするためのモニターセンサー、38はカメラ本体1にフラッシュ装置3を取り付けるための取り付け部である。
【0026】
図5は本発明を実施したカメラ本体1とその交換レンズ2およびフラッシュ装置3の電気回路の構成例を表わすブロック図である。カメラ本体1において41は例えば内部にALU,ROM,RAMやA/Dコンバータ,タイマー,シリアル通信ポート(SPI)等を内蔵したワンチップマイクロコンピュータによる制御手段であり、カメラ機構等の全体制御を行う。制御手段41の具体的な制御シーケンスについては後述する。焦点検出用センサー20および測光用センサー26は図1等に記載したものと同一である。焦点検出用センサー20および測光用センサー26の出力信号は、制御手段41のA/Dコンバータ入力端子に接続される。
【0027】
42はシャッター駆動手段であり、制御手段41の出力端子に接続されて図1記載のメカニカルシャッター10を駆動する。43は信号処理回路であり、制御手段41の指示に従って撮像素子12を制御して撮像素子12が出力する撮像信号をA/D変換しながら入力して信号処理を行い、画像信号を得る。また、得られた画像信号に対して必要な画像処理を行う。44はフラッシュROM等の不揮発性メモリまたは光ディスク等による記憶手段であり、撮像された画像信号を記憶する。45は第1のモータードライバであり、制御手段41の出力端子に接続されて制御されて、主ミラー13および第1の反射ミラー14のアップ・ダウンを行う。47は液晶パネル等で構成されて撮影枚数や日付情報,露出情報等を表示する表示器であり、やはり制御手段41の出力信号に応じて各セグメントが点灯制御される。48はホワイトバランスのモード設定等を行うためのホワイトバランス設定手段、49は撮影モード設定手段、50はレリーズスイッチである。28は図1に記載した接点部であり、制御手段41のシリアル通信ポートの入出力信号が接続される。29は図1に記載したフラッシュ装置接続部であり、フラッシュ装置3と通信が可能なようにやはり制御手段41のシリアル通信ポートの入出力信号が接続される。
【0028】
交換レンズ2において、51は例えば内部にALU,ROM,RAMやタイマー,シリアル通信ポート(SPI)等を内蔵したワンチップマイクロコンピュータによるレンズ制御手段である。52は第2のモータードライバであり、レンズ制御手段51の出力端子に接続されて制御され、焦点調節を行うための第2のモーター53を駆動する。54は第3のモータードライバであり、レンズ制御手段51の出力端子に接続されて制御され、図1にて記載した絞り31の制御を行うための第3のモーター55を駆動する。56は焦点調節レンズの繰り出し量すなわち被写体距離に関する情報を得るための距離エンコーダーであり、レンズ制御手段51の入力端子に接続される。57は交換レンズ30がズームレンズである場合に撮影時の焦点距離情報を得るためのズームエンコーダーであり、レンズ制御手段51の入力端子に接続される。32は図1に記載した接点部であり、レンズ制御手段51のシリアル通信ポートの入出力信号が接続される。
【0029】
交換レンズ2がカメラ本体1に装着されるとそれぞれの接点部28と32とが接続されてレンズ制御手段51はカメラ本体の制御手段41とのデータ通信が可能となる。カメラ本体の制御手段41が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダー56あるいはズームエンコーダー57に基づいた被写体距離に関する情報または焦点距離情報はレンズ制御手段51からカメラ本体の制御手段41へとデータ通信によって出力される。また、カメラ本体の制御手段41が焦点検出や露出演算を行った結果、求められた焦点調節情報や絞り情報はカメラ本体の制御手段41からレンズ制御手段51へとデータ通信によって出力されて、レンズ制御手段51は焦点調節情報に従って第2のモータードライバ52を制御し、絞り情報に従って第3のモータードライバ54を制御する。
【0030】
フラッシュ装置3において、61は例えば内部にALU,ROM,RAMやA/Dコンバータ,タイマー,シリアル通信ポート(SPI)等を内蔵したワンチップマイクロコンピュータによるフラッシュ制御手段であり、62はキセノン管34の発光に必要な300V程度の高圧電圧を作る昇圧部、キセノン管34およびモニターセンサー37は図1に記載したものと同一である。フラッシュ装置3がカメラ本体1に装着されるとそれぞれの接続部38と29が接続されてフラッシュ制御手段61はカメラ本体の制御手段41とのデータ通信が可能となる。フラッシュ制御手段61はカメラ本体の制御手段41からの通信内容に従って昇圧部62を制御してキセノン管34の発光開始や発光停止を行うとともに、モニターセンサー37の検出量をカメラ本体の制御手段41に対して出力する。
【0031】
続いて図6から始まるフローチャートに従って、カメラ本体の制御手段41の本発明に関わる具体的な動作シーケンスについて説明する。不図示の電源スイッチがオンされて制御手段41が動作可能となると、図6のステップ101(以下かっこ書きによりステップ数を表示する)より実行する。
【0032】
(101)撮影モード設定手段49による設定情報入力を行い、フラッシュ撮影モードとなっているかどうかをチェックする。もしも、フラッシュ撮影モードでない場合には(102)へ進む。
【0033】
(102)焦点検出用センサー20に対して制御信号を出力して、信号蓄積を行う。蓄積が終了すると焦点検出用センサー20に蓄積された信号を読み出しながらA/D変換を行う。さらに読み込まれた各デジタルデータに対してシェーディング等の必要な各種のデータ補正を行う。
【0034】
(103)焦点検出を行うために必要なレンズ情報等をレンズ制御手段51より入力し、これと焦点検出用センサー20から得られているデジタルデータより撮影画面各部の焦点状態を演算する。得られた撮影画面各部の焦点状態より例えば特開平11−190816号公報等に記載されている手法により画面内の焦点を合わせるべき領域を決定する。決定された領域における焦点状態に従って合焦となるためのレンズ移動量を算出し、算出されたレンズ移動量をレンズ制御手段51に出力する。これに従ってレンズ制御手段51は焦点調節用レンズを駆動するように第2のモータードライバ52に信号出力して、第2のモーター53を駆動する。これにより撮影レンズは被写体に対して合焦状態となる。
【0035】
(104)測光用センサー26より35分割された各受光部PD11〜PD57の信号を読み出しながらA/D変換を行い画面各部の輝度情報を入力し、さらに必要なレンズ情報等をレンズ制御手段51より入力して、入力された画面各部の輝度情報の補正を行い、各受光部毎の被写体輝度情報を得る。
【0036】
(105)得られた各受光部毎の被写体輝度情報より焦点検出部分に対応した分割部の輝度情報に重み付けを置いて画面全体の輝度を算出する。このようにして算出された画面全体の輝度情報に基づいて撮影に最適な撮像素子12の蓄積時間(すなわちシャッター速度)と絞り値を所定のプログラム線図より決定し表示器47に表示する。シャッター速度または絞り値の一方が予めプリセットされている場合は、そのプリセット値と組み合わせて最適な露出となる他方の因子を決定する。
【0037】
(106)レリーズスイッチ50がオンされるのを待つ。オンされていなければ前記(101)に戻るが、もしも、オンされると(107)へ進む。
【0038】
(107)第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14を跳ね上げる。続いて前記(105)のステップにて演算された絞り値情報をレンズ制御手段51に対して出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り込み状態となる。
【0039】
(108)シャッター駆動手段42に対して信号出力を行い、シャッター10を開放状態とする。これにより撮像素子12には撮影レンズからの光線が入射して撮像が可能となる。前記(105)のステップにて演算された蓄積時間にしたがって撮像素子12の蓄積時間を設定して撮像を撮像素子12によって行うように信号処理回路43に対して指示を出す。これによって撮像が行われる。撮像が終了するとシャッター駆動手段42に対して信号出力を行い、シャッター10を遮光状態とする。これにより撮像素子12に対する撮影レンズからの光線が遮断される。
【0040】
(109)レンズ制御手段51に対して絞り31を開放するように情報出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り開放状態となる。さらに、第1のモータードライバに制御信号を出力して、第1のモーター44を駆動して主ミラー13および第1の反射ミラー14をダウンさせる。
【0041】
(110)撮像画像情報を撮像素子12からA/D変換しながら読み出して、必要な補正処理や補間処理を行うように信号処理回路43に対して指示を出す。
【0042】
(111)信号処理回路43に対して指示を出して撮像画像情報に対してホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48によりホワイトバランス設定値が手動設定されている場合は、その手動設定値に従って撮像画像情報の画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48により自動ホワイトバランス調整モードが設定されていれば、撮像画像情報において、1画面内を複数分割し、各領域毎の色差信号より被写体の白色領域を抽出する。さらに抽出された領域の信号に基づいて画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。
【0043】
なお、ホワイトバランス設定値が手動設定されている場合とは撮影光源の色温度情報が指定されている場合や、デイライト或いは蛍光灯などの光源種が指定されている場合を指す。
【0044】
(112)ホワイトバランス調整が行われた撮像画像情報を記録ファイルフォーマットに圧縮変換して記憶手段44に記憶するように信号処理回路43に対して指示を出す。
【0045】
これでフラッシュ撮影モードではない場合の撮影シーケンスが終了する。
【0046】
前記(101)のステップにて撮影モード設定手段49による設定情報を入力し、フラッシュ撮影モードとなっている場合には図7の(121)へ進む。
【0047】
(121)撮影モード設定手段49による設定情報が通常のフラッシュ撮影モードとなっているか、フラッシュブラケット撮影モードとなっているかをチェックする。もしも、通常のフラッシュ撮影モードとなっている場合には(122)へ進む。
【0048】
(122)焦点検出用センサー20に対して制御信号を出力して、信号蓄積を行う。蓄積が終了すると焦点検出用センサー20に蓄積された信号を読み出しながらA/D変換を行う。さらに読み込まれた各デジタルデータに対してシェーディング等の必要な各種のデータ補正を行う。
【0049】
(123)前述した(103)のステップと同様に焦点検出を行うために必要なレンズ情報等をレンズ制御手段51より入力し、これと焦点検出用センサー20から得られているデジタルデータより撮影画面各部の焦点状態を演算する。さらに画面内の焦点を合わせるべき領域を決定する。決定された領域における焦点状態に従って合焦となるためのレンズ移動量を算出し、算出されたレンズ移動量をレンズ制御手段51に出力する。これに従ってレンズ制御手段51は焦点調節用レンズを駆動するように第2のモータードライバ52に信号出力して、第2のモーター53を駆動する。これにより撮影レンズは被写体に対して合焦状態となる。
【0050】
(124)測光用センサー26より35分割された各受光部PD11〜PD57の信号を読み出しながらA/D変換を行い画面各部の輝度情報を入力し、さらに必要なレンズ情報等をレンズ制御手段51より入力して、入力された画面各部の輝度情報の補正を行い、各受光部毎の被写体輝度情報を得る。各受光部毎の被写体輝度情報をB(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0051】
(125)得られた各受光部毎の被写体輝度情報より焦点検出部分に対応した分割部の輝度情報に重み付けを置いて画面全体の輝度を算出する。このようにして算出された画面全体の輝度情報に基づいて撮影に最適な撮像素子12の蓄積時間(すなわちシャッター速度)と絞り値を所定のプログラム線図より決定し表示器47に表示する。シャッター速度または絞り値の一方が予めプリセットされている場合は、そのプリセット値と組み合わせて最適な露出となる他方の因子を決定する。なお、決定されたシャッター速度と絞り値とのアペックス値に基づく露出値をEvTと呼ぶこととする。
【0052】
EvT=Tv+Av (Tvはシャッター速度のアペックス値、Avは絞り値のアペックス値,第1の露出因子)
(126)レリーズスイッチ50がオンされるのを待つ。オンされていなければ前記(121)に戻るが、もしも、オンされると(127)へ進む。
【0053】
(127)フラッシュ制御手段61に通信してフラッシュの予備発光を指示する。これによりフラッシュ制御手段61はモニターセンサー37の出力信号に基づきキセノン管34が予め定められた予備発光量だけ発光するようにキセノン管34を発光させる。この予備発光が行われている間の被写体の輝度情報を得るために測光用センサー26より35分割された各受光部PD11〜PD57の信号を読み出しながらA/D変換を行い、画面各部の予備発光時輝度情報を入力する。各受光部毎の予備発光時輝度情報をP(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0054】
(128)前記(127)のステップで得られた画面各部の予備発光時輝度情報は被写体に対する背景光とフラッシュの予備発光とが加算された状態での被写体輝度情報であるので、これをフラッシュの予備発光のみによる被写体輝度情報にするために各受光部PD11〜PD57毎に(127)のステップで得られた予備発光時輝度情報から(124)のステップで得られている背景光のみの被写体輝度情報を減算する。フラッシュの予備発光のみによる被写体輝度情報をF(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0055】
F(n)=P(n)−B(n)
(129)前記(123)のステップにて焦点を合わせた画面内の領域に対応した領域のF(n)およびB(n)さらに(125)のステップで得られたEvTより予備発光に対する本発光のゲインG0を演算する。
【0056】
G0=log(EvT−B(n))/(F(n))
分子のEvT−B(n)は撮像に使うシャッター速度と絞り値の組み合わせによるEv値より主被写体に対する背景光による輝度情報を減算したものであるから、日中シンクロのように背景光が明るい状況であえてフラッシュを使う場合等を除いてはこの減算結果に見合う量だけフラッシュ光を主被写体に当てれば適正露出となる。分母のF(n)は主被写体領域におけるフラッシュ予備発光のみによる輝度情報であるから、この式で求められるG0は予備発光の光量に対して本発光時に何倍の発光光量とすれば主被写体が背景光とフラッシュ光の合計光量で適正露出となるかを表している。
【0057】
この演算されたG0に基づいてフラッシュの本発光量をフラッシュ制御手段61に通信する。
【0058】
(130)第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14を跳ね上げる。続いて前記(125)のステップにて演算された絞り値情報をレンズ制御手段51に対して出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り込み状態となる。
【0059】
(131)シャッター駆動手段42に対して信号出力を行い、シャッター10を開放状態とする。これにより撮像素子12には撮影レンズからの光線が入射して撮像が可能となる。前記(125)のステップにて演算された蓄積時間にしたがって撮像素子12の蓄積時間を設定して撮像を撮像素子12によって行うように信号処理回路43に対して指示を出す。またこの撮像タイミングに同期してフラッシュ制御手段61に対してフラッシュの発光指示を与える。フラッシュ制御手段61は発光指示に従って、(129)のステップにて演算されたG0に対応する発光量となるようにモニターセンサー37の出力信号に基づきキセノン管34を発光させる。これによってフラッシュ発光を伴った撮像が行われる。撮像が終了するとシャッター駆動手段42に対して信号出力を行い、シャッター10を遮光状態とする。これにより撮像素子12に対する撮影レンズからの光線が遮断される。
【0060】
(132)レンズ制御手段51に対して絞り31を開放するように情報出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り開放状態となる。さらに、第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14をダウンさせる。
【0061】
(133)撮像画像情報を撮像素子12からA/D変換しながら読み出して、必要な補正処理や補間処理を行うように信号処理回路43に対して指示を出す。
【0062】
(134)信号処理回路43に対して指示を出して撮像画像情報に対してホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48によりホワイトバランス設定値が手動設定されている場合は、その手動設定値に従って撮像画像情報の画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48により自動ホワイトバランス調整モードが設定されていれば、撮像画像情報において、1画面内を複数分割し、各領域毎の色差信号より被写体の白色領域を抽出する。さらに抽出された領域の信号に基づいて画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。
【0063】
(135)ホワイトバランス調整が行われた撮像画像情報を記録ファイルフォーマットに圧縮変換して記憶手段44に記憶するように信号処理回路43に対して指示を出す。
【0064】
これで通常のフラッシュ撮影モードの場合の撮影シーケンスが終了する。
【0065】
前記(121)のステップにて撮影モード設定手段49による設定情報がフラッシュブラケット撮影モードとなっている場合は、図8の(151)へ進む。
【0066】
(151)焦点検出用センサー20に対して制御信号を出力して、信号蓄積を行う。蓄積が終了すると焦点検出用センサー20に蓄積された信号を読み出しながらA/D変換を行う。さらに読み込まれた各デジタルデータに対してシェーディング等の必要な各種のデータ補正を行う。
【0067】
(152)前述した(103)のステップと同様に焦点検出を行うために必要なレンズ情報等をレンズ制御手段51より入力し、これと焦点検出用センサー20から得られているデジタルデータより撮影画面各部の焦点状態を演算する。さらに画面内の焦点を合わせるべき領域を決定する。決定された領域における焦点状態に従って合焦となるためのレンズ移動量を算出し、算出されたレンズ移動量をレンズ制御手段51に出力する。これに従ってレンズ制御手段51は焦点調節用レンズを駆動するように第2のモータードライバ52に信号出力して、第2のモーター53を駆動する。これにより撮影レンズは被写体に対して合焦状態となる。
【0068】
(153)測光用センサー26より35分割された各受光部PD11〜PD57の信号を読み出しながらA/D変換を行い画面各部の輝度情報を入力し、さらに必要なレンズ情報等をレンズ制御手段51より入力して、入力された画面各部の輝度情報の補正を行い、各受光部毎の被写体輝度情報を得る。各受光部毎の被写体輝度情報をB(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0069】
(154)得られた各受光部毎の被写体輝度情報より焦点検出部分に対応した分割部の輝度情報に重み付けを置いて画面全体の輝度を算出する。このようにして算出された画面全体の輝度情報に基づいて撮影に最適な撮像素子12の蓄積時間(すなわちシャッター速度)と絞り値を所定のプログラム線図より決定し(請求項の背景光量決定手段に対応する)表示器47に表示する。シャッター速度または絞り値の一方が予めプリセットされている場合は、そのプリセット値と組み合わせて最適な露出となる他方の因子を決定する。なお、決定されたシャッター速度と絞り値とのアペックス値に基づく露出値をEvT1と呼ぶこととする。
【0070】
EvT1=Tv1+Av1
(Tv1、Av1は第1の撮像におけるシャッター速度、絞り値のアペックス値)
(155)レリーズスイッチ50がオンされるのを待つ。オンされていなければ前記(151)に戻るが、もしも、オンされると(156)へ進む。
【0071】
(156)フラッシュ制御手段61に通信してフラッシュの予備発光を指示する。これによりフラッシュ制御手段61はモニターセンサー37の出力信号に基づきキセノン管34が予め定められた予備発光量だけ発光するようにキセノン管34を発光させる。この予備発光が行われている間の被写体の輝度情報を得るために測光用センサー26より35分割された各受光部PD11〜PD57の信号を読み出しながらA/D変換を行い、画面各部の予備発光時輝度情報を入力する。各受光部毎の予備発光時輝度情報をP(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0072】
(157)前記(156)のステップで得られた画面各部の予備発光時輝度情報は被写体に対する背景光とフラッシュの予備発光とが加算された状態での被写体輝度情報であるので、これをフラッシュの予備発光のみによる被写体輝度情報にするために各受光部PD11〜PD57毎に(156)のステップで得られた予備発光時輝度情報から(153)のステップで得られている背景光のみの被写体輝度情報を減算する。フラッシュの予備発光のみによる被写体輝度情報をF(n)と呼ぶこととする。nは35分割された各受光部に対応した11〜57のことである。
【0073】
F(n)=P(n)−B(n)
(158)前記(152)のステップにて焦点を合わせた画面内の領域に対応した領域のF(n)およびB(n)さらに(154)のステップで得られたEvT1より予備発光に対する本発光のゲインG1を前記(129)のステップの場合と同様に演算する。
【0074】
G1=log(EvT1−B(n))/(F(n))
前記(129)のステップで説明したように、この式で求められるG1は予備発光の光量に対して本発光時に何倍の発光光量とすれば主被写体が背景光とフラッシュ光の合計光量で適正露出となるかを表している。この演算されたG1に基づいてフラッシュの本発光量をフラッシュ制御手段61に通信する。
【0075】
(159)第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14を跳ね上げる。続いて前記(154)のステップにて演算された絞り値情報をレンズ制御手段51に対して出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り込み状態となる。
【0076】
(160)シャッター駆動手段42に対して信号出力を行い、シャッター10を開放状態とする。これにより撮像素子12には撮影レンズからの光線が入射して撮像が可能となる。前記(154)のステップにて演算された蓄積時間にしたがって撮像素子12の蓄積時間を設定して撮像を撮像素子12によって行うように信号処理回路43に対して指示を出す。またこの撮像タイミングに同期してフラッシュ制御手段61に対してフラッシュの発光指示を与える。フラッシュ制御手段61は発光指示に従って、(158)のステップにて演算されたG1に対応する発光量となるようにモニターセンサー37の出力信号に基づきキセノン管34を発光させる。これによってフラッシュ発光を伴った第1の撮像が行われる。撮像が終了するとシャッター駆動手段42に対して信号出力を行い、シャッター10を遮光状態とする。これにより撮像素子12に対する撮影レンズからの光線が遮断される。
【0077】
(161)レンズ制御手段51に対して絞り31を開放するように情報出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り開放状態となる。さらに、第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14をダウンさせる。
【0078】
(162)第1の撮像画像情報を撮像素子12からA/D変換しながら読み出して、必要な補正処理や補間処理を行うように信号処理回路43に対して指示を出す。
【0079】
(163)信号処理回路43に対して指示を出して第1の撮像画像情報に対してホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48によりホワイトバランス設定値が手動設定されている場合は、その手動設定値に従って撮像画像情報の画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。もしも、ホワイトバランス設定手段48により自動ホワイトバランス調整モードが設定されていれば、第1の撮像画像情報において、1画面内を複数分割し、各領域毎の色差信号より被写体の白色領域を抽出する。さらに抽出された領域の信号に基づいて画面全体の赤チャンネルおよび青チャンネルのゲイン補正を行いホワイトバランス調整を行う。このステップで実行したホワイトバランス調整量は後のステップでも使うので記憶しておく。
【0080】
(164)ホワイトバランス調整が行われた第1の撮像画像情報を記録ファイルフォーマットに圧縮変換して記憶手段44に記憶するように信号処理回路43に対して指示を出す。
【0081】
(165)前記(154)のステップにて演算されたシャッター速度と絞り値による露出値をブラケット撮影モードにおける所定量ΔEだけ減じて、第2の撮像用の露出因子を決定する。ΔEは予め設定された固定値でも良いし、ユーザーによる設定値としても良い。
【0082】
EvT2=EvT1−ΔE
EvT2=Tv2+Av2
(Tv2,Av2は第2の撮像におけるシャッター速度,絞り値のアペックス値)
(166)第2の撮像用のEvT2より第2の撮像における本発光のゲインG2を演算する。
【0083】
G2=log(EvT2−B(n))/(F(n))
第1の撮像に比べるとEvT2はEvT1よりもΔEだけ小さくなっているのでG2はG1よりも小さくなり、フラッシュ発光量は少なくなる。しかし、EvT2がEvT1よりもΔEだけ小さくなっているということはシャッター速度が遅くなるまたは絞りが開く方向になるので撮像時の背景光成分は大きくなる。よって主被写体のフラッシュ光と背景光の合計による露光量は第1の撮像時と同じ適正値を保ちながら、フラッシュ光成分が少なく背景光成分が多い撮像を行う制御ができる。この演算されたG2に基づいてフラッシュの本発光量をフラッシュ制御手段61に通信する。
【0084】
(167)第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14を跳ね上げる。続いて前記(165)のステップにて演算された絞り値情報をレンズ制御手段51に対して出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り込み状態となる。
【0085】
(168)シャッター駆動手段42に対して信号出力を行い、シャッター10を開放状態とする。これにより撮像素子12には撮影レンズからの光線が入射して撮像が可能となる。前記(165)のステップにて演算された蓄積時間にしたがって撮像素子12の蓄積時間を設定して撮像を撮像素子12によって行うように信号処理回路43に対して指示を出す。またこの撮像タイミングに同期してフラッシュ制御手段61に対してフラッシュの発光指示を与える。フラッシュ制御手段61は発光指示に従って、(166)のステップにて演算されたG2に対応する発光量となるようにモニターセンサー37の出力信号に基づきキセノン管34を発光させる。これによってフラッシュ発光を伴った第2の撮像が行われる。撮像が終了するとシャッター駆動手段42に対して信号出力を行い、シャッター10を遮光状態とする。これにより撮像素子12に対する撮影レンズからの光線が遮断される。
【0086】
(169)レンズ制御手段51に対して絞り31を開放するように情報出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り開放状態となる。さらに、第1のモータードライバ45に制御信号を出力して、第1のモーター45を駆動して主ミラー13および第1の反射ミラー14をダウンさせる。
【0087】
(170)第2の撮像画像情報を撮像素子12からA/D変換しながら読み出して、必要な補正処理や補間処理を行うように信号処理回路43に対して指示を出す。
【0088】
(171)信号処理回路43に対して指示を出して第2の撮像画像情報に対してホワイトバランス調整を行う。この場合、前記(163)のステップで実行したホワイトバランス調整量に従ってホワイトバランス調整を行う。
【0089】
(172)ホワイトバランス調整が行われた第2の撮像画像情報を記録ファイルフォーマットに圧縮変換して記憶手段44に記憶するように信号処理回路43に対して指示を出す。
【0090】
(173)前記(154)のステップにて演算されたシャッター速度と絞り値による露出値をブラケット撮影モードにおける所定量ΔEだけ増加させて、第3の撮像用の露出因子を決定する。ΔEは予め設定された固定値でも良いし、ユーザーによる設定値としても良いのは(165)のステップと同様である。
【0091】
EvT3=EvT1+ΔE
EvT3=Tv3+Av3
(Tv3,Av3は第3の撮像におけるシャッター速度,絞り値のアペックス値)
(174)第3の撮像用のEvT3より第3の撮像における本発光のゲインG3を演算する。
【0092】
G3=log(EvT3−B(n))/(F(n))
第1の撮像に比べるとEvT3はEvT1よりもΔEだけ大きくなっているのでG3はG1よりも大きくなり、フラッシュ発光量は多くなる。しかし、EvT3がEvT1よりもΔEだけ大きくなっているということはシャッター速度が速くなるまたは絞りが絞る方向になるので撮像時の背景光成分は小さくなる。よって主被写体のフラッシュ光と背景光の合計による露光量は第1の撮像時と同じ適正値を保ちながら、フラッシュ光成分が多く背景光成分が少ない撮像を行う制御ができる。この演算されたG3に基づいてフラッシュの本発光量をフラッシュ制御手段61に通信する。
【0093】
(175)第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14を跳ね上げる。続いて前記(173)のステップにて演算された絞り値情報をレンズ制御手段51に対して出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り込み状態となる。
【0094】
(176)シャッター駆動手段42に対して信号出力を行い、シャッター10を開放状態とする。これにより撮像素子12には撮影レンズからの光線が入射して撮像が可能となる。前記(173)のステップにて演算された蓄積時間にしたがって撮像素子12の蓄積時間を設定して撮像を撮像素子12によって行うように信号処理回路43に対して指示を出す。またこの撮像タイミングに同期してフラッシュ制御手段61に対してフラッシュの発光指示を与える。フラッシュ制御手段61は発光指示に従って、(174)のステップにて演算されたG3に対応する発光量となるようにモニターセンサー37の出力信号に基づきキセノン管34を発光させる。これによってフラッシュ発光を伴った第3の撮像が行われる。撮像が終了するとシャッター駆動手段42に対して信号出力を行い、シャッター10を遮光状態とする。これにより撮像素子12に対する撮影レンズからの光線が遮断される。
【0095】
(177)レンズ制御手段51に対して絞り31を開放するように情報出力する。この情報に従ってレンズ制御手段51は絞り31を駆動するように第3のモータードライバ54に信号出力して、第3のモーター55を駆動する。これにより撮影レンズは絞り開放状態となる。さらに、第1のモータードライバ45に制御信号を出力して、第1のモーター46を駆動して主ミラー13および第1の反射ミラー14をダウンさせる。
【0096】
(178)第3の撮像画像情報を撮像素子12からA/D変換しながら読み出して、必要な補正処理や補間処理を行うように信号処理回路43に対して指示を出す。
【0097】
(179)信号処理回路43に対して指示を出して第3の撮像画像情報に対してホワイトバランス調整を行う。この場合、前記(163)のステップで実行したホワイトバランス調整量に従ってホワイトバランス調整を行う。
【0098】
(180)ホワイトバランス調整が行われた第3の撮像画像情報を記録ファイルフォーマットに圧縮変換して記憶手段44に記憶するように信号処理回路43に対して指示を出す。
【0099】
以上でブラケット撮影モードのシーケンスが終了する。
【0100】
以上説明したように、本実施例によれば、自動的に、フラッシュ(ストロボ)の光量と背景光(定常光)の光量とのミックス比率が異なりかつ主被写体が適正露出である画像を複数撮像し、撮影意図通りの画像を選択できるようにできる。また、自動的に、フラッシュ(ストロボ)の光量と背景光(定常光)の光量とのミックス比率が異なりかつ主被写体が適正露出である複数画像におけるホワイトバランス調整量を同一としたので、特に撮像画像の雰囲気を演出するタングステン光等の色味のある光源下での撮影時におけるミックス比率の差による画像の発色の変化を確実に反映することができる。
【0101】
なお、以上説明した実施例においては、(163)のステップにおける第1の撮像画像情報より得られたホワイトバランス調整量を第2の撮像画像と第3の撮像画像にも適用することで第1から第3の撮像画像に対するホワイトバランス調整量を同一とする形態としたが、他にも第1の撮像画像情報より得られたホワイトバランス調整量、第2の撮像画像情報より得られたホワイトバランス調整量、第3の撮像画像情報より得られたホワイトバランス調整量をそれぞれ求めてその平均値を算出し、算出された平均値による同一のホワイトバランス調整量を第1から第3の撮像画像に適用する形態も考えられる。
【0102】
【発明の効果】
以上説明したように、本発明によれば、自動的に、フラッシュ(ストロボ)の光量を変えて複数回撮像し、撮影意図通りの画像得ることができる。
【図面の簡単な説明】
【図1】 実施例における光学部材の配置を示す断面図
【図2】 焦点検出用センサーの構成を示す図
【図3】 測光用センサーの構成を示す図
【図4】 焦点検出位置を示す図
【図5】 実施例における電気回路の構成を示すブロック図
【図6】 カメラの動作を示すフローチャート(その1)
【図7】 カメラの動作を示すフローチャート(その2)
【図8】 カメラの動作を示すフローチャート(その3)
【符号の説明】
1 カメラ本体
2 交換レンズ
3 フラッシュ装置
12 撮像素子
41 カメラ制御手段
43 信号処理回路
51 レンズ制御手段
61 フラッシュ装置の制御手段

Claims (6)

  1. フラッシュ発光を伴い連続撮影を行う撮像装置において、
    連続撮影される画像の被写体の露出量はそれぞれ等しく、且つ、該露出量を構成するフラッシュ光と背景光の比率が該連続撮影される画像それぞれで異なるように制御する制御手段を備えることを特徴とする撮像装置。
  2. フラッシュ発光を伴い連続撮影を行う撮像装置において、
    フラッシュ発光を伴い第1の露出値で第1の画像を撮像する第1の撮像手段と、
    前記第1の露出値を所定量減じて第2の露出値を設定し、該第1の露出値を所定量増加させて第3の露出値を設定する、露出値設定手段と、
    前記第2の露出値で第2の画像が撮像される際に、被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を減じて撮像する第2の撮像手段と、
    前記第3の露出値で第3の画像が撮像される際に、前記被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を増加させて撮像する第3の撮像手段と、
    を備えることを特徴とする撮像装置。
  3. 前記第1の撮像手段により得られる第1の画像と、前記第2の撮像手段により得られる第2の画像と、前記第3の撮像手段により得られる第3の画像におけるホワイトバランス調整量を同一とすることを特徴とする請求項2に記載の撮像装置。
  4. フラッシュ発光を伴い連続撮影を行う撮像装置の制御方法において、
    連続撮影される画像の被写体の露出量はそれぞれ等しく、且つ、該露出量を構成するフラッシュ光と背景光の比率が該連続撮影される画像それぞれで異なるように制御する制御工程を備えることを特徴とする撮像装置の制御方法。
  5. フラッシュ発光を伴い連続撮影を行う撮像装置の制御方法において、
    フラッシュ発光を伴い第1の露出値で第1の画像を撮像する第1の撮像工程と、
    前記第1の露出値を所定量減じて第2の露出値を設定し、該第1の露出値を所定量増加させて第3の露出値を設定する露出値設定工程と、
    前記第2の露出値で第2の画像が撮像される際に、被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を減じて撮像する第2の撮像工程と、
    前記第3の露出値で第3の画像が撮像される際に、前記被写体の露出量が前記第1の画像と同じになるように、該第1の画像が撮像される時のフラッシュ光量よりもフラッシュ光量を増加させて撮像する第3の撮像工程と、
    を備えることを特徴とする撮像装置の制御方法。
  6. 前記第1の撮像工程により得られる第1の画像と、前記第2の撮像工程により得られる第2の画像と、前記第3の撮像工程により得られる第3の画像におけるホワイトバランス調整量を同一とすることを特徴とする請求項5に記載の撮像装置の制御方法。
JP2002343840A 2002-11-27 2002-11-27 撮像装置とその制御方法 Expired - Fee Related JP4323781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002343840A JP4323781B2 (ja) 2002-11-27 2002-11-27 撮像装置とその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002343840A JP4323781B2 (ja) 2002-11-27 2002-11-27 撮像装置とその制御方法

Publications (3)

Publication Number Publication Date
JP2004179963A JP2004179963A (ja) 2004-06-24
JP2004179963A5 JP2004179963A5 (ja) 2006-01-19
JP4323781B2 true JP4323781B2 (ja) 2009-09-02

Family

ID=32705528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002343840A Expired - Fee Related JP4323781B2 (ja) 2002-11-27 2002-11-27 撮像装置とその制御方法

Country Status (1)

Country Link
JP (1) JP4323781B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4714516B2 (ja) * 2005-07-08 2011-06-29 Hoya株式会社 撮像装置
US7697062B2 (en) * 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP4983271B2 (ja) * 2007-01-19 2012-07-25 株式会社ニコン 撮像装置
JP6429495B2 (ja) * 2014-05-23 2018-11-28 キヤノン株式会社 撮像装置及びその制御方法、照明装置、並びにプログラム
JP6486051B2 (ja) * 2014-09-29 2019-03-20 キヤノン株式会社 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置

Also Published As

Publication number Publication date
JP2004179963A (ja) 2004-06-24

Similar Documents

Publication Publication Date Title
US7039307B2 (en) Digital still camera, imaging method, and exposure decision method
JP2008187615A (ja) 撮像素子、撮像装置、制御方法、及びプログラム
JP2001177761A (ja) デジタルカメラ
US10356326B2 (en) Camera
JP2003101860A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP4323781B2 (ja) 撮像装置とその制御方法
JP4816337B2 (ja) 画像補正装置、カメラ及び画像補正プログラム
JP4763941B2 (ja) 表示制御装置及び制御方法、プログラム、記録媒体
JPH06121222A (ja) カメラ
JP4847352B2 (ja) 撮像装置及びその制御方法
JP4593900B2 (ja) 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP3546855B2 (ja) デジタルカメラ
JP2001249391A (ja) 焦点インジケータを有する確認カメラおよび方法
JP4422442B2 (ja) デジタルカメラ
JP4838460B2 (ja) 撮像装置
JP4479021B2 (ja) デジタルスチルカメラ
JP4780877B2 (ja) 電子カメラ及び制御方法
JP7327945B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP2006017854A (ja) 撮像装置及び閃光発光装置
JP2005130213A (ja) 電子カメラ
JP2005006217A (ja) デジタル一眼レフカメラ
JP2003101873A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP2007049363A (ja) カメラ
JP2003087648A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP2005024857A (ja) デジタル一眼レフカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090605

R150 Certificate of patent or registration of utility model

Ref document number: 4323781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees