JP4125084B2 - 画像撮像装置、プログラムおよび記録媒体 - Google Patents

画像撮像装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4125084B2
JP4125084B2 JP2002294527A JP2002294527A JP4125084B2 JP 4125084 B2 JP4125084 B2 JP 4125084B2 JP 2002294527 A JP2002294527 A JP 2002294527A JP 2002294527 A JP2002294527 A JP 2002294527A JP 4125084 B2 JP4125084 B2 JP 4125084B2
Authority
JP
Japan
Prior art keywords
exposure
imaging
correction
state
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002294527A
Other languages
English (en)
Other versions
JP2004133006A5 (ja
JP2004133006A (ja
Inventor
輝彦 植山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002294527A priority Critical patent/JP4125084B2/ja
Priority to US10/681,081 priority patent/US7830446B2/en
Priority to CNB2003101000528A priority patent/CN100362422C/zh
Publication of JP2004133006A publication Critical patent/JP2004133006A/ja
Publication of JP2004133006A5 publication Critical patent/JP2004133006A5/ja
Application granted granted Critical
Publication of JP4125084B2 publication Critical patent/JP4125084B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Exposure Control For Cameras (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、高精度な露出制御を実現する画像撮像装置、プログラムおよび記録媒体に関するものである。
【0002】
【従来の技術】
従来、固体メモリ素子を有するメモリカードを記録媒体として、静止画像や動画像を記録再生する電子カメラ等の画像処理装置において、固体撮像素子のラチチュードは、銀塩カメラのフィルムに比して非常に狭いため、一層の露出精度が求められる。そこで、これまで正確な露出値を決定するために、複雑で高度な演算処理を行い、露出精度向上のためにさまざまな工夫を行ってきた。
【0003】
たとえば、撮像準備開始用のシャッタースイッチSW1や撮像開始用のシャッタースイッチSW2を意識せずに一気にシャッタースイッチ部材を押下した場合、撮像者はレリーズタイムラグが大きいと感じてしまうため、自動露出制御手段の演算回数を減らして高速化を図り、撮像後に適正露出レベルとの誤差を補正することで、露出精度を安定化させたり(本願出願人による先願1)、シャッタや絞りといったメカ的な誤差、測光素子や撮像素子、ゲインアンプなどの電気的要因による誤差などの影響によって生じる、撮像された画像の露出レベルのばらつきを除去するための技術として、撮像後に適正露出レベルとの誤差を補正する手法(特許文献1)は既に知られている。
【0004】
【先願1】
特願2002−72917号
【特許文献1】
特開2000−69356号公報(第1−6頁、図5)
【0005】
【発明が解決しようとする課題】
しかしながら、上記の従来例においては、撮像装置の設定状態や操作の状態によっては撮像後の露出レベル補正を行うと所望の撮像結果が得られない場合があった。
【0006】
(発明の目的)本発明の目的は、撮影画像の露出誤差を補正するための補正量に制限を持たせ、極端に補正された撮像結果とならないようにするとともに、当該画像撮像装置の設定状態や操作の状態、撮像時の被写体の明るさに応じてその補正量の補正幅を変化させることで、所望の撮像結果を得ることができる画像撮像装置、プログラムおよび記録媒体を提供しようとするものである。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明は、撮像準備指示部材によって撮像準備の指示がなされたのち、撮像の為の測光を行って第1の露出レベルを算出する第1の露出レベル算出手段と、撮像後に出力された画像信号の第2の露出レベルを算出する第2の露出レベル算出手段と、前記第1の露出レベル算出手段によって求められた第1の露出レベルと前記第2の露出レベル算出手段によって求められた第2の露出レベルとの露出誤差値を算出する露出誤差値算出手段と、前記露出誤差値の補正が好ましい結果を与えない撮像時の画像撮像装置の設定状態、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態、撮像時の被写体の明るさ状態、のうち少なくとも一つの状態に基づいて、前記露出誤差値の補正量を演算するか否かを判定する判定手段と、前記判定手段により、補正量を演算すると判定された場合に、前記露出誤差値の補正量を演算する補正量演算手段とを有する画像撮像装置とするものである。
【0008】
同じく上記目的を達成するために、本発明は、撮像準備指示部材によって撮像準備の指示がなされたのち、撮像の為の測光を行って第1の露出レベルを算出する第1の露出レベル算出行程と、撮像後に出力された画像信号の第2の露出レベルを算出する第2の露出レベル算出行程と、前記第1の露出レベル算出行程によって求められた第1の露出レベルと前記第2の露出レベル算出行程によって求められた第2の露出レベルとの露出誤差値を算出する露出誤差値算出行程と、前記露出誤差値の補正が好ましい結果を与えない撮像時の画像撮像装置の設定状態、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態、撮像時の被写体の明るさ状態、のうち少なくとも一つの状態に基づいて、前記露出誤差値の補正量を演算するか否かを判定する判定行程と、前記判定行程により、補正量を演算すると判定された場合に、前記露出誤差値の補正量を演算する補正量演算行程とを有する画像撮像装置の制御方法をコンピュータに実行させるためのプログラムとするものである。
【0009】
同じく上記目的を達成するために、本発明は、本発明の上記プログラムをコンピュータ読み取り可能に記録した記録媒体とするものである。
【0010】
【発明の実施の形態】
以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【0011】
図1は、本発明の実施の各形態に係る画像処理装置の概略構成を示すブロック図である。
【0012】
図1において、100は画像処理装置である。10は撮像レンズ、12は絞り機能を備えるシャッター、14は光学像を電気信号に変換する撮像素子、120は撮像素子14のアナログ信号出力を増幅してカメラの感度を設定するゲインアンプ、16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
【0013】
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて後述のシステム制御回路50が、露光制御回路40、測距制御回路42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
【0014】
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
【0015】
50は画像処理装置100全体を制御するシステム制御回路であり、内部に露出演算部50a、露出レベル演算部50b、露出補正演算部50cを有している。前記露出演算部50aは、メモリ制御回路22を介してTTLによって測光された輝度レベルを基に適正露出値を演算して露光制御回路40を制御するものである。前記露出レベル演算部50bは、メモリ制御回路22を介して撮像した画像データから露出レベルを演算するものである。前記露出補正演算部50cは、前記露出演算部50aによって測光された露出(輝度)レベルと前記露出レベル演算部50bによって演算された露出レベルを比較して適正レベルとなるよう補正値(露出誤差値及び画像撮像装置の設定状態等に基づいて該露出補正値の誤差を補正する露出誤差補正値)を演算するものであり、該補正値(露出誤差補正値)が画像処理回路20によりデジタルゲイン補正として加えられる。
【0016】
24は画像表示メモリ、26はD/A変換器である。28はTFT、LCD等から成る画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して該画像表示部28により表示される。該画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。
【0017】
30は撮像した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みを該メモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
【0018】
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0019】
40は絞り機能を備えるシャッター12を制御する露光制御回路であり、後述のストロボ装置48と連携することによりストロボ調光機能も有するものである。42は撮像レンズ10のフォーカシングを制御する測距制御回路、44は撮像レンズ10のズーミングを制御するズーム制御回路、46はバリアである保護部材102の動作を制御するバリア制御回路である。48はストロボ装置であり、AF補助光の投光機能、ストロボ調光機能も有する。
【0020】
前記露光制御回路40、測距制御回路42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50がこれら露光制御回路40、測距制御回路42に対して制御を行う。
【0021】
52は、システム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。54は、システム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、該表示部54は、その一部の機能が光学ファインダ104内に設置されている。
【0022】
前記表示部54の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮像表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、ストロボ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。また、該表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【0023】
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
【0024】
62,64,66,68及び70は、システム制御回路50の各種の動作指示を入力するための操作部材であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作部材の具体的な説明を行う。
【0025】
62はシャッタースイッチSW1であり、不図示のシャッタースイッチ部材の操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(ストロボ(フラッシュ)プリ発光)処理等の撮像準備動作開始を指示する。64はシャッタースイッチSW2であり、不図示のシャッタースイッチ部材の操作完了でONとなり、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像データを書き込む記録処理という一連の処理の撮像動作開始を指示する。66は画像表示ON/OFFスイッチであり、画像表示部28のON/OFFを設定することが出来る。この機能により、光学ファインダ104を用いて撮像を行う際に、TFT LCD等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。68はクイックレビューON/OFFスイッチであり、撮像直後に撮像した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施の各形態では特に、画像表示部28をOFFとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
【0026】
121は計時部であり、シャッタースイッチSW1が押されてからシャッタースイッチSW2が押されるまでの時間を計測することが可能である。70は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像移動−(マイナス)ボタン、撮像画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。
【0027】
80は電源制御回路であり、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【0028】
82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源装置である。
【0029】
90及び94はメモリカードやハードディスク等の記録媒体とのインタフェース、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、98はコネクタ92及び或いは96に記録媒体200或いは210が装着されているか否かを検知する記録媒体着脱検知装置である。
【0030】
なお、本実施の各形態では、記録媒体を取り付けるインタフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、PCMCIAカードやCF(小型の記憶装置(コンパクトフラッシュ(登録商標)))カード等の規格に準拠したものを用いて構成して構わない。
【0031】
さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【0032】
102は、画像処理装置100のレンズ10を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部材である。104は光学ファインダであり、画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮像を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【0033】
110は通信装置であり、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。112は通信装置110により画像処理装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【0034】
200はメモリカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。210はメモリカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインタフェース214、画像処理装置100と接続を行うコネクタ216を備えている。
【0035】
(実施の第1の形態)
図2は本発明の実施の一形態に係る画像処理装置100の主ルーチンを示すフローチャートであり、以下,図1及び図2にしたがって動作について説明する。
【0036】
シャッタースイッチSW1が押されると(S100)、露出演算処理を開始し、測光値から露出値を算出する(S101)。続いてシャッタースイッチSW2が押され(S102)、前記露出演算処理が終了していれば、上記S101で算出した露出値をもとに本露光(S103でY→S105)を行う。
【0037】
このとき、シャッタースイッチSW1が押されてからシャッタースイッチSW2が押されるまでの間に、上記S101の露出演算処理が終了しておらず(S103でN)、撮像時の設定状態がある条件の時には(S104でY)、露出演算処理が終了するまでこの動作を繰り返し(S103でN→S104でY→S103でN→S104でY……)、本露光は行わず、その後露出演算が終了すると本露光を行う(S104でN→S105)。逆に撮像時の設定状態がある条件を満たしていなければ(S104でN)、上記S101の露出演算処理を中断し、追い込み途中の露出値で本露光を行う(S105)。
【0038】
ここで、上記の設定状態のある条件とは、図3に示す条件である。露出誤差補正を行わない設定状態の時には、露出演算処理が終了するまで本露光を待つ必要がある。露出誤差補正を行わない理由については、後の露出誤差補正判定条件(S108)の説明の中で述べる。
【0039】
図3において、設定状態の一つの条件判定として、まず露出補正値が設定されているかの判定を行い(S201)、露出補正値が設定されている場合は(S201でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、露出補正値が設定されていなければ(S201でN)、次にAEロック(露出値固定)が設定されているかの条件判定を行い(S202)、AEロックが設定されている場合は(S202でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、AEロックが設定されていなければ(S202でN)、次の条件判定へ移行する。
【0040】
次の条件判定として、スポット測光モードに設定されているかの判定を行い(S203)、スポット測光モードが設定されている場合は(S203でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、スポット測光モードに設定されていなければ(S203でN)、次にマニュアル露出設定されているかの条件判定を行い(S204)、マニュアル露出設定されている場合は(S204でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、マニュアル露出設定されていなければ(S204でN)、次の条件判定へ移行する。
【0041】
次の条件判定として、長秒時撮影が設定されているかの判定を行い(205)、長秒時撮影が設定されている場合は(S205でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、長秒時撮影が設定されていなければ(S205でN),次にストロボ発光が可能な状態に設定されているかの判定を行い(S206)、ストロボ発光が可能な状態に設定されている場合は(S206でY)、露出演算処理が終了するまで本露光を行わない(図2のS103へ)。また、ストロボ発光が禁止状態に設定されている場合は(S206でN)、露出演算処理を中断して、途中の露出演算結果を用いて本露光を行う(図2のS105へ)。
【0042】
図2に戻り、次に撮像された画像の露出レベルを算出し、露出誤差値及び露出補正値を求める(S106→S107)。
【0043】
詳しくは、S106にて、測光時と同様の測光方式、測光エリアで撮像画像の露出レベルを演算により求め、S107において、図4のフローチャートに示すように、測光時の露出目標レベルと撮像画像の露出レベルを比較して撮像画像の露出誤差を算出し(S301)、次いで露出補正値を求め(S302)、終了する(S303)。
【0044】
例えば、撮像された画像の露出(輝度)レベルをYi、測光時の露出レベルをYmとした場合、これらの露出誤差αは
α=Log2 Yi/Ym
のように輝度段差としてあらわす事が出来る。この後、撮像画像の補正判定を行う(S108)。つまり、撮像された画像に対して露出誤差補正を行うかを判定する。この判定条件については、図5のフローチャートを用いて説明する。
【0045】
図5において、この条件判定として、まず露出補正値が設定されているかの判定を行い(S401)、露出補正値が設定されている場合は(S401でY)、撮像画像に露出誤差補正を行わない(図2のS108でN)。このように露出補正値が設定されている場合、露出補正分を考慮せずに測光を行って、その測光結果から露出補正分を自動露出の線図上を移動させることで露出条件を設定するカメラの場合には、撮像時の露出レベルと測光時の露出レベルが異なる。そこで、測光時の露出レベルに露出補正分の補正をした上で露出誤差補正を行うと、微妙な露出設定を要求する露出補正の機能の効果が十分に得られない場合がある。このため、露出補正値が設定されている場合は露出誤差補正を行わない。露出補正値が設定されていなければ(S401でN)、次の条件判定へ移行する。
【0046】
次の条件判定として、AEロック(露出値固定)が設定されているかの判定を行い(S402)、AEロックが設定されている場合は(S402でY)、撮像画像に露出誤差補正を行わない(図2のS108でN)。AEロックを使用する際には、撮像者が自動露出では適正でないと判断する場合が多く、測光時と撮像時ではフレーミングが異なるため、露出誤差補正を行うと好ましい結果が得られないことが多い。このため、AEロックが設定されている場合は露出誤差補正を行わない。AEロックが設定されていなければ(S402でN)、次の条件判定を行う。
【0047】
次の条件判定として、スポット測光モードに設定されているかの判定を行い(S403)、スポット測光モードに設定されている場合は(S403でY)、撮像画像に露出誤差補正を行わない(図2のS108でN)。このようにスポット測光モードに設定されている場合には、撮像者が被写体の一部を測光して露出条件を決定したい場合に使用されることが多く、測光時と撮像時ではフレーミングが異なる場合が多い。そのため露出誤差補正を行うと好ましい結果が得られないことが多い。よって、スポット測光モードに設定されている場合は露出誤差補正を行わない。スポット測光モードに設定されていなければ(S403でN)、次の条件判定を行う。
【0048】
次の条件判定として、マニュアル露出設定されているかの判定を行い(S404)、マニュアル露出設定されている場合は(S404でY)、撮像画像に露出誤差補正を行わない(図2のS108でN)。このようにマニュアル露出設定されている場合は、撮像者の意思で露出条件を決定して撮像を行うため、測光値を用いて露出誤差補正を行うと好ましい結果が得られないことが多い。よって、マニュアル露出設定されている場合は露出誤差補正を行わない。マニュアル露出設定されていなければ(S404でN)、次の条件判定を行う。
【0049】
次の条件判定として、長秒時撮影となるかの判定を行い、長秒時撮影となる場合は(S405でY)、撮像画像に露出誤差補正を行わない。このように長秒時撮影の場合は、撮像素子やゲインアンプのリニアリティ、暗電流によるノイズの影響などにより、露出誤差補正を行っても好ましい結果が得られないことが多い。よって、長秒時撮影が設定されている場合は露出誤差補正を行わない。長秒時撮影が設定されていなければ(S405でN)、次の条件判定を行う。
【0050】
次の条件判定として、被写体輝度の判定を行い(S406)、被写体輝度が、予め設定されている輝度レベルの範囲よりも高いもしくは低い場合は(S406でY)、撮像画像に露出誤差補正を行わない(図2のS108でN)。被写体の輝度が測光限界付近もしくは測光限界を超えた場合、測光精度が高いとはいえない。よって、被写体輝度があらかじめ設定されている範囲(例えば測光可能な範囲)を超える輝度レベルであれば、露出誤差補正を行わない。詳しくは、被写体の明るさの状態として、撮像しようとする被写体の輝度が、あらかじめ設定された上限の輝度よりも明るい場合、もしくは、あらかじめ設定された下限の輝度よりも暗い場合、露出誤差補正値の補正量の演算は行わず、撮影画像の露出誤差の補正を行わないようにする。また、被写体輝度が、予め設定されている輝度レベルの範囲内であれば(S406でN)、次の条件判定を行う。
【0051】
次の条件判定として、シャッタースイッチSW1を押すことで露出値が固定される撮像装置において、該スイッチSW1を押してからシャッタースイッチSW2を押すまでの時間間隔を判定し(S407)、時間間隔がある閾値時間以上経っていた場合は(S407でY)、撮像画像に露出誤差補正を行わない(S108でN)。シャッタースイッチSW1を押して露出値が固定されてからシャッタースイッチSW2が押されて撮像開始されるまでの時間が長いと、測光時と撮像時ではフレーミングが変化していたり、被写体の明るさが変化している場合があり、露出誤差補正を行っても好ましい結果が得られないことが多い。よって、シャッタースイッチSW1を押してからシャッタースイッチSW2を押すまでの間隔がある閾値時間以上経っていた場合には露出誤差補正を行わない。シャッタースイッチSW1を押してからシャッタースイッチSW2を押すまでの間隔がある閾値時間以内であれば(S407でN)、撮像画像に露出誤差補正を行う(図2のS108でY)。
【0052】
図2のS108で、露出誤差の補正判定がYと判定された場合、撮像画像に露出誤差補正を行う。具体的には、図6のフローチャートに示すように、まず撮像時にストロボ発光したかを判定する。ストロボ発光した場合(S501でY)、
・ストロボの発光量
・被写体までの距離
・絞り値
・感度設定値
などを考慮し、補正値の補正幅を設定する(S505)。例えば、
(1)ストロボの発光量が小さければ発光むらの影響が出やすく、さらに露光不足になる場合があるため、補正幅を広げる。このとき、あらかじめストロボの発光量を適正発光量に対して少なめに発光された場合においても、同様に補正値を広げる。
(2)被写体までの距離が遠いとストロボ光が十分に届かず、露光不足になる場合が多いため、補正幅を広げる。
(3)絞り値が絞り込まれている場合はストロボ光量が不足する場合があるため、補正幅を広げる。
(4)設定された感度が低いとストロボ光の到達距離が短いため、補正幅を広げる。
【0053】
上記のような、露出量不足をまねく要素のうちの少なくとも一つの条件を設定して、露出誤差補正値の補正幅を設定して、S503へ移行する。
【0054】
また、撮像時にストロボ発光していなければ(S501でN)、補正後に階調落ちやS/Nの低下を招かない程度の補正幅をあらかじめ用意しておき、露出誤差補正値の補正幅とし(S502)、S503へ移行する。
【0055】
そして、次に図4のS302で算出された露出誤差補正値が補正幅の範囲内かを判定する。この結果、露出誤差補正値が補正範囲内であった場合は(S503でY)、撮像画像に対し露出誤差補正を行う(S504)。
【0056】
一方、露出誤差補正値が補正幅の範囲外であった場合は(S503でN)、露出誤差補正値が補正幅の上限値よりも大きければ補正幅の上限値に、また露出誤差補正値が補正幅の下限値よりも小さければ補正幅の下限値となるように露出誤差補正値を設定し(S506)、撮像画像に対し露出誤差補正を行う(S504)。補正の方法としては、撮像画像に対して補正分だけゲインをかけてもよいし、RAWデータ(撮像素子から読み出された情報をA/D変換した生データ)から画像を現像処理する際にホワイトバランスの係数やガンマに対して補正を行ってもよい。
【0057】
(実施の第2の形態)
上記実施の第1の形態では、設定状態の判別(図2のS104)の内容として、図3のS201からS206の条件を順番に判定していたが、判定条件の順番を入れ替えたり、判定条件の項目を全て行わなくとも良い。たとえば一つ以上であれば良い。
【0058】
(実施の第3の形態)
上記実施の第1及び第2の形態では、撮像画像の露出誤差補正判定(図2のS108)として、図5のS401からS407の条件を順番に判定していたが、判定条件の順番を入れ替えたり、判定条件の項目を全て行わなくとも良い。たとえば一つ以上であれば良い。
【0059】
(実施の第4の形態)
上記実施の第1〜第3の形態では、ストロボ発光して撮像された画像の露出誤差補正の補正幅を設定する際に、撮像条件として
・ストロボの発光量
・被写体までの距離
・絞り値
・感度設定値
を考慮して、補正値の補正幅を設定する例をしていたが(S505)、上記の判定条件だけではなく、撮像シーンや撮像モード、レンズの画角など、任意に条件を設定して補正幅を決定しても良いことはいうまでもない。
【0060】
(実施の第5の形態)
上記実施の第1〜第4の形態では、撮像画像の露出誤差補正判定(図2のS108)を露出誤差演算(図2のS107)の直後に行っているが、撮像条件が決定された直後から撮像画像の露出誤差補正を行う直前まで、どのタイミングで判定を行っても構わない。
【0061】
なお、上記の実施の各形態の説明においては、撮像モードとして露出オートモードを前提に説明したが、露出オートモードとは一般に、風景モードやポートレートモード、夜景モード、近接撮像モード、パンフォーカスモード、色効果モード、動画モードなどの撮像被写体に合わせた自動設定モードのことであり、上記実施の第4の形態にて説明した、撮像者が露出パラメータを設定した場合の撮像モードとは、一般にマニュアルモード、絞り優先モード、シャッター優先モード、プログラムシフトモードなどと呼ばれる撮像モードであるということは無論言うまでも無い。
【0062】
また、上記実施の各形態の説明においては、露出演算処理が終了するまでにシャッタースイッチSW2が押された場合は、露出演算の追い込み途中であっても直ちに露出演算処理を中断して設定状態判別(図2のS104)を行っているが、計時部121にてシャッタースイッチSW1が押されてからシャッタースイッチSW2が押されるまでの時間を計時して、この計時された時間がある閾値t以上であった場合は、露出演算処理を途中で中断することなく露出制御値が得られるまで処理を続けても勿論問題ない。
【0063】
さらに、記録媒体200及び210がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。
【0064】
更に、上記実施の各形態の説明においては、記録媒体200及び210は画像処理装置100と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が画像処理装置100に固定したままとなっていても勿論問題無い。また、画像処理装置100に記録媒体200或いは210が、単数或いは複数の任意の個数接続可能な構成であっても構わない。そして、画像処理装置100に記録媒体200及び210が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。
【0065】
以上の実施の各形態によれば、従来においては露出演算の追い込み精度を下げて(自動露出制御手段の演算回数を減らすことで)レリーズタイムラグを減少させたり、メカ精度などに起因する露出むらを補正するために露出誤差補正を行っていたものを、補正量(露出誤差補正値)に制限を持たせて極端に補正された撮像結果とならないようにすると共に、撮像装置の設定状態(図5のS401〜S405)や操作の状態(S407)、被写体の明るさ(406)に応じて、その補正量の制限幅を変化させる(図6のS502,S505)ことで、所望の撮像結果を得ることが可能となる。
【0066】
また、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が、該記憶媒体に格納されたプログラムコードを読み出し実行することによっても、同様の効果を得ることができるのは言うまでもない。
【0067】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0068】
プログラムコードを供給するための前記記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【0069】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0070】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0071】
(発明と実施の形態の対応)
システム制御回路50内の図5のS401〜S407の判定を行う部分が本発明の、露出誤差値の補正量を演算するか否かを判定する判定手段に、露出演算部50aが本発明の、撮像の為の測光を行って第1の露出レベルを算出する第1の露出レベル算出手段に、露出レベル演算部50bが本発明の、画像信号の第2の露出レベルを算出する第2の露出レベル算出手段に、露出補正演算部50cが本発明の、露出誤差値の補正量を演算する補正量演算手段に、それぞれ相当する。
【0072】
【発明の効果】
以上説明したように、本発明によれば、撮影画像の露出誤差を補正するための補正量に制限を持たせ、極端に補正された撮像結果とならないようにするとともに、当該画像撮像装置の設定状態や操作の状態、撮像時の被写体の明るさに応じてその補正量の補正幅を変化させることで、所望の撮像結果を得ることができる画像撮像装置、プログラムまたは記録媒体を提供できるものである。
【図面の簡単な説明】
【図1】本発明の実施の各形態に係る画像処理装置の概略構成を示したブロック図である。
【図2】本発明の実施の第1の形態に係る画像処理装置の主要部分の動作を示すフローチャートである。
【図3】同じく本発明の実施の第1の形態に係る画像処理装置の主要部分の動作を示すフローチャートである。
【図4】同じく本発明の実施の第1の形態に係る画像処理装置の主要部分の動作を示すフローチャートである。
【図5】同じく本発明の実施の第1の形態に係る画像処理装置の主要部分の動作を示すフローチャートである。
【図6】同じく本発明の実施の第1の形態に係る画像処理装置の主要部分の動作を示すフローチャートである。
【符号の説明】
10 撮像レンズ
12 シャッター
14 撮像素子
16 A/D変換器
18 タイミング発生回路
20 画像処理回路
22 メモリ制御回路
24 画像表示メモリ
26 D/A変換器
28 画像表示部
30 メモリ
32 画像圧縮・伸長回路
40 露光制御回路
42 測距制御回路
44 ズーム制御回路
46 バリア制御回路
50 システム制御回路
50a 露出演算部
50b 輝度レベル演算部
50c 補正ゲイン演算部
52 メモリ
54 表示部
56 不揮発性メモリ
60 モードダイアルスイッチ
62 シャッタースイッチSW1
64 シャッタースイッチSW2
66 画像表示ON/OFFスイッチ
68 クイックレビューON/OFFスイッチ
70 操作部
80 電源制御回路
82 コネクタ
84 コネクタ
86 電源装置
90 インタフェース
92 コネクタ
94 インタフェース
96 コネクタ
98 記録媒体着脱検知装置
100 画像処理装置
102 保護部材
104 光学ファインダ
110 通信装置
112 コネクタ(またはアンテナ)
120 ゲインアンプ
121 計時部
200 記録媒体
202 記録部
204 インタフェース
206 コネクタ
210 記録媒体
212 記録部
214 インタフェース
216 コネクタ

Claims (9)

  1. 撮像準備指示部材によって撮像準備の指示がなされたのち、撮像の為の測光を行って第1の露出レベルを算出する第1の露出レベル算出手段と、
    撮像後に出力された画像信号の第2の露出レベルを算出する第2の露出レベル算出手段と、
    前記第1の露出レベル算出手段によって求められた第1の露出レベルと前記第2の露出レベル算出手段によって求められた第2の露出レベルとの露出誤差値を算出する露出誤差値算出手段と、
    前記露出誤差値の補正が好ましい結果を与えない撮像時の画像撮像装置の設定状態、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態、撮像時の被写体の明るさ状態、のうち少なくとも一つの状態に基づいて、前記露出誤差値の補正量を演算するか否かを判定する判定手段と、
    前記判定手段により、補正量を演算すると判定された場合に、前記露出誤差値の補正量を演算する補正量演算手段とを有することを特徴とする画像撮像装置。
  2. 前記判定手段は、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の設定状態が、露出補正値が設定された状態、測光により得られた露出条件を保持するように設定された状態、測光方式がスポット測光に設定された状態、マニュアル露出モードに設定された状態、長秒時撮影モードに設定された状態、のうち少なくとも何れかの状態である場合には、前記露出誤差値の補正量の演算を行わないと判定することを特徴とする請求項1に記載の画像撮像装置。
  3. 前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の設定状態が、ストロボが発光するように設定された状態である場合には、前記補正量演算手段は、露光量不足をまねく要素を考慮して、前記露出誤差値の補正量の補正幅を変化させることを特徴とする請求項1に記載の画像撮像装置。
  4. 前記露光量不足をまねく要素とは、ストロボの発光量、被写体までの距離、絞り状態、設定感度の少なくとも一つを含むことを特徴とする請求項3に記載の画像撮像装置。
  5. 前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態が、前記撮像準備指示部材により撮像処理の準備開始の指示を受けた時点から開始された前記第1の露出レベル算出手段による露出演算の処理が終了しない間に、撮像開始指示部材により撮像処理の開始の指示を受けた状態である場合、
    前記補正量演算手段は、露出演算の処理途中の露出値で撮像を行い、撮像後の画像が適正露出となるように露出演算時の情報を用いて露出誤差値の補正量を算出し、該補正量を用いて撮影画像の露出誤差を補正することを特徴とする請求項1に記載の画像撮像装置。
  6. 前記第1の露出レベル算出手段による露出演算の処理が終了しない間に撮像処理の開始の指示を受けた場合、
    前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の設定状態が、露出補正値が設定された状態、測光により得られた露出条件を保持するように設定された状態、測光方式がスポット測光に設定された状態、マニュアル露出モードに設定された状態、長秒時撮影モードに設定された状態、の少なくとも何れかの状態であった際には、
    前記第1の露出レベル算出手段での演算処理が終了して、適正な露出値が算出されるのを待ってから露光開始することを特徴とする請求項1に記載の画像撮像装置。
  7. 前記撮像準備指示部材を押した時に露出状態が保持される、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態において、該撮像準備指示部材が押されてから、ある閾値時間以上、撮像開始指示部材が押されない状態が保持された場合、
    前記補正量演算手段は露出誤差値の補正量の演算を行わないことを特徴とする請求項1に記載の画像撮像装置。
  8. 撮像準備指示部材によって撮像準備の指示がなされたのち、撮像の為の測光を行って第1の露出レベルを算出する第1の露出レベル算出行程と、
    撮像後に出力された画像信号の第2の露出レベルを算出する第2の露出レベル算出行程と、
    前記第1の露出レベル算出行程によって求められた第1の露出レベルと前記第2の露出レベル算出行程によって求められた第2の露出レベルとの露出誤差値を算出する露出誤差値算出行程と、
    前記露出誤差値の補正が好ましい結果を与えない撮像時の画像撮像装置の設定状態、前記露出誤差値の補正が好ましい結果を与えない画像撮像装置の操作の状態、撮像時の被写体の明るさ状態、のうち少なくとも一つの状態に基づいて、前記露出誤差値の補正量を演算するか否かを判定する判定行程と、
    前記判定行程により、補正量を演算すると判定された場合に、前記露出誤差値の補正量を演算する補正量演算行程とを有する画像撮像装置の制御方法をコンピュータに実行させるためのプログラム。
  9. 請求項8に記載のプログラムをコンピュータに読み取り可能に記録したことを特徴とする記録媒体。
JP2002294527A 2002-10-08 2002-10-08 画像撮像装置、プログラムおよび記録媒体 Expired - Fee Related JP4125084B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002294527A JP4125084B2 (ja) 2002-10-08 2002-10-08 画像撮像装置、プログラムおよび記録媒体
US10/681,081 US7830446B2 (en) 2002-10-08 2003-10-08 Image sensing apparatus, image sensing method, program, and recording medium providing selective image correction
CNB2003101000528A CN100362422C (zh) 2002-10-08 2003-10-08 图像摄影装置和图像摄影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002294527A JP4125084B2 (ja) 2002-10-08 2002-10-08 画像撮像装置、プログラムおよび記録媒体

Publications (3)

Publication Number Publication Date
JP2004133006A JP2004133006A (ja) 2004-04-30
JP2004133006A5 JP2004133006A5 (ja) 2005-11-24
JP4125084B2 true JP4125084B2 (ja) 2008-07-23

Family

ID=32040739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002294527A Expired - Fee Related JP4125084B2 (ja) 2002-10-08 2002-10-08 画像撮像装置、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US7830446B2 (ja)
JP (1) JP4125084B2 (ja)
CN (1) CN100362422C (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777806B2 (en) 2003-08-06 2010-08-17 Nikon Corporation Camera, method, and program which captures a field of an object to generate an image, and image processing program and imaging device for applying image processing to an image
CN100361019C (zh) * 2004-12-24 2008-01-09 北京中星微电子有限公司 一种自动曝光实现方法
KR100641188B1 (ko) * 2005-03-04 2006-11-06 엘지전자 주식회사 카메라의 자동 노출 보정 장치 및 그 방법
JP2008258828A (ja) * 2007-04-03 2008-10-23 Nikon Corp 撮像装置
KR101431185B1 (ko) 2007-06-22 2014-08-27 삼성전자 주식회사 영상 향상 방법 및 장치, 이를 이용한 영상 처리 시스템
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
JP5495841B2 (ja) * 2010-02-22 2014-05-21 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
JP5682196B2 (ja) * 2010-09-22 2015-03-11 セイコーエプソン株式会社 画像補正回路、撮影装置および画像補正プログラム
JP5749224B2 (ja) * 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール
US11503216B2 (en) 2019-04-22 2022-11-15 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium for controlling exposure

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5835800A (en) * 1993-12-13 1998-11-10 Nikon Corporation Camera and recording medium forwarding device suitable for use in a camera
JP3873157B2 (ja) * 1997-11-13 2007-01-24 カシオ計算機株式会社 電子カメラ装置および撮像方法
JP2000069356A (ja) 1998-08-21 2000-03-03 Minolta Co Ltd 撮像装置
JP2001078086A (ja) * 1999-09-07 2001-03-23 Sony Corp 撮像装置
JP3430994B2 (ja) * 1999-09-28 2003-07-28 ミノルタ株式会社 カメラ
JP2001305601A (ja) * 2000-04-19 2001-11-02 Nikon Corp カメラの測光装置
JP2002006374A (ja) * 2000-04-20 2002-01-09 Asahi Optical Co Ltd ストロボ光制御装置
JP2002072300A (ja) * 2000-08-24 2002-03-12 Minolta Co Ltd ワイヤレスフラッシュシステム、カメラ及びワイヤレスフラッシュ
JP2002176588A (ja) * 2000-12-06 2002-06-21 Canon Inc 撮像方法及び撮像装置並びに記憶媒体
US7136101B2 (en) * 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
JP3722125B2 (ja) * 2003-01-30 2005-11-30 コニカミノルタフォトイメージング株式会社 撮像装置

Also Published As

Publication number Publication date
US20040066464A1 (en) 2004-04-08
CN100362422C (zh) 2008-01-16
US7830446B2 (en) 2010-11-09
JP2004133006A (ja) 2004-04-30
CN1497318A (zh) 2004-05-19

Similar Documents

Publication Publication Date Title
US7636123B2 (en) Image capturing apparatus with light emission controlling mechanism and method of controlling the image capturing apparatus
JP4035543B2 (ja) 撮像装置
JP5366584B2 (ja) 撮像装置、画像処理方法およびプログラム
JP2007028211A (ja) 撮像装置及びその制御方法
US7551790B2 (en) Image capture apparatus capable of correcting captured image
JP4125084B2 (ja) 画像撮像装置、プログラムおよび記録媒体
US8531586B2 (en) Image pickup apparatus and storage medium including focus lens control
US6859621B2 (en) Camera, control method therefor, recording medium, and program
JP4355616B2 (ja) 撮像装置及びその制御方法
US20040032490A1 (en) Image sensing apparatus, image sensing method, program, and storage medium
JP4646725B2 (ja) 撮像装置及び撮像装置の制御方法
JP4603836B2 (ja) 撮像装置及びその制御方法、プログラム並びに記録媒体
JP3605084B2 (ja) 画像データ補正装置、画像処理装置、画像データ補正方法、プログラム、及び記憶媒体
JP4343340B2 (ja) 画像処理装置および制御方法
JP2006203689A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4636739B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP4018567B2 (ja) 画像処理装置、その制御方法及びプログラム
JP2007189524A (ja) 画像処理装置及び画像処理方法
JP4612763B2 (ja) 撮像装置およびその制御方法
JP2006222529A (ja) 撮像装置
JP4393299B2 (ja) 画像処理装置及びその制御方法
JP2006060409A (ja) 撮像装置及びその制御方法
JP2005110128A (ja) 撮像装置及び撮像制御方法
JP4719453B2 (ja) 撮像装置及びその制御方法
JP2007267000A (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080507

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees