JP4576658B2 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

撮像装置、撮像方法及び撮像プログラム Download PDF

Info

Publication number
JP4576658B2
JP4576658B2 JP2000054254A JP2000054254A JP4576658B2 JP 4576658 B2 JP4576658 B2 JP 4576658B2 JP 2000054254 A JP2000054254 A JP 2000054254A JP 2000054254 A JP2000054254 A JP 2000054254A JP 4576658 B2 JP4576658 B2 JP 4576658B2
Authority
JP
Japan
Prior art keywords
value
detection frame
detected
luminance level
exposure correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000054254A
Other languages
English (en)
Other versions
JP2001242504A5 (ja
JP2001242504A (ja
Inventor
勲 川西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000054254A priority Critical patent/JP4576658B2/ja
Priority to TW090103291A priority patent/TW501364B/zh
Priority to US09/794,972 priority patent/US6879345B2/en
Priority to CNB011047984A priority patent/CN1165158C/zh
Priority to KR1020010010288A priority patent/KR100733096B1/ko
Publication of JP2001242504A publication Critical patent/JP2001242504A/ja
Priority to US10/940,223 priority patent/US7518643B2/en
Priority to US11/093,335 priority patent/US7400354B2/en
Priority to US11/092,024 priority patent/US7403231B2/en
Publication of JP2001242504A5 publication Critical patent/JP2001242504A5/ja
Application granted granted Critical
Publication of JP4576658B2 publication Critical patent/JP4576658B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば被写体からの映像光を撮像素子を用いて電気信号に変換して撮影を行うカメラ装置などの撮像装置、そして撮像方法及び撮像プログラムに関する。詳しくは、撮像素子の撮像面で輝度レベルが最も低い部分とそれ以外の部分との輝度レベルの比率を求めて逆光状態を検出し、自動的に所定の逆光補正を行うようにしたものである。
【0002】
【従来の技術】
従来から、いわゆる逆光と判定された場合にオーバー側に露出補正を行って露出アンダーの写真を防止するカメラ装置が知られている。このようなカメラ装置としては、例えば特開昭62−110369号公報に示されるような技術が提案されている。すなわちこの公報に開示された発明は、主要被写体が画面の中央に位置する可能性が高いという傾向を利用したもので、撮像画面を中央部とそれ以外の周辺部に分割し、各部の輝度レベルを得てこの両者の比によって露出を調整して、画面中央部にある主要被写体に適切な露出を得ようとするものである。
【0003】
すなわちこのカメラ装置においては、撮像画面の中央領域に位置する被写体の輝度と、この中央領域の周辺領域に位置する被写体の輝度をそれぞれ検出し、中央領域の被写体輝度が周辺領域の被写体輝度より所定値以上低い場合には、中央領域の被写体が逆光状態であると判定して、撮影時にオーバー側の露出補正を行う。これによれば、上記中央領域の被写体が露出アンダーのために黒くつぶれるといった失敗が防止されるものである。
【0004】
また従来から、逆光と判定された場合に行われるオーバー側の露出補正では、例えばカメラ内部に持っている露出基準値を上げる装置が知られている。すなわちこのカメラ装置では、例えば撮像素子(CCD)の出力信号から光学検出回路(OPD)を通って得られた積分信号が、カメラ内部に持っている露出基準値と比較して大きいか小さいかを判定し、大きければアンダー側の露出補正を、小さければオーバー側の露出補正を行っている。そこで逆光状態では、その露出基準値を上げてオーバー側の露出補正を行う。これによれば、上記中央領域の被写体が露出アンダーのために黒くつぶれるといった失敗が防止されるものである。
【0005】
さらに近年、適正な測光値を求めるために、クリップレベルの異なる複数の高輝度クリップ回路を設け、撮影シーンに応じたクリップレベルを有する高輝度クリップ回路を通過した輝度信号を利用するようにしたカメラ用露出制御装置が提案されている(特開平2−268080号公報参照)。これによれば、撮影シーンが逆光と判断された場合には、被写体の輝度信号をクリップレベルの低い高輝度クリップ回路を介して入力することにより測光値を求め、その測光値が基準値になるようにアイリス絞りの開度が調節されることによって、露出アンダーのために黒くつぶれるといった失敗が防止される。
【0006】
なお上述のように露出基準値を上げてオーバー側の露出補正を行う方法では、例えば自動車等の動く被写体を撮影するような場合において、逆光と判定した場合とそうでない場合が混在するような環境で、露光基準値の上下を繁盛に行うことになり、露光制御の不安定を招かないための遅延動作等の工夫を強いられることがある。
【0007】
それに対して、撮像素子(CCD)の出力信号から光学検出回路(OPD)を通って得られた積分信号の高輝度成分レベルを予め測定し続け、逆光の度合いに応じて高輝度クリップレベルを連続可変する方式では、クリップするほど光学検出回路(OPD)の積分信号が小さくなり、露光制御としては、あたかも撮像素子(CCD)の入射光量が小さいと判断した場合と同じようにオーバー側の露光制御を行う。その時には図11に示すように露光基準値を加減する必要が無く、従来の露光制御をそのまま生かすことができ、その分のシステムの信頼性を維持することができる。
【0008】
【発明が解決しようとする課題】
しかしながら上述のような中央領域及び周辺領域の被写体輝度を比較する方式では、主要被写体が、画面中央領域とその周辺領域にまたがるようなときには、中央領域と周辺領域との輝度差が小さくなるので、逆光であっても逆光と判定できず、露出補正が行われない場合があり、このような場合には主要被写体が露出アンダーになってしまう。
【0009】
また、主要被写体がいつも画面中央領域に位置するとは限らず、その周辺領域に位置していて逆光状態の場合には、周辺部の被写体輝度が中央領域の被写体輝度より低くなるために、逆光であっても逆光と判定できず、露出補正が行われない場合があり、このような場合にも主要被写体が露出アンダーになってしまうことになる。
【0010】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、主要被写体が周辺領域に位置していた場合には、逆光状態であっても逆光と判定できないことがあり、その場合には適正な露出補正が行われずに主要被写体が露出アンダーになってしまうなど、良好な逆光補正を行うことができなかったというものである。
【0011】
【課題を解決するための手段】
上記課題を解決するために、本発明の撮像装置は、撮像素子の撮像面を複数に分割してその分割に基づく検出枠を設定する設定手段と、検出枠ごとの検出枠内の輝度が所定の基準値より高い部分の面積の割合に応じて輝度レベルを検出する検出手段と、検出された輝度レベルが最も低い検出枠から検出された輝度レベルと検出された輝度レベルが最も低い検出枠以外の検出枠から検出された輝度レベルの平均値との比率を求める演算手段と、比率が所定の値以上のときに逆光と見做して露出補正処理を行う露出補正手段と、露出補正処理を行っているときに、基準値をプラス方向へシフトする基準値設定手段とを備える。
【0012】
【発明の実施の形態】
すなわち本発明は、映像光を撮像素子を用いて電気信号に変換して撮影を行うカメラ装置であって、撮像素子の撮像面を複数に分割してその分割に基づく検出枠を設定する設定手段と、設定された検出枠ごとの輝度レベルを検出する検出手段と、検出された輝度レベルが最も低い検出枠から検出された輝度レベルと検出された輝度レベルが最も低い検出枠以外の検出枠から検出された輝度レベルの平均値との比率を求める演算手段とを有し、求められた比率が所定の値以上のときに逆光と見做して補正処理を行うものである。
【0013】
この本発明によれば、暗い分布の暗さの度合いが大きければ逆光状態と判断して、ピーク値を検出された光学検出回路(OPD)の出力の積分信号の高輝度成分リミッタ値を下げ、あたかも撮像素子(CCD)の入射光量が小さいかのような撮影状態を作り出して、露光オーバー側に設定(明るめに露光補正)できる。
従って撮像素子(CCD)入射光量の大小に応じて露出制御するシステムそのものに手を加えなくてすむので、従来のシステムをそのまま生かすことができ、露光演算システムに複雑な処理を追加する必要が無いので、システムの信頼性を維持することができる。
【0014】
【実施例】
以下、図面を参照して本発明を説明するに、図1は本発明を適用したカメラ装置の一実施形態の構成を示すブロック図である。
【0015】
図1において、被写体(図示せず)からの映像光(破線)がレンズ系1及び絞り手段2を介して撮像素子(CCD)3に入射される。そしてこの撮像素子3の撮像面に結像された画像に応じた撮像信号がサンプルホールド(S/H)回路4に供給されて所望の映像信号が取り出され、この信号が光学検出回路(OPD)10に供給されて、それぞれの処理に必要な輝度レベルや積分信号等の信号が取り出される。さらにサンプルホールド回路4で取り出された映像信号が記録信号処理回路5に供給されて所定の記録信号が形成され、この記録信号が記録装置6に供給されて任意の記録媒体(図示せず)に記録される。
【0016】
一方、任意の操作手段7からの信号がシステム制御用のマイクロコンピュータ(CPU)8に供給され、このマイクロコンピュータ8からの制御信号が記録信号処理回路5や記録装置6に供給されて、サンプルホールド回路4で取り出された映像信号の記録媒体(図示せず)への記録が制御される。それと共に、光学検出回路(OPD)10から取り出された輝度レベルや積分信号等の信号がマイクロコンピュータ8に供給されて、撮像された映像信号の内容が判別され、この判別された内容に応じた制御信号が、絞り手段2の調節や撮像素子3での露光時間(シャッター速度)を調節する駆動回路9に供給される。
【0017】
そしてこのようなカメラ装置において、上述の逆光補正を行うための処理が、例えば図2及び図3に示すフローチャートのように行われる。すなわち図3には本発明によるカメラの逆光補正装置の一実施例のフローチャート示す。またこの図3のフローチャートをより簡潔にまとめ、処理を大きく5つに分けたものが図2のフローチャートである。
【0018】
そこで処理がスタートされると、まず図2のステップ〔1〕で、暗い分布の位置判定及び暗い分布のヒストグラム比率計算が行われる。すなわち図3では最初のステップ〔11〕で暗い分布判定用のヒストグラム基準値の設定を行う。ここでヒストグラムとは、画面内における、基準値よりも明るい部分の面積の割合を示す。暗い分布の位置判定としては、ヒストグラム値が画面内における基準値を超る面積が一番小さい分布を検出することにある。なお、暗い分布判定用のヒストグラム基準値の設定としては、基準値を超える面積が全面積の3分の1以下になる確率の高い所に合わせてある。
【0019】
さらにステップ〔12〕で一番暗い分布の位置を検出する。ここで暗い分布判定用のヒストグラム枠としては、例えば図4に示すように横6×縦4のヒストグラム枠を用いているが、横×縦のヒストグラム枠の個数の上限は任意とする。また横×縦のヒストグラム枠の個数は、最低で1個のヒストグラム枠があれば、例として横6×縦4のヒストグラム枠を用いているのと同様の処理を行うことができる。その場合は、例として横6×縦4のヒストグラム枠の仮想処理をするためには、横サイズを横の全長の6分の1、縦サイズを縦の全長の4分の1にしたヒストグラム枠をクロック24周期で順次移動して画面を一巡するようにすればよい。
【0020】
なお実際の処理では、例えば横6×縦4のヒストグラム枠を基に、例えば図4のポジション(Position)1〜Fに示すように15個の分布に分けて計算し、一番暗い分布がどこに位置するかを求める。ここで一番暗い分布のヒストグラム値と、そうでない分布(一番暗い分布以外の分布)のヒストグラム値の名称を、それぞれ値(hst dark target) 、(hst dark nontarget)と称することにする。その時の一番暗い分布でないヒストグラム値(hst dark nontarget)は、一番暗い分布のヒストグラム値(hst dark target) と同じ面積で比較できるようにするため、面積で割って平均化した値を用いるようにする。
【0021】
次にステップ〔13〕で、各分布から得られた値(hst dark target) に対して重み付けを行う。目的は、真中及びその周辺部以外の値(hst dark target) を下駄上げして、暗い分布の比率を下げ、結果的にオーバー側の露出補正量を減らすことにある。即ち、真中及びその周辺部以外が暗い場合はオーバー側の露出補正を少なくして逆光補正が効きにくいようにするためのもので、後述の値(dark diff) の数値が小さくならないようにする(dB換算値が小さくならないようにする)ものである。
【0022】
すなわち図4のポジション番号において、
逆光補正対象のポジション番号:2,5,6,8,9,B,C,E
逆光補正対象外のポジション番号:1,3,4,7,A,D,F
のように区分けしている。
【0023】
そして逆光補正対象のポジション番号については、
hst dark target ×10h /10h (重み:1倍)
逆光補正対象外のポジション番号については、
hst dark target ×設定値A×/10h (設定値Aが15h の場合、重み:1.3倍)
の重み付けを行う。なお、数値h は16進数の値を表す。
【0024】
次にステップ〔14〕で、値(hst dark target) 、(hst dark nontarget)の比率を下記のように計算する。
dark diff =hst dark target ×100h /hst dark nontarget
但し、この式で100h と書いてあるのは、制御ソフトにて扱える数が16進数であり、分子が小さいと常にゼロになってしまうのを防ぐためであり、また100h の値を中心(ゼロ)にとるためである。
【0025】
その後ステップ〔15〕で、得られた値(dark diff) を0dB〜−30dBのdB値に換算する。その換算された値を、ここでは、値(dark ratio)と称することにする。これが、暗い分布の比率である。
【0026】
次に図2のステップ〔2〕で、明るい分布判定及び高輝度スライス設定が行われる。すなわち図3ではステップ〔21〕で明るい分布判定用のヒストグラム基準値の設定を行う。明るい分布の位置判定としては、ヒストグラム値が画面内における基準値を超える面積が一番大きい分布を検出することにある。これは基準値を超える面積が一番小さい分布が暗い分布であるのと対称である。なお、明るい分布判定用のヒストグラム基準値の設定としては、基準値を超える面積が全面積の3分の1前後を示す確率の高い所に合わせてある。
【0027】
さらにステップ〔22〕で一番明るい分布の位置を検出する。ここで明るい分布判定用のヒストグラム枠としては、例えば図4に示すように横6×縦4のヒストグラム枠を用いているが、横×縦のヒストグラム枠の個数の上限は、任意とする。横×縦のヒストグラム枠の個数は、最低で1個のヒストグラム枠があれば、例として横6×縦4のヒストグラム枠を用いているのと同様の処理を行うことができる。その場合は、例として横6×縦4のヒストグラム枠の仮想処理をするためには、横サイズの横の全長の6分の1、縦サイズを縦の全長の4分の1にしたヒストグラム枠をクロック24周期で順次移動して画面を一巡するようにすればよい。
【0028】
なお実際の処理では、例えば横6×縦4のヒストグラム枠を基に、例えば図4のポジション1〜Fに示すように15個の分布に分けて計算し、一番明るい分布がどこに位置するかを求める。こうして求まった一番明るい分布のヒストグラム枠と同じ位置に、ステップ〔23〕で、ヒストグラム枠と同じ面積の積分枠を設定する。なおこの積分枠の設定は、マイクロコンピュータ(CPU)8からの制御信号によって光学検出回路(OPD)10に対して行うものである。
【0029】
そしてステップ〔24〕で、光学検出回路(OPD)10の積分枠からの積分出力信号を、高輝度スライス設定値を変えながら取得する。なお高輝度スライス設定とは積分信号の高輝度成分を制限することで、制限すればするほど積分信号の減少を意味する。ここでその高輝度スライス設定は、例えば図5に示すように3クロック周期で変化させていく。すなわち3クロック周期をサイクル周期で見れば、第0サイクル、第1サイクル、第2サイクルに分けることができ、例えば下記のようになる。
【0030】
第0サイクル:次の第1サイクルで設定される高輝度スライス設定値より所定値だけ低いレベルを設定する。
第1サイクル:高輝度スライス設定値を設定する。(第0サイクルでの値より所定値だけ大きい値)
第2サイクル:空きサイクル
【0031】
そこで次回の第0、第1サイクルでは、前回の第0サイクルでのレベルが所定値だけ低い高輝度スライス設定値で反映された光学検出回路(OPD)10からの積分データと、第1サイクルで設定された高輝度スライス設定値で反映された光学検出回路(OPD)10からの積分データとの間で差分が出れば、高輝度スライス設定値を上げ、出なければ差分が出るまでスライス設定値を下げて行く。
【0032】
その動作のポイントを示すと、図6のA、Bに示すようになる。
すなわち図6のAに示すように、第0サイクルで設定された光学検出回路(OPD)10からの積分データが、第1サイクルで設定された光学検出回路(OPD)10からの積分データより小さい場合は、光学検出回路(OPD)10からの積分データがクリップされていると判定し、高輝度スライス設定値を上げる。
【0033】
また、図6のBに示すように、第0サイクルで設定された光学検出回路(OPD)10から積分データが、第1サイクルで設定された光学検出回路(OPD)10からの積分データと同じか大きい場合は、光学検出回路(OPD)10からの積分データがクリップされていないと判定し、高輝度スライス設定値を下げる。このようにして、第0、1サイクルで設定されるスライス設定値により、光学検出回路(OPD)10からの積分データがスライスされ始める直前の高輝度スライス設定値が求まる。
【0034】
さらに図2、3のステップ〔3〕で逆光判定が行われる。ここで逆光判定手段としては、ステップ〔1〕の暗い分布の位置判定及び暗い分布のヒストグラム比率計算で説明した値(dark ratio)が0dB〜−6dB未満の時は逆光でないと判定し、−6dB〜−30dBの時は逆光であると判定している。すなわち上述の値(dark diff) のFF00h が−6dBに相当し、例えば値(dark diff) が0000h 〜FF00h のときは逆光状態でないと判定し、FF00h 〜FB00h のときは逆光状態であると判定している。なお、FF00h =−6dBのスレッショルド値は変更可能にされている。
【0035】
そしてステップ〔3〕で逆光でないと判定された場合には、図2、3のステップ〔4〕で、上述のステップ〔2〕の明るい分布判定及び高輝度スライス設定で説明した高輝度スライス設定値をそのまま、光学検出回路(OPD)10の積分信号の高輝度リミッタ値とし、光学検出回路(OPD)10へ送っている。これに対して、ステップ〔3〕で逆光と判定された場合には、図2のステップ〔5〕で、値(dark ratio)の正規化が行われる。
【0036】
すなわち図3ではステップ〔51〕で、値(dark ratio)の数値を逆算し、FB00h (−30dB)〜FF00h (−6dB)の範囲を、00h 〜FFh の値に正規化する。なおこの計算式としては、例えば図7に示すように
dark ratio正規化値=FFh *(dark ratio−FB00h )/(スレッショルド値(FF00h )−FB00h )
となる。
【0037】
またステップ〔52〕で、高輝度スライス傾き計算が行われる。これは値(dark ratio)の正規化値を基に、ステップ〔2〕の明るい分布判定及び高輝度スライス設定で説明した高輝度スライス設定値をクリップさせる傾きを計算するものである。この計算方法としては、スライス設定値が00h 〜FFh の範囲において、
傾き=スライス設定値×スライス設定値/FFh
のように計算する。これによって例えば図8に示すような傾き(線A)が得られる。
【0038】
さらにステップ〔53〕で、高輝度リミッタ値計算が行われる。ここでは高輝度スライス傾き、値(dark ratio)の正規化値及び高輝度スライス設定値から、クリップさせる高輝度リミッタ値を計算する。なお高輝度リミッタ値の計算式は次のようになる。
スライス傾き+(スライス設定値−スライス傾き)×dark ratio正規化値/FFh
この値(dark ratio)の正規化値、高輝度スライス設定値、クリップさせる高輝度リミッタ値の関係を図9に示す。
【0039】
このようにして、撮像画面の明るい分布及び暗い分布のそれぞれの位置を検出し、明るい分布から輝度信号のピーク値検出を行い、暗い分布の暗さの度合いを基に、ピーク値を検出された光学検出回路(OPD)の出力の積分信号の高輝度成分リミッタ値を下げるようにした逆光補正が行われて、処理が終了(エンド)される。これにより、主要被写体が画面中央に位置することを想定していない撮影シーンにおいても、効果的に良好な露出制御が行われる。
【0040】
なお、逆光補正中は、高輝度リミッタ値が下げられており、その分、オーバー側の露出補正によって明るくなるために、暗い分布のヒストグラム比率が小さくなり、このままでは、逆光でないと判断されてしまい、高輝度リミッタ値が上昇するので、効果が薄れてしまう。そこで図10に示すような逆光補正中は、値(dark ratio)の正規化値に応じて暗い分布判定用のヒストグラム基準値をプラス方向へシフトするようにして、暗い分布のヒストグラム比率が安定するようにしている。
【0041】
さらに上述の装置においては、値(dark ratio)の数値によって逆光と判定されていても、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露光値(EV値)が、逆光補正をかけるのに充分な値に達していなければ、逆光と判定しないようにしている。
【0042】
その理由は2つあり、1つは、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)が、露光オーバーの限界値(アイリス絞りが開放位置、シャッター速度が最低速度位置)に近いと、逆光と判定した時に露出をオーバー側に設定する補正量の幅が狭まり、ビデオ信号アンプのゲインを上げること以外では、逆光補正の効果が得られないためである。
【0043】
すなわち「補正量の幅が狭い」ということは、ビデオ信号アンプのゲインを上げること以外では、露出をオーバー側に設定する補正量が少ないことであり、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせにおいて、ビデオ信号アンプのゲインを上げること無しでは、被写体をこれ以上明るくできないことを意味する。
【0044】
実際のデジタルスチルカメラまたはビデオカメラでは、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)が、露光オーバーの限界値(アイリス絞りが開放位置、シャッター速度が最低速度位置)に達しても、ビデオ信号アンプのゲインを上げることでさらに露光オーバーにできるが、ゲインを上げた分だけビデオ信号のS/N比(Signal to Noise Ratio) が悪化することが知られている。
【0045】
そこで上述の装置で、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)が、逆光補正をかけるのに充分な値に達していなければ、逆光と判定しないようにしていることは、ビデオ信号アンプのゲインを上げないことを意味し、ビデオ信号のS/N比(Signal to Noise Ratio) の悪化を招かない利点がある。
【0046】
なお、逆光補正をかけるのに充分な値とは、ここではアイリス絞りのF値が3絞り以上、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)がマイナス3EV以上の値を指しているが、それらの値は絶対ではなく、状況に応じて変化可能とされるものである。
【0047】
もう1つの理由は、屋内での一般的な撮影では、逆光状態を生じるような環境がほとんどなく、逆光補正をかける必要性が低いためである。そこで屋内か屋外かの判別として、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)を用い、その値が充分な値に達していれば屋外と判定し、また逆光と判定されだ時に露出をオーバー側に設定する補正量も充分になると判定するようにしている。
【0048】
すなわちアイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)が充分な値に達しているとは、一般的に屋外での明るさが屋内のそれより大きいのを利用して、露出値(EV値)が所定値以上なら、屋外での撮影を行っていると判断できる値を意味する。その所定値は、季節や時間帯、撮影環境などによって変わるが、ここでは一定の値以上に設定している。その一定の値以上とは、例えば色温度が3200K以上の値を指している。このその一定の値以上は、絶対ではなく、状況に応じて変化可能とされる。
【0049】
故に上述の装置において、逆光判定手段としては、前述の値(dark ratio)と、アイリス絞りのF値、またはアイリス絞りとシャッター速度の組み合わせによる露出値(EV値)を組み合わせて判定しているものである。
【0050】
従ってこの実施形態において、撮像画面の明るい分布及び暗い分布のそれぞれの位置を検出し、明るい分布から輝度信号のピーク値検出を行い、暗い分布の暗さの度合いを基に、ピーク値を検出された光学検出回路(OPD)の出力の積分信号の高輝度成分リミッタ値を下げるようにしたことによって、あたかも撮像素子(CCD)の入射光量が小さいかのような撮影状態を作り出して露光をオーバー側に設定(明るめに露光補正)でき、そうすることにより明るい画面にして逆光補正効果を上げることができるものである。
【0051】
これによって、従来の装置では、主要被写体が周辺領域に位置していた場合には、逆光状態であっても逆光と判定できないことがあり、その場合には適正な露出補正が行われずに主要被写体が露出アンダーになってしまうなど、良好な逆光補正を行うことができなかったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【0052】
なお本発明は、上述の説明した実施の形態に限定されるものではなく、本発明の精神を逸脱することなく種々の変形が可能とされるものである。
【0053】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、撮像素子(CCD)の出力信号から光学検出回路(OPD)を通って得られた積分値の高輝度成分レベルを予め測定し、明るい分布と暗い分布の比率を計算することによって逆光の度合いを判断して高輝度クリップレベルを連続可変して、逆光シーンで適正な測定値になるように良好な露出制御が行え、また逆光シーン以外の撮影シーンにおいても良好な露出制御が行えるものである。
【0054】
また、請求項2の発明によれば、設定された検出枠ごとの輝度レベルを検出する検出手段は、設定された検出枠を巡回して輝度レベルが最も低い検出枠の判別を行うことによって、最低で1個のヒストグラム枠があれば検出を行うことができ、構成を簡単にすることができるものである。
【0055】
さらに請求項3の発明によれば、撮像素子で撮像された映像信号の輝度レベルの積分信号のピーク値を用いて露出補正を行う露出補正手段を有し、映像信号の高輝度成分を制限することにより逆光と見做した際の補正処理を行うことによって、露光制御としては、あたかも入射光量が小さいと判断した場合と同じようにオーバー側の露光制御を行うことになり、露光基準値を加減する必要が無く、従来の露光制御をそのまま生かすことができ、その分のシステムの信頼性を維持することができるものである。
【0056】
また、請求項4の発明によれば、検出された輝度レベルが最も高い検出枠から検出された輝度レベルの積分信号のピーク値を用いて露出補正を行う露出補正手段を有し、検出された輝度レベルの高輝度成分を制限することにより逆光と見做した際の補正処理を行うことによって、主要被写体が画面中央に位置することを想定していない撮影シーンにおいても、効果的に良好な露出制御が行われるものである。
【0057】
さらに請求項5の発明によれば、設定された検出枠ごとの輝度レベルを検出する検出手段は、設定された検出枠を巡回して前記輝度レベルが最も高い検出枠の判別を行うことによって、最低で1個のヒストグラム枠があれば検出を行うことができ、構成を簡単にすることができるものである。
【0058】
また、請求項6の発明によれば、撮像素子の撮像面の中央及びその周辺部の検出枠から検出される輝度レベルとその他の検出枠から検出される輝度レベルとの間で重み付けを行い、検出された輝度レベルの最も高い検出枠が前記撮像素子の撮像面の中央及びその周辺部に位置するときは、検出された輝度レベルの高輝度成分を制限を緩和することによって逆光と見做した際の補正処理を弱くすることによって、真中及びその周辺部以外が暗い場合はオーバー側の露出補正を少なくして逆光補正が効きにくいようにすることができるものである。
【0059】
さらに請求項7の発明によれば、設定された検出枠ごとの輝度レベルの検出を、前記検出枠内の輝度レベルが基準値より高い部分の面積の割合を示すヒストグラムを用いて行うことによって、輝度レベルの検出を良好に行うことができるものである。
【0060】
また、請求項8の発明によれば、少なくとも絞り及びシャッター速度の調節を含む露出補正手段を有し、露出補正手段での前記絞り及び/またはシャッター速度の調節値が、前記逆光と見做した際の補正処理を可能とする値に達しているときのみ補正処理を行うことによって、ビデオ信号アンプのゲインを上げないことを意味し、ビデオ信号のS/N比(Signal to Noise Ratio) の悪化を招かないようにすることができるものである。
【0061】
さらに請求項9の発明によれば、少なくとも絞り及びシャッター速度の調節を含む露出補正手段を有し、露出補正手段での前記絞り及び/またはシャッター速度の調節値が、前記撮影の環境を屋外と判断する値に達しているときのみ前記逆光と見做した際の補正処理を行うことによって、逆光補正をかける必要性が低い屋内での一般的な撮影での不必要な補正を避けることができるものである。
【0062】
これによって、従来の装置では、主要被写体が周辺領域に位置していた場合には、逆光状態であっても逆光と判定できないことがあり、その場合には適正な露出補正が行われずに主要被写体が露出アンダーになってしまうなど、良好な逆光補正を行うことができなかったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【図面の簡単な説明】
【図1】本発明を適用したカメラ装置の一実施形態の構成を示すブロック図である。
【図2】その動作の説明のための簡潔なフローチャート図である。
【図3】その動作の説明のための詳細なフローチャート図である。
【図4】ヒストグラム枠の説明のための図である。
【図5】高輝度スライス設定の説明のための図である。
【図6】その動作の説明のための図である。
【図7】値(dark ratio)の正規化の説明のための図である。
【図8】高輝度スライス設定値をクリップさせる傾きを示す図である。
【図9】値(dark ratio)の正規化値、高輝度スライス設定値、高輝度リミッタ値の関係を示す図である。
【図10】逆光補正中にヒストグラム基準値をシフトする際の説明のための図である。
【図11】露光補正の説明のための図である。
【符号の説明】
1…レンズ系、2…絞り手段、3…撮像素子(CCD)、4…サンプルホールド(S/H)回路、5…記録信号処理回路、6…記録装置、7…操作手段、8…システム制御用のマイクロコンピュータ(CPU)、9…駆動回路、10…光学検出回路(OPD)

Claims (5)

  1. 撮像素子の撮像面を複数に分割してその分割に基づく検出枠を設定する設定手段と、
    前記検出枠ごとの前記検出枠内の輝度が所定の基準値より高い部分の面積の割合に応じて輝度レベルを検出する検出手段と、
    前記検出された輝度レベルが最も低い検出枠から検出された輝度レベルと前記検出された輝度レベルが最も低い検出枠以外の検出枠から検出された輝度レベルの平均値との比率を求める演算手段と、
    前記比率が所定の値以上のときに逆光と見做して露出補正処理を行う露出補正手段と、
    前記露出補正処理を行っているときに、前記基準値をプラス方向へシフトする基準値設定手段と
    を備える撮像装置。
  2. 前記露出補正手段は、前記検出された輝度レベルの最も高い検出枠が前記撮像素子の撮像面の中央及びその周辺部に位置するときは、前記検出された輝度レベルの最も高い検出枠が前記撮像素子の撮像面の中央及びその周辺部以外に位置するときよりも前記露出補正処理を弱くする
    請求項1記載の撮像装置。
  3. 前記撮像素子の撮像面の中央及びその周辺部の検出枠から検出される輝度レベルとその他の検出枠から検出される輝度レベルとの間で重み付けを行うことで、前記露出補正処理を弱くする
    請求項2に記載の撮像装置。
  4. 撮像素子の撮像面を複数に分割してその分割に基づく検出枠を設定する設定ステップと、
    前記設定ステップにて設定された前記検出枠ごとの前記検出枠内の輝度が所定の基準値より高い部分の面積の割合に応じて輝度レベルを検出する検出ステップと、
    前記検出ステップにて検出された輝度レベルが最も低い検出枠から検出された輝度レベルと、前記検出された輝度レベルが最も低い検出枠以外の検出枠から検出された輝度レベルの平均値との比率を求める演算ステップと、
    前記演算ステップで得られた前期比率が所定の値以上のときに逆光と見做して露出補正処理を行う露出補正ステップと、
    前記露出補正ステップにて実行される前記露出補正処理に呼応して、前記基準値をプラス方向へシフトする基準値設定ステップと
    を有する撮像方法。
  5. コンピュータを、
    撮像素子の撮像面を複数に分割してその分割に基づく検出枠を設定する設定手段と、
    前記検出枠ごとの前記検出枠内の輝度が所定の基準値より高い部分の面積の割合に応じて輝度レベルを検出する検出手段と、
    前記検出された輝度レベルが最も低い検出枠から検出された輝度レベルと前記検出された輝度レベルが最も低い検出枠以外の検出枠から検出された輝度レベルの平均値との比率を求める演算手段と、
    前記比率が所定の値以上のときに逆光と見做して露出補正処理を行う露出補正手段と、
    前記露出補正処理を行っているときに、前記基準値をプラス方向へシフトする基準値設定手段
    として機能させるための撮像プログラム。
JP2000054254A 2000-02-29 2000-02-29 撮像装置、撮像方法及び撮像プログラム Expired - Fee Related JP4576658B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2000054254A JP4576658B2 (ja) 2000-02-29 2000-02-29 撮像装置、撮像方法及び撮像プログラム
TW090103291A TW501364B (en) 2000-02-29 2001-02-14 Camera device and shooting method
CNB011047984A CN1165158C (zh) 2000-02-29 2001-02-27 摄像设备和拍摄方法
US09/794,972 US6879345B2 (en) 2000-02-29 2001-02-27 Camera device which calculates brightness level ratios to determine backlighting from which exposure correction is made
KR1020010010288A KR100733096B1 (ko) 2000-02-29 2001-02-28 카메라 장치 및 촬영 방법
US10/940,223 US7518643B2 (en) 2000-02-29 2004-09-13 Camera device and shooting method
US11/093,335 US7400354B2 (en) 2000-02-29 2005-03-29 Camera device and shooting method
US11/092,024 US7403231B2 (en) 2000-02-29 2005-03-29 Camera with exposure correction dependent upon brightness detected in a frame with the lowest brightness compared to average brightness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000054254A JP4576658B2 (ja) 2000-02-29 2000-02-29 撮像装置、撮像方法及び撮像プログラム

Publications (3)

Publication Number Publication Date
JP2001242504A JP2001242504A (ja) 2001-09-07
JP2001242504A5 JP2001242504A5 (ja) 2007-03-01
JP4576658B2 true JP4576658B2 (ja) 2010-11-10

Family

ID=18575534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000054254A Expired - Fee Related JP4576658B2 (ja) 2000-02-29 2000-02-29 撮像装置、撮像方法及び撮像プログラム

Country Status (5)

Country Link
US (4) US6879345B2 (ja)
JP (1) JP4576658B2 (ja)
KR (1) KR100733096B1 (ja)
CN (1) CN1165158C (ja)
TW (1) TW501364B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4576658B2 (ja) * 2000-02-29 2010-11-10 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP4622196B2 (ja) * 2001-09-10 2011-02-02 ソニー株式会社 撮像装置
JP3806038B2 (ja) * 2002-01-07 2006-08-09 富士写真フイルム株式会社 画像処理システム及び撮像装置
FR2838016B1 (fr) * 2002-03-29 2004-09-17 Valeo Vision Procede de traitement en temps reel d'un signal representatif d'une image
AT412317B (de) * 2002-05-06 2004-12-27 Advanced Comp Vision Gmbh Acv Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen
EP1404118A1 (en) 2002-09-20 2004-03-31 Seiko Epson Corporation Backlight adjustment processing of image using image generation record information
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
KR100609155B1 (ko) * 2004-03-22 2006-08-02 엘지전자 주식회사 영상 처리 장치 및 이를 이용한 역광 보정 방법
JP4289259B2 (ja) * 2004-08-31 2009-07-01 カシオ計算機株式会社 撮像装置及び露出制御方法
JP4694336B2 (ja) * 2005-09-30 2011-06-08 富士フイルム株式会社 電子内視鏡装置
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
KR100793230B1 (ko) * 2006-07-24 2008-01-10 엘지전자 주식회사 카메라의 부분 역광 보정장치 및 방법
JP4992507B2 (ja) * 2007-03-28 2012-08-08 ソニー株式会社 撮像装置、映像信号処理装置及び映像信号処理方法
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
KR101431185B1 (ko) 2007-06-22 2014-08-27 삼성전자 주식회사 영상 향상 방법 및 장치, 이를 이용한 영상 처리 시스템
JP5127317B2 (ja) 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8330787B2 (en) 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US8026955B2 (en) * 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
KR101367103B1 (ko) * 2007-11-15 2014-02-26 삼성전자주식회사 역광유무여부 검사장치 및 방법
TWI396165B (zh) * 2008-04-22 2013-05-11 Au Optronics Corp 液晶顯示器及其背光模組驅動裝置與方法
CN101282425B (zh) * 2008-04-30 2010-06-23 北京中星微电子有限公司 一种背光补偿的方法和装置
CN101582991B (zh) 2008-05-13 2011-02-09 华为终端有限公司 图像处理方法及装置
US20100259639A1 (en) * 2009-04-13 2010-10-14 Qualcomm Incorporated Automatic backlight detection
US8184089B2 (en) * 2009-07-29 2012-05-22 Samsung Electronics Co., Ltd. Backlight level selection for display devices
TWI387332B (zh) 2009-08-26 2013-02-21 Altek Corp A method of backlighting
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5586796B2 (ja) * 2011-12-28 2014-09-10 富士フイルム株式会社 撮像装置及びその制御方法並びに交換レンズとレンズ交換式撮像装置本体
JP2014075721A (ja) * 2012-10-05 2014-04-24 Nikon Corp 露出制御装置及び光学機器
CN103646392B (zh) * 2013-11-21 2016-10-26 华为技术有限公司 逆光检测方法及设备
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN109889733B (zh) * 2019-03-25 2021-07-02 瑞芯微电子股份有限公司 一种自动曝光补偿方法、存储介质及计算机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03223821A (ja) * 1990-01-30 1991-10-02 Canon Inc カメラ
JPH04264432A (ja) * 1991-02-19 1992-09-21 Minolta Camera Co Ltd 擬似ズーム可能なカメラ
JPH06130451A (ja) * 1992-10-20 1994-05-13 Nikon Corp カメラの表示装置
JPH06160935A (ja) * 1992-09-25 1994-06-07 Nikon Corp カメラの輝度値演算装置
JPH0887052A (ja) * 1994-09-19 1996-04-02 Canon Inc カメラ
JP2000004393A (ja) * 1998-06-16 2000-01-07 Minolta Co Ltd 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118786B2 (ja) * 1985-11-08 1995-12-18 松下電器産業株式会社 撮像装置
US5339163A (en) * 1988-03-16 1994-08-16 Canon Kabushiki Kaisha Automatic exposure control device using plural image plane detection areas
JPH01287637A (ja) * 1988-05-16 1989-11-20 Minolta Camera Co Ltd 多分割測光装置
JP2977133B2 (ja) * 1989-03-14 1999-11-10 ミノルタ株式会社 スチルビデオカメラの露出制御装置
EP0387817A3 (en) * 1989-03-16 1991-12-11 Konica Corporation Electronic still camera
JP2506184B2 (ja) * 1989-04-10 1996-06-12 富士写真フイルム株式会社 露出制御装置
JP2899031B2 (ja) * 1989-12-28 1999-06-02 キヤノン株式会社 自動露出制御装置
JPH0484574A (ja) * 1990-07-27 1992-03-17 Mitsubishi Electric Corp 撮像装置
JP2766067B2 (ja) * 1990-10-31 1998-06-18 キヤノン株式会社 撮像装置
JPH04172080A (ja) * 1990-11-06 1992-06-19 Canon Inc 撮像装置
JP2817820B2 (ja) * 1991-09-04 1998-10-30 富士写真フイルム株式会社 ビデオカメラ用露出制御装置
JP3298138B2 (ja) * 1992-03-23 2002-07-02 株式会社ニコン 焦点検出装置
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JP3666900B2 (ja) * 1994-04-25 2005-06-29 キヤノン株式会社 撮像装置および撮像方法
US5715377A (en) * 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
JPH08186761A (ja) * 1994-12-30 1996-07-16 Sony Corp ビデオカメラ装置及びビデオカメラ露出制御方法
JP3420405B2 (ja) * 1995-09-20 2003-06-23 キヤノン株式会社 撮像装置
JP3791102B2 (ja) * 1997-03-19 2006-06-28 ソニー株式会社 露光制御装置、露光制御方法およびカメラ
KR100480560B1 (ko) * 1997-08-13 2005-07-07 삼성전자주식회사 영상의 역광 보정방법 및 장치
DE19812199C1 (de) * 1998-03-19 1999-11-04 Siemens Ag Verfahren zur Herstellung einer Halbleiteranordnung und eine mindestens zwei Halbleiterelemente umfassende Halbleiteranordnung
US6694051B1 (en) * 1998-06-24 2004-02-17 Canon Kabushiki Kaisha Image processing method, image processing apparatus and recording medium
JP2000050152A (ja) * 1998-07-24 2000-02-18 Minolta Co Ltd デジタルカメラの露光量制御システム
JP4169415B2 (ja) * 1999-02-08 2008-10-22 三洋電機株式会社 固体撮像装置
JP4576658B2 (ja) * 2000-02-29 2010-11-10 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03223821A (ja) * 1990-01-30 1991-10-02 Canon Inc カメラ
JPH04264432A (ja) * 1991-02-19 1992-09-21 Minolta Camera Co Ltd 擬似ズーム可能なカメラ
JPH06160935A (ja) * 1992-09-25 1994-06-07 Nikon Corp カメラの輝度値演算装置
JPH06130451A (ja) * 1992-10-20 1994-05-13 Nikon Corp カメラの表示装置
JPH0887052A (ja) * 1994-09-19 1996-04-02 Canon Inc カメラ
JP2000004393A (ja) * 1998-06-16 2000-01-07 Minolta Co Ltd 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置

Also Published As

Publication number Publication date
CN1165158C (zh) 2004-09-01
CN1311604A (zh) 2001-09-05
KR20010085699A (ko) 2001-09-07
TW501364B (en) 2002-09-01
US20050231630A1 (en) 2005-10-20
KR100733096B1 (ko) 2007-06-27
US7518643B2 (en) 2009-04-14
US7403231B2 (en) 2008-07-22
US6879345B2 (en) 2005-04-12
JP2001242504A (ja) 2001-09-07
US20010017660A1 (en) 2001-08-30
US7400354B2 (en) 2008-07-15
US20050030414A1 (en) 2005-02-10
US20050231629A1 (en) 2005-10-20

Similar Documents

Publication Publication Date Title
JP4576658B2 (ja) 撮像装置、撮像方法及び撮像プログラム
US7483064B2 (en) Imaging apparatus
TWI408953B (zh) 攝像裝置及攝像方法
US6583820B1 (en) Controlling method and apparatus for an electronic camera
JP4554094B2 (ja) 撮像装置
JP2009038479A (ja) 露出制御装置および撮像装置
JP2765642B2 (ja) ビデオカメラ用露出制御装置
JP4412109B2 (ja) 色バランス調整機能を有する電子カメラ、およびプログラム
JP2002369074A (ja) 光学機器の露出制御装置およびプログラム、並びに方法
JP3477936B2 (ja) 自動露光制御装置
JP5473582B2 (ja) 画像処理装置、方法及びプログラム
JP2000004394A (ja) ディジタルスチルビデオカメラ
JP3148991B2 (ja) カメラの露出制御装置
JP2002268116A (ja) 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体
JP2001203933A (ja) 撮像装置
JP4541600B2 (ja) 撮像装置及び露出制御方法
JPH07274062A (ja) 自動露出制御装置
JP7309508B2 (ja) 撮像装置、その制御方法とプログラム
JP3205941B2 (ja) 自動絞り調整装置
JPH08321986A (ja) テレビジョンカメラ
JP2002372733A (ja) 光学機器の露出制御装置およびプログラム、並びに方法
JP2021090175A (ja) 撮像装置,撮像方法及び撮像プログラム
JP2002199274A (ja) 露出制御装置、撮像装置
JPH0730805A (ja) カメラ
JPH07203287A (ja) 自動露光制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees