JP3805259B2 - 画像処理方法、画像処理装置及び電子カメラ - Google Patents
画像処理方法、画像処理装置及び電子カメラ Download PDFInfo
- Publication number
- JP3805259B2 JP3805259B2 JP2002020738A JP2002020738A JP3805259B2 JP 3805259 B2 JP3805259 B2 JP 3805259B2 JP 2002020738 A JP2002020738 A JP 2002020738A JP 2002020738 A JP2002020738 A JP 2002020738A JP 3805259 B2 JP3805259 B2 JP 3805259B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- brightness
- contrast
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
- Image Input (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置及び電子カメラ、特に、CCDなど固体撮像素子を用いて画像を撮像するときに、撮像画像に対して自動的に補正を加える画像処理方法、画像処理装置及び電子カメラに関する。
【0002】
【従来の技術】
カメラ装置などによって、暗いシーンを撮影する場合には、ストロボ装置(ストロボ発光装置)の発光が必要であるが、被写体までの距離に対してストロボ装置の発光能力が低い場合には、被写体まで発光した光が到達せずに光量不足の画像が得られてしまう。
【0003】
この問題を解消するものとして、被写体までの距離情報を得て、この距離情報に応じて発光量を決定したり、受光センサ(調光センサ)によりストロボ装置の反射光を感知し、適切な光量に達した時にストロボ発光を停止させる制御を行う、所謂オートストロボが知られている。
【0004】
ところが、高精度の測定精度や発光制御精度が要求され、撮影時に適切な発光量を得るためには、複雑な制御や機構が必要である。
【0005】
このために、撮像された信号そのものを増幅することによって、精度よく画像の明るさを制御する技術が知られている(特開2001−169178号公報参照)。この技術では、ストロボ発光時の撮像画像の画像データを用いて求めた明るさの加重平均値からストロボ発光時の被写体までの光の到達性を判別し、画像信号の増幅率を変更している。
【0006】
【発明が解決しようとする課題】
しかしながら、撮影時の画像データから求めた値が小さい場合であっても、対象となる被写体にストロボ装置からの発光が到達している場合がある。すなわち、対象となる被写体の撮像画像上の領域が小さい場合には、それを平均することによって、撮像画像としては暗いと判別される場合がある。この場合には、必要以上に増幅率が増加され、対象となる被写体の画像が適切な明るさで表示したり記録したりするときの画像形成がなされない。
本発明はこのような事情に鑑みてなされたもので、電子スチルカメラのストロボ撮影時に精度よく映像信号の光量不足を補正し、主要被写体が適正な明るさの画像を得ることができる画像処理方法及び装置並びにその装置を搭載した電子カメラを提供することを目的とする。
【0007】
本発明は、上記事実を考慮して、ストロボ発光装置の発光を伴う撮影時にその撮像画像を、撮像画像に含まれる主要被写体が適正な明るさの画像として得ることができる画像処理方法、画像処理装置及び電子カメラを得ることが目的である。
【0008】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理方法は、ストロボ発光装置の発光を伴う撮影時に撮像素子より得られた画像信号に基づいて、撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求める工程と、前記撮像画像の明るさの度合いから撮像画像のコントラストを求める工程と、前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定し、前記決定した抑制率を付加した前記撮像画像の増幅率によって前記画像信号を増幅する工程と、含んでいる。
【0009】
本発明の画像処理方法では、まず、ストロボ発光装置の発光を伴う撮影時に撮像素子より得られた画像信号に基づいて撮像画像の明るさの度合いを求める。撮像画像の明るさの度合いとは、撮像画像全体の明るさの分布から求まる特徴値をいい、撮像時の被写体及び周囲光源からの光によって定まるものである。次に、撮像画像の明るさの度合いから撮像画像のコントラストを求める。ここでいうコントラストとは、撮像画像の明暗の比率をいい、明るい部位と暗い部位との明るさの度合いの差や比が大きくなるに従って、コントラストが大きくなる。例えば、暗闇で単一の人物をストロボ発光を伴って撮像したときにストロボ光が人物に到達した場合には、被写体である人物では明るくなり、他は暗くなるので、コントラストは大きくなる。
【0010】
次に、撮像画像の求めた明るさの度合い及びコントラストに基づいて、画像信号の増幅率を決定し、決定した増幅率によって画像信号を増幅する。この増幅率の決定は、撮像画像に含まれる被写体の画像が最適な明るさとして提供されるように、決定する。すなわち、明るさの度合いが小さいときであってもコントラストが大きい場合には、ストロボ発光によって適度に光が照明された被写体の画像を撮像画像が含んでいることが多い。そこで、明るさの度合いが小さくコントラストが大きいときには、撮像画像に含まれる明るさの度合いが大きい領域を基準として増幅率を決定することで、ストロボ撮影時の被写体の撮像画像に適した増幅率を定めることができ、適正な明るさの画像を得ることができる。
【0011】
本発明では、前記撮像画像のコントラストは、前記撮像画像の明るさの度合いとして明るさの最大値と予め定めた所定値(最小値や平均値)との比を用いることができる。
【0012】
前記のように、撮像画像の明るさの度合いは、撮像画像全体の明るさの分布から求まる特徴値である。この特徴値からコントラストを簡便に求めるには、明るさの最大値と予め定めた所定値(最小値や平均値)との比を用いればよい。
【0013】
また、前記画像信号を増幅する工程は、前記撮像素子より得られた画像信号の明るさの度合いに基づいて前記画像信号の増幅率を決定しかつ、前記撮像画像のコントラストが予め定めたコントラスト値を越えた場合に、前記コントラストに基づいて前記増幅率を抑制する抑制率をさらに決定し、前記決定した抑制率を付加した増幅率によって前記画像信号を増幅することを特徴とする。
【0014】
前記増幅率は、撮像画像の明るさの度合いから求めれば、被写体や環境光源、及び周囲環境によらず、平均的な増幅率が定まる。この場合、明るさの度合いが小さくコントラストが大きいとき、例えば、暗闇で人物のみをストロボ撮影したとき、撮像画像に含まれる明るさの度合いが大きい領域である被写体の画像領域に対しては増幅率が増加傾向にある。そこで、コントラストに基づき増幅率を抑制する抑制率を決定し、決定した抑制率を付加した増幅率によって画像信号を増幅すなわち増幅率が増加するに従って抑制率を増加すれば、ストロボ撮影時の被写体の撮像画像に適した増幅率を定めることができ、適正な明るさの画像を得ることができる。
【0015】
前記決定される抑制率には上限値及び下限値の少なくとも一方が設定されていることを特徴とする。
【0016】
撮影された画像を不必要に暗くする方向に補正しないように、または撮影された画像を不必要に明るくする方向に補正しないように、前記決定される抑制率に上限値や下限値を設定することが好ましい。特に、上限値を1に設定することが好ましい。
【0017】
前記明るさの度合いは、前記撮像画像の明るさの平均値、または、予め定めた撮像画像の位置を基準とする明るさの加重平均値であることを特徴とする。
【0018】
ストロボ撮影時に取得した画像信号から、撮影画像の光量の適否を評価することが可能である。すなわちストロボ光が十分に照射されなかった場合など、撮影シーンに対してストロボ光量が不適切であると、光量不足であるが、その判定に、撮像画像の明るさの平均値、または、予め定めた撮像画像の位置を基準とする明るさの加重平均値を用いることができる。これにより、ストロボ撮影時の光量などの明るさを精度よく特定でき、適正な明るさの画像を得ることができる。
【0019】
前記撮像画像の明るさの度合いを求める場合、撮像画像を複数のブロックに分割しかつ、各ブロック毎に明るさの度合いを求め、求めた明るさの度合いの各々に基づいて前記明るさの度合いを求めることを特徴とする。
【0020】
明るさの度合いを求めるには、画素毎に明るさを求めて最終的に撮像画像の明るさの度合いを求めれば、より正確な値を求めることが可能であるが、処理が複雑になる。そこで、前記撮像画像の明るさの度合いを求める手法として、撮影画面を複数のブロックに分割し、各ブロック毎に明るさの度合い例えば各ブロック毎の明るさを示す数値を求め、それらの値の各々に基づいて前記明るさの度合いを求めることが好ましい。
【0021】
例えば、複数のブロックには画面内の位置に応じた重み係数を定め、明るさの度合いの特徴値は、各ブロック毎に画像信号を積算した積算値とする。そして、明るさの度合いは、各ブロックごとの積算値と該当する重み係数の乗算値を全てのブロックについて加算し、その全加算値を重み係数の総和で除算することによって求めることができる。撮影画面内の重み係数の分布により、主要被写体が適正な明るさになるように増幅率を決定することができる。
【0022】
前記決定される増幅率には上限値及び下限値の少なくとも一方が設定されていることを特徴とする。特に、前記下限値を1に設定することができる。
【0023】
画像信号の増幅率が大きすぎると画像のS/Nが劣化するので、適度な増幅を行うべく、前記決定される増幅率に上限値を設定しておくことが好ましい。また、撮影された画像を不必要に暗くする方向に補正しないように、前記決定される増幅率に下限値を設定しておく態様もある。特に、画像を暗くする方向の補正を禁止する場合は、前記下限値を1に設定する。
【0024】
前記画像処理方法は、次の画像処理装置によって容易に実現できる。詳細には、画像処理装置は、ストロボ発光装置の発光を伴う撮影時に撮像素子により得られた画像信号に基づいて、撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求める明るさ演算手段と、前記撮像画像の明るさの度合いから撮像画像のコントラストを求めるコントラスト演算手段と、前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定する決定手段と、前記決定した抑制率を付加した前記撮像画像の増幅率によって前記画像信号を増幅する増幅手段と、含むことを特徴とする。
【0025】
また、前記画像処理方法は、デジタルカメラなどの電子カメラにその機能を搭載することで、より効果的な画像を提供できる。詳細には、電子カメラは、撮像素子と、撮影時に被写体に補助光を与えるようにストロボ発光装置を制御するストロボ制御手段と、前記撮像素子を介して取得した画像信号を記憶する記憶手段と、前記記憶手段に格納されている画像信号を増幅する増幅手段と、前記撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求め、前記撮像画像の明るさの度合いから撮像画像のコントラストを求め、前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定し、前記決定した抑制率を付加した前記撮像画像の増幅率に従って前記増幅手段の増幅率可変制御を行う制御手段と、前記増幅手段によって増幅した結果得られた画像を記録媒体に記録する記録手段と、備えたことを特徴とする。
【0026】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態はデジタルカメラに本発明を適用したものである。
【0027】
図1には本発明の実施の形態に係るデジタルカメラのブロック図を示した。このカメラ10の撮影光学系12は撮影レンズ14及び絞り16を含む。撮影レンズ14は1枚又は複数枚のレンズで構成され、単一の焦点距離(固定焦点)のレンズでも良いし、ズームレンズや望遠/広角の二焦点切替式レンズの如く焦点距離可変のものでもよい。
【0028】
撮影光学系12を介してCCD18の受光面に結像された被写体像は、各センサで入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、CCD駆動回路20から加えられるCCD駆動パルスによって読み出され、信号電荷に応じた電圧信号(アナログ画像信号)として順次CCD18から出力される。
【0029】
CCD18には、シャッターゲートを介してシャッタードレインが設けられており、シャッターゲートをシャッターゲートパルスによって駆動することにより、蓄積した信号電荷をシャッタードレインに掃き出すことができる。すなわち、CCD18は、シャッターゲートパルスによって各センサに蓄積される電荷の蓄積時間(シャッタースピード)を制御する、いわゆる電子シャッター機能を有している。
【0030】
CCD18から読み出された信号は、CDS回路22において相関二重サンプリング(CDS)処理されるとともに、R,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。
【0031】
これら所定のアナログ信号処理を経た画像信号は、A/D変換器24に加えられ、該A/D変換器24によりR,G,Bのデジタル信号に変換された後、メモリ26に格納される。
【0032】
タイミング信号発生回路(TG)28は、CPU30からのコマンドに応じてCCD駆動回路20、CDS回路22及びA/D変換器24に対して適宜のタイミング信号を与えており、各回路はタイミング信号発生回路28から加えられるタイミング信号により同期して駆動されるようになっている。
【0033】
CPU30は、カメラ10の各回路を統括制御する制御部(制御手段)であり、バス32を介してゲイン調整回路34、ガンマ補正回路36、輝度・色差信号処理回路(YC処理回路という。)38、圧縮伸張回路40、メモリカード42のカードインターフェース44、及び表示部46を駆動する表示用ドライバー48等と接続されている。
【0034】
CPU30は操作部50からの入力信号に基づいて対応する回路ブロックを制御するとともに、撮影レンズ14のズーミング動作や自動焦点調節(AF)動作の制御、並びに自動露出調節(AE)の制御等を行う。
【0035】
操作部50には、画像の記録開始の指示を与えるレリーズボタン、カメラのモード選択手段、ズーム操作手段その他の各種の入力手段が含まれる。これら入力手段は、スイッチボタン、ダイヤル、スライド式ツマミなど種々の形態があり、タッチパネルや液晶モニタ表示部の画面上において設定メニューや選択項目を表示してカーソルで所望の項目を選択する態様もある。操作部50はカメラ本体に配設されていてもよいし、リモコン送信機としてカメラ本体と分離した構成にすることも可能である。
【0036】
また、本実施の形態では、操作部50の入力手段の1つに、フォーカス位置設定ボタン51をさらに含んでいる。このフォーカス位置設定ボタン51は、カメラ10により被写体を撮影するときに、画面内の主要被写体の位置を指示するためのものである。
【0037】
すなわち、通常は、画面中心に主要被写体が位置することを想定して、画面中心の被写体にフォーカスする設定にされている。ところが、ユーザの想定した構図(シーン)で、画面の中央部からはずれた位置に主要被写体を位置させて撮影する場合もある。この場合、主要被写体に焦点が合致せずに、中央部の被写体に焦点が合致する。そこで、本実施の形態では、画面の中央部からはずれた位置に主要被写体が位置する撮影シーンで、フォーカス位置を設定することが可能な構成とされている。
【0038】
図4には、フォーカス位置設定ボタン51の概念構成を示した。フォーカス位置設定ボタン51は、フォーカス位置を初期位置から上部へ移動指示するための指示ボタン51U、フォーカス位置を初期位置から下部へ移動指示するための指示ボタン51D、フォーカス位置を初期位置から左部へ移動指示するための指示ボタン51L、フォーカス位置を初期位置から右部へ移動指示するための指示ボタン51R、そして、フォーカス領域を選択指示するための指示ボタン51Eから構成されている。なお、フォーカス位置設定ボタン51は、タッチパネルや液晶モニタ表示部の画面上において設定メニューや選択項目を表示してカーソルで所望の項目を選択するようにしてもよい。
【0039】
図5には、撮像画像としての画面(例えばファインダ内の画像)60に対してフォーカス位置を示したものである。この例では、フォーカス領域62が、初期設定された画面中心の位置を示し、フォーカス領域62aが、指示ボタン51R及び指示ボタン51Dの押圧指示によって、初期設定された画面中心のフォーカス領域62の位置から、フォーカス位置が指示フォーカス領域62aの位置に変更された状態を示している。また、フォーカス領域62の大きさは、指示ボタン51Eの押圧により、予め定めた1または複数のフォーカス領域の大きさから選択指示が可能である。これにより、主要被写体の大きさに応じてフォーカス領域の大きさを変更することもできる。
【0040】
図1のCPU30はCCD18から出力される画像信号に基づいて、焦点評価演算やAE演算などの各種演算を行い、その演算に基づいて、撮影レンズ14及び絞り16の駆動手段(例えば、AFモータやアイリスモータ等)52を制御してフォーカスレンズを合焦位置に移動させるとともに、絞り16を適正絞り値に設定する。
【0041】
例えば、AF制御には、G信号の高周波成分が最大になるようにフォーカスレンズを移動させるコントラストAF方式が採用される。AE制御には、1フレームのR、G、B信号を積算した積算値に基づいて被写体輝度(撮影EV)を求め、この撮影EVに基づいて絞り値とシャッタースピードを決定し、駆動手段52を介して絞り16を駆動するとともに、決定したシャッタースピードとなるように電子シャッターによってCCD18の電荷の蓄積時間を制御する。したがって、カメラ10の撮影レンズ14を被写体に向けるだけで、最適な露出調整が行われるとともに、ピント合わせが自動的に行われる。
【0042】
撮影記録時においては、レリーズボタンの「半押し」時に上述した測光動作を複数回繰り返して正確な撮影EVを求め、この撮影EVに基づいて撮影時の絞り値とシャッタースピードを最終的に決定する。そして、レリーズボタンの「全押し」時に前記最終的に決定した絞り値になるように絞り16を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。なお、AE、AFはCCD18から取得される画像信号に基づいて制御する方法の他、周知の測光センサやAF投光/受光センサからなる測距センサ等を用いてもよい。
【0043】
また、このカメラ10はストロボ発光装置54と、調光用の受光素子56を有し、操作部50に含まれるストロボモード設定ボタンの操作に応じて、低輝度時にストロボ発光装置54を自動的に発光させる「低輝度自動発光モード」、被写体輝度にかかわらずストロボ発光装置54を発光させる「強制発光モード」、又はストロボ発光装置54の発光を禁止させる「発光禁止モード」等に設定される。
【0044】
CPU30はユーザーが選択したストロボモードに応じて、ストロボ発光装置54のメインコンデンサの充電制御や、発光管(例えば、キセノン管)への放電(発光)タイミングを制御するとともに、受光素子56からの測定結果に基づいて発光停止の制御を行う。受光素子56はストロボの発光によって照らされる被写体からの反射光を受光し、受光量に応じた電気信号に変換する。受光素子56の信号は図示せぬ積分回路により積算され、積算受光量が所定の適正受光量に達した時にストロボの発光が停止される。
【0045】
A/D変換器24から出力されたデータは前記メモリ26に格納されるとともに、積算回路60に加えられる。積算回路60は、撮影画面を複数のブロック(例えば、8×8の64個のブロック)に分割し、各ブロック毎に受入したG信号の積算演算を行う。なお、R、G、Bのデータから輝度信号(Y信号)を生成して、輝度信号の積算演算を行ってもよい。また、積算回路60はAE演算回路で兼用することもできる。積算回路60で得られた積算値の情報(演算結果)はCPU30に入力される。
【0046】
CPU30は積算回路60から受入する情報に基づき、後述のアルゴリズムに従って撮影画面の評価値Eを算出し、求めた評価値Eを用いてゲイン調整回路34におけるゲイン値(増幅率)を決定する。CPU30は決定したゲイン値に従ってゲイン調整回路34におけるゲイン量を制御する。
【0047】
メモリ26に記憶されたR、G、Bの画像データはゲイン調整回路34に送られ、ここで増幅処理される。増幅処理された画像データは、ガンマ補正回路36において、ガンマ補正処理が施された後、YC処理回路38へ送られ、RGBデータから輝度信号(Y信号)及び色差信号(Cr,Cb信号)に変換される。
【0048】
YC処理回路38において生成された輝度・色差信号(YC信号と略記する)は、メモリ26に書き戻される。メモリ26に記憶されたYC信号は表示用ドライバー48に供給され、所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換されて表示部46に出力される。表示部46には液晶ディスプレイその他のカラー表示可能な表示装置が用いられる。なお、表示部46はYC信号入力対応のタイプのものを適用してもよいし、RGB信号入力タイプのものを適用してもよく、表示装置に対応したドライバーが適用される。
【0049】
CCD18から出力される画像信号によって画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部46に供給されることにより、CCD18が捉える画像がリアルタイムに動画像(ライブ画像)として、又はリアルタイムではないが、ほぼ連続した画像として表示部46に表示される。
【0050】
表示部46は電子ビューファインダーとして利用でき、撮影者は表示部46の表示画像又は図示せぬ光学ファインダーによって撮影画角を確認することができる。レリーズボタンの押下操作など所定の記録指示(撮影開始指示)操作に呼応して、記録用の画像データの取り込みが開始される。
【0051】
撮影者が操作部50から撮影記録の指示を入力すると、CPU30は必要に応じて圧縮伸張回路40にコマンドを送り、これにより圧縮伸張回路40はメモリ26上のYCデータをJPEGその他の所定の形式に従って圧縮する。圧縮された画像データはカードインターフェース44を介してメモリカード42に記録される。
【0052】
非圧縮の画像データを記録するモード(非圧縮モード)が選択されている場合には、前記圧縮伸張回路40による圧縮処理を実施せずに、非圧縮のまま画像データがメモリカード42に記録される。
【0053】
本実施の形態のカメラ10は、画像データを保存する手段としてメモリカード42が用いられている。具体的には、例えばスマートメディア等の記録メディアが適用される。記録メディアの形態は上記のものに限らず、PCカード、マイクロドライブ、マルチメディアカード(MMC)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなど種々の形態が可能であり、使用される媒体に応じた信号処理手段とインターフェースが適用される。
【0054】
また、再生モード時にはメモリカード42から読み出された画像データが圧縮伸張回路40によって伸張処理され、ドライバー48を介して表示部46に出力される。
【0055】
なお、本実施の形態のメモリ26やメモリカード42は、本発明の記憶手段に相当し、CPU30は本発明のストロボ制御手段、及び制御手段の機能を含んでいる。また、ゲイン調整回路34は本発明の増幅手段に相当し、メモリカード42への画像データの記録処理が本発明の記録手段の機能に相当する。
【0056】
次に、本実施の形態のデジタルカメラにおける画像補正について説明する。
【0057】
図2に示したように、積算回路60において撮影画面は8×8のブロックに分割される。そして、各ブロックBi(i=0,1,2,・・・、63)毎に、画像信号におけるG(緑)信号の積算値Siが算出される。また、図3に示すように、各ブロックにはそれぞれ重み係数Wi(i=0,1,2,・・・、63)が定められている。重み係数Wiは画面中央部分が相対的に大きい値に定められており、中心から遠ざかるにつれて小さい値に設定されている。
【0058】
主要な被写体は画面の中央付近に配置される場合が多いため、図3に示すような重み係数の分布に設定しておくことで、画面中央部分の被写体の状態を十分に反映させた評価が可能となる。なお、本発明は、図3に示す重み係数の配置に限定されるものではなく、主要な被写体をどのように扱うか予め定めた画面の分布に応じて定めた重み係数の配置を採用できる。
【0059】
なお、ユーザの指示(図4に示す、フォーカス位置設定ボタン51によるフォーカス位置の指示)により、フォーカス位置を変更した場合には、図3に示す重み係数の分布を、変更したフォーカス位置に対応して移動配置する。これにより、ユーザの指示が反映された主要被写体を把握することができる。
【0060】
次に、撮像画像に対する画像補正について説明する。図6は本実施の形態にかかる画像補正の流れについて示したフローチャートである。ストロボ撮影によって撮影画像が取り込まれる図6に示す画像補正ルーチンが実行される。先ず、ステップ100では、撮像画像の明るさの積算値を算出する。すなわち、CPU30は、積算回路60からの情報に基づいて各ブロックBi(i=0,1〜63)内に含まれる画像信号におけるG(緑)信号の積算値Siを算出する。各ブロック毎の積算値Siの算出が終了すると、次のステップ102へ進み、重み係数Wi(図3参照)を用いて、次式(1)に従って評価値Eを算出する。
【0061】
【数1】
【0062】
すなわち、評価値Eは、各ブロックBiごとの積算値Siと重み係数Wiの乗算値(Si×Wi)を全てのブロックi=0〜63について加算し、その全加算値を重み係数Wiの総和で除算する(加重平均を算出する)ことによって求められる。
【0063】
次のステップ104では、撮像画像の明るさの平均値及び最大値を算出する。これは、撮像画像のコントラストの傾向を求めるための要素データ算出処理であり、コントラストの傾向の値(以下、コントラスト値Ctという。)は、撮像画像の明るさに対する変動率に相当する。本実施の形態では、次の(2)式に示す、撮像画像に含まれる明るさの最大値と、撮像画像の明るさの平均値との比をコントラスト値に採用する。
Ct=Cave/Cmax ・・・(2)
但し、Cmaxは、撮像画像に含まれる明るさの最大値、Caveは、撮像画像の明るさの平均値を示す。
【0064】
なお、明るさの平均値に代えて明るさの最小値や予め定めた関数により求まる平均的なレベルまたは低レベルの明るさを表す規定値でもよい。また、本実施の形態では、ブロックi=0〜63についての画像信号におけるG(緑)信号の積算値Siを用いてコントラスト値Ctを算出する。この場合、主要な画像(主要被写体の画像)が撮像画像の中央部付近に分布することが多いことなどから、撮像画像の中央部のブロックについて明るさの最大値、及び平均値を求めることが好ましい。
【0065】
なお、ユーザの指示(図4に示す、フォーカス位置設定ボタン51によるフォーカス位置の指示)により、フォーカス位置を変更した場合には、変更したフォーカス位置の領域を主要画像の領域として、変更したフォーカス領域のブロックについて明るさの最大値、及び平均値を求める。これにより、ユーザの指示が反映された主要被写体のコントラストを把握することができる。
【0066】
次のステップ106では、上記(1)式の算出結果である評価値Eが「1」未満か否かを判断し、評価値Eが「1」未満で肯定判断のときには、ステップ108へ進み、評価値Eを「1」に置き換え、ステップ110へ進む。すなわち、評価値Eが1より小さい場合、E=1にクリップする。一方、ステップ106で否定判断すなわち評価値Eが「1」以上で否定判断のときには、そのままステップ110に進む。
【0067】
ステップ110では、上記のようにして算出された評価値Eを用いて、次の(3)式に従って画像信号の増幅度を表すゲインGを算出する。
G=L/E ・・・(3)
但し、Lは所定の目標レベルを示す値である。
【0068】
次に、上記算出したゲインGを、所定の上限値(GU、例えば2.0)と下限値(GL、例えば1.0)の間の値に収容(クリップ)する。まず、ステップ112では、算出したゲインGに対して、下限値GL未満か否かを判断し、ゲインGが下限値GL未満で肯定判断のときには、ステップ114へ進み、ゲインGを下限値GLに置き換え、ステップ120へ進む。すなわち、ゲインGが下限値GLより小さい場合、G=GLにクリップする。
【0069】
一方、ステップ112で否定判断すなわちゲインGが下限値GL以上で否定判断のときには、ステップ116に進む。ステップ116では、ゲインGが上限値GUを越えるか否かを判断し、ゲインGが上限値GUを越えて肯定判断のときには、ステップ118へ進み、ゲインGを上限値GUに置き換え、ステップ120へ進む。すなわち、ゲインGが上限値GUより大きい場合、G=GUにクリップする。
【0070】
上限値にクリップするのは、ゲイン量が大きすぎると画像のS/Nが劣化するため、適度なゲイン量までで増幅を制限するものである。上限値GUの具体的な設定は様々であるが、例えば、画像信号を8ビットで表す場合には、増幅率の上限を3倍までと定める。また、画像を暗くする方向に補正したくない場合には、下限値GLを1に設定すればよい。
【0071】
ステップ120では、抑制ゲインCGを算出する。抑制ゲインCGは、撮像画像のコントラストが大きいとき、明るさにより一義的に画像補正するゲインGを抑制することによって、例えば背景が暗い撮影シーンであっても、被写体の明るさを適正に補正するためのものである。
【0072】
図7に示すように、本実施の形態では、抑制ゲインCGは、コントラスト値Ctによって定まる。すなわち、抑制ゲインCGとコントラスト値Ctとの関係を表す特性CCを予め定めておき、上記ステップ104で求めたコントラスト値Ctに対応する抑制ゲインCGを算出する。特性CCは、予め定めたコントラスト値Ctaまで、抑制ゲインCGが上限値1.0を維持し、コントラスト値Ctの最大値Ctbまで抑制ゲインCGが徐々に減少する特性である。すなわち、上記の(2)式の算出結果が大きくなるに従って、抑制ゲインCGは小さくなる。これは撮像画像のコントラストが小さくなるに従って抑制ゲインCGが小さくなるまたは、撮像画像のコントラストが大きくなるに従って抑制ゲインCGが大きくなることに相当する。
【0073】
なお、抑制ゲインに上限値を設けるのは、抑制量が大きすぎると画像に対する本来のゲイン量を確保出来ない場合が想定され、適度なゲイン量まで抑制を制限するものである。
【0074】
コントラスト値Ctaは、ストロボ光が被写体まで到達していないことが想定される境界のコントラスト値Ctであり、上記ステップ110で算出したゲインGで補正しても、被写体の画像に影響が少ないと判別されるコントラスト値Ctを実験などによって求めた平均値や統計値である。本実施の形態では、コントラスト値Ctaまで抑制ゲインCGが1.0を維持する特性CCを用いた場合を説明するが、本発明はこれに限定されるものではない。例えば、コントラスト値Ctが大きくなるに従って徐々に抑制ゲインCGが小さくなる特性CCaを採用することもできる。
【0075】
次のステップ122では、上記ステップ110で算出したゲインG、及びステップ120で算出した抑制ゲインCGと、次の(4)式を用いて、最終的に画像を補正するときの補正ゲインGallを算出する。
Gall=(G−1.0)・CG+1.0 ・・・(4)
ステップ122で算出する補正ゲインGallは、コントラスト値Ctの大小によりゲインGを抑制した補正値を求めるものである。すなわちコントラストが大きいときにはストロボ光が到達して被写体に適度の明るさの撮像画像が得られたものとして、明るさから求まるゲインGを抑制して、主要な被写体の画像に対する画像補正量を緩和するゲインを求める。
【0076】
なお、補正ゲインGallを算出するための数式は、上記(4)式に限定されるものではない。例えば、ストロボ光が到達して被写体に適度の明るさの撮像画像が得られたが画像に対して、明るさから求まるゲインGを抑制して、主要な被写体の画像に対する画像補正量を緩和するゲインを求めるものであればよく、多項式や任意の関数を用いて構成すればよい。
【0077】
次のステップ124では、上記ステップ122で決定された補正ゲインGallに従ってゲイン調整回路34により画像信号を増幅し、撮像画像を補正して、本ルーチンを終了する。
【0078】
なお、本実施の形態のステップ100及びステップ102の処理は、本発明の明るさ演算手段の機能に相当し、ステップ104の処理は本発明のコントラスト演算手段の機能に相当する。また、ステップ106乃至ステップ122の処理は、本発明の決定手段の機能に相当し、ステップ124の処理が増幅手段の気のうに相当する。
【0079】
このように、本実施の形態のカメラ10によれば、評価値Eに基づいて撮影画像が光量不足である場合には、その不足の程度に応じてゲイン調整回路34により画像信号が増幅されるので、ストロボ発光装置の発光量不足、及び発光量の制御精度の不足を補って、主要被写体が適正な明るさの画像(例えば、表示部46に表示させたときに主要被写体たる人物の顔を見ることができるような明るさの画像)を得ることができる。
【0080】
また、本実施の形態では、撮像画像のコントラストを算出し、そのコントラストに応じてゲイン調整回路34で増幅する画像信号のゲインを定めている。すなわち、コントラストにより、主要な被写体にストロボ光が到達しているか否かを判別し、判別結果値(コントラスト値)から、撮影画像の明るさにより定まるゲインGを抑制している。これによって、コントラストが大きいときにはストロボ光が到達して被写体に適度の明るさの撮像画像が得られたものとして、明るさから求まるゲインGを抑制して、主要な被写体の画像に対する画像補正量を緩和することができ、周囲が暗い環境下で撮影した場合であっても、主要被写体が適正な明るさの画像(例えば、表示部46に表示させたときに主要被写体などの人物の顔を見ることができるような明るさの画像)を得ることができる。
【0081】
【発明の効果】
以上説明したように本発明によれば、撮影画像の明るさの度合い及びコントラストに基づいて増幅率を決定することで、ストロボ撮影時の被写体の撮像画像に適した増幅率を定めることができ、適正な明るさの画像を得ることができる、という効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係るデジタルカメラのブロック図である。
【図2】 画像補正に利用される積算回路における撮影画面の分割形態の一例を示すイメージ図である。
【図3】 撮影画面の各ブロックに割り当てられている重み係数Wiの一例を示すイメージ図である。
【図4】 フォーカス位置設定ボタンの概略構成を示すイメージ図である。
【図5】 フォーカス位置設定ボタンの指示によりフォーカス領域がhんこうされる過程を示すイメージ図である。
【図6】 本実施の形態にかかるカメラにおける画像補正の処理の流れを示すフローチャートである。
【図7】 コントラストと抑制ゲインの関係を示す特性図である。
【符号の説明】
10…カメラ
12…撮影光学系
18…CCD
26…メモリ
30…CPU
34…ゲイン調整回路
42…メモリカード
44…カードインターフェース
50…操作部
51…フォーカス位置設定ボタン
54…ストロボ発光装置
62…画面中心のフォーカス領域
Ct…コントラスト値
CC…特性
CG…抑制ゲイン
Gall…補正ゲイン
G…ゲイン
Claims (3)
- ストロボ発光装置の発光を伴う撮影時に撮像素子より得られた画像信号に基づいて、撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求める工程と、
前記撮像画像の明るさの度合いから撮像画像のコントラストを求める工程と、
前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定し、前記決定した抑制率を付加した前記撮像画像の増幅率によって前記画像信号を増幅する工程と、
を含むことを特徴とする画像処理方法。 - ストロボ発光装置の発光を伴う撮影時に撮像素子により得られた画像信号に基づいて、撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求める明るさ演算手段と、
前記撮像画像の明るさの度合いから撮像画像のコントラストを求めるコントラスト演算手段と、
前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定する決定手段と、
前記決定した抑制率を付加した前記撮像画像の増幅率によって前記画像信号を増幅する増幅手段と、
を含むことを特徴とする画像処理装置。 - 撮像素子と、
撮影時に被写体に補助光を与えるようにストロボ発光装置を制御するストロボ制御手段と、
前記撮像素子を介して取得した画像信号を記憶する記憶手段と、
前記記憶手段に格納されている画像信号を増幅する増幅手段と、
前記撮像画像全体の明るさから求まる明るさの最大値及び予め定めた所定値を含む明るさの特徴値としての撮像画像の明るさの度合いを求め、前記撮像画像の明るさの度合いから撮像画像のコントラストを求め、前記撮像画像の求めた明るさの度合いに基づいて前記画像信号の増幅率を決定し、前記撮像画像のコントラストが予め定めたコントラスト値を超えた場合に、前記撮像画像のコントラストに基づいて前記撮像画像の増幅率を抑制する抑制率を決定し、前記決定した抑制率を付加した前記撮像画像の増幅率に従って前記増幅手段の増幅率可変制御を行う制御手段と、
前記増幅手段によって増幅した結果得られた画像を記録媒体に記録する記録手段と、
を備えたことを特徴とする電子カメラ。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002020738A JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
| US10/352,910 US7310448B2 (en) | 2002-01-29 | 2003-01-29 | Image processing method, image processing apparatus, and electronic camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002020738A JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003224771A JP2003224771A (ja) | 2003-08-08 |
| JP3805259B2 true JP3805259B2 (ja) | 2006-08-02 |
Family
ID=27606292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002020738A Expired - Fee Related JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7310448B2 (ja) |
| JP (1) | JP3805259B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US7551223B2 (en) * | 2002-12-26 | 2009-06-23 | Sony Corporation | Apparatus, method, and computer program for imaging and automatic focusing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7417683B2 (en) * | 2003-03-26 | 2008-08-26 | Canon Kabushiki Kaisha | Auto-focusing optical apparatus with focus detection area setting capability |
| JP3835433B2 (ja) * | 2003-05-23 | 2006-10-18 | セイコーエプソン株式会社 | 画像生成履歴情報を用いた画像処理 |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| JP2006080942A (ja) * | 2004-09-10 | 2006-03-23 | Seiko Epson Corp | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 |
| JP2006157450A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 撮像装置及び画像処理方法 |
| JP4929630B2 (ja) * | 2005-07-06 | 2012-05-09 | ソニー株式会社 | 撮像装置、制御方法、およびプログラム |
| JP2008011323A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動作速度検出装置 |
| US9442607B2 (en) * | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| WO2008128096A2 (en) | 2007-04-11 | 2008-10-23 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| CN101802760B (zh) | 2007-08-30 | 2013-03-20 | 奈克斯特控股有限公司 | 具有改进照明的光学触摸屏 |
| EP2195726A1 (en) | 2007-08-30 | 2010-06-16 | Next Holdings, Inc. | Low profile touch panel systems |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20090278795A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Illumination Assembly Therefor |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| US20110095989A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| JP5120414B2 (ja) * | 2010-04-26 | 2013-01-16 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
| CN116405783A (zh) * | 2020-07-31 | 2023-07-07 | 华为技术有限公司 | 一种拍摄的补光方法及相关装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5541028A (en) * | 1995-02-02 | 1996-07-30 | Eastman Kodak Company | Constructing tone scale curves |
| US6694052B1 (en) * | 1995-10-31 | 2004-02-17 | Fuji Photo Film Co., Ltd. | Image reproducing method and apparatus |
| US6493468B1 (en) * | 1998-05-06 | 2002-12-10 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US6694051B1 (en) * | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
| US6628830B1 (en) * | 1998-06-24 | 2003-09-30 | Canon Kabushiki Kaisha | Image processing method and apparatus and storage medium |
| US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
| JP3849333B2 (ja) | 1998-12-17 | 2006-11-22 | コニカミノルタホールディングス株式会社 | デジタルスチルカメラ |
| JP2000236442A (ja) * | 1999-02-15 | 2000-08-29 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
| JP2001169178A (ja) | 1999-12-06 | 2001-06-22 | Fuji Photo Film Co Ltd | 画像処理方法及び装置並びに電子カメラ |
| JP2001298660A (ja) * | 2000-04-13 | 2001-10-26 | Minolta Co Ltd | デジタルカメラ、画像処理装置、画像処理方法および記録媒体 |
| US7113649B2 (en) * | 2002-06-24 | 2006-09-26 | Eastman Kodak Company | Enhancing the tonal characteristics of digital images |
-
2002
- 2002-01-29 JP JP2002020738A patent/JP3805259B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-29 US US10/352,910 patent/US7310448B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20030142880A1 (en) | 2003-07-31 |
| JP2003224771A (ja) | 2003-08-08 |
| US7310448B2 (en) | 2007-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3805259B2 (ja) | 画像処理方法、画像処理装置及び電子カメラ | |
| JP4305598B2 (ja) | カメラの絞り制御方法及び装置、並びにカメラ | |
| US7973830B2 (en) | Imaging apparatus and exposure control method | |
| JP2004135029A (ja) | デジタルカメラ | |
| JP2004236300A (ja) | デジタルカメラ | |
| JP2007163561A (ja) | 撮像装置及びそのプログラム | |
| US8593566B2 (en) | Method and apparatus for controlling light emission of flash and digital photographing apparatus using the method and apparatus | |
| US11838648B2 (en) | Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing | |
| CN103595921A (zh) | 摄像装置 | |
| US8253850B2 (en) | Imaging apparatus and program thereof | |
| JP4615458B2 (ja) | 露出制御方法及び撮像装置 | |
| JP4181620B2 (ja) | デジタルカメラ | |
| JP3943470B2 (ja) | デジタルカメラ | |
| JP2004032524A (ja) | デジタルカメラ | |
| JP6231814B2 (ja) | 露出決定装置、撮像装置、制御方法、及びプログラム | |
| JP5791254B2 (ja) | 撮像装置及びカメラシステム | |
| JP2003319246A (ja) | デジタルカメラ | |
| JP2003319234A (ja) | デジタルカメラ | |
| JP2001169178A (ja) | 画像処理方法及び装置並びに電子カメラ | |
| JP2022170553A (ja) | 撮像装置、その制御方法とプログラム | |
| JP5387645B2 (ja) | 撮像装置及びそのプログラム | |
| JP2003295044A (ja) | デジタルカメラ | |
| JP7669182B2 (ja) | 撮像装置、その制御方法とプログラム | |
| JP4915272B2 (ja) | 撮像装置及びそのプログラム | |
| JP2006262170A (ja) | 撮像装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3805259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140519 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |
