JP4158029B2 - ホワイトバランス調整方法および電子カメラ - Google Patents
ホワイトバランス調整方法および電子カメラ Download PDFInfo
- Publication number
- JP4158029B2 JP4158029B2 JP2003121723A JP2003121723A JP4158029B2 JP 4158029 B2 JP4158029 B2 JP 4158029B2 JP 2003121723 A JP2003121723 A JP 2003121723A JP 2003121723 A JP2003121723 A JP 2003121723A JP 4158029 B2 JP4158029 B2 JP 4158029B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- balance adjustment
- color information
- adjustment value
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明はホワイトバランス調整方法および電子カメラに係り、動画、静止画に関わらず好ましい画像を再現できるホワイトバランス調整制御技術に関する。
【0002】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等では、撮影シーンや撮影者の嗜好に応じた好適な画像を得るために様々なホワイトバランス調整の制御方法が提案されており、動画、静止画に関わらずホワイトバランス調整を施された画像を得ることができる。
【0003】
特許文献1に開示された撮影装置では、動画撮影モードと静止画撮影モードとを検出し、静止画撮影にはホワイトバランス補正動作を瞬時に行えるようにホワイトバランス調整値を高く設定し、動画撮影時にはホワイトバランス調整が円滑に行われるように静止画撮影時よりも低いホワイトバランス調整値を設定する。
【0004】
【特許文献1】
特開平5−130635号公報
【0005】
【発明が決しようとする課題】
しかしながら、CCD等の撮像素子は動画撮影と静止画撮影とでは、駆動電圧、読み出し速度、間引き出力と全画素出力の違い等により感度が異なり、結果として同じ入射光に対する出力が異なることになる。したがって、動画撮影と静止画撮影とで同じ方法を用いてホワイトバランス調整値を求めると、同じシーンで同じ被写体を撮影したにも関わらず、動画と静止画では再生画像の色味が異なってしまう。
【0006】
特許文献1に開示された撮影装置では、動画撮影は静止画の連続撮影と同じ機能を持つにも関わらず、連続画像の円滑性重視のために静止画と異なる色再現性を持ってしまい、せっかく静止画で設定した適切な目標値に合わせる補正量を決めても、動画撮影では円滑性重視のために適切な色再現、目標値に合わせた定量的なホワイトバランス設計を行っておらず、撮影シーンによってはホワイトバランスが崩れてしまうことがある。
【0007】
本発明はこのような事情を鑑みてなされたもので、動画撮影と静止画撮影と同じ色再現を実現し、動画撮影、静止画撮影に関わらず再現画像の安定性や追従性を再現でき、広範囲のホワイトバランス調整が可能なホワイトバランス調整方法および電子カメラを提供することを目的とする。
【0008】
【課題を解決するための手段】
前記目的を達成するために本発明に係るホワイトバランス調整方法は、撮像手段を介して取得される画像信号から色情報を生成し、該色情報に基づいて算出したホワイトバランス調整値によって色信号を補正するホワイトバランス調整方法であって、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報を生成する工程と、前記補正された色情報から第1のホワイトバランス調整値を算出する工程と、前記算出された第1のホワイトバランス調整値を前記補正係数によって補正して第2のホワイトバランス調整値を求める工程と、前記求めた第2のホワイトバランス調整値に従って色信号を補正する工程と、を含むことを特徴としている。
【0009】
本発明によれば、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報が生成され、生成された色情報から第1のホワイトバランス調整値を求め、さらに第1のホワイトバランス調整値から第2のホワイトバランス調整値を求め、第2のホワイトバランス調整値に従って色信号を補正するように構成したので、動画でも静止画でも同じ色再現を持った好ましい画像を得ることができる。
【0010】
静止画を基準として動画のホワイトバランスを補正してもよいし、動画を基準として静止画のホワイトバランスを補正してもよい。
【0011】
動画撮影時と静止画撮影時との画像信号の出力差は、撮像手段に含まれる撮像素子の感度差、黒レベル設定の差などに起因する。
【0012】
撮像手段からRGBのカラー画像信号が出力される場合に、色情報は、例えば、RGBの積算値(単位画素あたり)、R信号とG信号の比R/GおよびB信号とG信号の比B/Gを含んでいる。
【0013】
ホワイトバランス調整値には色バランスの目標値を実現するゲイン値が含まれている。
【0014】
本発明の一態様として、前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴としている。
【0015】
静止画撮影時の出力に対する動画撮影時の出力をAとするときに、動画の画像信号から色情報を算出するときには、動画の画像信号に1/Aを乗算(Aで除算)して色情報を求め、該色情報から算出した第1のホワイトバランス調整値に対して1/Aを乗算して最終的な第2のホワイトバランス調整値を算出する。
【0016】
また、感度比は色信号(RBG)ごとに異なることがあり、感度比による補正は色信号ごとに行うとよい。
【0017】
本発明の他の態様として、前記色情報を生成する工程は、色信号の積算値を算出する工程と、前記積算値に前記補正係数を乗算する工程と、を含むことを特徴としている。
【0018】
積算値には積算値から求めた平均値を含んでいる。
【0019】
上記方法発明を具現化する装置を提供すべく、本発明に係る電子カメラは、被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された色情報を生成する色情報生成手段と、前記生成された前記色情報から第1のホワイトバランス調整値を算出する第1のホワイトバランス調整値算出手段と、前記算出された第1のホワイトバランス調整値を前記補正係数によって補正して第2のホワイトバランス調整値を求める第2のホワイトバランス調整値算出手段と、前記求めた第2のホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、を備えたことを特徴としている。
【0020】
本発明の電子カメラにおいて、表示手段を付加し、ホワイトバランス調整の結果、得られる画像を前記表示手段に表示し、また、得られた画像を記録する記録手段を備える態様が好ましい。さらに、撮影者が画角確認するスルー画を表示手段に表示させる際にも本発明を適用可能である。
【0021】
本発明の一態様によれば、前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴としている。
【0022】
また、前記色情報生成手段は、前記撮像手段から得られる画像信号から色情報を算出する色情報算出手段と、動画撮影時に前記撮像手段から得られた画像信号から算出された色情報に対して前記補正係数を用いて補正を施す色情報補正手段と、を含む態様も好ましい。また、前記撮像手段の静止画撮影における感度と動画撮影における感度との比を用いて補正色情報を算出する色情報補正手段を備えたことを特徴としている。
【0023】
本発明の他の態様によれば、ホワイトバランス調整の度合いを示す順応率を設定する順応率設定手段と、前記順応率設定手段により設定された順応率に従ってホワイトバランス処理の制御を行うホワイトバランス制御手段と、を備えたことを特徴としている。
【0024】
かかる態様によれば、ホワイトバランス調整の度合いを示す順応率を用いて撮影シーンの色味を残すようなホワイトバランス処理を行った場合にも、動画と静止画と同じ色再現を実現できる。
【0025】
順応率は光源の雰囲気を残す度合いを示すものであり、予め所定の値が設定されていてもよいし、利用者が所定のユーザインターフェースや操作手段を通じて可変設定できる構成でもよい。順応率は無補正(順応率0%)から完全補正(順応率100%)の間に少なくとも1つ設定できればよい。また、完全補正を順応率100未満にしてもよい。
【0026】
利用者が順応率を設定する態様では、順応率を表示する表示手段を備えると、撮影者が順応率を設定する手助けになる。
【0027】
また、前記目的を達成するために本発明に係る電子カメラは、被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号から色情報を生成する色情報生成手段と、動画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報に対して動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行う色情報補正手段と、静止画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報からホワイトバランス調整値を求め、動画撮影時には前記色情報補正手段によって補正された色情報からホワイトバランス調整値を求めるホワイトバランス調整値算出手段と、動画撮影時に前記色情報補正手段によって補正された色情報から求められた前記ホワイトバランス調整値に前記補正係数を乗じて補正を行うホワイトバランス調整値補正手段と、静止画撮影時には前記ホワイトバランス調整値算出手段で算出されたホワイトバランス調整値に従って色信号を補正し、動画撮影時には前記ホワイトバランス調整値補正手段によって補正されたホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、を備えたことを特徴としている。
【0028】
本発明によれば、静止画撮影時には画像信号から生成された色情報からホワイトバランス調整値を求め、該ホワイトバランス調整値に従って色補正を行い、動画撮影時には前記色情報に動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行い、補正された色情報からホワイトバランス調整値を求め、さらに、該ホワイトバランス調整値に前記感度比を乗じて補正したホワイトバランス調整値にしたがってホワイトバランス処理を行うよう構成したので、好ましい色再現設計をされた静止画撮影のホワイトバランスアルゴリズムを利用して、動画撮影時のホワイトバランス処理を行い、動画に対しても静止画同様の安定性、追従性を再現でき、広範囲のホワイトバランスをとることができる。
【0029】
前記色情報および前記ホワイトバランス調整値を補正する形態には、前記補正係数を乗じる形態の他に、補正係数(補正値)を加算あるいは減算する形態を適用してもよい。
【0030】
【発明の実施の形態】
以下添付図面に従って本発明に係るホワイトバランス調整方法および電子カメラの好ましい実施の形態について詳説する。
【0031】
図1は本実施形態に係るデジタルカメラのブロック図である。カメラ1の撮影レンズ10は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。撮影レンズ10および絞り12を通過した光はCCD固体撮像素子(以下CCDと記載)14に入射する。CCDの受光面には多数のフォトセンサ(受光素子)が二次元的に配列され、各フォトセンサに対応して赤(R),緑(G),青(B)の原色カラーフィルタが所定の配列形態で配置されている。CCD14は単板式CCDを例示したが、3板式CCDでもよい。
【0032】
CCD14の受光面に結像された被写体像は、CCD14上の各センサで光の入射光量に応じた量の信号電荷に変換される。
【0033】
このようにして蓄積された信号電荷は、CCD駆動回路16から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。このCCD14は、蓄積した信号電荷をシャッターゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間(シャッタースピード)を制御する、いわゆる電子シャッター機能を有している。
【0034】
CCD14から順次読み出された電圧信号(画像信号)は、相関二重サンプリング回路(CDS回路)18に加えられ、ここで各受光素子(画素)ごとのR、G、B信号がサンプリングホールドされ、A/D変換器20に加えられる。A/D変換器20は、CDS回路18から順次加えられるR、G、B信号をデジタル信号に変換して出力する。CCD駆動回路16、CDS回路18およびA/D変換器20は、タイミング発生回路22から加えられるタイミング信号によって同期して駆動されるようになっている。
【0035】
A/D変換器20から出力されたR、G、B信号は、一旦メモリ24に格納され、その後、メモリ24に格納されたR、G、B信号は、デジタル信号処理回路26に加えられる。デジタル信号処理回路26は、同時化回路28、ホワイトバランス調整回路30、ガンマ補正回路32、輝度・色差信号(YC信号)作成回路34、およびメモリ36から構成されている。
【0036】
同時化回路28は、メモリ24から読み出された点順次のR、G、B信号を同時式に変換し、R、G、B信号を同時にホワイトバランス調整回路30に出力する。ホワイトバランス調整回路30は、R、G、B信号のデジタル値をそれぞれ増減するための乗算器30R、30G、30Bから構成されており、R、G、B信号は、それぞれ乗算器30R、30G、30Bに加えられる。
【0037】
乗算器30R、30G、30Bの他の入力には、中央処理装置(CPU)38からホワイトバランス制御するためのホワイトバランス調整値(ゲイン値)Rg、Gg、Bgが加えられており、乗算器30R、30G、30Bはそれぞれ2入力を乗算し、この乗算によってホワイトバランス調整されたR’、G’、B’信号をガンマ補正回路32に出力する。CPU38からホワイトバランス調整回路30に加えられるホワイトバランス調整値Rg、Gg、Bgの詳細については後述する。ここで、CPU38には、CPUに画像処理プロセッサーやその他周辺回路を含んだマイクロコンピュータおよび画像処理や音声処理を高速で行うDSP等を含んでいる。また、CPUは用途に応じて複数個備えてもよい。
【0038】
ガンマ補正回路32は、ホワイトバランス調整されたR’、G’、B’信号が所望のガンマ特性となるように入出力特性を変更し、YC信号作成回路34に出力する。YC信号作成回路34は、ガンマ補正されたR、G、B信号から輝度信号Yとクロマ信号Cr、Cbとを作成する。これらの輝度信号Yとクロマ信号Cr、Cb(YC信号)は、メモリ24と同じメモリ空間のメモリ36に格納される。
【0039】
ここで、メモリ36内のYC信号を読み出し、液晶モニタ52に出力することにより、動画または静止画を液晶モニタ52に表示させることができる。また、シャッターボタン全押し(S2オン)に応動して撮影され、メモリ36に格納されたYC信号は、圧縮/伸張回路54によってJPEGなど所定のフォーマットに従って圧縮された後、メモリカード56その他の記録媒体に記録される。
【0040】
画像データを保存する手段(記録部)としての記録媒体としては、xD-Picture Card (商標)、メモリスティック(商標)、PCカード、コンパクトフラッシュ、磁気ディスク、光ディスク、光磁気ディスクなどを適用でき、電子的、磁気的、若しくは光学的、またはこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。異種、同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像を保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラ1に内蔵された記録媒体(内部メモリ)であってもよい。
【0041】
再生モード時には、メモリカード56に記録されている画像データが読み出され、圧縮/伸張回路54によって伸張処理された後、液晶モニタ52に出力される。こうして、液晶モニタ52に再生画像が表示される。
【0042】
CPU38は、カメラ操作部40からの入力に基づいて各回路を統括制御するとともに、オートフォーカス(AF)、自動露出制御(AE)、オートホワイトバランス(AWB)等の制御を行う。
【0043】
カメラ操作部40には、多機能の十字キー、メニュー/実行キー、キャンセル/戻るキー、表示/OKキー、モード切替レバー、モードダイヤルが設けられている(図1には不図示)。
【0044】
十字キーは、上下左右の4方向の指示を入力し得る操作キーであり、液晶モニタ52に表示されるメニュー画面における各種設定項目の選択や設定内容の変更を指示する手段(カーソル移動手段)として使用されるとともに、電子ズームの倍率調整や再生コマの送り/戻しを指示する手段として用いられる。
【0045】
メニュー/実行キーは、メニュー画面の表示を指示するメニューボタンとしての機能と、選択内容の確定および実行など指令するOKボタンとしての機能とを兼備した操作キーである。例えば、セットアップモードが選択されると、液晶モニタ52上にセットアップ画面が表示される。セットアップ画面においては、記録画素数(画像サイズ)、記録画質(圧縮率)、立ち上げ時の液晶モニタ52のON/OFF選択、オートパワーオフ時間、オープニング画面の表示設定、日時設定、ホワイトバランスモードの設定などの各種設定項目が表示される。ユーザは十字キーを操作して、セットアップ画面から変更したい項目を選択したり、設定内容を変更したりしてから、メニュー/実行キーを押して指示の確定を行う。
【0046】
キャンセル/戻るキーは、メニューから選んだ項目の取消(キャンセル)や一つ前の操作状態に戻る時などに使用される。表示/OKキーは、液晶モニタ52をON/OFF操作したり、再生方法や再生中のコマ番号等の表示/非表示を切り替えたりするための操作手段である。
【0047】
モード切替レバーは、「静止画撮影モード」、「動画撮影モード」と「再生モード」とを切り替えるための操作部である。また、カメラ上面に配設されているモードダイヤル(不図示)を回転させることにより、セットアップモード、連写/ブラケティングモード、マニュアル撮影モード、オート撮影モード、人物撮影モード、風景撮影モード、および夜景撮影モードのうち何れか1のモードを選択できるようになっている。ただし、モード切替レバーによって動画撮影モードが選択されている場合には、モードダイヤルをマニュアルモードおよびオート撮影モード以外に設定しても、すべてオート撮影モードの制御が行われる。
【0048】
モードダイヤルの中央部には、シャッターボタンが設けられている。シャッターボタンは、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。シャッターボタンの半押し(S1オン)によって自動ピント合わせ(AF)および自動露出制御(AE)が作動してAFとAEをロックし、半押しから更に押し込む全押し(S2オン)の状態で撮影(記録用の撮影動作)が実行される。
【0049】
液晶モニタ52は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、撮影した画像のプレビュー画やカメラ1に装填されたメモリカード56から読み出した再生画像、ホワイトバランス順応率設定画面等を表示することができる。また、液晶モニタ52には、撮影可能コマ数(動画については撮影可能時間)や再生コマ番号の表示、ストロボ発光の有無、マクロモード表示、記録画質(クオリティー)表示、画素数表示等の情報も表示される。液晶モニタ52は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。撮影者は、ファインダーまたは液晶モニタ52に映し出されるリアルタイム画像(スルー画)を確認しながら、構図(画角)を決定し、シャッターボタンを押下して撮影を行う。液晶モニタ52に代えて、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0050】
また、本例のカメラ1は図1に示したように、ストロボ装置46を有し、図示せぬストロボキーの操作に応じて、低輝度時にストロボ装置46を自動的に発光させる自動発光モード、被写体輝度にかかわらずストロボ装置46を発光させる強制発光モード、またはストロボ装置46の発光を禁止させる発光禁止モード等に設定される。
【0051】
CPU38はユーザが選択したストロボモードに応じて図示しないメインコンデンサの充電制御や発光管(例えば、キセノン管)への放電(発光)タイミング等を制御する。また、CPU38はストロボモードの設定に応じたホワイトバランス制御を行うようになっている。
【0052】
EEPROM58にはホワイトバランス制御に必要な調整値データが格納されており、CPU38は必要に応じてこれらデータを活用する。また、EEPROM58にCCD14の感度の情報やキズの情報などを記録してもよい。
【0053】
カメラ1のAF制御は、例えばG信号の高周波成分が最大になるように撮影レンズ10を移動させるコントラストAFであり、シャッターボタン半押し(S1オン)時にG信号の高周波成分が最大になるようにレンズ駆動部42を介して撮影レンズ10を合焦位置に移動させる。
【0054】
AE制御は、予め決めた露出複数回(最大4回)R、G、B信号を取り込み、これらのR、G、B信号を積算した積算値に基づいて被写体輝度(撮影EV値)を求める。
【0055】
そして、シャッターボタン全押し(S2オン)時に決定した絞り値になるように絞り駆動部44を介して絞り12を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【0056】
図2はオートホワイトバランス制御に関連する部分を示したブロック図である。なお、ストロボ装置46を発光させる場合には、ストロボ光に対して良好なホワイトバランスを行うためのホワイトバランス補正値Rg、Gg、Bgがホワイトバランス調整回路30に加えられるため、以下、ストロボが発光しない場合のホワイトバランス制御について説明する。
【0057】
まず、シャッターボタン半押し時に求めた撮影EV値を取得し、図2の積算値調整回路100において、シャッターボタン全押し時に図1のA/D変換器20から出力された1画面分のR、G、B信号102は図1のメモリ24に格納される。メモリ24から読み出された1画面分のR、G、B信号102は、OB調整部104において、CCD14に発生する暗電流に起因する黒レベルのオフセットを調整する黒レベル調整(OB調整)が施される。
【0058】
続いて、図1の積算回路48において、この1画面を複数のエリア(例えば、8×8)に分割し、分割エリアごとにR、G、B信号の色別の平均積算値が求められ、CPU38に加えられる。また、積算回路48とCPU38との間には乗算器50R、50G、50Bが設けられており、乗算器50R、50G、50Bには、機器のバラツキを調整するための調整ゲイン値が加えられるようになっている。
【0059】
R、G、B信号の色別の平均積算値から図2に符号108で示したR信号の積算値とG信号の積算値との比R/G、およびB信号の積算値とG信号の積算値との比B/Gが求められる。1画面の分割数は、解像度や内部の処理速度などカメラ1の設計に応じて適宜設計可能である。
【0060】
静止画の場合には、上記のようにして分割エリアごとに求められる色情報R/G、B/G積算値108は、ホワイトバランスゲイン算出部110に送られる。ホワイトバランスゲイン算出部110のうち検出枠算出部112は、各分割エリアが図3の、R/G(横軸)、B/G(たて軸)で表された表色座標200上の検出枠のうち、何れの検出枠内に入るかを判別する。なお、図3の表色座標200における青空検出枠202、日陰検出枠204、曇り検出枠206、昼光色検出枠208、昼白色−白色検出枠210、肌色検出枠212、温白色検出枠214、タングステン灯検出枠216は、検出枠ごとに光源種などの色分布の範囲を規定するものである。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【0061】
図2の演算部114では、図3の表色座標200上の検出枠を用い、撮像画面の各エリアに対応する64点の分布を得て、64点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数とある目標値に合わせるようなゲインと重み付けによって各検出枠での平均座標(Ri/Gi,Bi/Gi)が算出される。
【0062】
各枠ごとの分布を目標値座標(1,1)、即ち色味をグレーに合わせるR/Gゲインgri、B/Gゲインgbiは、各検出枠に入った個数をnとすると、次式で計算される。
【0063】
【数1】
gri=1/[Σ{(Ri/Gi)/n}]
gbi=1/[Σ{(Bi/Gi)/n}]
こうして求められた各枠ごとのゲインと、検出枠ごとの明るさ依存性係数(0〜1)を各検出枠に入る個数に乗じて求めた評価値が求められる。該評価値は次式で計算される。
【0064】
【数2】
評価値Hi=F(検出個数×明るさ依存係数)
上記のように求められた評価値Hiとの重み付けでホワイトバランスゲインRg、Gg、Bgは求められ、目標値を(Txi,Tyi)とすると、ホワイトバランスゲインRg、Gg、Bgは次式で計算される。
【0065】
【数3】
Rg=Σ(Txi×gri×Hi)/ΣHi×Σ(Gi×Hi)/ΣHi
Bg=Σ(Txi×gbi×Hi)/ΣHi×Σ(Gi×Hi)/ΣHi
Gg=Σ(Gi×Hi)/ΣHi
さらに、光源色補正部116において、上記のように求められたゲインから光源色の色味を出すための補正を施すことができる。ホワイトバランスゲインRg、Gg、Bgそれぞれに0から100%までの順応率のLWゲイン値を乗じて最終ゲインが求められる。
【0066】
上記の如く求められたホワイトバランス補正値をRg、Gg、Bg、補正する前の信号をR、G、Bとし、ホワイトバランスゲイン算出部110での補正結果をR’、G、’B’とすると、補正結果R’、G’、B’は次式によって表される。
【0067】
【数4】
R’=Rg×R
G’=Gg×G
B’=Bg×B
ここで、順応率のLWゲイン値を乗じて最終ゲインを求める(ホワイトバランス順応率設定)態様について説明する。
【0068】
図4は、液晶モニタ52に表示されたホワイトバランス順能率設定画面である。
【0069】
カメラ1を動画撮影モードあるいは静止画撮影モードに設定し、モードダイヤルをマニュアルモードに設定し、メニュー/実行キーを押下すると、液晶モニタ52にはマニュアル補正メニューが表示される。この画面には、ホワイトバランス、露出、シャープネス、測光パターン、ストロボの明るさISO感度などの項目が表示される。ここで「ホワイトバランス」の項目を選択すると、ホワイトバランスをマニュアルで調整できるモードになる。
【0070】
ホワイトバランス補正の度合い(順応率)を選択すると、液晶モニタ52にはマニュアル補正用の目盛り260(補正の度合いを示す補正バー)が表示される。撮影者は、液晶モニタ52に表示されている画像のホワイトバランスを見ながら、十字キーの左右キーを押すことによって調整を行う。左右キーの操作に応じてメモリの表示が増減するとともに、表示画像の色味も変化する。なお、デフォルトでは、AWBの初期設定が表示される。また、順応率のLWゲイン値を0%に設定した場合には結果的にホワイトバランスの調整は行われず、光源の色がそのまま出力される。
【0071】
上述した静止画撮影におけるホワイトバランス制御を利用して、動画撮影におけるホワイトバランス制御を行うことができる。動画像は静止画像を所定の間隔で連続的に撮影されたものであり、動画像を構成するフレーム画像(静止画像)に対して所定の間隔で静止画撮影のホワイトバランス調整を行うことで動画撮影のホワイトバランス調整が可能になる。なお、ホワイトバランス調整は1フレームごと行ってもよいし、数フレームごとに行ってもよい。
【0072】
しかしながら、動画撮影と静止画撮影とでは、同じシーンにおいて同じ被写体を撮影した場合に、CCD14から出力される電圧が異なることがある。これは、CCD14の駆動電圧の違い(動画は駆動電圧が低く、静止画は駆動電圧が高い)、読み出し速度の違い(動画は読み出し速度が速く、静止画は読み出し速度が遅い)、読み出し形式の違い(動画は間引き読み出し、静止画は前画素読み出し)等によることである。また、黒レベル調整なども動画撮影と静止画撮影では若干異なる設計をすることがある。これは、カメラ設計とは色調整だけでなく画質全体の設計を行うために、解像度やノイズなど多面的に設計を見るために生じる現象である。
【0073】
したがって、動画撮影において、上述した静止画撮影のホワイトバランス調整制御を用いて、フレームごとのRGB信号からホワイトバランスゲインを算出しホワイトバランス調整を行った場合には、静止画撮影の色再現が動画撮影では実現できないことがある。
【0074】
以下に、上述した動画と静止画との色再現が異なる現象を解決するための、動画撮影のホワイトバランスの補正について説明する。なお、動画撮影と静止画撮影とのCCD14のR信号における感度比およびB信号の感度比はそれぞれ一定である。以下の説明において、動画撮影と静止画撮影とのCCD14のR信号における感度比およびB信号の感度比を、それぞれR信号の感度比、B信号の感度比と記載することや、単にCCD14の感度比と記載することがある。
【0075】
図4は、図2の積算値調整回路100および動画撮影時の信号を示したブロック図である。図4中図2と同一または類似する部分には同一の符号を付し、その説明は省略する。
【0076】
積算値調整回路100に入力される動画の1画面分のRGB信号302は、OB調整部104において、動画撮影に合わせた黒レベル調整(OB調整)が施され、積算部106において、この1画面を複数のエリア(例えば、8×8)に分割し、分割エリアごとにR、G、B信号の色別の平均積算値を求め、R信号の積算値とG信号の積算値との比R/G、およびB信号の積算値とG信号の積算値との比B/G(Ri/Gi,Bi/Gi)308が求められる。
【0077】
図1に示したCCD14において、R信号の感度比(感度比係数)をa、B信号の感度比(感度比係数)をbとすると、積算値調整回路100で求められた動画積算値(Ri/Gi,Bi/Gi)308から本動画撮影と同じシーンで同じ被写体を静止画撮影した場合の積算値である疑似静止画積算値310が図2に示した感度補正部126で算出され、疑似静止画積算値310(Ri”/Gi”,Bi”/Gi”)は次式で計算される。
【0078】
【数5】
Ri”/Gi”=(Ri/Gi)/a
Bi”/Gi”=(Bi/Gi)/b
図5では、[数5]に示された式は▲1▼で示した「感度比係数a、bで割る」に相当する。
【0079】
図6は、横軸をR/G、たて軸をB/Gで表した表色座標300である。ただし、本発明の理解を容易にするために、図6ではB信号成分の変化のみが表されている。
【0080】
表色座標300上では、図5に示した動画積算値308は点A、疑似静止画積算値310は点Cで表されている。また、[数5]に示された演算は矢印付き実線▲1▼で表されている。
【0081】
仮に、原点O(1,1)を目標値として、動画積算値308を用いてホワイトバランス調整値(ホワイトバランスゲイン)を算出すると、ホワイトバランスゲインは直線OAで表される。一方、疑似静止画積算値310を用いてホワイトバランスゲインを求めると、ホワイトバランスゲインは直線OCで表される。
【0082】
図2に示した光源色補正部116において、ホワイトバランスゲインRg、Gg、Bgに光源色の色味を出すために順応率のLWゲイン値を乗じ、最終ゲインが求められる。上記のように求められた最終ゲインは、動画撮影時の最終ゲインは点A’、静止画撮影時の最終ゲインは点C’になる。
【0083】
これは、任意の目標値ついて、光源色の色味を出すための補正を行った場合には、動画積算値308からホワイトバランス処理行った場合と疑似静止画積算値310からホワイトバランス処理を行った場合とでは、動画撮影と静止画撮影とでは異なる色再現性を持つことを示している。
【0084】
直線OCで表された静止画撮影のホワイトバランスゲインは適切な色再現設計をされているが、直線OAで表されたホワイトバランスゲイン(動画撮影のホワイトバランスゲイン)は適切な色再現設計をされているとは限らないので、動画撮影において光源色の色味を出すために補正を行った場合にも適切な色再現を実現するためにホワイトバランスゲインの補正を行う必要がある。
【0085】
[数5]に示された式によって算出された疑似静止画積算値310から算出されたホワイトバランスゲイン(図5の直線OC)を、動画積算値308に適用すると直線O’Aで表されるホワイトバランスゲインが求められる。ただし、直線O’Aで表されるホワイトバランスゲインでは過補正ぎみのゲインがかかることになるために、CCD14の感度比を用いて過補正分を戻す必要がある。
【0086】
これは、動画積算値308から疑似静止画積算値310を求めたときと同じ処理が適用でき、点O’を目標値としたホワイトバランスゲインをCCD14の感度比で割る(ここではB信号の感度比係数bで割る)と、点Oで表されるホワイトバランスゲインが求められる。この処理は図6の▲2▼で示されており、図2に示した感度補正部126で行われる。
【0087】
また、任意の目標値ついて光源色の色味を出すために補正を行う場合は、例えば、直線O’A上の点A”をB信号の感度比係数bで割ると、静止画ゲインを表す直線OC上の点C’が求められる。これは、直線O’A上の任意の点で表されるホワイトバランスゲインについて適用可能である。
【0088】
図6は、カメラ1のオートホワイトバランス(AWB)処理の流れを示したフローチャートである。
【0089】
カメラ1は、主電源がオンされると、内部のイニシャライズ処理が行われ撮影可能になる。撮影が開始されると(ステップS10)、まず、モード選択レバーの設定が動画撮影であるか静止画撮影であるかが検出される(ステップS12)。モード選択レバーが静止画撮影モードに設定されている場合には(NO判定)、ステップ14に進み、静止画撮影モードであるか否かが検出される。ステップS14において静止画撮影モードが選択されていない場合には(NO判定)、撮影を終了し(ステップS50)、静止画撮影モードが選択されている場合には(YES判定)、ステップS16に進み、S1オンを検出する。ステップS16においてS1オンが検出されない場合には(NO判定)、S1オン検出を継続し、S1オンが検出された場合には(YES判定)、AE、AF処理が行われる(ステップS18)。
【0090】
AE、AF処理の後、カメラ1の制御はS2オン検出に進む(ステップS20)。ステップS20では、S1保持中はAE、AFをロックし、シャッターボタンから手を放したときにはS1が解除され、S2オンが検出されない場合には(NO判定)、カメラ10の制御はS1オン検出に戻り(ステップS16)、S2オンが検出された場合には(YES判定)、AWB処理が開始される。
【0091】
AWB処理では、まず、CCD14から出力されるRGB信号をもとに、1画面を分割したエリアごとのRGB積算値(静止画積算値108)が算出され(ステップS22)、このRGB積算値108を用いてホワイトバランスゲインが算出される(ステップS24)。ステップS24で算出されたホワイトバランスゲインを用いてホワイトバランス処理が行われ(ステップS26)、画像が記録される(ステップS28)。ステップS28において、画像記録がなされると、撮影が終了される(ステップS50)。
【0092】
一方、ステップS12において、モード選択レバーが動画撮影モードに選択されている場合には(YES判定)、ステップS30に進み、S2オンを検出する。ステップS30において、S2オンが検出されない場合には、S2オンの検出を継続し、S2オンが検出された場合には(YES判定)、動画記録が開始される(ステップS32)。
【0093】
動画記録が開始されると、動画撮影時のAWB処理が開始され、まず、1フレーム分の画像データに対して、CCD14から出力されるRGB信号をもとに、1画面を分割したエリアごとの動画積算値308が算出される(ステップS34)。ステップS34で算出された動画積算値をCCD14の感度比係数aまたはbで割り、疑似静止画積算値310が算出される(ステップS36)。ステップS36で求められた疑似静止画積算値310から動画WBゲインが算出され(ステップS38)、動画WBゲインをCCD14の感度比係数aまたはbで割り、最終WBゲインが算出される(ステップS42)。
【0094】
ステップS42において算出された最終WBゲインを用いてWB処理が行われ(ステップS44)、ステップS46に進み画像記録が行われる。画像記録が行われると、S1オンを検出し(ステップS48)、ステップS48においてS1オンが検出されなければ(NO判定)、次のフレーム取り込みを行い、S1オンが検出された場合には(YES判定)、撮影が終了される(ステップS50)。
【0095】
本実施形態ではホワイトバランス制御に用いる表色座標系にR/G、B/G座標系を用いたが、表色座標はR、G、B座標系等、他の表色座標を用いてもよい。
【0096】
また、本発明の適用範囲はデジタルビデオカメラや、カメラ付き携帯電話等の動画撮影機能と静止画撮影機能とを備えた機器に適用可能である。
【0097】
本実施形態では、記録する画像に対するホワイトバランス処理について例示したが、本発明はスルー画(記録を伴わない画像処理)にも適用可能である。
【0098】
上記の如く構成されたカメラ1では、動画撮影時のホワイトバランス調整において、CCD14の感度比係数a、bを用いてRGB積算値(動画積算値308)を補正して疑似静止画積算値310が求められ、さらに、疑似静止画積算値310から求められたホワイトバランスゲインに対してCCD14の感度比係数a、bを用いて補正され、最終ホワイトバランスゲインが求められる。したがって、動画と静止画の色再現を同じにでき、動画に対しても静止画と同様の好ましいホワイトバランス処理を施すことが可能になる。
【0099】
なお、本実施形態では静止画撮影のホワイトバランス処理を利用して動画撮影のホワイトバランス処理を行う態様を例示したが、動画撮影のホワイトバランス処理を利用して静止画撮影のホワイトバランス処理を行う態様も可能である。
【0100】
【発明の効果】
本発明によれば、動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報が生成され、生成された色情報から第1のホワイトバランス調整値を求め、さらに第1のホワイトバランス調整値から第2のホワイトバランス調整値を求め、第2のホワイトバランス調整値に従って色信号を補正するように構成したので、動画と静止画との色再現を同じにした好ましい画像を得ることができる。また、ホワイトバランス調整の度合いを示す順応率を用いて撮影シーンの色味を残すようなホワイトバランス処理を行った場合にも、動画と静止画とは同じ色再現を実現できる。
【0101】
動画撮影時に得られた画像信号から生成された動画色情報に、動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行い、補正された色情報からホワイトバランス調整値を求め、さらに、該ホワイトバランス調整値に前記感度比を乗じて補正したホワイトバランス調整値にしたがってホワイトバランス処理を行うよう構成したので、好ましい色再現設計をされた静止画撮影のホワイトバランスアルゴリズムを利用して、動画撮影のホワイトバランス処理を行い、動画に対しても静止画同様の安定性、追従性を再現でき、広範囲のホワイトバランスをとることができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るカメラのブロック図
【図2】本実施形態に係るカメラのホワイトバランス処理関連部分のブロック図
【図3】表色座標上の光源種検出枠を示した図
【図4】順応率設定画面を示した図
【図5】動画撮影時のホワイトバランス処理関連部分のブロック図
【図6】動画ホワイトバランスゲイン算出を説明する図
【図7】本実施形態に係るカメラのオートホワイトバランス処理の流れを示したフローチャート
【符号の説明】
1…カメラ、14…CCD、26…デジタル信号処理回路、38…CPU、40…カメラ操作部、48…積算回路、108,310…静止画積算値、110…ホワイトバランスゲイン算出部、126…感度補正部、308…動画積算値
Claims (8)
- 撮像手段を介して取得される画像信号から色情報を生成し、該色情報に基づいて算出したホワイトバランス調整値によって色信号を補正するホワイトバランス調整方法であって、
動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された前記色情報を生成する工程と、
前記補正された色情報から第1のホワイトバランス調整値を算出する工程と、
前記算出された第1のホワイトバランス調整値を前記補正係数によって補正して第2のホワイトバランス調整値を求める工程と、
前記求めた第2のホワイトバランス調整値に従って色信号を補正する工程と、
を含むことを特徴とするホワイトバランス調整方法。 - 前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴とする請求項1記載のホワイトバランス調整方法。
- 前記色情報を生成する工程は、色信号の積算値を算出する工程と、
前記積算値に前記補正係数を乗算する工程と、
を含むことを特徴とする請求項1または2記載のホワイトバランス調整方法。 - 動被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、
動画撮影時に前記撮像手段から得られる画像信号と静止画撮影時に前記撮像手段から得られる画像信号との出力差に応じて定められた補正係数を用いて動画または静止画のいずれかの画像信号から前記出力差が補正された色情報を生成する色情報生成手段と、
前記生成された前記色情報から第1のホワイトバランス調整値を算出する第1のホワイトバランス調整値算出手段と、
前記算出された第1のホワイトバランス調整値を前記補正係数によって補正して第2のホワイトバランス調整値を求める第2のホワイトバランス調整値算出手段と、
前記求めた第2のホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、
を備えたことを特徴とする電子カメラ。 - 前記補正係数は、動画撮影時と静止画撮影時との感度比を表すものであることを特徴とする請求項4記載の電子カメラ。
- 前記撮像手段の静止画撮影における感度と動画撮影における感度との比を用いて補正色情報を算出する色情報補正手段を備えたことを特徴とする請求項4または5記載の電子カメラ。
- ホワイトバランス調整の度合いを示す順応率を設定する順応率設定手段と、
前記順応率設定手段により設定された順応率に従ってホワイトバランス処理の制御を行うホワイトバランス制御手段と、
を備えたことを特徴とする請求項4、5または6記載の電子カメラ。 - 被写体の光学像を電気信号に変換して被写体像を示す画像信号を出力する撮像手段と、
前記撮像手段から出力される画像信号から色情報を生成する色情報生成手段と、
動画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報に対して動画撮影時と静止画撮影時との感度比で表される補正係数を乗じて補正を行う色情報補正手段と、
静止画撮影時に前記撮像装置から得られた画像信号に基づいて前記色情報生成手段で生成された色情報からホワイトバランス調整値を求め、動画撮影時には前記色情報補正手段によって補正された色情報からホワイトバランス調整値を求めるホワイトバランス調整値算出手段と、
動画撮影時に前記色情報補正手段によって補正された色情報から求められた前記ホワイトバランス調整値に前記補正係数を乗じて補正を行うホワイトバランス調整値補正手段と、
静止画撮影時には前記ホワイトバランス調整値算出手段で算出されたホワイトバランス調整値に従って色信号を補正し、動画撮影時には前記ホワイトバランス調整値補正手段によって補正されたホワイトバランス調整値に従って色信号を補正するホワイトバランス処理手段と、
を備えたことを特徴とする電子カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003121723A JP4158029B2 (ja) | 2003-04-25 | 2003-04-25 | ホワイトバランス調整方法および電子カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003121723A JP4158029B2 (ja) | 2003-04-25 | 2003-04-25 | ホワイトバランス調整方法および電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004328460A JP2004328460A (ja) | 2004-11-18 |
JP4158029B2 true JP4158029B2 (ja) | 2008-10-01 |
Family
ID=33500196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003121723A Expired - Fee Related JP4158029B2 (ja) | 2003-04-25 | 2003-04-25 | ホワイトバランス調整方法および電子カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4158029B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4035543B2 (ja) | 2005-04-04 | 2008-01-23 | キヤノン株式会社 | 撮像装置 |
JP4137085B2 (ja) | 2005-04-21 | 2008-08-20 | キヤノン株式会社 | 撮像装置 |
JP4553798B2 (ja) * | 2005-06-07 | 2010-09-29 | オリンパス株式会社 | 画像撮像装置 |
JP4759332B2 (ja) | 2005-07-01 | 2011-08-31 | Hoya株式会社 | 画像信号処理装置 |
JP4667251B2 (ja) * | 2006-01-12 | 2011-04-06 | キヤノン株式会社 | 撮像装置及びホワイトバランス制御方法 |
JP4704238B2 (ja) * | 2006-02-22 | 2011-06-15 | オリンパスイメージング株式会社 | 電子撮像装置及び電子撮像方法 |
JP4914651B2 (ja) | 2006-06-12 | 2012-04-11 | オリンパスイメージング株式会社 | 電子撮像装置及び電子撮像方法 |
JP2008113177A (ja) * | 2006-10-30 | 2008-05-15 | Pentax Corp | 電子内視鏡装置 |
JP5256947B2 (ja) * | 2008-09-03 | 2013-08-07 | 株式会社リコー | 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
EP2434764A1 (en) * | 2010-09-23 | 2012-03-28 | Thomson Licensing | Adaptation of 3D video content |
JP5927565B2 (ja) * | 2010-10-27 | 2016-06-01 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN113489962B (zh) * | 2021-06-15 | 2023-03-17 | 浙江大华技术股份有限公司 | 一种白平衡调整的方法、装置及存储介质 |
-
2003
- 2003-04-25 JP JP2003121723A patent/JP4158029B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004328460A (ja) | 2004-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5347707B2 (ja) | 撮像装置および撮像方法 | |
US9118854B2 (en) | Methods and apparatus for providing optical black compensation of added images | |
JP6278713B2 (ja) | 撮像装置および撮像方法 | |
JP4679685B2 (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
US20070291161A1 (en) | Camera, aperture controlling method and apparatus, lens controlling method and apparatus, and edging amount controlling method and apparatus | |
JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP3999321B2 (ja) | 電子カメラ | |
JP4158029B2 (ja) | ホワイトバランス調整方法および電子カメラ | |
JP5256947B2 (ja) | 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5277863B2 (ja) | 撮像装置および撮像方法 | |
JP5138521B2 (ja) | 撮像装置及び撮像方法 | |
JP2008160190A (ja) | 撮像装置、およびその方法 | |
JP2014060578A (ja) | 撮像装置 | |
JP2008017198A (ja) | 光源色算出装置、光源色算出方法及び撮影装置 | |
JP2004007133A (ja) | 撮像装置 | |
JP4335728B2 (ja) | 画像処理装置および方法 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP4277258B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
JP2009118052A (ja) | 画像信号処理方法及び装置 | |
US8041206B2 (en) | Imaging apparatus and method for controlling flash emission | |
JP2005080190A (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP2007027984A (ja) | 撮影装置およびその制御方法 | |
JP2004128558A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080618 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4158029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |