JP4106774B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4106774B2 JP4106774B2 JP32965698A JP32965698A JP4106774B2 JP 4106774 B2 JP4106774 B2 JP 4106774B2 JP 32965698 A JP32965698 A JP 32965698A JP 32965698 A JP32965698 A JP 32965698A JP 4106774 B2 JP4106774 B2 JP 4106774B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- balance adjustment
- image data
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、被写体を電子的に圧縮した画像データとして記憶するデジタルカメラに関する。
【0002】
【従来の技術】
従来から、撮影レンズを通過する被写体像を撮像して画像データを出力するCCDのような撮像装置と、撮像装置から出力される画像データに対してホワイトバランスやγ補正などの画像処理を施す画像処理回路と、画像処理後のデータをJPEGなどの方式で圧縮してフラッシュメモリなどの記憶媒体に記憶する圧縮回路と、画像処理後のデータを表示するモニタとを備えるデジタルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、あらかじめ定めたアルゴリズムによりホワイトバランス調整用のRゲインやBゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出する。また、JPEG方式で圧縮するために画像データをそれぞれ16×8の輝度データYとそれぞれ8×8画素の色差データCr,Cbに変換する。
【0003】
画像処理回路でホワイトバランス調整を行うときに使用されるホワイトバランス調整用のRゲインやBゲインなどの調整値は、代表的な撮影条件、たとえば、太陽光の下での撮影、白熱電球の下での撮影、蛍光灯の下での撮影などのように、撮像時の照明光の下で白い被写体が白となるようにあらかじめ代表的な測定データに基づいて定めて記憶したものである。実際の撮像時には、撮像装置から出力される画像データに対してこれらの補正値の中から選択したホワイトバランス調整値に基づいてホワイトバランス調整を行う。
【0004】
この他、上記のホワイトバランス調整値を使用せず、撮像している被写体の画像データに基づいて画面を平均的に白くするように、すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行うオートモードと呼ばれるホワイトバランス調整方法もある。
【0005】
このような従来のデジタルカメラでは、あらかじめ設定したホワイトバランス調整値を用いてホワイトバランス調整を行なうようにしているので、そのホワイトバランス調整値の調整不良が発生すると、色かぶり画像が発生するおそれがある。たとえば、蛍光灯による光の下で撮影する場合に、使用される蛍光管の種類により発光スペクトルが異なるために、同じホワイトバランス調整値に基づいたホワイトバランス調整を行うと被写体の色が異なった画像になるという問題がある。また、オートモードによるホワイトバランス調整では、たとえば、赤い紅葉を撮影する場合には画像の平均色温度が白く補正されてしまうという問題があった。
【0006】
そこで、実際の撮像時の照明光のもとで白い被写体を撮像し、そのとき撮像装置から出力される画像データに基づいて、画面の被写体の色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行うマニュアルモードと呼ばれるホワイトバランス調整方法が知られている。
【0007】
【発明が解決しようする課題】
ところが、一般に自動焦点検出/調整装置を備えたカメラでホワイトバランス調整値を決定するために白い被写体を予備撮影する場合には、焦点検出装置が画面のコントラストを利用しているので、白い被写体にピントを合わせにくいという問題があった。また、画面いっぱいを覆うような白い被写体を用意できるのはスタジオなどでの撮影時に限られてしまい、一般の撮影時にはこのような被写体を探すことが難しい。さらに、白い被写体のどの部分の画像データに基づいてホワイトバランス調整用のRゲインやBゲインなどの調整値を決定しているかが撮影者にはわからないという問題があった。
【0008】
本発明の目的は、画面を覆うような大きな白い被写体を用意せず、小さい白い被写体に正しく合焦させながらホワイトバランス調整用の画像データを撮像するための予備撮影が可能なデジタルカメラを提供することにある。
【0009】
【課題を解決するための手段】
一実施の形態を示す図1〜図3を参照して本発明を説明する。
【0010】
(1)請求項1の発明は、ズームレンズ3の焦点距離を調節する焦点距離調節装置37と、被写体に合焦するようにズームレンズ3の焦点位置を調節する焦点調節装置36と、ズームレンズ3を通過する被写体像を撮像して画像データを出力する撮像装置26と、撮像装置26から出力される画像データに対して、あらかじめ設定されたホワイトバランス調整値によりホワイトバランス調整を行うホワイトバランス調整回路107とを備えたデジタルカメラに適用される。そして、ホワイトバランス調整値を設定するとき、ズームレンズ3の焦点距離が所定値となるように焦点距離調節装置37を制御するとともに、ズームレンズ3の焦点位置が所定位置となるように焦点調節装置36を制御する制御手段21を備えることにより上述の目的を達成する。
【0011】
(2)請求項2の発明は、請求項1に記載のデジタルカメラにおいて、ホワイトバランス調整値は、撮像された画面の一部の画像データに基づいて設定されることを特徴とする。
【0012】
(3)請求項3の発明は、請求項2に記載のデジタルカメラにおいて、撮像装置26で撮像された画像を表示するモニタ9を有し、モニタ9上に上記一部の画像データに対する画像を囲う枠14を表示することを特徴とする。
【0013】
なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【0014】
【発明の実施の形態】
−第一の実施の形態−
以下、図面を参照して本発明の実施の形態を説明する。図1は第一の実施の形態によるデジタルカメラを示す図である。このデジタルカメラは、カメラ本体1上にレリーズ釦2と、撮影ズームレンズ3と、閃光装置4と、ファインダ5と、電源スイッチ6と、閃光装置4の動作モードに関して発光禁止(OFF)と強制発光(ON)および測定した輝度値に応じて発光する(AUTO)モードを切替える閃光装置4のモード切替スイッチ7と、ホワイトバランス調整モードに関してオートモード(A)とマニュアルモード(Pre)とを切替えるホワイトバランス調整モード切替スイッチ8と、画像およびメニュー表示を行うモニタ9と、メニュー表示の中から項目を選択するスイッチ10および12と、選択した項目を決定するスイッチ11と、撮影ズームレンズ3の焦点距離を望遠側(T)と広角側(W)への駆動を行うズーム切替スイッチ13とを備えたものである。
【0015】
図2はこの実施の形態による回路ブロックを示す図である。CPU21にはレリーズ釦2に連動する半押しスイッチ22と全押しスイッチ23(以下、レリーズスイッチ23と呼ぶ)から半押し信号と全押し信号がそれぞれ入力される。半押しスイッチ22が操作されて半押し信号が入力されると、CPU21からの指令により焦点検出/調整装置36が撮影ズームレンズ3の焦点検出状態を検出し、撮影ズームレンズ3に入射する被写体光が撮像装置であるCCD26上で結像するように撮影ズームレンズ3を合焦位置へ駆動する。また、タイミングジェネレータ24とドライバ25を介してCCD26が駆動制御される。そして、タイミングジェネレータ24によりアナログ処理回路27とA/D変換回路28の動作タイミングが制御される。
【0016】
ズーム切替えスイッチ13が操作されると、CPU21からの指令によりズームレンズ駆動装置37が撮影ズームレンズ3を駆動し、焦点距離を変化させる。スイッチ13はシーソー形のスイッチであり、望遠側(T)と広角側(W)のうち、いずれか押されている側に焦点距離が移動される。測光装置38は、被写体の輝度を測定するもので、CPU21に対してレリーズ釦2に連動する半押しスイッチ22より半押し信号が入力されたときに測定を行う。
【0017】
半押しスイッチ22のオン操作に引続いてレリーズスイッチ23がオン操作されると、撮影ズームレンズ3からの被写体光はCCD26の受光面上で結像し、CCD26には被写体像の明るさに応じた信号電荷が蓄積される。CCD26に蓄積された信号電荷はドライバ25により吐き出され、AGC回路やCDS回路などを含むアナログ信号処理回路27に入力される。アナログ信号処理回路27でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、A/D変換回路28によってデジタル信号に変換される。デジタル変換された信号はたとえばASICとして構成される画像処理回路29に導かれ、そこで輪郭補償、ガンマ補正等の画像前処理が行われて一旦バッファメモリ30に格納される。そして、格納された画像データからホワイトバランス調整値を求めてホワイトバランス調整を行い、再度、バッファメモリ30へ格納する。
【0018】
画像前処理が行なわれた画像データに対してはさらに、JPEG圧縮のためのフォーマット処理(画像後処理)が行なわれ、その後、その画像データはバッファメモリ30に一時的に格納される。
【0019】
バッファメモリ30に記憶された画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。
【0020】
図3は、上述したように動作するデジタルカメラにおける画像処理回路29の詳細を示すブロック図である。図3はCCD26からの画像データに対してラインごとに信号処理するライン処理回路100であり、上述した画像処理を行う。図3のライン処理回路100は、A/D変換回路28から出力されるR,G,B信号に対して後述する各種の信号処理を行なうものであり、欠陥補正回路101と、デジタルクランプ回路102と、黒レベル回路103と、γ補正回路104と、平均値算出回路105と、ゲイン回路106と、ホワイトバランス調整回路107とを有する。
【0021】
欠陥補正回路101は、CCD26の出力に対して1ラインごとに点順次で、欠陥のある画素(あらかじめ特定されてそのアドレスがレジスタにセットされている)からのデータを補正するものである。デジタルクランプ回路102は、CCD26の出力に対して1ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算するものである。
【0022】
黒レベル回路103は、CCD26の出力に対して1ラインごとに点順次で、あらかじめ決定されてCPU21のレジスタに格納されている値をR,G,B信号に対して加算する。γ補正回路104は、CCD26の出力に対して1ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。
【0023】
−ホワイトバランス調整−
次に、ホワイトバランス調整について説明する。平均値算出回路105は、γ補正後に一旦バッファメモリ30へ格納された全領域の画像データの中から、たとえば、焦点検出領域として使用したエリアを中心とした512×512の領域の画像データを抽出して、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainをたとえば、次式(1)、(2)により算出する。これらの値は、この実施の形態におけるマニュアルホワイトバランス調整値、もしくはオートホワイトバランス調整値である。このゲインRgainとBgainはCPU21のレジスタに格納される。たとえば、512×512の画素領域上にカラーフィルタが配置されている場合、R,G,B信号の平均値を(3)〜(5)式で算出し、(1)、(2)式に示すように、G信号の平均値Gave とR信号の平均値Raveとの比およびG信号の平均値GaveとB信号の平均値Baveとの比からホワイトバランス調整用ゲインRgainとBgainを算出する。
【0024】
【数1】
Rgain=Gave/Rave (1)
Bgain=Gave/Bave (2)
ただし、Rave=Rsum/Rpixel数 (3)
Gave=Gsum/Gpixel数 (4)
Bave=Bsum/Bpixel数 (5)
このような平均値方式によると、画像データのRGBの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果(全体的なホワイトバランス)が良好となる。すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行う。
【0025】
ゲイン回路106は、バッファメモリ30に格納されているR,G,B信号の各々に対し、CCD26の出力に対応した1ラインごとに点順次で上述したホワイトバランス調整を行うようにホワイトバランス調整用ゲインをホワイトバランス調整回路107へ設定する。これらの設定時には、G信号に対して行なうCCD26の感度のばらつき補正と、R,B信号に対して行なうCCD26の感度比のばらつき補正とを含めて行う。
【0026】
ホワイトバランス調整回路107は、ゲイン回路106で設定されたホワイトバランス調整係数であるRゲインとBゲインをR,B信号に掛合わせる。この実施の形態では、このホワイトバランス調整回路107で補正に使用するホワイトバランス調整値、すなわち、ホワイトバランス調整係数であるRゲインとBゲインをマニュアルで設定できるようにしている。
【0027】
−焦点検出/調整−
図4を参照して焦点検出/調整装置36の構成およびこの焦点検出/調整装置36による焦点検出動作の原理について説明する。焦点検出/調整装置36は、赤外光カットフィルタ700、視野マスク900、フィールドレンズ300、開口マスク400、再結像レンズ501および502、そしてイメージセンサ310などで構成される。領域800は撮影ズームレンズ3(図1)の射出瞳である。また、領域801、802は、開口マスク400に穿設される開口部401、402をフィールドレンズ300によって領域800上に逆投影した像の存在する領域である。なお、赤外光カットフィルタ700の位置は視野マスク900の右側でも左側でも構わない。領域801、802を介して入射した光束は、CCD等価面600上で焦点を結んだ後、赤外光カットフィルタ700、視野マスク900、フィールドレンズ300、開口部401、402および再結像レンズ501、502を通りイメージセンサアレイ310a、310b上に結像する。
【0028】
これらイメージセンサアレイ310a、310b上に結像した一対の被写体像は、撮影ズームレンズ3がCCD等価面600よりも前(被写体側)に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆にCCD等価面600よりも後に被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。そして、イメージセンサアレイ310a、310b上に結像した被写体像が所定の間隔となるときに被写体の鮮鋭像はCCD等価面600上に位置する。したがってこの一対の被写体像をイメージセンサアレイ310a、310bで光電変換して電気信号に換え、これらの信号を演算処理して一対の被写体像の相対距離を求めることにより撮影ズームレンズ3の焦点調節状態、つまり撮影ズームレンズ3により鮮鋭な像が形成される位置が、CCD等価面600に対してどの方向にどれだけ離れているか、つまりずれ量が求められる。図4において焦点検出領域は、イメージセンサアレイ310a、310bが再結像レンズ501、502によって逆投影されて、CCD等価面600の近傍で重なった部分に相当する。こうして上記撮影画面内の焦点検出領域について焦点を検出する。
【0029】
焦点検出/調整装置36は焦点検出領域の焦点を検出したのち、この焦点検出データにより撮影ズームレンズ3を合焦位置へ駆動する。なお、焦点検出を複数有する場合には、焦点検出/調整装置36で選択された領域を中心とした512×512の画像データを利用して前述したR信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainとを算出する。焦点検出領域が撮影画面中心に固定されている場合には、撮影画面中心を中心とした512×512の画像データを利用してホワイトバランス調整用ゲインを算出する。
【0030】
続いて、これまで詳述してきたデジタルカメラにおけるホワイトバランス処理について、オートモードとマニュアルモードを説明する。
【0031】
−オートモード−
これまでの説明のとおり、撮像した被写体の画像データのうち、γ補正後の全領域の画像データの中から、たとえば、焦点検出領域として使用したエリアを中心とした512×512の領域の画像データを抽出し、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを上式(1)、(2)を用いて平均値算出回路105で算出する。このような平均値方式による方法は、画像データのRGBの各信号の階調の平均値を求めたことになり、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する。そして、このように決定したホワイトバランス調整値に基づいた調整を行うホワイトバランス処理をオートモードと呼ぶ。
【0032】
−マニュアルモード−
あらかじめ白い被写体を予備撮影し、撮像した白い被写体の画像データのうち、平均色温度を測定する測色領域として使用する図5に示す測色枠14内の画像データに基づいてγ補正後に、たとえば、512×512の領域の画像データを抽出し、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを上式(1)、(2)により平均値算出回路105で算出する。すなわち、本撮影と同じ照明光のもとで白い被写体を撮像し、測色枠14内にある被写体部分の画像データの平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定して記憶し、本撮影時にこのホワイトバランス調整値を呼び出してホワイトバランス調整を行う。このようなホワイトバランス処理をマニュアルモードと呼ぶ。
【0033】
第一の実施の形態によるデジタルカメラ1の動作を、CPU21で行われる処理手順を示した図6〜図7のフローチャートを参照して説明する。始めに電源スイッチ6の状態をチェックし、オンであれば次のステップS002へ進み、オフであれば終了する(ステップS001)。続いてホワイトバランス調整モード切替スイッチ8の状態をチェックする(ステップS002)。スイッチ8がオートモード(A)側に設定されていればステップS210へ進み、マニュアルモード(Pre)側に設定されていればマニュアルモードの処理側(ステップS101側)へ進む。
【0034】
ホワイトバランス調整モード切替スイッチ8がオートモード(A)側に設定されていると判定された場合は、閃光装置4の発光を可能として(ステップS210)、測光装置38により被写体の輝度を測定し(ステップS201)、焦点検出/調整装置36により焦点検出を行い、その結果に基づいて撮影ズームレンズ3を駆動して焦点位置に合焦させる(ステップS202)。ステップS210で閃光装置4の発光を可能にするのは、後述するステップS101で発光禁止がセットされていることを考慮したものである。ステップS202の後、もう一度ホワイトバランス調整モード切替スイッチ8の状態のチェックを行い(ステップS203)、スイッチ8がオートモード(A)側に設定されていると判定されれば、続いて閃光装置4の使用状態をチェックする(ステップS202a)。閃光装置4の動作切換スイッチ7が発光禁止(OFF)側に設定されていると判定されれば、上述したオートモードのホワイトバランス処理を行う。すなわち、撮像する画面の画像データに基づいて画面の平均色温度を測り(ステップS206)、平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS207)。
【0035】
そして、レリーズスイッチ23がオンにされているかをチェックし(ステップS208)、オンにされていると判定されたときは撮像して(ステップS209)画像データを取り込む。このとき、閃光装置4の動作切換スイッチ7が強制発光(ON)または測定した輝度値に応じて発光する(AUTO)ように設定されていて、閃光装置4を発光させる状態にあるときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。なお、スイッチ8がマニュアルモード(Pre)側に設定されていると判定された場合には、後述するステップS101で閃光装置4の発光禁止がセットされるので発光させない。電荷蓄積終了後、ステップS207で設定された調整値に基づくホワイトバランス調整および上述したその他の輪郭補償、γ補正等の処理を行い、画像データをバッファメモリ30に一旦格納する。これらの画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される(ステップS209)。この後、再びステップS001へ戻り次の撮影に備える。
【0036】
上述のステップS202aにおいて、閃光装置4の動作切換スイッチ7が強制発光(ON)側に設定されているか、あるいは測定した輝度値に応じて発光させる(AUTO)に設定されていて、前述したステップS201における輝度測定の結果に基づいて閃光装置4を発光させる状態にあると判定されたときは、閃光装置4が発する光の色に基づいてあらかじめ設定されてメモリ30に記憶されている所定のホワイトバランス調整用データをメモリ30から呼び出し(ステップS211)、これらのデータに基づいてホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS207)。
【0037】
また、上述のステップS203においてホワイトバランス調整モード切替スイッチ8の状態のチェックを行った結果、マニュアルモードPre(プリセット)側に設定されていると判定されれば被写体の輝度値の変化を比較する(ステップS204)。ステップS201で測光して得た輝度値と後述する予備撮影時に測光して記憶された輝度値とを比較して、両者の間に所定値以上の差があると判定された場合には、たとえば、「輝度変化が大きいのでオートモードでホワイトバランス調整します。」という警告表示3を外部モニタ9に表示し(ステップS205)、ホワイトバランス調整モードをオートモード側の処理に切替えてステップS206へ進む。
【0038】
次に、ホワイトバランス調整モードがマニュアルモード(Pre)側に設定されている場合を説明する。上述したステップS002でホワイトバランス調整モード切替スイッチ8の状態をチェックしたときに、マニュアルモード(Pre)側に設定されていると判定されたときはマニュアルモードの処理へ進む。まず、閃光装置4の動作切換スイッチ7の切替え位置に係わらず、閃光装置4の発光を禁止にする(ステップS101)。続いて、図7に示すマニュアルモード処理を示すフロ−チャートへ進む。そして、マニュアルモード(Pre)側に切替えられた後、最初にこの処理に進んだものであるかをチェックし(ステップS102)、オートモード(A)側からマニュアルモード(Pre)側に切替えられた最初の処理であると判定されたときには、後述する予備撮影時に設定して記憶されたホワイトバランス調整用のデータが記憶されているかをチェックする(ステップS103)。
【0039】
予備撮影時に記憶されたホワイトバランス調整用のデータが記憶されていないと判定されたときは、新規に予備撮影を行うべくステップS111へ進み、記憶されていると判定されたときは外部モニタ9に操作選択メニューを表示する(ステップS104)。このメニュー表示は、ホワイトバランス調整を行うときに、後述する予備撮影時に設定して記憶されたホワイトバランス調整用データを使用するか、あるいは新たに予備撮影を行ってホワイトバランス調整用データを設定した上で使用するかを選択するための選択メニューであり、たとえば、図8に示すように表示する。図8の例では、項目選択スイッチ10(図8(a))、あるいは項目選択スイッチ12(図8(b))によりカーソル(図中は矢印)を上下に移動し、設定スイッチ11(図8(c)または(d))により決定する(ステップ105)。
【0040】
新規に予備撮影を行うように選択されたと判定されたとき(図8(d))、ズームレンズ駆動装置37は撮影ズームレンズ3を、たとえば、焦点距離を115mm(35mmカメラに換算)になるように駆動し(ステップS111)、焦点検出/調整装置36はピントを50cmとなるように焦点位置を調整する(ステップS112)。そして、外部モニタ9の表示画面内に図5(a)に示すように撮影している被写体とともに測色枠14を表示する(ステップS113)。この測色枠14は、撮像する画像データのうち平均色温度を測定してホワイトバランス調整用のデータとして使用される画像データの範囲を示すもので、撮像画面の約1/4のサイズである。そして、上述した設定では撮影者が、たとえば、伸ばした左手に名刺を持ち、右手でデジタルカメラ1を構えた場合には、撮影ズームレンズ3の焦点距離が115mmであることから名刺が撮像されるサイズは測色枠14よりやや大きくなり、ピントが50cmであることから左手に持った名刺と構えたデジタルカメラ1との距離にほぼ一致するために焦点位置は名刺の位置に合った状態となる(図5(b))。
【0041】
レリーズスイッチ23がオンにされるのを待ち(ステップS114)、オンにされたと判定されると、CCD26で撮像したデータを図3のように処理して一旦バッファメモリ30に格納するとともに、測色枠14内にある被写体の輝度を測光装置38で測定する(ステップS115)。なお、ステップS114におけるレリーズスイッチ23の操作では、閃光装置4の動作モード切替スイッチ7の設定に係わらず閃光装置4は常に発光しない。測定した輝度値が所定の値よりも低く測色に不十分であると判定されたときは(ステップS116)、たとえば、「輝度が低すぎます。」という警告表示2を外部モニタ9に表示し(ステップS125)、撮影者にオートモードへの設定変更を促す。そして、再びホワイトバランス調整モード切替スイッチ8の状態をチェックし(ステップS126)、スイッチ8がオートモード(A)側に切替えられたと判定されたときは、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。反対に、スイッチ8がマニュアルモード(Pre)側のままであると判定されれば、前述したステップS104の操作選択メニュー表示へ戻り、低輝度の状態では測色をしない。
【0042】
一方、上述した測光装置38による被写体の輝度測定(ステップS115)の結果、測定した輝度値が所定の値よりも高く測色に十分であると判定されたときは(ステップS116)予備測定の処理に入り、測色枠14内の画像データをバッファメモリ30から取り出す(ステップS117)。なお、CCD26に撮像された画像データのうち、測色枠14内に該当するデータのみを出力させてもよい。
【0043】
取り出された測色枠14内の画像データに基づいて、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを、上述した式(1)、(2)を用いて算出する(ステップS118)。すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整データをステップS115で測定した輝度値とともにメモリ30に記憶する(ステップS119、S120)。さらに、このときの日時をリアルタイムクロック35から呼び出して上記のデータと合わせて記憶する(ステップS121)。そして、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。
【0044】
上述したステップS105において、予備撮影時に記憶されたホワイトバランス調整用データを使用するように選択されたと判定されたときには(図8(c))、メモリ30に記憶されているホワイトバランス調整データおよび輝度値とともに記憶されている日時を呼び出し、リアルタイムクロック35から得られる現在の日時と比較する(ステップS131)。システムリセットによりメモリ上のデータが保持されていない場合、あるいは記憶されているデータの日時が現在の日時に対して、たとえば、24時間以上の差を有しているときには、撮影時の照明光が当然変わっているおそれがあると想定し、「前回の値がないので新規設定します。」という警告表示4を外部モニタ9に表示し(ステップS135)、新規に予備撮影を行う処理へ移る(ステップS111)。
【0045】
一方、メモリ30に記憶されているデータの日時が新しいときは、ホワイトバランス調整データおよび輝度値を呼び出し(ステップS132)、これらのデータに基づいてホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し(ステップS133)、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。
【0046】
また、前述のステップS102において、マニュアルモード(Pre)側のまま切替えられていないと判定されたときは、メモリ30に記憶されているホワイトバランス調整データ、および輝度値とともに記憶されている日時を呼び出し、リアルタイムクロック35から得られる現在の日時と比較する(ステップS106)。記憶されているデータの日時が現在の日時に対して、たとえば、8時間以上古いものであるときには、撮影時の照明光が変わっている可能性が高いと想定し、「前回の設定から時間が経過しています。」という警告表示1を外部モニタ9に表示する(ステップS107)。そして、前述のステップS104と同様の外部モニタ9に操作選択メニューを表示する(ステップS108)。このメニュー表示を使用して、図8(a)〜(d)により説明したように、ホワイトバランス調整を行うときに前述した予備撮影時に設定して記憶されたホワイトバランス調整用データを使用するか、あるいは新たに予備撮影を行ってホワイトバランス調整用データを設定した上で使用するかを選択する(ステップS109)。
【0047】
新たに予備撮影を行ってホワイトバランス調整用データを設定する新規設定が選択されたと判定されたときは、予備撮影を行う処理へ移る(ステップS111)。反対に、データを記憶してからの時間が経過していても前回のデータを使用してホワイトバランス調整を行うとき、つまり、前回の値を使用すると判定されたときは経過時間をクリアし(ステップS110)、ホワイトバランス調整データおよび輝度値を呼び出す処理(ステップS132)へ移行する。ここで、データを記憶してから経過した時間の算出は、ステップS121で記憶した日時と現在の日時との比較でもよいし、ステップS121でタイマをスタートさせ、経過時間をカウントする方法でもよい。このタイマの内容は、電源スイッチ6をオフにしても保持される。
【0048】
この実施の形態によるデジタルカメラは、カメラが撮像した被写体画像に基づいて平均色温度が白くなるようにホワイトバランス調整用のRゲインおよびBゲインなどの調整値を決定し、これらの調整値に基づいたホワイトバランス調整を行うオートモード(A)と、撮影者があらかじめ用意した白い被写体を測定し、その画像データに基づいて平均色温度が白くなるようにホワイトバランス調整用のRゲインおよびBゲインなどの調整値を決定し、これらの調整値に基づいたホワイトバランス調整を行うマニュアルモード(Pre)とを選択的に使用可能にしたものである。そして、本実施の形態によれば次のような作用効果が得られる。
【0049】
(1)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値(RゲインおよびBゲイン)を設定するために白い被写体、たとえば、名刺の無地の裏面を撮影するときに、撮影ズームレンズの焦点距離および焦点調整を撮影者の腕の長さと名刺の大きさを基準にして所定の値に設定するようにしたので(ステップS111,S112)、撮像画面を覆うような大きな白い被写体が不要となり、白い被写体に対してピントを合わせる必要もなく簡単に撮影できる。
【0050】
(2)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値と被写体の輝度値を合わせて記憶するようにしたので、撮影時の輝度値と比較することにより(ステップS204)照明光が変化した可能性が高いときはそれを検出して警告することができる。
【0051】
(3)マニュアルモード(Pre)で使用するホワイトバランス調整値を設定するための被写体の輝度値が、ホワイトバランス調整値の算出に十分とされる所定の輝度値より低いときは警告表示をしたり、ホワイトバランス調整値を設定しないようにしたので(ステップS116、S125)、ノイズが多く誤差が生じやすい状態でホワイトバランス調整値を設定することがなく、常に正しいホワイトバランス調整値を設定することが可能となる。
【0052】
(4)オートモード(A)でホワイトバランス調整を行うモードが選択されている場合は、閃光装置が発する光に基づいてあらかじめカメラ側で用意したホワイトバランス調整値に基づいたホワイトバランス調整を行うようにしたので(ステップS202a、S210、S211)、閃光装置の光の色に合わせたホワイトバランス調整が可能となる。
【0053】
(5)マニュアルモード(Pre)でホワイトバランス調整を行うモードが選択されているときは、ホワイトバランス調整値を決定するための予備撮影時(ステップS114)および本撮影時(ステップS208)に閃光装置の発光を禁止するようにしたので(ステップS101)、マニュアルモード(Pre)で使用するホワイトバランス調整値を設定するために被写体画像を予備撮影したときと同じ照明光のもとでの本撮影が可能となる。
【0054】
(6)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値とその値を設定した日時を合わせて記憶して撮影時までの経過時間がわかるようにしたので、調整値が古いときはそれを検知して警告することができる(ステップS131、S135、S106、S107)。
【0055】
−第二の実施の形態−
続いて第二の実施の形態による処理手順を示す図9のフローチャートを説明する。第一の実施の形態である図6のフローチャートとの相違点のみ説明する。図9が図6のフローチャートの間に有する第一の相違点は、ステップS002におけるホワイトバランス調整モード切替えスイッチ8の状態のチェックにおいて、マニュアルモード(Pre)側に設定されていると判定されたとき、そのまま図7に示すマニュアルモード処理に入る点にある。すなわち、図6の第一の実施の形態によるフローチャートに設けたステップS101の閃光装置の発光禁止処理を省略している。したがって、第一の実施の形態においては閃光装置4の動作切換スイッチ7の切替え位置に係わらず閃光装置4の発光を禁止にしたが(ステップS101)、本実施の形態では本撮影時において、閃光装置4は閃光装置4の動作切替スイッチ7の設定に基づいて発光する。なお、ステップS114では発光させないことは第一の実施の形態と同様である。
【0056】
そして、第2の相違点は、ステップS203のホワイトバランス調整モード切替えスイッチ8の状態のチェックとステップS202aの閃光装置4の使用状態のチェックとの順序が相違する点にある。すなわち、ステップS203におけるホワイトバランス調整モード切替スイッチ8の状態のチェックに先立ち、ステップS202aにおける閃光装置4の使用状態のチェック処理が行われる。
【0057】
また、第3の相違点は、ステップS202aの閃光装置4の使用状態のチェックの結果、閃光装置4が発光される状態にあると判定された場合には、ステップS211で閃光装置4が発する光の色に基づいてあらかじめカメラに記憶されているデータを呼び出した後、ステップS207へ進みホワイトバランス調整用ゲインを設定する点である。すなわち、閃光装置4が使用される場合には、マニュアルモード側の処理であるステップS204,S205を行わない。ステップS207を処理した後、レリーズスイッチ23がオンにされているかをチェックし(ステップS208a)、オンにされていると判定されたときは撮像して(ステップS209)画像データを取り込む。このとき、ホワイトバランス調整モードがオートでもマニュアルでも、閃光装置4の動作切換スイッチ7が強制発光(ON)、あるいは輝度測定の結果に応じて発光させる(AUTO)ように設定されており、輝度測定の結果に基づいて閃光装置4を発光させる状態にあると判定されているときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。電荷蓄積終了後、ステップS207における処理において設定された調整値に基づくホワイトバランス調整および上述したその他の輪郭補償、γ補正等の処理を行い、画像データをバッファメモリ30に一旦格納する。
【0058】
以上説明したように、このような第二の実施の形態によるデジタルカメラにおいては以下の作用効果を有する。
【0059】
(1)マニュアルモード(Pre)でホワイトバランス調整を行うように選択されているときにも閃光装置の発光を可能にするようにしたので、閃光装置を使用した撮影条件の場合に閃光装置4を発光させた撮影が可能となる。
【0060】
−第三の実施の形態−
続いて第三の実施の形態による処理手順を示す図10のフローチャートを説明する。この形態は、ホワイトバランス調整を行わずに一旦バッファメモリ30に格納し、画像処理によりホワイトバランス調整を行うものである。図9の第二の実施の形態によるフローチャートとはステップS202から後の処理が相違し、その他は同じであるので相違部分のみ説明する。ステップS601ではホワイトバランス調整モード切替スイッチ8の状態のチェックを行い、スイッチ8がオートモード(A)側に設定されていると判定されれば、続いてレリーズスイッチ23がオンにされているかをチェックし(S605)、オンにされていると判定されたときは撮像して(ステップS606)画像データを取り込む。閃光装置4の動作切換スイッチ7が強制発光(ON)または測光結果に応じて発光させる(AUTO)ように設定されており、閃光装置4が発光する状態にあると判定されているときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。
【0061】
その後、再びホワイトバランス調整モードの状態をチェックし(ステップS607)、オートモード(A)側にあると判定されたときはバッファメモリ30に格納されているRGBデータに基づいて画面の色温度を測り(ステップS609)、平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS610)。そして、設定されたホワイトバランス調整値に基づき、画像データを処理する(ステップS611)。これらの画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。この後、再びステップS001へ戻り次の撮影に備える。
【0062】
上述のステップS601において、ホワイトバランス調整モード切替スイッチ8の状態のチェックを行った結果、マニュアルモード(Pre)側に設定されていると判定された場合には、被写体の輝度値の変化を比較する(ステップS602)。ステップ201で測光して得た輝度値と前述した予備撮影時に測定して記憶された輝度値とを比較して両者の間に所定値以上の差があると判定された場合には、図6および図9における第一および第二の実施の形態によるフローチャートのステップS205と同様に、たとえば、「輝度変化が大きいのでオートモードでホワイトバランス調整します。」という警告表示3を外部モニタ9に表示し、ホワイトバランス調整モードをオートモード側の処理に切替えて(ステップS604)、ステップS605でレリーズスイッチ23がオンにされるかをチェックし、オンにされなければ再びステップS001へ戻り次の撮影に備える。
【0063】
また、上述のステップS607において、ホワイトバランスの調整モードがマニュアルモード(Pre)側に設定されていると判定されても、ステップS608において閃光装置4の動作切換スイッチ7が強制発光(ON),または輝度測定の結果に応じて発光させる(AUTO)ように設定さており、撮像時に閃光装置4が発光されたと判定されたときは、ステップS609へ進み測色してステップS610でオートホワイトバランス調整値を算出して設定する。反対に、ステップS208において閃光装置4が発光されないと判定されたときは、ステップS609、ステップS610をスキップしてステップS611へ進み、予備撮影時に設定して記憶されたホワイトバランス調整値に基づいたマニュアルホワイトバランス処理を行う。
【0064】
第三の実施の形態によるデジタルカメラについてまとめると、第一および第二の実施の形態のデジタルカメラが有する作用効果のほかに、次のような作用効果を有する。
【0065】
(1)ホワイトバランス調整モードの設定をマニュアルモード(Pre)に設定した場合であっても、閃光装置を使用して撮影したときには、閃光装置の光に適したホワイトバランス調整値を使用してオートホワイトバランス調整を行うようにしたので(ステップS607,S608)、撮像した画像データに基づいてホワイトバランス調整を行うことが可能となる。
【0066】
(2)被写体画像を取り込み、RGBデータとしてバッファメモリに格納してからホワイトバランス処理を行うようにしたので(ステップS611)、画像を取り込む撮像処理とホワイトバランス調整などの画像処理とを独立した処理として行うことが可能となる。これは、撮像済みの画像データに対して後からホワイトバランスなどの画像処理を行うために有効である。
【0067】
なお、上述した例では被写体の輝度を測定するために測光装置を使用したが、CCDで撮像した画像データから輝度値を算出するようにしてもよい。
【0068】
また、上述した例では警告表示を外部モニタ9上に表示するようにしたが、たとえば、デジタルカメラ1のファインダ5内にLEDを点灯させて撮影者に知らせるようにしてもよい。
【0069】
以上の説明では、レンズ交換ができないデジタルスチルカメラについて説明したが、一眼レフデジタルスチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。
【0070】
特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、撮影ズームレンズ3がズームレンズに、ズームレンズ駆動装置37が焦点距離調節装置に、焦点検出/調整装置36が焦点調節装置に、CPU21が制御手段にそれぞれ対応する。
【0071】
【発明の効果】
以上詳細に説明したように本発明では、ホワイトバランス調整用のホワイトバランス調整値を設定するときは、ズームレンズの焦点距離および焦点位置を所定の値に制御して行うようにしたので、撮影者が手に持った白い被写体を撮像して得た画像データに基づいた設定が可能となり、従来必要としていた撮像画面いっぱいを覆うような白い被写体を不要にするとともに、白い被写体に対するピント合わせを不要にすることができる。また、撮像画面の一部を使用すれば、名刺などの小さく白い被写体を用いてマニュアルホワイトバランス調整値を決定できる。この場合、モニタ上に対象となる枠を表示すれば、白い被写体を枠内に収めるように撮像すればよく、操作性が向上する効果を得ることができる。
【図面の簡単な説明】
【図1】デジタルスチルカメラの一実施の形態の構成を示す図
【図2】デジタルスチルカメラの信号処理系統の一実施の形態のブロック図
【図3】図2に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図
【図4】焦点検出/調整装置を説明する図
【図5】デジタルスチルカメラの一実施の形態による測色枠の表示例を示す図
【図6】デジタルスチルカメラの第一の実施の形態による処理手順を示すフローチャート
【図7】デジタルスチルカメラの実施の形態によるマニュアルモード処理の手順を示すフローチャート
【図8】操作選択メニューの表示例を示す図
【図9】デジタルスチルカメラの第二の実施の形態による処理手順を示すフローチャート
【図10】デジタルスチルカメラの第三の実施の形態による処理手順を示すフローチャート
【符号の説明】
1…デジタルカメラ、2…レリーズ釦、3…撮影ズームレンズ、4…閃光装置、5…ファインダ、6…電源スイッチ、7…閃光装置のモード切替スイッチ、8…ホワイトバランス調整モード切替スイッチ、9…モニタ、10、12…項目選択スイッチ、11…項目決定スイッチ、13…ズーム切替スイッチ、14…測色枠、21…CPU、22…半押しスイッチ、23…全押しスイッチ、26…CCD、29…画像処理回路、35…リアルタイムクロック、36…焦点検出/調整装置、37…ズームレンズ駆動装置、38…測光装置、100…ライン処理回路、105…平均値算出回路、107…ホワイトバランス調整回路
Claims (3)
- ズームレンズの焦点距離を調節する焦点距離調節装置と、
被写体に合焦するように前記ズームレンズの焦点位置を調節する焦点調節装置と、
前記ズームレンズを通過する被写体像を撮像して画像データを出力する撮像装置と、
前記撮像装置から出力される画像データに対して、あらかじめ設定されたホワイトバランス調整値によりホワイトバランス調整を行うホワイトバランス調整回路とを備えたデジタルカメラにおいて、
前記ホワイトバランス調整値を設定するとき、前記ズームレンズの焦点距離が所定値となるように前記焦点距離調節装置を制御するとともに、前記ズームレンズの焦点位置が所定位置となるように前記焦点調節装置を制御する制御手段を備えることを特徴とするデジタルカメラ。 - 請求項1に記載のデジタルカメラにおいて、
前記ホワイトバランス調整値は、撮像された画面の一部の画像データに基づいて設定されることを特徴とするデジタルカメラ。 - 請求項2に記載のデジタルカメラにおいて、
前記撮像装置で撮像された画像を表示するモニタを有し、前記モニタ上に前記一部の画像データに対する画像を囲う枠を表示することを特徴とするデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32965698A JP4106774B2 (ja) | 1998-11-19 | 1998-11-19 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32965698A JP4106774B2 (ja) | 1998-11-19 | 1998-11-19 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000156869A JP2000156869A (ja) | 2000-06-06 |
JP4106774B2 true JP4106774B2 (ja) | 2008-06-25 |
Family
ID=18223796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32965698A Expired - Fee Related JP4106774B2 (ja) | 1998-11-19 | 1998-11-19 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4106774B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6944880B1 (en) | 2000-09-29 | 2005-09-13 | Digeo, Inc. | Methods for audio capture and communication during television broadcasts |
US6529233B1 (en) | 2000-09-29 | 2003-03-04 | Digeo, Inc. | Systems and methods for remote video and audio capture and communication |
US6489986B1 (en) * | 2000-09-29 | 2002-12-03 | Digeo, Inc. | Remote control device for video and audio capture and communication |
JP4135503B2 (ja) | 2003-01-08 | 2008-08-20 | 株式会社ニコン | ホワイトバランスの機能を有する電子カメラ |
CN100426272C (zh) * | 2003-02-28 | 2008-10-15 | 北京中星微电子有限公司 | 可进行名片扫描和电子名片传输的移动存储装置和方法 |
CN100458750C (zh) * | 2003-02-28 | 2009-02-04 | 北京中星微电子有限公司 | 可进行名片扫描和格式转换的移动存储装置及其方法 |
JP4674572B2 (ja) * | 2006-07-25 | 2011-04-20 | 株式会社デンソー | 調整画像作成装置 |
JP5453812B2 (ja) * | 2009-01-08 | 2014-03-26 | 株式会社ニコン | 画像処理装置 |
CN107820070B (zh) * | 2017-10-25 | 2019-05-17 | 长沙云知检信息科技有限公司 | 白平衡调整方法 |
-
1998
- 1998-11-19 JP JP32965698A patent/JP4106774B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000156869A (ja) | 2000-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7847859B2 (en) | Exposure control method and imaging apparatus | |
TWI423664B (zh) | 影像裝置與曝光控制方法 | |
US7009641B2 (en) | Electronic camera with gain adjustment | |
US8150252B2 (en) | Imaging apparatus and imaging apparatus control method | |
JP4366768B2 (ja) | デジタルカメラおよびコンピュータ読み取り可能な記録媒体 | |
JP4487342B2 (ja) | デジタルカメラ | |
JP4106774B2 (ja) | デジタルカメラ | |
JP2003179807A (ja) | 撮像装置 | |
JP2008085581A (ja) | 撮影装置 | |
JP5178396B2 (ja) | 撮像装置 | |
JP4337161B2 (ja) | デジタルカメラおよびコンピュータ読み取り可能な記録媒体 | |
JP2000156874A (ja) | デジタルカメラ | |
JP4649734B2 (ja) | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 | |
JP4281134B2 (ja) | デジタルカメラ | |
JP4190346B2 (ja) | 撮像装置 | |
JP2009033386A (ja) | 撮影装置及び撮影方法 | |
JP5153441B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP4105933B2 (ja) | デジタルカメラおよび画像生成方法 | |
JP2008199522A (ja) | 撮像装置及び撮像方法 | |
JP2001136546A (ja) | 電子カメラ | |
JP2003102020A (ja) | 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体 | |
CN109387992B (zh) | 能够充分确保发光精度的摄像设备及其控制方法 | |
JP2005006217A (ja) | デジタル一眼レフカメラ | |
JP5076265B2 (ja) | 電子カメラ | |
JP2003295044A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080324 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |