JP4105933B2 - Digital camera and image generation method - Google Patents
Digital camera and image generation method Download PDFInfo
- Publication number
- JP4105933B2 JP4105933B2 JP2002324689A JP2002324689A JP4105933B2 JP 4105933 B2 JP4105933 B2 JP 4105933B2 JP 2002324689 A JP2002324689 A JP 2002324689A JP 2002324689 A JP2002324689 A JP 2002324689A JP 4105933 B2 JP4105933 B2 JP 4105933B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- photographing
- photometric
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 14
- 239000002131 composite material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、デジタルカメラに関するものである。
【0002】
【従来の技術】
デジタルカメラで用いられるCCDなどの撮像素子はダイナミックレンジが比較的狭い。したがって、デジタルカメラを用いて、明暗の差が非常に大きいシーン、例えば人物が逆光気味になっているシーンを撮影すると、人物が暗くなりすぎたり、背景が明るくなりすぎたりする。この場合、人物と背景の明暗の差を小さくするため、例えばストロボを点灯して日中シンクロ撮影を行うと、ストロボ光と自然光との色温度差によって画像のホワイトバランスが崩れたり、ストロボ光による不自然さが画像に残ったりする。
【0003】
このような問題点を解決する手段として、一度の撮影で適正露光の画像データと、露光がアンダーの画像データと、露光がオーバーの画像データを記録し、これらの画像データを輝度差に応じて合成することが知られている(例えば、特許文献1参照)。しかし、この方法では、適正露光、露光アンダー、露光オーバーの3つの画像データが必要となり、合成処理に時間が掛かる。また撮影シーンの状況、例えば明暗の差に応じて、撮影条件を変更することが難しく、その結果、画像合成による補正効果が大きく得られない場合がある。
【0004】
【特許文献1】
特開平11−317905号公報
【0005】
【発明が解決しようとする課題】
本発明は以上の問題点に鑑みてなされたものであり、例えば被写体が逆光気味になっている場合のように、撮影対象の明暗の差が大きい場合でも、その明暗差に応じて、明るい部分と暗い部分の両方が適切に撮影できることを主な目的とする。
【0006】
【課題を解決するための手段】
本発明に係るデジタルカメラは、観察画面を複数の領域に分割して領域毎の撮影対象の測光値を検出する測光手段と、領域毎の測光値から相対的に大きい値を有する第1の測光値と相対的に小さい値を有する第2の測光値を選択する測光値選択手段と、第1の測光値に応じて第1の露出条件を決定し、第2の測光値に応じて第2の露出条件を決定する露出条件決定手段と、第1の露出条件によって撮影対象を撮影し、第1の原画像を得る第1の撮影手段と、第2の露出条件によって撮影対象を撮影し、第2の原画像を得る第2の撮影手段と、第1または第2の原画像において、画素の輝度が所定値より大きい第1の画像領域と、輝度が所定値より小さい第2の画像領域とに分割する画像領域分割手段と、第1の画像領域に含まれる第1の原画像と第2の画像領域に含まれる第2の原画像を合成する画像合成手段とを備えることを特徴とする。
これにより、例えば被写体が逆光状態にある場合のように、撮影対象の領域毎の明暗の差が大きい場合であっても、自然な画像を得ることができる。
【0007】
好ましくは、第1の測光値は領域毎の測光値の最大値であり、第2の測光値は領域毎の測光値の最小値である。
【0008】
第1および第2の撮影手段における絞り値を第2の測光値に応じて決定し、第1および第2の露出条件と絞り値に応じて第1および第2の撮影手段における露光時間を決定する構成にしても良い。すなわち、第1の撮影手段と第2の撮影手段の絞り値を同一にすることにより、2回目の撮影を1回目の撮影から瞬時に行うことができるため、得られる第1および第2の原画像は、略同一の撮影対象から生成することが可能となる。
【0009】
第1の撮影手段のシャッタースピード(露出時間)が第2の撮影手段のシャッタースピードより長い場合、第1の撮影手段による撮影を第2の撮影手段による撮影より先に行う。これにより、2回の撮影のタイムラグを減らすことができるため、1回目と2回目の撮影の撮影対象の差異を非常に少なくすることができる。
【0010】
本発明の露出条件決定手段は、第1および第2の測光値を比較し、その差分が第2の所定値より大きい場合のみに実行される構成にすることが好ましい。これにより、画像合成を選択的に行うことができるので、不必要な画像処理を減らすことができる。また、第1の原画像の輝度と第2の原画像の輝度との平均値を所定値と設定することが好ましい。
また、第1および第2の撮影手段は、同一の撮像素子と、この撮像素子の受光面上に撮影対象の光学像を結像させる同一の撮影光学系とを有し、測光手段は複数に分割された受光面を有して各受光面ごとに受光量を出力可能な受光センサからなる一方、観察画面は、前記撮像素子の受光面とは別の位置にあって、かつ撮像素子の受光面と光学的に等価な面であることが好ましい。この構成によれば、測光値を得るために撮像素子の画像信号を利用しないので、撮影対象を迅速かつ正確な測光ができる。
【0011】
本発明の画像生成方法は、観察画面を複数の領域に分割して領域毎の撮影対象の測光値を検出する測光値検出ステップと、領域毎の測光値から相対的に大きい値を有する第1の測光値と、相対的に小さい値を有する第2の測光値を選択する測光値選択ステップと、第1の測光値に応じて第1の露出条件を決定し、第2の測光値に応じて第2の露出条件を決定する露出条件決定ステップと、第1の露出条件によって撮影対象を撮影し、第1の原画像を得る第1の撮影ステップと、第2の露出条件によって撮影対象を撮影し、第2の原画像を得る第2の撮影ステップと、第1または第2の原画像において、画素の輝度が所定値より大きい第1の画像領域と、輝度が所定値より小さい第2の画像領域とに分割する画像領域分割ステップと、第1の画像領域に含まれる第1の原画像と、第2の画像領域に含まれる第2の原画像を合成する画像合成手段とを備えることを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明の一実施形態を適用したデジタルカメラを後方から見た斜視図である。
【0013】
このデジタルカメラは一眼レフカメラであり、交換レンズ11がカメラ本体90に取り付けられている。カメラ本体90の上部の中央には光学ファインダ91が設けられ、背面92の略中央には液晶パネル(画像LCD)46が設けられている。液晶パネル46では、交換レンズ11によって得られた動画や撮影された静止画像等が表示される。液晶パネル46の横には、モード設定スイッチ95が設けられている。モード設定スイッチ95は、各種の動作モードを設定するために設けられ、図示実施形態ではジョグダイアルである。
【0014】
カメラ本体90を背面から見たとき、カメラ本体90の上部の右側にはシャッタ釦93と状態表示装置56が設けられている。状態表示装置56は液晶表示素子から構成され、この液晶表示素子にはデジタルカメラの種々の設定状態が文字または記号として表示される。シャッタ釦93を半押しすることによって、測光、測距等が行われ、全押しすることによって静止画がPCカードに記憶されると共に液晶パネル46に表示される。
【0015】
カメラ本体90の側面にはカードスロット96が形成されている。カードスロット96はPCカードをカメラ本体90内に挿入するために設けられ、カードスロット96の内部にはPCカードが装着されるカードコネクタ(図示せず)が設けられている。
【0016】
図2は、デジタルカメラの主に電気的構成を示すブロック図である。このカメラの動作はマイコンを備えたシステムコントローラ31によって制御される。すなわち、システムコントローラ31の制御により、液晶パネル46に動画あるいは静止画が表示され、PCカードに静止画が記録される。
【0017】
交換レンズ11はマウントピン12,13、14を介して、カメラ本体90(図1)内に設けられた電気回路に電気的に接続される。交換レンズ11のレンズ鏡筒内には、撮影光学系である前群レンズ15と後群レンズ16が設けられ、これらのレンズ15、16の間には絞り17が設けられている。各レンズ15,16に対する焦点調節はレンズ制御回路18によって行われ、ズーミング動作はズームモータ19によって行われる。レンズ制御回路18とズームモータ19は、カメラ本体内に設けられたシステムコントローラ31からマウントピン13、14を介して送られてくる制御信号に従って動作する。絞り17は、カメラ本体内に設けられた絞り駆動回路32からマウントピン12を介して送られる制御信号に従って動作し、絞り17の開度が調節される。絞り駆動回路32はシステムコントローラ31によって制御される。
【0018】
カメラ本体内において、レンズ15、16の光軸上には、クイックリターンミラー21が設けられる。ミラー21は、図示された傾斜状態と上方へ回動した水平状態との間において回転自在である。ミラー21の上方にはピント板22が設けられ、ピント板22の上方にはペンタプリズム23が設けられている。ペンタプリズム23の後方にはファインダ91の接眼レンズ24が配設されている。
【0019】
ミラー21の後方にはシャッタ25が設けられ、シャッタ25の後方には赤外カットフィルタ26と光学ローパスフィルタ27が設けられている。光学ローパスフィルタ27の後方にはCCD(撮像素子)33が設けられている。すなわち、光学ローパスフィルタ27、CCD33は、レンズ15、16の光軸上に配置されている。
【0020】
ミラー21の回動動作はミラー駆動回路34によって駆動され、シャッタ25の開閉動作はシャッタ駆動回路35によって駆動される。ミラー駆動回路34とシャッタ駆動回路35はシステムコントローラ31によって制御される。
【0021】
通常ミラー21は傾斜状態に定められており、交換レンズ11から取り込まれた光をペンタプリズム23側に導く。ピント板22はCCD33の受光面(撮像面)とは別の位置にあって、かつCCD33の受光面と光学的に等価な位置に配置されており、使用者はペンタプリズム23、接眼レンズ24を介して、ピント板上の光学像を観察画像として視認し、交換レンズ11を介して入射する光束のCCD33の受光面上での結像状態(焦点調節状態)をモニタできる。このときシャッタ25は閉じており、CCD33に向かう光路は閉塞している。これに対し撮影が行われる時、ミラー21はミラー駆動回路34の制御により上方に回動せしめられ、水平状態となる。このミラー21の回動に伴い、シャッタ25はシャッタ駆動回路35の制御により開口せしめられ、交換レンズ11から取込まれた光はCCD33の受光面に照射される。すなわち、受光面にはレンズ15、16によって得られた画像が形成され、CCD33では画像に対応した撮像信号が生成される。
【0022】
システムコントローラ31にはパルス信号発生回路(PPG)36が接続され、パルス信号発生回路36はシステムコントローラ31の制御によって種々のパルス信号を発生する。これらのパルス信号に基づいて、CCD駆動回路37とA/D変換器38と画像信号処理回路39とが駆動され、CCD駆動回路37によりCCD33の動作が制御される。すなわち、CCD33から読み出された撮像信号は、A/D変換器38によってデジタル信号に変換され、画像信号処理回路39において、所定の画像処理を施される。画像信号処理回路39には、1つの画像に対応したデジタルの画像データを格納するために十分な容量を有する画像バッファメモリ40が接続されている。
【0023】
また画像信号処理回路39には、モニタインターフェース41とカードインターフェース42とが接続されている。これらのインターフェース41,42はシステムコントローラ31によって制御される。
【0024】
モニタインターフェース41には、液晶駆動回路44を介してバックライト45と液晶パネル46が接続されている。液晶パネル46では、前述したように、画像バッファメモリ40から読み出された画像データに基づいて、液晶駆動回路44が制御され、静止画像が表示される。カードインターフーイス42にはカードコネクタ47が接続され、カードコネクタ47にはPCカード43が装着可能である。
【0025】
システムコントローラ31にはAFセンサ51と測光センサ52とオートホワイトバランス(AWB)センサ53が接続されている。レンズ15、16の焦点調節状態は、AFセンサ51によって測定される。測光センサ52によって後述する測光値(I0からI4)が測定される。オートホワイトバランスセンサ53によって周囲光の色温度が測定される。なお、測光センサ52は接眼レンズ24近傍に配置されており、ペンタプリズム23を介してピント板22上の光学像を受光する。
【0026】
また、システムコントローラ31には、測光スイッチ54とレリーズスイッチ55と状態表示装置56が接続されている。測光スイッチ54はシャッタ釦93を半押しすることによりオン状態となり、これにより、測光センサ52によって測光が行われる。レリーズスイッチ55は、シャッタ釦93を全押しすることによってオン状態となり、これにより、シャッタ25が開閉駆動される。すなわち、CCD33が露光され、CCD33には画像に対応した撮像信号が発生する。
【0027】
さらに、システムコントローラ31には、モード設定スイッチ95が接続されている。モード設定スイッチ95は上述したようにジョグダイアルであり、ジョグダイアルを所定の回転位置に定めることによって、液晶パネル46に表示された設定メニューから所定のモードが選択され、ジョグダイアルを押すことによって、そのモードが設定される。
【0028】
図3は、使用者による観察画面75と測光センサ52による測光領域との関係を示した図である。前述の通り、ピント板22はCCD33の受光面と光学的に略等価な位置に配置されており、測光センサ52の測光領域は観察画面75の視野ならびに撮影動作時におけるCCD33による撮像領域とに一致している。図3に示すように観察画面75は、対物レンズ24から観察される画面であり、画面中心の領域である領域0と、残りの領域を4分割する領域1〜4から成る。測光センサ52は、観察画面75のそれぞれの領域に対応した受光部を有し、各領域における測光値(I0からI4)を検出する。
【0029】
図4を参照して本実施形態の画像生成を説明する。
撮影対象72の被写体71は逆光であり、被写体71の輝度は背景70の輝度に比べて非常に小さい。従来、このように被写体71が逆光であった場合、例えばデジタルカメラの通常の撮影モードで撮影すると、背景70が適正に撮影されるのに対して、被写体71は黒く潰れたように撮影される。一方、本実施形態の逆光撮影モードで被写体71を撮影すると、得られる合成画像86は、被写体71、背景70ともに適正に撮影される。
【0030】
本実施形態においては、最初に撮影対象72が逆光状態にあるか否かが判定される。すなわち、先述したI0からI4の中から測光値が最大である第1の測光値Imaxと、測光値が最小である第2の測光値Iminが選択される。選択された第1および第2の測光値Imax、Iminの差分が、一定の値より大きければ、被写体71が逆光であると判断されて以下説明する逆光撮影モードによって撮影対象72が撮影され、一定の値より小さければ通常の撮影モードで撮影対象72が撮影される。
【0031】
逆光撮影モードで撮影が行われる場合、第1および第2の測光値Imax、Iminによって第1および第2の露出条件が決定される。撮影対象72は決定された露光条件によって2回撮影され、2つの原画像77、80が得られる。すなわち、第1の露出条件によって撮影対象72が撮影され、第1の原画像77が得られ、第2の露出条件によって撮影対象72が撮影され、第2の原画像80が得られる。
【0032】
第1の露出条件は、測光値が最大値(Imax)の領域に応じて決定されたので、第1の原画像77は、露出を輝度が相対的に大きい背景70に合わされて撮影される。したがって、背景画像70’が適正に撮影される一方、輝度が相対的に小さい被写体像71’は、露光量が少なすぎるため、影がかかり黒く潰れたように撮影される。
【0033】
第2の露出条件は、測光値が最小値(Imin)の領域に応じて決定されたので、第2の原画像80は露出を相対的に輝度が小さい被写体71に合わせて撮影される。したがって、被写体像71”が適正に撮影される一方、輝度が相対的に大きい背景画像70”は、露光量が多すぎるため、白く輪郭が飛ぶように撮影される。
【0034】
次に第2の原画像80は、画素の輝度データが所定値より大きい第1の画像領域81と、画素の輝度データが所定値より小さい第2の画像領域82とに分割される。分割された原画像80の各画素データは、第1の画像領域81においては〔1〕に、第2の画像領域82においては〔0〕に変換され、2値化されたマスク画像85を構成する。
【0035】
次に、第1の画像領域81に含まれる第1の原画像77の画素データと、第2の画像領域82に含まれる第2の原画像80の画素データが合成され、合成画像86が得られる。すなわち、2値化されたマスク画像85における〔0〕の領域の画素データを第2の原画像80から抜き出し、〔1〕の領域の画素データを第1の原画像77から抜き出し、その抜き出した画素データを合成することにより合成画像86が得られる。換言すると、輝度が適正である第1の原画像77の背景画像70’と、輝度が適正である第2の原画像80の被写体像71”が合成され、合成画像86が得られることとなる。
【0036】
以上のように、本実施形態において、合成画像86は、露光条件の相違する撮影によって得られた2つの原画像77、80の露出条件の適正な領域が合成されて作られるので、肉眼で見た場合と同様に明るい部分である背景70、暗い部分である被写体71ともにはっきりと表現された画像となる。
なお、本実施形態において、第2の原画像80を基にマスク画像85が生成されているが、第1の原画像77を基にマスク画像85が生成される構成にしても良い。
【0037】
図5は、本実施形態における撮影動作ルーチンのフローチャートである。ステップ100では、測光スイッチ54がオン状態か否かが判定される。測光スイッチ54がオン状態であれば、ステップ110に進み、オン状態でなければステップ100に戻る。ステップ110では、先述したように分割測光によって観察画面の領域毎の測光値(I0からI4)が検出される。検出されたI0〜I4からステップ111において最大値である第1の測光値Imaxと、最小である第2の測光値Iminが選択される。
【0038】
ステップ120では、第1の測光値Imaxと第2の測光値Iminが比較され、その差分が所定値Ithより大きいか否かが判定される。その差分が所定値Ithより小さいと判定されれば、ステップBに進み通常の撮影モードで撮影対象72の撮影が行われる。一方、その差分が所定値Ithより大きいと判定されれば、ステップ130に進み逆光撮影モードで撮影対象72の撮影が行われる。
【0039】
ステップ130から150では、第1の測光値Imaxに応じて第1の原画像77を得るための第1の露出条件が、第2の測光値Iminに応じて第2の原画像80を得るための第2の露出条件が決定される。本実施形態においては、まずステップ130において、第2の測光値IminからCCD感度Svを考慮して、第2の露出条件におけるエクスポージュアバリューEv2が算出される。ステップ140では、算出されたEv2に応じて、予めシステムコントローラ31に記憶されているシャッタースピードと絞り値の組み合わせから、第2の原画像80を得るときに用いられるシャッタースピードTv2、絞り値Avが選択される。
【0040】
ここで選択された絞り値Avは、第1の原画像77を得るときにも用いられる。したがって、ステップ150では、第1の測光値ImaxからCCD感度Svを考慮して、第1の露出条件におけるエクスポージュアバリューEv1が算出され、そのEv1と絞り値Avから第1の原画像77を得るときに用いられるシャッタースピードTv1が算出される。
【0041】
ステップ151では、再度測光スイッチ151がオン状態か否かが確認される。オン状態ならば、ステップ160に進み、オン状態になっていなければステップ100に戻る。ステップ160では、レリーズスイッチ55がオン状態か否かが判定される。レリーズスイッチ55がオン状態ならば、ステップ170に進み撮影動作が開始される。スイッチ55がオン状態でなければ、ステップ100に戻る。
【0042】
ステップ170において、クイックリターンミラー21がミラーアップされ、そのミラーアップに伴い、ステップ180では絞り17が絞り値Avに応じて駆動せしめられ、さらにステップ190ではシャッタースピードTv1に応じた時間だけシャッタ25が開口させられる。これにより、交換レンズ11から取り込まれた光は、CCD33の受光面に照射され、CCD33ではAvとTv1に応じた撮影対象72の撮像信号が生成され、ステップ200では、その信号に応じて生成された第1の原画像77のRGBデータが画像バッファメモリ40に格納される。
【0043】
ステップ210では、再度シャッタースピードTv2に応じた時間だけシャッタ25が開口させられる。これにより、再度交換レンズ11によってCCD33に光が取り込まれ、CCD33ではAvとTv2に応じた撮影対象72の撮像信号が生成され、ステップ220では、その信号に応じて生成された第2の原画像80のRGBデータが画像バッファメモリ40に格納される。これにより、同一の撮影対象72に対して、異なる露光条件に応じた異なる原画像77、80が生成される。
【0044】
次に、ステップ230では、絞り17が初期状態に開駆動せしめられ、ステップ240でクイックリターンミラー21がミラーダウンされ、撮影動作が終了され、ステップAに進み画像処理が開始される。
【0045】
図6は、撮影動作によって得られた原画像77,80の画像信号処理回路39で行われる画像処理ルーチンを示す。メモリ40に格納された原画像77、80のRGBデータは、ステップ250、260においてそれぞれ、輝度・色差画像データ(Y1、Cb1、Cr1)、(Y2、Cb2、Cr2)に変換される。
【0046】
そして、ステップ270では、得られた輝度データY1、Y2の平均値が所定の閾値として求められる。すなわち、それぞれの原画像77、80の全ての画素の平均値である輝度データY1AVE、Y2AVEを求め、(Y1AVE+Y2AVE)/2を所定の閾値とする。
【0047】
ステップ280では、輝度・色差画像データ(Y2、Cb2、Cr2)に変換された第2の原画像80が、所定の閾値を用いて2値化される。すなわち、第2の原画像80のそれぞれの画素の輝度データY2が、ステップ270で算出された閾値より大きければその画素は〔1〕のデータに、閾値より小さければその画素は〔0〕のデータに変換され、マスク画像85が得られる。
【0048】
ステップ290では、第1の原画像77から、マスク画像85の〔1〕のデータに対応する画素の画像データが抽出され、第2の原画像80から、マスク画像85の〔0〕のデータに対応する画素の画像データが抽出され、その抽出された画像データは、合成され、合成画像86が生成される。生成された合成画像86の画像データは、画像バッファメモリ40に格納される。
【0049】
合成画像86は、ステップ300で、液晶パネル46に表示される。ステップ310では、合成画像86の画像データはJPEG符号化された後、ステップ320において、PCカード43に記録され、本画像生成ルーチンは終了する。
【0050】
図7は通常の撮影モードにおける撮影、画像処理ルーチンを示す。まず、ステップ410では、測光モードが確認され、測光モードが中央重点測光モードであればステップ420に、測光モードが平均測光モードであればステップ430に進む。ステップ420では、領域0の測光値I0に対応した露出条件が算出され、ステップ440に進む。一方、ステップ430では、領域0から4までの測光値I0からI4までの平均値Iaveが求められ、ステップ431ではIaveに対応した露出条件が算出され、ステップ440に進む。
【0051】
ステップ440では、再度測光スイッチ54がオン状態になっているか否かが判定され、オン状態であれば、ステップ450に進み、オン状態でなければステップ100に戻る。次に、ステップ450においてレリーズスイッチ56がオン状態か否かが判定される。オン状態でなければ、ステップ440に戻り、オン状態であれば、ステップ460に進む。
【0052】
ステップ460では、ミラー21がミラーアップされ、そのミラーアップに伴い、ステップ470では、ステップ420もしくは431で算出された露出条件に基づく絞り値によって、絞り17が駆動せしめられる。さらにステップ490では露出条件に基づくシャッタースピードに応じた時間だけシャッタ25が開口させられる。これにより、交換レンズ11から取り込まれた光は、CCD33の受光面に照射され、CCD33では絞り値とシャッタースピードに応じた撮影対象72の撮像信号が生成され、ステップ490において、その信号に応じて生成された原画像のRGBデータが画像バッファメモリ40に格納される。
【0053】
画像データが格納された後、ステップ500では、絞り17が初期状態に開駆動せしめられ、ステップ510でミラー21がミラーダウンされ、撮影動作は終了する。
【0054】
次にステップ520では撮影された画像のデータが画像信号処理回路39によって画像処理される。すなわち、RGBデータからY、Cb、Crデータが生成され、生成されたデータは画像バッファメモリ40に格納される。
【0055】
格納されたデータは、ステップ530で、そのデータに対応する画像が液晶パネル46に表示され、ステップ540においてJPEG符号化された後、ステップ550においてPCカード43に記録され、本通常撮影モードのルーチンは終了する。
【0056】
以上のように本実施形態においては、例えば被写体が逆光である場合にように、観察画像中の領域ごとの輝度差が大きな場合には、逆光撮影モードに自動的にモード設定される。これにより、同一の撮影対象に対して2回の撮影が行われ、2つの原画像データが得られ、各々のデータ中の露出条件の適正な領域の画像データを合成することによって、肉眼で見た画像に近い自然な画像を得ることが実現できる。
【0057】
なお、本実施形態のステップ130〜150において、2回の撮影で露光条件を異ならせるために絞り値Avを同一(固定)とし、シャッタースピードTv1、Tv2のみ相違させている。これは、1回目の撮影と2回目の撮影との間のタイムラグをなくさせ、1回目と2回目の撮影の撮影対象ができるかぎりずれないようにするためである。
絞り17を絞り値Avに対応した絞りに制御することは、比較的時間を要するうえ、1回目の撮影時における画素信号転送のために、シャッタを一旦閉塞駆動した後、再び開放駆動しなければならず制御が複雑化する。つまり、絞り値Avが変更されると、1回目の撮影と2回目の撮影との間に長いタイムラグが生じてしまい、撮影対象72に動きがあるときは、同一の撮影対象72に対する原画像77、80が得られない。したがって、本実施形態においては、絞り値Avを固定としている。
【0058】
また、ステップ190〜220において、第1の露出条件による撮影を第2の撮影条件の撮影に先立って行っているのは、シャッタースピードTv1がTv2よりも短いため、第1の露出条件による撮影を第2の露出条件に先立って行ったほうが1回目の撮影と2回目の撮影との間のタイムラグをなくすことができるからである。
【0059】
さらに、ステップ111において、検出されたI0〜I4から最大値である第1の測光値Imaxと、最小である第2の測光値Iminが選択されているが、これは最終的に得る画像の階調制御として効果的であるからであり、選択される測光値Imax、Iminは、ImaxがIminより相対的に大きければ良く、例えば最大値から2番目の値と最小値から2番目の値を用いてもよい。
また、本実施形態においては、測光手段として、CCD33からの撮像信号を利用せずに、測光センサ52を用いて測光動作を行っているので、測光および露出演算のために複雑な画像信号処理を実行せずに済むので、測光動作から迅速に撮影動作へ移行できる。
【0060】
なお、本実施形態において、測光値ImaxとIminの差分が所定値より大きい場合に、逆光撮影モードで撮影および画像生成を実施する構成を示したが、逆光撮影モードを選択するか否かをモード設定スイッチ95によって手動で決定する構成にしても良い。
【0061】
本明細書において、例えば「所定値より大きい」と「所定値より小さい」とは、数学的に厳密な意味ではなく、「所定値以上」、「所定値以下」の場合を含む。
【0062】
【発明の効果】
以上のように本発明によれば、例えば逆光状態のように撮影対象の明暗の差が大きい場合でも、1つの画像上に明るい部分と暗い部分の両方を適切に撮影することが可能とある。
【図面の簡単な説明】
【図1】本発明の一実施形態であるデジタルカメラを後方から見た斜視図である。
【図2】デジタルカメラの主に電気的構成を示すブロック図である。
【図3】本発明の実施形態における測光領域を示す。
【図4】本発明の実施形態における画像生成を説明するための図である。
【図5】デジタルカメラの撮影動作ルーチンのフローチャートである。
【図6】デジタルカメラの画像処理ルーチンのフローチャートである。
【図7】通常の撮影モードにおける撮影、画像処理ルーチンのフローチャートである。
【符号の説明】
77 第1の原画像
80 第2の原画像
81 第1の画像領域
82 第2の画像領域
86 合成画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera.
[0002]
[Prior art]
An image sensor such as a CCD used in a digital camera has a relatively narrow dynamic range. Therefore, if a digital camera is used to shoot a scene with a very large difference between light and dark, for example, a scene in which a person is backlit, the person becomes too dark or the background becomes too bright. In this case, to reduce the difference in brightness between the person and the background, for example, when the flash is turned on and daytime synchro shooting is performed, the white balance of the image is lost due to the color temperature difference between the flashlight and natural light, Unnaturalness may remain in the image.
[0003]
As a means for solving such problems, image data of proper exposure, image data of underexposure, and image data of overexposure are recorded by one shooting, and these image data are recorded according to the luminance difference. It is known to synthesize (see, for example, Patent Document 1). However, in this method, three pieces of image data of proper exposure, underexposure, and overexposure are required, and the synthesis process takes time. In addition, it is difficult to change the shooting conditions depending on the situation of the shooting scene, for example, the difference in brightness, and as a result, there may be a case where the correction effect by image synthesis cannot be obtained greatly.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-317905
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described problems. For example, even when a subject has a large difference in contrast between light and dark as in a case where the subject is backlit, a bright portion is determined according to the difference in brightness. The main purpose is to be able to properly capture both dark and dark areas.
[0006]
[Means for Solving the Problems]
The digital camera according to the present invention includes a photometric unit that divides an observation screen into a plurality of regions and detects a photometric value of a subject to be photographed for each region, and a first photometry having a relatively large value from the photometric value for each region. A photometric value selecting means for selecting a second photometric value having a relatively small value, a first exposure condition is determined in accordance with the first photometric value, and a second in accordance with the second photometric value. An exposure condition determining means for determining the exposure condition, a first photographing means for photographing a photographing object by the first exposure condition and obtaining a first original image, and a photographing object by the second exposure condition, A second imaging unit that obtains a second original image; a first image area having a pixel luminance greater than a predetermined value; and a second image area having a luminance smaller than a predetermined value in the first or second original image. And an image area dividing means for dividing the first image area and the first original image included in the first image area Characterized in that it comprises an image synthesizing means for synthesizing the second original images included in the second image region.
As a result, a natural image can be obtained even when there is a large difference in brightness between the areas to be imaged, such as when the subject is in a backlight state.
[0007]
Preferably, the first photometric value is the maximum photometric value for each region, and the second photometric value is the minimum photometric value for each region.
[0008]
The aperture value in the first and second imaging means is determined according to the second photometric value, and the exposure time in the first and second imaging means is determined according to the first and second exposure conditions and the aperture value. You may make it the structure to carry out. In other words, by making the aperture values of the first photographing means and the second photographing means the same, the second photographing can be instantaneously performed from the first photographing, so that the obtained first and second originals can be obtained. Images can be generated from substantially the same shooting target.
[0009]
When the shutter speed (exposure time) of the first photographing means is longer than the shutter speed of the second photographing means, photographing by the first photographing means is performed before photographing by the second photographing means. Thereby, since the time lag of the second shooting can be reduced, the difference between the shooting targets of the first shooting and the second shooting can be greatly reduced.
[0010]
The exposure condition determining means of the present invention preferably compares the first and second photometric values and is executed only when the difference is greater than a second predetermined value. Thereby, since image composition can be selectively performed, unnecessary image processing can be reduced. Moreover, it is preferable to set an average value of the luminance of the first original image and the luminance of the second original image as a predetermined value.
The first and second imaging means have the same imaging device and the same imaging optical system that forms an optical image to be imaged on the light receiving surface of the imaging device, and there are a plurality of photometric means. It consists of a light receiving sensor that has a divided light receiving surface and can output the amount of light received for each light receiving surface, while the observation screen is at a position different from the light receiving surface of the image sensor and receives light from the image sensor. A surface that is optically equivalent to the surface is preferable. According to this configuration, since the image signal of the image sensor is not used to obtain a photometric value, a photometric target can be measured quickly and accurately.
[0011]
The image generation method according to the present invention includes a photometric value detection step of detecting the photometric value of the imaging target for each region by dividing the observation screen into a plurality of regions, and a first value having a relatively large value from the photometric value for each region. The photometric value, a photometric value selection step for selecting a second photometric value having a relatively small value, a first exposure condition is determined according to the first photometric value, and the second photometric value is determined. An exposure condition determining step for determining a second exposure condition, a first imaging step for capturing an image of the imaging object by the first exposure condition and obtaining a first original image, and an imaging object for the second exposure condition. A second photographing step for photographing and obtaining a second original image; a first image region having a pixel luminance greater than a predetermined value in the first or second original image; and a second having a luminance smaller than the predetermined value. An image area dividing step for dividing the image area into a first image area and a first image Characterized in that it comprises an image synthesizing means for synthesizing the first original image included in the region, the second original image included in the second image region.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view of a digital camera to which an embodiment of the present invention is applied as viewed from the rear.
[0013]
This digital camera is a single-lens reflex camera, and the
[0014]
When the
[0015]
A
[0016]
FIG. 2 is a block diagram mainly showing an electrical configuration of the digital camera. The operation of this camera is controlled by a
[0017]
The
[0018]
A
[0019]
A
[0020]
The rotation operation of the
[0021]
Normally, the
[0022]
A pulse signal generation circuit (PPG) 36 is connected to the
[0023]
A monitor interface 41 and a card interface 42 are connected to the image
[0024]
A
[0025]
An AF sensor 51, a photometric sensor 52, and an auto white balance (AWB) sensor 53 are connected to the
[0026]
The
[0027]
Further, a
[0028]
FIG. 3 is a diagram showing the relationship between the
[0029]
Image generation of the present embodiment will be described with reference to FIG.
The subject 71 of the subject 72 is backlit, and the luminance of the subject 71 is very small compared to the luminance of the
[0030]
In the present embodiment, it is first determined whether or not the subject 72 is in a backlight state. That is, I mentioned above 0 To I Four First photometric value I having the maximum photometric value max And the second photometric value I having the smallest photometric value min Is selected. Selected first and second photometric values I max , I min Is larger than a certain value, it is determined that the subject 71 is backlit, and the photographing
[0031]
When shooting in the backlight mode, the first and second photometric values I max , I min Determines the first and second exposure conditions. The photographing
[0032]
In the first exposure condition, the photometric value is the maximum value (I max The first
[0033]
The second exposure condition is that the photometric value is the minimum value (I min ), The second
[0034]
Next, the second
[0035]
Next, the pixel data of the first
[0036]
As described above, in the present embodiment, the
In the present embodiment, the
[0037]
FIG. 5 is a flowchart of the photographing operation routine in the present embodiment. In
[0038]
In
[0039]
In
[0040]
The aperture value Av selected here is also used when obtaining the first
[0041]
In
[0042]
In
[0043]
In
[0044]
Next, in
[0045]
FIG. 6 shows an image processing routine performed by the image
[0046]
In
[0047]
In
[0048]
In
[0049]
The
[0050]
FIG. 7 shows a shooting and image processing routine in the normal shooting mode. First, in
[0051]
In
[0052]
In step 460, the
[0053]
After the image data is stored, in step 500, the
[0054]
Next, at step 520, the captured image data is subjected to image processing by the image
[0055]
The stored data is displayed on the
[0056]
As described above, in the present embodiment, when the luminance difference for each region in the observation image is large, for example, when the subject is backlit, the mode is automatically set to the backlit mode. As a result, two shootings are performed on the same shooting target, and two original image data are obtained. By combining the image data of the appropriate areas of the exposure conditions in each data, it can be seen with the naked eye. It is possible to obtain a natural image close to the captured image.
[0057]
In
Controlling the
[0058]
In
[0059]
Further, in
In the present embodiment, since the photometric operation is performed using the photometric sensor 52 without using the imaging signal from the
[0060]
In the present embodiment, the photometric value I max And I min In the above-described configuration, the photographing and the image generation are performed in the backlight photographing mode when the difference is larger than the predetermined value. However, the
[0061]
In this specification, for example, “greater than a predetermined value” and “smaller than a predetermined value” are not mathematically strict meanings, and include cases of “greater than a predetermined value” and “below a predetermined value”.
[0062]
【The invention's effect】
As described above, according to the present invention, it is possible to appropriately capture both a bright part and a dark part on one image even when there is a large difference in brightness of a subject to be photographed, for example, in a backlight state.
[Brief description of the drawings]
FIG. 1 is a perspective view of a digital camera according to an embodiment of the present invention as viewed from the rear.
FIG. 2 is a block diagram mainly showing an electrical configuration of the digital camera.
FIG. 3 shows a photometric area in an embodiment of the present invention.
FIG. 4 is a diagram for explaining image generation in the embodiment of the present invention.
FIG. 5 is a flowchart of a shooting operation routine of the digital camera.
FIG. 6 is a flowchart of an image processing routine of the digital camera.
FIG. 7 is a flowchart of a shooting and image processing routine in a normal shooting mode.
[Explanation of symbols]
77 The first original image
80 Second original image
81 First image area
82 Second image area
86 Composite Image
Claims (8)
前記領域毎の測光値から相対的に大きい値を有する第1の測光値と、相対的に小さい値を有する第2の測光値を選択する測光値選択手段と、
前記第1の測光値に応じて第1の露出条件を決定し、前記第2の測光値に応じて第2の露出条件を決定する露出条件決定手段と、
前記第1の露出条件によって前記撮影対象を撮影し、第1の原画像を得る第1の撮影手段と、
前記第2の露出条件によって前記撮影対象を撮影し、第2の原画像を得る第2の撮影手段と、
前記第1または第2の原画像において、画素の輝度が所定値より大きい第1の画像領域と、前記輝度が所定値より小さい第2の画像領域とに分割する画像領域分割手段と、
前記第1の画像領域に含まれる前記第1の原画像と、前記第2の画像領域に含まれる前記第2の原画像を合成する画像合成手段とを備えるデジタルカメラ。A photometric means for dividing the observation screen into a plurality of areas and detecting a photometric value of an imaging target for each area;
Photometric value selection means for selecting a first photometric value having a relatively large value from the photometric values for each region, and a second photometric value having a relatively small value;
Exposure condition determining means for determining a first exposure condition according to the first photometric value and determining a second exposure condition according to the second photometric value;
First photographing means for photographing the photographing object according to the first exposure condition and obtaining a first original image;
A second photographing means for photographing the photographing object according to the second exposure condition and obtaining a second original image;
Image area dividing means for dividing the first or second original image into a first image area having a pixel luminance greater than a predetermined value and a second image area having a luminance smaller than a predetermined value;
A digital camera comprising: the first original image included in the first image region; and an image combining unit that combines the second original image included in the second image region.
前記第1および第2の露出条件と前記絞り値に応じて前記第1および第2の撮影手段における露光時間を決定することを特徴とする請求項1に記載のデジタルカメラ。Determining an aperture value in the first and second imaging means according to the second photometric value;
2. The digital camera according to claim 1, wherein exposure times in the first and second photographing means are determined according to the first and second exposure conditions and the aperture value.
前記測光手段は、複数に分割された受光面を有して各受光面ごとに受光量を出力可能な受光センサからなる一方、前記観察画面は、前記撮像素子の受光面とは別の位置にあって、かつ前記撮像素子の受光面と光学的に等価な面であることを特徴とする請求項1に記載のデジタルカメラ。The first and second imaging means have the same imaging device and the same imaging optical system that forms an optical image of the imaging target on the light receiving surface of the imaging device,
The photometric means comprises a light receiving sensor having a plurality of light receiving surfaces and capable of outputting the amount of light received for each light receiving surface, while the observation screen is located at a position different from the light receiving surface of the image sensor. The digital camera according to claim 1, wherein the digital camera is a surface optically equivalent to a light receiving surface of the image sensor.
前記領域毎の測光値から相対的に大きい値を有する第1の測光値と、相対的に小さい値を有する第2の測光値を選択する測光値選択ステップと、
前記第1の測光値に応じて第1の露出条件を決定し、前記第2の測光値に応じて第2の露出条件を決定する露出条件決定ステップと、
前記第1の露出条件によって前記撮影対象を撮影し、第1の原画像を得る第1の撮影ステップと、
前記第2の露出条件によって前記撮影対象を撮影し、第2の原画像を得る第2の撮影ステップと、
前記第1または第2の原画像において、画素の輝度が所定値より大きい第1の画像領域と、前記輝度が所定値より小さい第2の画像領域とに分割する画像領域分割ステップと、
前記第1の画像領域に含まれる前記第1の原画像と、前記第2の画像領域に含まれる前記第2の原画像を合成する画像合成ステップとを備える画像生成方法。A photometric value detection step for dividing the observation screen into a plurality of areas and detecting a photometric value of a photographing target for each area;
A photometric value selection step of selecting a first photometric value having a relatively large value from the photometric values for each region and a second photometric value having a relatively small value;
An exposure condition determining step of determining a first exposure condition in accordance with the first photometric value and determining a second exposure condition in accordance with the second photometric value;
A first photographing step of photographing the photographing object according to the first exposure condition to obtain a first original image;
A second photographing step of photographing the photographing object according to the second exposure condition to obtain a second original image;
An image area dividing step of dividing the first or second original image into a first image area having a pixel luminance greater than a predetermined value and a second image area having a luminance smaller than a predetermined value;
An image generation method comprising: the first original image included in the first image region; and an image combining step of combining the second original image included in the second image region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002324689A JP4105933B2 (en) | 2002-11-08 | 2002-11-08 | Digital camera and image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002324689A JP4105933B2 (en) | 2002-11-08 | 2002-11-08 | Digital camera and image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004159211A JP2004159211A (en) | 2004-06-03 |
JP4105933B2 true JP4105933B2 (en) | 2008-06-25 |
Family
ID=32804155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002324689A Expired - Lifetime JP4105933B2 (en) | 2002-11-08 | 2002-11-08 | Digital camera and image generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4105933B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9191573B2 (en) | 2013-03-15 | 2015-11-17 | Canon Kabushiki Kaisha | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100761376B1 (en) | 2005-12-19 | 2007-09-27 | 엠텍비젼 주식회사 | Image sensor with expanding dynamic range |
WO2007125866A1 (en) * | 2006-04-28 | 2007-11-08 | Nikon Corporation | Object extracting method, object pursuing method, image synthesizing method, computer program for extracting object, computer program for pursuing object, computer program for synthesizing images, object extracting device, object pursuing device, and image synthesizing device |
US8243155B2 (en) * | 2007-06-28 | 2012-08-14 | Motorola Mobility Llc | Method and apparatus for robust image processing |
KR101424717B1 (en) | 2007-09-13 | 2014-08-01 | 삼성전자주식회사 | Apparatus and method for exposure time setting |
KR101604068B1 (en) | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | High dynamic range imaging apparatus and method |
JP6218389B2 (en) * | 2013-02-07 | 2017-10-25 | キヤノン株式会社 | Image processing apparatus and image processing method |
-
2002
- 2002-11-08 JP JP2002324689A patent/JP4105933B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9191573B2 (en) | 2013-03-15 | 2015-11-17 | Canon Kabushiki Kaisha | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same |
Also Published As
Publication number | Publication date |
---|---|
JP2004159211A (en) | 2004-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20090098197A (en) | Digital photographing apparatus to control flash lighting, controlling method for the same, and recording medium which records the program for carrying the same method | |
JP2001177761A (en) | Digital camera | |
JP2001036806A (en) | Exposure controller for electronic camera | |
JP3546854B2 (en) | Camera body and exposure control method | |
CN101373254B (en) | Imaging device, and control method for imaging device | |
JP3665520B2 (en) | Liquid crystal display element control device for electronic still camera | |
JP4105933B2 (en) | Digital camera and image generation method | |
JP4182864B2 (en) | Electronic camera | |
JPH11177857A (en) | Digital camera and recording medium | |
US10554879B2 (en) | Imaging device, imaging device control method, and interchangeable lens | |
JP4763941B2 (en) | Display control device, control method, program, and recording medium | |
JP2009033386A (en) | Photographing device and method | |
JP2009219085A (en) | Imaging apparatus | |
JP2000125204A (en) | Electronic camera | |
JP2006261928A (en) | Imaging apparatus and digital camera | |
JP2001078083A (en) | Exposure time controller for electronic still camera | |
JP2002237993A (en) | Single-lens reflex electronic still camera | |
JP2002014405A (en) | Lens adapter for electronic camera and electronic camera | |
JP2005094467A (en) | Camera | |
JP2002290826A (en) | Digital camera | |
JP5672922B2 (en) | Imaging device | |
JP2007101860A (en) | Imaging apparatus | |
JP2005024857A (en) | Digital single lens reflex camera | |
JP4356585B2 (en) | Digital camera | |
JP4780877B2 (en) | Electronic camera and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4105933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |