JP4827811B2 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP4827811B2
JP4827811B2 JP2007219874A JP2007219874A JP4827811B2 JP 4827811 B2 JP4827811 B2 JP 4827811B2 JP 2007219874 A JP2007219874 A JP 2007219874A JP 2007219874 A JP2007219874 A JP 2007219874A JP 4827811 B2 JP4827811 B2 JP 4827811B2
Authority
JP
Japan
Prior art keywords
threshold value
image
value
imaging
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007219874A
Other languages
English (en)
Other versions
JP2009053428A (ja
Inventor
和廣 辻野
大介 水口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007219874A priority Critical patent/JP4827811B2/ja
Priority to US12/198,319 priority patent/US8237850B2/en
Publication of JP2009053428A publication Critical patent/JP2009053428A/ja
Application granted granted Critical
Publication of JP4827811B2 publication Critical patent/JP4827811B2/ja
Priority to US13/466,454 priority patent/US8471953B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

この発明は、撮像面で生成された被写界像を参照して光学レンズから撮像面までの距離を調整する、電子カメラに関する。
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、撮像面上の複数のブロックにそれぞれ対応する複数の焦点評価値が、レンズ位置毎に取得される。合焦制御は、こうして取得された複数の焦点評価値のうち、低コントラスト画像または高輝度画像が属するブロックと異なるブロックに対応する焦点評価値に基づいて実行される。これによって、光源のように合焦度が低下するほど焦点評価値が増大する被写体を捉えた場合に合焦制御に失敗する事態を回避することができる。
特開2002−182106号公報[G02B 7/28, 7/36, G03B 13/36, H04N 5/232, 5/238]
しかし、高輝度の被写体の中には、合焦度の低下に関わらず焦点評価値が増大しない被写体も存在する(たとえばホワイトボードや白色の柱)。背景技術ではこのような被写体の画像も合焦制御の対象から排除され、これによってフォーカス調整動作が不安定となる可能性がある。
それゆえに、この発明の主たる目的は、良好なフォーカス調整動作を実現することができる、電子カメラを提供することである。
請求項1の発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ) は、光学レンズ(12)を経た光学像が照射される撮像面を有し、光学象に対応する電子画像を繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像に基づいて光学レンズから撮像面までの距離を合焦点に対応する距離に調整する調整手段(S11)、撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を調整手段の注目対象から排除する排除手段(S37)、第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が撮像手段から出力された電子画像上に存在するか否かを、第2閾値を上回る輝度を有する画素が第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、第5閾値を上回ると判別したとき排除手段を起動する一方、第5閾値を上回らないと判別したとき排除手段を停止する制御手段(S35, S39,)、および第2部分画像の増大に応じて第1閾値を低減させる低減手段(S35’, S37’)を備える。
撮像手段は、光学レンズを経た光学像が照射される撮像面を有し、光学象に対応する電子画像を繰り返し出力する。調整手段は、撮像手段から出力された電子画像に基づいて、光学レンズから撮像面までの距離を合焦点に対応する距離に調整する。排除手段は、撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を調整手段の注目対象から排除する。制御手段は、第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が撮像手段から出力された電子画像上に存在するか否かを、第2閾値を上回る輝度を有する画素が第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、第5閾値を上回ると判別したとき排除手段を起動する一方、第5閾値を上回らないと判別したとき前記排除手段を停止する。
したがって、第1部分画像としてホワイトボードのような白色の物体の画像を想定し、第2部分画像として光源の画像を想定すると、調整手段の動作は、ホワイトボードおよび光源の両方を含む被写界を捉える場合とホワイトボードおよび光源のうちホワイトボードのみを含む被写界を捉える場合とで、次のように相違する。
つまり、前者の被写界を捉える場合は排除手段が起動され、合焦調整はホワイトボードおよび光源以外の被写体を参照して実行される。一方、後者の被写界を捉える場合は排除手段が停止され、合焦調整はホワイトボードを含む被写体を参照して実行される。これによって、良好なフォーカス調整動作が実現される。
請求項2の発明に従う電子カメラは、光学レンズ(12)を経た光学像が照射される撮像面を有し、光学象に対応する電子画像を繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像に基づいて光学レンズから撮像面までの距離を合焦点に対応する距離に調整する調整手段(S11)、撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を調整手段の注目対象から排除する排除手段(S37)、第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が撮像手段から出力された電子画像上に存在するか否かを、第2閾値を上回る輝度を有する画素の数が第6閾値を上回るか否かを基に判別し、第6閾値を上回ると判別したとき排除手段を起動する一方、第6閾値を上回らないと判別したとき排除手段を停止する制御手段(S39, S81)、および第2部分画像の増大に応じて第1閾値を低減させる低減手段(S37’, S81’)を備える。これによって、良好なフォーカス調整動作が実現される。
請求項の発明に従う電子カメラは、請求項1または2に従属し、撮像手段から出力された電子画像の高周波成分を積分する積分手段(6601~6664)をさらに備え、調整手段は積分手段の積分結果を参照して調整処理を実行する調整実行手段(S53)を含み、排除手段は第1部分画像に対応して積分手段の積分処理を禁止する。
請求項の発明に従う電子カメラは、請求項に従属し、積分手段は撮像面に割り当てられた複数のエリアにそれぞれ対応する複数の高周波成分を別々に積分し、調整手段は、複数のエリアの各々を注目エリアとして順に指定する指定手段(S43, S49)、および注目エリアに対応する積分手段の積分結果を注目エリアを含む1または2以上のエリアに属する部分画像の明るさが大きいほど低い値に修正する修正手段(S47, S65~S71)をさらに含む。この結果、調整手段は、高輝度画像よりもむしろ低輝度画像を重視して調整処理を実行する。
請求項の発明に従う電子カメラは、請求項に従属し、修正手段は、注目エリアに属する部分画像の明るさが第3閾値を上回るとき第1演算式に従う第1修正処理を実行する第1修正処理手段(S47)、および注目エリアに隣接する隣接エリアに属する部分画像の明るさが第4閾値を上回るとき第2演算式に従う第2修正処理を実行する第2修正処理手段(S65~S71)を含む。
請求項の発明に従う電子カメラは、請求項に従属し、第1修正処理および第2修正処理は択一的に実行され、かつ第1修正処理が第2修正処理に優先する。
請求項の発明に従う電子カメラは、請求項またはに従属し、第1演算式は注目エリアの積分結果を示す数値を注目エリアの明るさを示す数値の正規化値によって減算する処理を含み、第2演算式は注目エリアの積分結果を示す数値を注目エリアの明るさを示す数値と隣接エリアの明るさを示す数値との差分の正規化値によって減算する処理を含む。
請求項の発明に従う撮像制御プログラムは、光学レンズ(12)を経た光学像が照射される撮像面を有し、光学象に対応する電子画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセサ(46)に、撮像手段から出力された電子画像に基づいて光学レンズから撮像面までの距離を合焦点に対応する距離に調整する調整ステップ(S11)、撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を調整手段の注目対象から排除する排除ステップ(S37)、第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が撮像手段から出力された電子画像上に存在するか否かを、第2閾値を上回る輝度を有する画素が前記第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、第5閾値を上回ると判別したとき排除ステップを起動する一方、第5閾値を上回らないと判別したとき排除ステップを停止する制御ステップ(S35, S39,)、および第2部分画像の増大に応じて第1閾値を低減させる低減ステップ(S35’, S37’)を実行させるための、撮像制御プログラムである。
請求項1の発明と同様、良好なフォーカス調整動作を実現することができる。
請求項の発明に従う撮像制御方法は、光学レンズ(12)を経た光学像が照射される撮像面を有し、光学象に対応する電子画像を繰り返し生成する撮像手段(16)を備える電子カメラ(10)の撮像制御方法であって、撮像手段から出力された電子画像に基づいて光学レンズから撮像面までの距離を合焦点に対応する距離に調整する調整ステップ(S11)、撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を調整手段の注目対象から排除する排除ステップ(S37)、第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が撮像手段から出力された電子画像上に存在するか否かを、第2閾値を上回る輝度を有する画素が前記第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、第5閾値を上回ると判別したとき排除ステップを起動する一方、第5閾値を上回らないと判別した判別結果が否定的であるとき排除ステップを停止する制御ステップ(S35, S39,)、および第2部分画像の増大に応じて第1閾値を低減させる低減ステップ(S35’, S37’) を備える。
請求項1の発明と同様、良好なフォーカス調整動作を実現することができる。
この発明によれば、第1部分画像としてホワイトボードのような白色の物体の画像を想定し、第2部分画像として光源の画像を想定すると、調整手段の動作は、ホワイトボードおよび光源の両方を含む被写界を捉える場合とホワイトボードおよび光源のうちホワイトボードのみを含む被写界を捉える場合とで、次のように相違する。つまり、前者の被写界を捉える場合は排除手段が起動され、合焦調整はホワイトボードおよび光源以外の被写体を参照して実行される。一方、後者の被写界を捉える場合は排除手段が停止され、合焦調整はホワイトボードを含む被写体を参照して実行される。これによって、良好なフォーカス調整動作が実現される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、CMOS型のイメージセンサ16を構成する撮像部18の前面つまり撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷からなる生画像信号が生成される。
電源が投入されると、スルー画像処理が実行される。CPU46は、イメージセンサ16を構成するドライバ22にプリ露光動作および間引き読み出し動作の繰り返しを命令する。ドライバ22は、垂直同期信号VsyncがSG(Signal Generator)24から出力される毎に撮像面を露光し、これによって生成された電荷の一部をラスタ走査態様で撮像部18から読み出す。垂直同期信号Vsyncは、1/60秒毎にSG24から出力される。この結果、低解像度の生画像信号が1/60秒毎に撮像部18から出力される。なお、この実施例では垂直同期信号Vsyncの発生周期として1/60秒を想定しているが、当該発生周期は1/60秒に限られるものではない。
撮像部18から出力された各フレームの生画像信号は、イメージセンサ16を構成するCDS/AGC/AD回路20によって相関二重サンプリング,自動ゲイン調整およびA/D変換の一連の処理を施される。信号処理回路26は、CDS/AGC/AD回路20から出力された生画像データに白バランス調整,色分離,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路32を通してSDRAM34に書き込む。
LCDドライバ36は、こうしてSDRAM34に書き込まれた画像データをメモリ制御回路32を通して1/60秒毎に読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
図2を参照して、撮像面の中央には測光エリアEAおよびフォーカスエリアFAが割り当てられる。測光エリアEAおよびフォーカスエリアFAは、互いに同じサイズを有し、かつ互いに同じ位置に配置される。また、測光エリアEAおよびフォーカスエリアFAのいずれも、垂直方向および水平方向の各々において8分割される。つまり、測光エリアEAおよびフォーカスエリアFAの各々は、互いに同じサイズを有する64個の評価エリアによって形成される。この64個の評価エリアには、座標値(X,Y)=(1,1)〜(8,8)がそれぞれ割り当てられる。
輝度評価回路28は、信号処理回路26から出力されたYデータのうち各評価エリアに属するYデータを1/60秒毎に積分し、64個の評価エリアにそれぞれ対応する64個の輝度評価値(明るさ情報)を1/60秒毎に算出する。フォーカス評価回路30は、信号処理回路26から出力されたYデータのうち各評価エリアに属するYデータの高周波成分を1/60秒毎に積分し、64個の評価エリアにそれぞれ対応する64個のフォーカス評価値(合焦度情報)を1/60秒毎に算出する。
CPU46は、輝度評価回路28から出力された輝度評価値に基づいて適正EV値を算出するべく、上述のスルー画像処理と並列してスルー画像用AE処理を繰り返し実行する。算出された適正EV値を定義する絞り量および露光時間は、絞りユニット14およびドライバ22にそれぞれ設定される。この結果、LCDモニタ38に表示されるスルー画像の明るさが適度に調整される。
キー入力装置48上のシャッタボタン48sが操作されると、CPU46は、輝度評価回路28から出力された輝度評価値に基づいて最適EV値を算出するべく、記録用AE処理を実行する。算出された最適EV値を定義する絞り量および露光時間は、上述と同様、絞りユニット14およびドライバ22にそれぞれ設定される。CPU46はさらに、フォーカス評価回路30から出力されたフォーカス評価値に基づいてAF処理を実行する。フォーカスレンズ12は、AF処理によって合焦点に配置される。
AF処理が完了すると、記録処理が実行される。CPU46は、本露光動作および全画素読み出しを1回ずつ実行することをドライバ22に命令する。ドライバ22は、垂直同期信号Vsyncの発生に応答して撮像面に本露光を施し、これによって生成された全ての電荷をラスタ走査態様で撮像部18から読み出す。この結果、被写界を表す高解像度の生画像信号が撮像部18から出力される。
出力された生画像信号は上述と同様の処理を施され、この結果、YUV形式に従う高解像度の画像データがSDRAM34に確保される。I/F40は、こうしてSDRAM34に格納された高解像度の画像データをメモリ制御回路32を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。なお、スルー画像処理は、高解像度の画像データがSDRAM34に格納された時点で再開される。
図3を参照して、輝度評価回路28は、1つの分配器50と64個の積分回路5601〜5664とを含む。64個の積分回路5601〜5664は、64個の評価エリアにそれぞれ対応する。分配器50は、信号処理回路26から出力されたYデータを取り込み、取り込まれたYデータが属する評価エリアを特定し、そして取り込まれたYデータを特定された評価エリアに対応する積分回路に与える。
積分回路56**(**:01〜64)は、加算器52**およびレジスタ54**によって形成される。加算器52**は、分配器50から与えられたYデータ値をレジスタ54**の設定値と加算し、加算値をレジスタ54**に設定する。レジスタ54**の設定値は、垂直同期信号Vsyncが発生する毎にクリアされる。したがって、レジスタ54**の設定値は、現フレームの各評価エリアに属するYデータの積分値を表わす。この積分値が、上述した輝度評価値に相当する。以下では、評価エリア(X,Y)で求められた輝度評価値を“AE(X,Y)”と定義する。
図4を参照して、フォーカス評価回路30は、信号処理回路26から出力されたYデータの高周波成分を抽出するHPF56と、信号処理回路26から出力されたYデータ値を基準値REFと比較する比較器58とを含む。比較器58は、Yデータ値が基準値REF以下のときスイッチSW1をオンする一方、Yデータ値が基準値REFを上回るときスイッチSW1をオフする。HPF56から出力された高周波成分は、このようなスイッチSW1を経て分配器60に与えられる。
積分回路6601〜6664は、上述と同様、64個の評価エリアにそれぞれ対応する。分配器60は、スイッチSW1から出力された高周波成分を取り込み、取り込まれた高周波成分が属する評価エリアを特定し、そして取り込まれた高周波成分を特定された評価エリアに対応する積分回路に与える。
積分回路66**は、加算器62**およびレジスタ64**によって形成される。加算器62**は、分配器60から与えられたYデータ値をレジスタ64**の設定値と加算し、加算値をレジスタ64**に設定する。レジスタ64**の設定値もまた、垂直同期信号Vsyncが発生する毎にクリアされる。したがって、レジスタ64**の設定値は、現フレームの各評価エリアに属するYデータの高周波成分の積分値を表わす。この積分値が、上述したフォーカス評価値に相当する。以下では、評価エリア(X,Y)で求められたフォーカス評価値を“AF(X,Y)”と定義する。
ホワイトボードWBが設置された木目調の教室内の授業風景を捉えたときの被写界像を図5および図6に示す。図5および図6の主な相違点は、光源LSの有無である。光源LSと異なる被写体に焦点を合わせて図5に示す被写界を捉えると、光源LSの非合焦に起因するボケ画像が光源LSを表す画像の周囲に顕著に現れる(図7参照)。一方、ホワイトボードWBのような光源と異なる被写体については、非合焦に起因するボケ画像が被写体の周囲に顕著に現れることはない。
光源LSの周囲に現れるボケ画像のサイズは、光源LSに対する合焦度が低下するほど増大する。通常、光源LSのYデータ値は飽和するため、光源LSを表す画像のエッジに相当する高周波成分の量つまりフォーカス評価値は、光源LSに対する合焦度が低下するほど増大する。このため、光源LSを考慮してAF処理を実行すると、フォーカスレンズ12が非合焦位置に設定される可能性がある。
そこで、この実施例では、被写界が光源を含むか否かを判別する光源判別処理をAF処理に先立って実行し、図4に示す比較器58の+端子に与えられる基準値REFの大きさを判別結果に応じて変更するようにしている。基準値REFは、図5に示すような光源LSを含む被写界に対応して“TH1”に設定される一方、図6に示すような光源LSを含まない被写界に対応して“THmax”に設定される。なお、“THmax”は輝度飽和値に相当し、“TH1”は“THmax”よりも小さい。
光源LSを含むか否かの判別にあたっては、“TH2”を上回るYデータ値を有する部分画像が“TH1”を上回るYデータ値を有する部分画像に占める割合が参照される(TH2>TH1)。具体的には、Yデータ値が“TH1”を上回る画素数が係数K1として求められ、Yデータ値が“TH2”を上回る画素数が係数K2として求められ、そして“K2/K1”が閾値THRと比較される。“K2/K1”が閾値THRを上回るときは、光源LSが存在するとして基準値REFが“TH1”に設定される。一方、“K2/K1”が閾値THR以下のときは、光源LSが存在しないとして基準値REFが“THmax”に設定される。
上述のように、図5に示す被写界を撮影するとき基準値REFは“TH1”に設定され、図6に示す被写界を撮影するとき基準値REFは“THmax”に設定される。図5に示す光源LSおよびその周辺のYデータが図8(A)に示す要領で変化し、図5または図6に示すホワイトボードWBおよびその周辺のYデータが図9(A)に示す要領で変化する場合、フォーカス評価回路30の動作は、図5に示す被写界と図6に示す被写界との間で次のように相違する。
図5に示す被写界を撮影する場合、スイッチSW1は図8(B)に示す期間T1および図9(B)に示す期間T2にオフされる。この結果、光源LSおよびホワイトボードWBならびにその周辺の画像が、積分回路6601〜6664による積分処理の対象から排除される。一方、図6に示す被写界を撮影する場合、スイッチSW1は常にオンされる。積分回路6601〜8864は、フォーカスエリアFAに属する全被写界像について積分処理を実行する。
図5に示すような光源LSを含む被写界を捉えたときに上述のような高輝度排除機能(“TH1”を上回る高輝度画像をフォーカス評価の対象から排除する機能)をオンすることで、光源LSのボケ画像に起因して合焦制御に失敗する事態を回避することができる。また、図6に示すような光源LSを含まない被写界を捉えたときに高輝度排除機能をオフすることで、ホワイトボードWBがフォーカス評価の対象に含まれ、合焦制御の安定化が図られる。
ただし、図8(A)および図8(B)によれば、期間T1の開始直前および終了直後にHPF56から出力される高周波成分が積分回路6601〜6664による積分処理の対象に含まれてしまう。この結果、光源LSのボケ画像が正確な合焦制御を妨げる可能性がある。ここで、“TH1”を低く設定するとボケ画像の高周波成分を積分処理の対象から確実に排除できるが、そうすると中輝度の被写体の高周波成分までもが積分処理の対象から排除され、合焦制御が不可能となる可能性がある。
そこで、この実施例では、積分処理によって求められたフォーカス評価値AF(X,Y)を評価エリア(X,Y)およびその周辺の評価エリアの明るさが大きいほど小さい値に修正するようにしている。この結果、合焦制御は、高輝度画像の高周波成分よりもむしろ低輝度画像の高周波成分を重視して実行される。
フォーカス評価値AF(X,Y)は、具体的にはCPU46によって下記の要領で修正される。フォーカス評価値AF(X,Y)はまず、閾値THL1と比較される。AF(X,Y)>THL1であれば、フォーカス評価値AF(X,Y)は数1に従って修正される。
[数1]
AF(X,Y)=AF(X,Y)−AE(X,Y)*α
α:正規化のための定数
数1によれば、フォーカス評価値AF(X,Y)は、輝度評価値AE(X,Y)のα倍の数値によって減算される。
AF(X,Y)≦THL1であれば、隣接する評価エリア(X−1,Y),(X+1,Y),(X,Y−1)または(X,Y+1)で求められたフォーカス評価値AF(X−1,Y),AF(X+1,Y),AF(X,Y−1)またはAF(X,Y+1)が閾値THL2と比較される。
フォーカス評価値AF(X,Y)は、AF(X−1,Y)>THL2のとき数2に従って修正され、AF(X+1,Y)>THL2のとき数3に従って修正され、AF(X,Y−1)>THL2のとき数4に従って修正され、そしてAF(X,Y+1)>THL2のとき数5に従って修正される。なお、閾値THL2は閾値THL1よりも小さい。
[数2]
AF(X,Y)=AF(X,Y)−|AE(X−1,Y)−AE(X,Y)|*β
β:正規化のための定数
[数3]
AF(X,Y)=AF(X,Y)−|AE(X+1,Y)−AE(X,Y)|*β
[数4]
AF(X,Y)=AF(X,Y)−|AE(X,Y−1)−AE(X,Y)|*β
[数5]
AF(X,Y)=AF(X,Y)−|AE(X,Y+1)−AE(X,Y)|*β
数2によれば、フォーカス評価値AF(X,Y)は、輝度評価値AE(X−1,Y)およびAE(X,Y)の間の差分の絶対値をβ倍した数値によって減算される。数3によれば、フォーカス評価値AF(X,Y)は、輝度評価値AE(X+1,Y)およびAE(X,Y)の間の差分の絶対値をβ倍した数値によって減算される。数4によれば、フォーカス評価値AF(X,Y)は、輝度評価値AE(X,Y−1)およびAE(X,Y)の間の差分の絶対値をβ倍した数値によって減算される。数5によれば、フォーカス評価値AF(X,Y)は、輝度評価値AE(X,Y+1)およびAE(X,Y)の間の差分の絶対値をβ倍した数値によって減算される。
図10(A)〜図10(C)を参照して、上述の期間T1の終端近傍のYデータに基づく輝度評価値AE(4,2)およびAE(5,2)がそれぞれAE(4,2)>THL1およびAE(5,2)≦THL1の条件を満足する場合、フォーカス評価値AF(4,2)は数1に従って修正され、フォーカス評価値AF(5,2)は数2に従って修正される。厳密には、フォーカス評価値AF(4,2)は“AE(4,2)>THL1”のときに数1に従って修正される一方、フォーカス評価値AF(5,2)は“AE(4,2)>THL2”でかつ“AE(5,2)≦THL1”のときに数2に従って修正される。しかし、“THL1>THL2”であるため、“AE(4,2)>THL1”が満足されれば“AE(4,2)>THL2”も満足される。そこで、上述の説明では、フォーカス評価値AF(5,2)を数2に従って修正するための条件として、“AE(5,2)≦THL1”のみを課している。
CPU46は、図11〜図14に示す撮像制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
図11を参照して、ステップS1ではスルー画像処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38から出力される。ステップS3ではシャッタボタン48sが操作されたか否かを判別し、NOと判断される限り、ステップS5のスルー画像用AE処理を繰り返し実行する。この結果、LCDモニタ38に表示されるスルー画像の明るさが適度に調整される。シャッタボタン48sが操作されると、ステップS7で記録用AE処理を実行し、ステップS9で光源判別処理を実行し、ステップS11でAF処理を実行し、そしてステップS13で記録処理を実行する。
ステップS7の処理の結果、最適EV値を定義する絞り量および露光時間が、絞りユニット14およびドライバ22にそれぞれ設定される。また、ステップS9の処理の結果、光源を含む被写界を捉えるときは“TH1”が基準値REFとして設定され、光源を含まない被写界を捉えるときは“THmax”が基準値REFとして設定される。さらに、ステップS11の処理の結果、フォーカスレンズ12が合焦点に配置される。また、ステップS13の処理の結果、フォーカスレンズ12が合焦点に配置された直後の被写界を表す高解像度の画像データが記録媒体42に記録される。
図11に示すステップS9の光源判別処理は、図12に示すサブルーチンに従って実行される。ステップS21では、垂直同期信号Vsyncの発生に応答して係数K1およびK2の各々を“0”に設定する。ステップS23では現画素がフォーカスエリアFAの開始画素(左上座標の画素)であるか否かを判別し、YESであれば現画素のYデータ値が“TH1”を上回るか否かをステップS25で判別する。Yデータ値>TH1であればステップS25からステップS27進み、係数K1をインクリメントする。ステップS29では現画素のYデータ値が“TH2”を上回るか否かを判別し、YESであればステップS31で係数K2をインクリメントする。TH2>TH1であるため、Yデータ値が“TH1”を上回りかつ“TH2”以下であれば係数K1のみがインクリメントされ、Yデータ値が“TH2”を上回るときは、係数K1およびK2のいずれもがインクリメントされる。
ステップS25またはS29でNOと判断されるか、あるいはステップS31の処理が完了すると、現画素がフォーカスエリアFAの終了画素(右下座標の画素)であるか否かを判別する。ここでNOであればステップS23に戻る一方、YESであればステップS35に進む。ステップS35では、係数K1に対する係数K2の割合つまりK2/K1が閾値THRを上回るか否かを判別する。ここでYESと判断されるとステップS37に進み、“TH1”を基準値REFとして設定する。一方、NOと判断されるとステップS39に進み、“THmax”を基準値REFとして設定する。ステップS37またはS39の処理が完了すると、上階層のルーチンに復帰する。
図11に示すステップS11のAF処理は、図13〜図14に示すサブルーチンに従って実行される。垂直同期信号Vsyncが発生するとステップS41でYESと判断し、座標値(X,Y)を(1,1)に設定する。ステップS45では、輝度評価値AE(X,Y)が閾値THL1を上回るか否かを判別する。ここでYESであればステップS47に進み、フォーカス評価値AF(X,Y)を数1に従って修正する。ステップS49では座標値(X,Y)をラスタ走査方向に沿って更新し、ステップS51では更新された座標値(X,Y)が(8,8)を示すか否かを判別する。
ここでNOであればステップS45に戻り、YESであればステップS53でレンズ移動処理(山登りAF処理)を実行する。ステップS53の処理の結果、フォーカスレンズ12はフォーカス評価値AF(1,1)〜AF(8,8)の合計値が増大する方向に移動する。ステップS55ではフォーカスレンズ12が合焦点に到達したか否かを判別し、NOであればステップS41に戻る一方、YESであれば上階層のルーチンに復帰する。
ステップS45でNOと判断されると、フォーカス評価値AF(X−1,Y)が閾値THL2を上回るか否かをステップS57で判別し、フォーカス評価値AF(X+1,Y)が閾値THL2を上回るか否かをステップS59で判別し、フォーカス評価値AF(X,Y−1)が閾値THL2を上回るか否かをステップS61で判別し、フォーカス評価値AF(X,Y+1)が閾値THL2を上回るか否かをステップS63で判別する。
ステップS57でYESであればステップS65に進み、数2に従ってフォーカス評価値AF(X,Y)を修正する。ステップS59でYESであればステップS67に進み、数3に従ってフォーカス評価値AF(X,Y)を修正する。ステップS61でYESであればステップS69に進み、数4に従ってフォーカス評価値AF(X,Y)を修正する。ステップS63でYESであればステップS71に進み、数5に従ってフォーカス評価値AF(X,Y)を修正する。
ステップS65,S67,S69またはS71の処理が完了するか、ステップS57,S59,S61およびS63のいずれにおいてもNOと判断されると、ステップS49に戻る。
以上の説明から分かるように、イメージセンサ16は、フォーカスレンズ12を経た被写界の光学像が照射される撮像面を有し、被写界像を繰り返し生成する。フォーカス評価回路30は、撮像面によって捉えられる被写界上に複数の評価エリアを割り当て、このような複数の評価エリアの各々に属する部分画像の合焦度を検出する。
ただし、CPU46は、イメージセンサ16によって生成された被写界像のうち“TH1”を上回る輝度を有する部分画像をフォーカス評価回路30の注目対象から排除する高輝度排除機能(S37)を有する。CPU46は、“TH1”よりも大きい“TH2”を上回る輝度を有する部分画像が被写界像上に存在するか否かを判別し、判別結果が肯定的であるとき高輝度排除機能をオンする一方、判別結果が否定的であるとき高輝度排除機能をオフする(S35, S39)。
CPU46はまた、被写界像上に割り当てられた複数の評価エリアの各々を注目エリアとして順に指定し(S43, S49)、注目エリアに対応して検出された合焦度を注目エリアを含む1または2以上のエリアに属する部分画像の明るさが大きいほど低い値に修正する(S47, S65~S71)。
CPU46は、こうして修正された合焦度を参照して山登りAF処理を実行する。フォーカスレンズ12は、山登りAF処理によって合焦点に配置される。
“TH1”を上回りかつ“TH2”以下の輝度を有する部分画像としてホワイトボードWBのような白色の物体の画像を想定し、“TH2”を上回る輝度を有する部分画像として光源LSの画像を想定すると、合焦調整動作は、ホワイトボードWBおよび光源LSの両方を含む被写界を捉える場合とホワイトボードWBおよび光源LSのうちホワイトボードWBのみを含む被写界を捉える場合とで、次のように相違する。
つまり、前者の被写界を捉える場合は高輝度排除機能がオンされ、合焦調整動作はホワイトボードWBおよび光源LS以外の被写体を参照して実行される。一方、後者の被写界を捉える場合は高輝度排除機能がオフされ、合焦調整動作はホワイトボードWBを含む被写体を参照して実行される。
また、注目エリアの合焦度は、注目エリアを含むエリアの明るさが大きいほど小さい値に修正される。この結果、合焦調整動作は、高輝度画像よりもむしろ低輝度画像を重視して実行される。
この結果、光源LSの周囲のボケ画像に起因するデフォーカスを回避しつつ、フォーカスレンズ12を合焦点に正確に配置することができる。
なお、図12に示す光源判別処理では、基準値REFを“TH1”および“THmax”のいずれとするかを判断するにあたって、係数K1に対する係数K2の割合(=K2/K1)に注目するようにしたが、これに代えて係数K2の大きさつまりYデータ値が“TH2”を上回る画素の数に注目するようにしてもよい。この場合、図15に示すように、係数K2が閾値THNを上回るか否かを判別するステップS81を図12に示すステップS35に代えて実行するのが好ましい。ステップS81をステップS35に代替させるのであれば、図12に示すステップS25〜S27は必ずしも実行しなくてもよい。
また、図12に示す光源判別処理では、光源LSが存在する場合に基準値REFとして設定される数値を“TH1”のみとしているが、光源LSが存在する場合に基準値REFとして設定される数値を光源LSに相当する画像の大きさに応じて変更するようにしてもよい。この場合、図16に示すステップS35´およびS37´を図12に示す処理に追加するか、あるいは図17に示すステップS81´およびS37´を図15に示す処理に追加するのが好ましい。
図16によれば、“K2/K1”が閾値THR´(THR´>THR)を上回るか否かがステップS35´で判別される。ここでYESであれば、ステップS37´で“TH1−ΔTH”が基準値REFとして設定される。図17によれば、“K2”が閾値THN´(THN´>THN)を上回るか否かがステップS81´で判別される。ここでYESであれば、ステップS37´で“TH1−ΔTH”が基準値REFとして設定される。
この結果、光源LSを表すYデータが図18(A)に示すように変化する場合、図4に示すスイッチSW1は、図18(B)に示す期間T3にオフされる。図16または図17に示す処理を実行することで、高輝度排除機能の強さを光源LSを表す画像の大きさに応じて切り換えることができる。
この発明の一実施例の構成を示すブロック図である。 撮像面に割り当てられた測光エリアおよびフォーカスエリアの一例を示す図解図である。 図1実施例に適用される輝度評価回路の構成の一例を示すブロック図である。 図1実施例に適用されるフォーカス評価回路の構成の一例を示すブロック図である。 図1実施例によって捉えられる被写界の一例を示す図解図である。 図1実施例によって捉えられる被写界の他の一例を示す図解図である。 図1実施例の動作の一部を示す図解図である。 (A)は光源とその周辺におけるYデータの変化の一例を示す図解図であり、(B)は高輝度排除機能によって部分的に欠落したYデータの変化の一例を示す図解図である。 (A)はホワイトボードとその周辺におけるYデータの変化の一例を示す図解図であり、(B)は高輝度排除機能によって部分的に欠落したYデータの変化の一例を示す図解図である。 (A)はYデータの変化の一例を示す図解図であり、(B)は評価エリアの配置の一部を示す図解図であり、(C)は輝度評価値の変化の一例を示す図解図である。 図1実施例に適用されるCPUの動作の一部を示すフロー図である。 図1実施例に適用されるCPUの動作の他の一部を示すフロー図である。 図1実施例に適用されるCPUの動作のその他の一部を示すフロー図である。 図1実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。 図12実施例の変形例の一部を示すフロー図である。 図12実施例の他の変形例の一部を示すフロー図である。 図12実施例のその他の変形例の一部を示すフロー図である。 (A)は光源とその周辺におけるYデータの変化の他の一例を示す図解図であり、(B)は高輝度排除機能によって部分的に欠落したYデータの変化の他の一例を示す図解図である。
符号の説明
10 …ディジタルカメラ
12 …フォーカスレンズ
16 …イメージセンサ
28 …輝度評価回路
30 …フォーカス評価回路
46 …CPU

Claims (11)

  1. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整手段、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除手段
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素が前記第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、前記第5閾値を上回ると判別したとき前記排除手段を起動する一方、前記第5閾値を上回らないと判別したとき前記排除手段を停止する制御手段、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減手段を備える、電子カメラ。
  2. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整手段、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除手段、
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素の数が第6閾値を上回るか否かを基に判別し、前記第6閾値を上回ると判別したとき前記排除手段を起動する一方、前記第6閾値を上回らないと判別したとき前記排除手段を停止する制御手段、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減手段を備える、電子カメラ。
  3. 前記撮像手段から出力された電子画像の高周波成分を積分する積分手段をさらに備え、
    前記調整手段は前記積分手段の積分結果を参照して調整処理を実行する調整実行手段を含み、
    前記排除手段は前記第1部分画像に対応して前記積分手段の積分処理を禁止する、請求項1または2記載の電子カメラ。
  4. 前記積分手段は前記撮像面に割り当てられた複数のエリアにそれぞれ対応する複数の高周波成分を別々に積分し、
    前記調整手段は、前記複数のエリアの各々を注目エリアとして順に指定する指定手段、および前記注目エリアに対応する前記積分手段の積分結果を前記注目エリアを含む1または2以上のエリアに属する部分画像の明るさが大きいほど低い値に修正する修正手段をさらに含む、請求項記載の電子カメラ。
  5. 前記修正手段は、前記注目エリアに属する部分画像の明るさが第3閾値を上回るとき第1演算式に従う第1修正処理を実行する第1修正処理手段、および前記注目エリアに隣接する隣接エリアに属する部分画像の明るさが第4閾値を上回るとき第2演算式に従う第2修正処理を実行する第2修正処理手段を含む、請求項記載の電子カメラ。
  6. 前記第1修正処理および前記第2修正処理は択一的に実行され、かつ前記第1修正処理が前記第2修正処理に優先する、請求項記載の電子カメラ。
  7. 前記第1演算式は前記注目エリアの積分結果を示す数値を前記注目エリアの明るさを示す数値の正規化値によって減算する処理を含み、
    前記第2演算式は前記注目エリアの積分結果を示す数値を前記注目エリアの明るさを示す数値と前記隣接エリアの明るさを示す数値との差分の正規化値によって減算する処理を含む、請求項または記載の電子カメラ。
  8. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラのプロセサに、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整ステップ、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除ステップ
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素が前記第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、前記第5閾値を上回ると判別したとき前記排除ステップを起動する一方、前記第5閾値を上回らないと判別したとき前記排除ステップを停止する制御ステップ、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減ステップを実行させるための、撮像制御プログラム。
  9. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラの撮像制御方法であって、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整ステップ、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除ステップ
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素が前記第1部分画像に占める割合が第5閾値を上回るか否かを基に判別し、前記第5閾値を上回ると判別したとき前記排除ステップを起動する一方、前記第5閾値を上回らないと判別したとき前記排除ステップを停止する制御ステップ、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減ステップを備える、撮像制御方法。
  10. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラのプロセサに、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整ステップ、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除ステップ、
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素の数が第6閾値を上回るか否かを基に判別し、前記第6閾値を上回ると判別したとき前記排除ステップを起動する一方、前記第6閾値を上回らないと判別したとき前記排除ステップを停止する制御ステップ、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減ステップ実行させるための、撮像制御プログラム。
  11. 光学レンズを経た光学像が照射される撮像面を有し、前記光学象に対応する電子画像を繰り返し出力する撮像手段を備える電子カメラの撮像制御方法であって、
    前記撮像手段から出力された電子画像に基づいて前記光学レンズから前記撮像面までの距離を合焦点に対応する距離に調整する調整ステップ、
    前記撮像手段から出力された電子画像のうち第1閾値を上回る輝度を有する第1部分画像を前記調整手段の注目対象から排除する排除ステップ、
    前記第1閾値よりも大きい第2閾値を上回る輝度を有する第2部分画像が前記撮像手段から出力された電子画像上に存在するか否かを、前記第2閾値を上回る輝度を有する画素の数が第6閾値を上回るか否かを基に判別し、前記第6閾値を上回ると判別したとき前記排除ステップを起動する一方、前記第6閾値を上回らないと判別したとき前記排除ステップを停止する制御ステップ、および
    前記第2部分画像の増大に応じて前記第1閾値を低減させる低減ステップを備える、撮像制御方法。
JP2007219874A 2007-08-27 2007-08-27 電子カメラ Expired - Fee Related JP4827811B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007219874A JP4827811B2 (ja) 2007-08-27 2007-08-27 電子カメラ
US12/198,319 US8237850B2 (en) 2007-08-27 2008-08-26 Electronic camera that adjusts the distance from an optical lens to an imaging surface
US13/466,454 US8471953B2 (en) 2007-08-27 2012-05-08 Electronic camera that adjusts the distance from an optical lens to an imaging surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007219874A JP4827811B2 (ja) 2007-08-27 2007-08-27 電子カメラ

Publications (2)

Publication Number Publication Date
JP2009053428A JP2009053428A (ja) 2009-03-12
JP4827811B2 true JP4827811B2 (ja) 2011-11-30

Family

ID=40504566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007219874A Expired - Fee Related JP4827811B2 (ja) 2007-08-27 2007-08-27 電子カメラ

Country Status (1)

Country Link
JP (1) JP4827811B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219905B2 (ja) * 2009-04-07 2013-06-26 三洋電機株式会社 電子カメラ
JP5026484B2 (ja) * 2009-09-17 2012-09-12 シャープ株式会社 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055746A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、合焦制御方法、およびプログラム
JP2007072095A (ja) * 2005-09-06 2007-03-22 Sony Corp 撮像方法および撮像装置

Also Published As

Publication number Publication date
JP2009053428A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
JP5968068B2 (ja) 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
US8237850B2 (en) Electronic camera that adjusts the distance from an optical lens to an imaging surface
JP4974812B2 (ja) 電子カメラ
JP5195660B2 (ja) 撮像装置、合焦方法及びプログラム
JP2011139171A (ja) 映像処理装置及び映像処理方法
JP2010050798A (ja) 電子カメラ
JP2008187412A (ja) 電子カメラ
US10271029B2 (en) Image pickup apparatus and method of controlling an image pickup apparatus
JP5106283B2 (ja) ビデオカメラ
JP2007049320A (ja) 電子カメラ
JP4827811B2 (ja) 電子カメラ
JP4964062B2 (ja) 電子カメラ
JP2009017427A (ja) 撮像装置
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP5397426B2 (ja) 撮像装置、合焦方法及びプログラム
JP2010243790A (ja) 電子カメラ
JP2006079069A (ja) 電子カメラ
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP5316098B2 (ja) 撮像装置、撮像方法、および、プログラム
JP5213493B2 (ja) 動き検出装置
JP4666265B2 (ja) 像振れ補正装置及びその補正方法
JP4936799B2 (ja) 電子カメラ
JP5522299B2 (ja) 撮像装置、撮像方法、および、プログラム
JP5043178B2 (ja) 像振れ補正装置及びその補正方法
JP2009105694A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees