JP5006665B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

撮像装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP5006665B2
JP5006665B2 JP2007039828A JP2007039828A JP5006665B2 JP 5006665 B2 JP5006665 B2 JP 5006665B2 JP 2007039828 A JP2007039828 A JP 2007039828A JP 2007039828 A JP2007039828 A JP 2007039828A JP 5006665 B2 JP5006665 B2 JP 5006665B2
Authority
JP
Japan
Prior art keywords
camera shake
input
imaging
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007039828A
Other languages
English (en)
Other versions
JP2008205842A (ja
JP2008205842A5 (ja
Inventor
聡 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007039828A priority Critical patent/JP5006665B2/ja
Publication of JP2008205842A publication Critical patent/JP2008205842A/ja
Publication of JP2008205842A5 publication Critical patent/JP2008205842A5/ja
Application granted granted Critical
Publication of JP5006665B2 publication Critical patent/JP5006665B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルカメラ等の撮像装置における手ブレを軽減する技術に関するものである。
従来、銀塩フィルムカメラでは、装填したフィルムによって撮影感度が決定してしまっていたが、デジタルカメラでは撮像素子から読み出された画像信号をゲインアンプで減衰/増幅することで、感度を変更することを可能としている。
スチルカメラでは、銀塩フィルムカメラ、デジタルカメラを問わず、撮影時のシャッタ速度が撮影画像のブレに及ぼす影響が大きい。ブレには大きく分けて、撮影者の手の動きによる手ブレと、被写体の動きによる被写体ブレがあるが、両者ともシャッタ速度を速くすることでブレを軽減できることが知られている。
この場合、ブレを防ぐことを目的に、シャッタ速度を速くしただけでは主被写体の露光量が不足し、暗い画像となってしまう。そのため、ゲインアンプで画像信号を増幅して感度を上げることにより、ブレが目立たず、且つ適正露出の画像を得ることができる。
しかし、ゲインアンプで画像信号を増幅すると、信号のS/Nが悪化し、画像のノイズが増えてしまう弊害がある。
特公平08−022031号公報
そこで、特許文献1では、ブレの少ない画像を撮影するためにシャッタ速度を速くして感度を上げるモードと、ノイズの少ない画像を撮影するために感度を上げないモードを用意することが提案されている。ユーザーは、これらのモードから一方を選択することにより、自分の希望に合った画像を得ることが出来る。
しかしながら、上記の特許文献1に開示されている技術では、手ブレを軽減するモードと、画質を優先するモードのどちらを選択するかを撮影前に予め選択しておく必要があった。即ち、上記の2つのモードから一方を選択した後、撮影用の露出合わせやピント合わせといった撮影準備が行われ、本撮影動作が行われていた。
そのため、撮影準備後に撮影モードを切り替える必要が出てきた場合には、一旦撮影準備を解除してあらためてモードを切り替える必要があり、モード切替に時間がかかってシャッタチャンスを逃してしまうことがあるという問題があった。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、デジタルカメラ等の撮像装置において、手ブレを軽減する動作を行わせる場合の操作性を向上させることである。
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズにより結像された被写体の光学像を光電変換して画像信号を生成する撮像手段と、前記被写体の輝度に基づいて前記撮像手段の露光時間を算出する演算手段と、手ブレ軽減指示を撮影者が入力するための入力手段と、前記入力手段による手ブレ軽減指示の入力が有効であるか否かを撮影者に報知する報知手段と、前記演算手段により算出された前記撮像手段の露光時間が撮影者の手ブレが前記画像信号の画質に影響を与えると予想される露光時間である場合に、前記入力手段による手ブレ軽減指示の入力を有効にするとともに前記報知手段により撮影者に報知し、前記入力手段により撮影者からの手ブレ軽減指示が入力された場合に、手ブレ軽減動作を実行するように制御する制御手段と、を具備し、前記報知手段は発光手段を具備し、前記制御手段は、前記入力手段による手ブレ軽減指示の入力が有効である場合に前記発光手段を点滅させ、前記入力手段による手ブレ軽減指示の入力が無効である場合に前記発光手段を消灯させるとともに、前記手ブレ軽減動作が実行されている場合に前記発光手段を点灯させることを特徴とする。
また、本発明に係わる撮像装置の制御方法は、撮影レンズにより結像された被写体の光学像を光電変換して画像信号を生成する撮像手段と、手ブレ軽減指示を撮影者が入力するための入力手段と、前記入力手段による手ブレ軽減指示の入力が有効であるか否かを撮影者に報知する、発光手段を有する報知手段と、を備える撮像装置を制御する方法であって、前記被写体の輝度に基づいて前記撮像手段の露光時間を算出する演算工程と、前記演算工程において算出された前記撮像手段の露光時間が撮影者の手ブレが前記画像信号の画質に影響を与えると予想される露光時間である場合に、前記入力手段による手ブレ軽減指示の入力を有効にするとともに前記報知手段により撮影者に報知し、前記入力手段により撮影者からの手ブレ軽減指示が入力された場合に、手ブレ軽減動作を実行するように制御する制御工程と、を具備し、前記制御工程では、前記入力手段による手ブレ軽減指示の入力が有効である場合に前記発光手段を点滅させ、前記入力手段による手ブレ軽減指示の入力が無効である場合に前記発光手段を消灯させるとともに、前記手ブレ軽減動作が実行されている場合に前記発光手段を点灯させることを特徴とする。
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
本発明によれば、デジタルカメラ等の撮像装置において、手ブレを軽減する動作を行わせる場合の操作性を向上させることが可能となる。
以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。
図1は、本発明の一実施形態に係わる撮像装置としてのデジタルカメラの構成を示すブロック図である。
図1において、10は外光を集光して被写体像を結像させるためのレンズである。図1ではレンズは1枚として表現しているが、通常は複数枚のレンズから構成されている。また、レンズ駆動回路42によりレンズ位置を光軸に沿って前後に動かすことで焦点を調節したり、画角を調節する。さらに、手ブレ補正回路40にてレンズを駆動し、手ブレをキャンセルする方向にレンズの中心位置を移動させることで光学的な手ブレ補正を行う。なお、図1ではレンズを駆動することで手ブレ補正を実現しているが、CCD、CMOSセンサ等からなり被写体像を光電変換する撮像素子16を駆動することで同様に手ブレを補正することも可能である。また、レンズ10を含む鏡筒部を繰り出し及び繰り込みさせる方式とすることにより、カメラ未使用時の本体体積を小さくして携帯性を向上させることが可能である。
レンズ10を通過した光は絞り14により、その光量が調節される。システム制御回路60は、絞り制御情報を絞り駆動回路26に伝達することで、絞り14を制御する。システム制御回路60から絞り駆動回路26への制御情報伝達は、シリアル通信やパルス信号による通信などにより行われ、絞り駆動回路26の仕様に合わせて適した通信方法をとることができる。絞り14には、複数枚の羽根から構成された虹彩絞りや、あらかじめ、板に様々な径の穴を打ち抜いた丸絞りがある。システム制御回路60は、このような絞り14と絞り駆動回路26を用いて、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開いて光を多く取り込むように制御する。
システム制御回路60は、メカニカルシャッタの制御情報をメカニカルシャッタ駆動回路28に伝達することで、メカニカルシャッタ12を制御する。静止画撮影時の露光時間は、メカニカルシャッタ12の開閉時間により決定され、この開閉時間はシステム制御回路60が時間を判断し、メカニカルシャッタ駆動回路28に指示を出すことにより制御される。
レンズ10、メカニカルシャッタ12、絞り14を通過した光は撮像素子16により受光される。本実施形態では、撮像素子16をCCD(Charge Coupled Devices)センサーとしているが、CMOS(Complementary Metal Oxide Semiconductor)センサーを用いてもよい。
システム制御回路60は、撮像素子制御信号をTG(Timing Generator)24に伝達することで、撮像素子16を制御する。システム制御回路60からTG24への制御情報伝達方法としては、シリアル通信やパラレルバス通信などがあり、TG24の仕様に合わせて適した方法をとることができる。TG24は、システム制御回路60から受信した制御情報をもとに撮像素子16を駆動する。
撮像素子16は露光と、露光したデータの読み出し作業を周期的に行っており、この作業はTG24からの駆動信号を基準にして行われる。撮像素子16で露光して生成した画像信号のうち、特定のラインや特定の領域のみを読み出すことが可能である。これは、TG24から出力される読み出し制御パルスにより読み出し方式を変更することで実現できる。システム制御回路60は状況に応じて最適な読み出し方式を決定し、TG24に指示する。例えば、静止画撮影時は高解像度が要求されるため、撮像素子16の全データを読み出し、動画撮影時は、毎秒30フィールド、毎秒60フィールドなどの高いフレームレートが要求されるため、特定のラインだけ間引いて読み出す、といった使い分けを行う。
またTG24は、撮像素子16の露光時間を制御することもできる。任意のタイミングで、素子がチャージした電荷を掃き出すように、TG24から撮像素子16へ駆動信号を出力することでこれを可能としている。
撮像素子16から読み出された画像信号は、CDS(Correlated Double Sampler)回路18を通過する。CDS回路18は、相関二重サンプリング方式により画像信号のノイズ成分を除去することを主な役割とする。
その後、画像信号はPGA(Programmable Gain Amplifier)回路20により、信号レベルを減衰/増幅される。システム制御回路60は、増幅レベルをPGA20に伝達することで、増幅量を制御する。システム制御回路60からPGA20への制御情報伝達方法には、シリアル通信やパラレルバス通信などがあり、PGA20の仕様に合わせて適した方法をとることができる。
通常、撮像素子16の露出を適正にするには、絞り14で撮像素子16への入射光量を適切に設定すると共に、メカニカルシャッタ12により露光時間を適切に設定することで実現される。しかし、PGA20で画像信号を減衰/増幅することでも、擬似的に画像信号の露出を変えることができる。これは、絞りやシャッタ速度と並んで、撮影時の露出条件の一つである撮像素子の撮像感度としてユーザーに提供することができる。そして、この撮像感度を数値化したものがISO感度であり、高い数値ほど増幅率が大きくなる。
画像信号は、A/D変換器(Analog/Digital Converter)22にてアナログ信号からデジタル信号へ変換される。デバイスにより、デジタル信号のビット幅は10ビット、12ビット、14ビットなどがあり、後段の画像処理回路50は、複数種類のビット幅に対応可能に構成されている。なお、図1では、CDS回路18、PGA回路20、A/D変換器22をそれぞれ別のブロックとして表現しているが、これらの機能を一つのICパッケージに搭載したものを採用してもよい。
A/D変換器22によりデジタル化された画像データは画像処理回路50へ入力される。画像処理回路50は複数のブロックから構成され、さまざまな機能を実現している。
撮像素子16はカラーフィルターを通して各画素ごとに特定の色成分を抽出するのが一般的である。A/D変換器22から出力される画像信号は撮像素子16の画素及びカラーフィルター配置に対応したデータ形式になっている。そのため、輝度成分のみを評価して露出制御を行う自動露出制御(AE:Auto Exposure Control)に使用するには適さない形式である。
画像処理回路50は、画像信号から色情報を排除し、輝度情報のみを抜き出す機能を備えている。輝度情報を抜き出す際、図2に示した輝度グラフのように画像信号をいくつかの領域に分割し、個々の領域ごとに輝度情報を抜き出す。図2の輝度グラフは、人物が明るく背景が暗いシーンの輝度分布を表している。システム制御回路60は、画像処理回路50から取得したこのような輝度情報を用いて自動露出制御を行う。
自動露出制御を行う際、いくつかの測光方式をカメラとして備えることができる。図2に示した重みグラフは、画面中央に重みを置いたグラフであり、これを画像処理回路50により抽出された輝度グラフとかけあわせることで、画面中央の被写体に重点を置いた測光方式を実現できる。図2に示した重みグラフ以外にも、画面全体に均等な重みをかけるようにしたものや、画面下部のみ、あるいは画面上部のみといったような特定の領域に重みをおくことも可能である。
また、画像処理回路50は、A/D変換器22によりデジタル化された画像信号のレベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという重要な役割を担っている。
A/D変換器22によりデジタル化された画像データは画像処理回路50へ入力されると同時に、一時記憶メモリ30に記憶される。一旦、一時記憶メモリ30に記憶された画像データは再度読み出すことができ、システム制御回路60から画像データを参照したり、読み出した画像データを画像処理回路50に入力することが可能である。さらに、画像処理回路50で画像処理した画像データを一時記憶メモリ30に書き戻したり、システム制御回路60から任意のデータを書き込むことも可能である。
画像データをLCDなどの画像表示装置108に出力する場合、画像処理回路50で画像処理を行った画像データをVRAM34上に展開しておき、それをD/A変換器36でアナログ信号に変換して画像表示装置108に表示する。VRAM34上に画像データを展開する際、1つの画像データを画像表示装置108に最も大きくなるように、または複数の画像をマルチ画面表示するように、など、様々な表示形態に対応するようにVRAM34上に展開することができる。
画像表示装置108には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することができる。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッタ速度や絞り値、感度情報などの文字情報や、画像処理回路50で測定した輝度分布のようなグラフも表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインターフェースが構成される。また、画像表示装置108には、画像記憶媒体82に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張ブロック32にて伸張し、VRAM34にデータを展開する。このデータをD/A変換器36にてアナログ信号に変換して画像表示装置108に出力する。
図3は、本実施形態のデジタルカメラ100の外観を示す図である。
図3において、カメラの前面にはレンズ10が配置され、被写体像をとらえることができる。レンズ10の同一面にストロボユニット90が配置されている。主被写体が暗い場合にストロボ90を発光させることで十分な光量を得ることができ、暗い中でも速いシャッタ速度を保ち、適正露出の画像を得ることができる。図3では、レンズ10とストロボユニット90が同一面に配置されているが、この配置に限定されるものではなく、ストロボ光が直接主被写体に当たることを避けるために、ストロボがカメラ上方に向くように配置されていてもよい。
カメラ背面には、画像表示装置108が配置されている。前述したように、画像表示装置108には画像のみならず、文字情報やグラフなどを表示することができ、ユーザーとのインターフェースの役割を果たす。
モード切替スイッチ110は、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えることができる。図3では、幾つかのモードを切り替え可能な部材として表現しているが、撮影する特定のシーンに最適化した、風景撮影モードや人物撮影モードなどの多くの静止画撮影モードを備えることも可能である。
パラメータ選択スイッチ151,153,157,159により、撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般などをユーザーが選択することができる。
また、画像表示装置108は画像を表示すると共に、タッチパネルを備えることにより入力装置とすることもできる。
手ブレ軽減スイッチ155は、システム制御回路60に手ブレ軽減の指示を伝達すると共に、スイッチ自体に発光機能を備え、消灯/点灯/点滅といったパターンにより手ブレ軽減状態を光で表現する。図3では、発光機能を備えたスイッチとしているが、発光装置をスイッチとは別の位置に配置してもよい。手ブレ軽減スイッチ155は、レリーズボタン104 と併用することを考慮し、同時に押しやすい位置に配置する。さらに、手ブレ軽減スイッチにはLEDなどの発光機能も備えているため、ユーザーが目視し易い位置に配置する。図3では、手ブレ軽減スイッチ155は、レリーズボタン104を右手人差し指で押した場合に、右手親指で押しやすい位置(右手親指が自然にくる位置の近傍の位置)に配置されている。且つ、カメラ背面の画像表示装置108に隣接する位置に配置することにより、ユーザーが目視しやすくなる。他にも、撮影時に両手でカメラをホールドすることを想定し、左手で手ブレ軽減スイッチを押しやすい位置に配置することも可能である。
カメラ上部には、レリーズボタン104が配置されている。レリーズボタン104は一つの操作部材であるが、ボタンを浅く押下する場合(スイッチSW1がON)と深く押下する場合(スイッチSW2がON)の2段階の押下操作位置を備えている。自動露出制御や自動ピント制御を行うカメラの場合、レリーズボタン104を浅く押す(半押しする)ことにより、撮影準備動作としての自動露出制御とピント制御が行われ、深く押す(全押しする)ことで静止画撮影が行われる。
自動露出制御は、モード切替スイッチ110で選択されている撮影モードで適正露出が得られるように行われる。撮影モードには、ポートレートモードや風景モード、夜景モード、といった特定の被写体に特化したものや、オートモードといった汎用的なモードがある。また、シャッタ速度優先モードや絞り優先モードなど、撮影時のシャッタ速度や絞り値をあらかじめユーザーが指定しておくモードもある。これらのモードでは、PGA20で撮影感度を自動的に設定することや、あらかじめユーザーが感度を指定することが可能である。ユーザーがあらかじめ感度を指定する際、撮影感度を上げるほど画像信号のS/Nが低下するため、画質を優先したいユーザーは低感度を選択することが想定される。
図4は、自動露出制御時の絞り値とシャッタ速度の組み合わせを表わすプログラム線図の例を示す図である。
横軸にシャッタ速度302、縦軸に絞り値304をとり、カメラが自動で決定するシャッタ速度と絞り値の組み合わせを太線306で表わしている。この組合せの中からどれを選択するかは、画像処理回路50にて抽出された被写体輝度と、現在設定されているISO感度設定に基づいて決定される。また、シャッタ優先モード時はユーザーがあらかじめシャッタ速度302を選択するため、プログラム線図としては縦方向に絞り値が変化するだけの線図となる。同様に絞り優先モードでは横方向にシャッタ速度が変化するだけの線図となる。
また、プログラム線図にハッチングで示した領域310は、シャッタ速度が遅いことで手ブレの影響が大きいと判断される領域を示している。図4ではシャッタ速度1/50秒を境界としているが、これに限定されるものではなく、光学ズームによって変化する焦点距離や、手ブレ補正機能のON/OFFに応じて、手ブレの影響が大きいと判断されるシャッタ速度の範囲は変化する。
自動露出制御では、現在設定されているモードやISO感度に応じて絞り値とシャッタ速度の組み合わせを決定するが、図4の領域310の、手ブレの影響が大きいと思われるシャッタ速度の範囲になる場合がある。例えば感度ISO100を選択している状態で、カメラを被写体に向けレリーズボタン104を半押ししてSW1をONさせた結果、F2.8、1/13秒という絞り値とシャッタ速度が選択される場合がある。F2.8はこのカメラの開放絞り値でこれ以上絞りを開くことができないとした場合、シャッタ速度1/13秒で手ブレの影響が大きいとすれば、シャッタ速度を速くし、その分、感度を上げることで手ブレを軽減することが可能である。シャッタ速度は領域310を脱するように1/50秒まで速くすることが求められる。
本実施形態では、このように撮影準備時に決定したシャッタ速度では手ブレの影響が大きいと判断される場合、手ブレの影響が少ないと思われるシャッタ速度に瞬時にユーザーが切り替えることを可能とする。
以下、手ブレを軽減する露出制御に関し、詳細に説明する。
前述したように、レリーズボタン104 は浅く押下すること(半押し)で撮影準備を行い、深く押下すること(全押し)で撮影を開始するという2段階の押下が可能となっている。浅く押下して撮影準備を指示すると、撮影時の露出条件を決定する自動露出制御や、撮影時のピント合わせが行われる。
撮影準備後に決定された露出条件が、画像表示装置108に、図5のようにISO感度202、シャッタ速度204、絞り値206として表示されたとする。図5では、ISO感度202は、ISO100となっている。これは、ユーザーがあらかじめ画質を優先するためにISO100を選択する場合と、ユーザーがあらかじめ画質を優先する撮影モードを選択し、プログラム線図に従いカメラがISO100に決定する場合とがある。またシャッタ速度と絞り値は、1/13秒、F2.8となっている。これは、プログラム線図に従いシャッタ速度と絞り値の両方をカメラが決定する場合と、シャッタ速度優先モードや絞り優先モード、マニュアルモードにて、シャッタ速度と絞り値の一方、あるいは両方をユーザーが指定したことにより決定される場合とがある。
図5では、カメラがシャッタ速度1/13秒では手ブレの影響を受ける可能性が大きいと判断し、ユーザーに注意を促す意味でその旨を示すアイコン208を表示している。この手ブレの影響を受ける可能性が大きいと判断される場合に、手ブレ軽減スイッチ155の発光装置を点滅させ、手ブレ軽減スイッチ155が操作可能であることをユーザーに伝える。
撮影準備完了状態、かつ手ブレ軽減スイッチが点滅中にユーザーが手ブレ軽減スイッチ155を押下すると、手ブレ軽減機能が動作する。図5では、シャッタ速度204が1/50秒まで速くなり、シャッタ速度を速くした段数に相当する分、感度202をISO400まで高くすることで、手ブレを軽減する露出としている。手ブレを軽減する露出に設定することができた場合、アイコン208は非表示とし、かつ、手ブレ軽減スイッチ155は機能済の状態として点滅から点灯状態に変化する。プログラム線図上では図5のように、絞り値はF2.8のまま、シャッタ速度及びISO感度が変化する。
さらに手ブレ軽減後、手ブレ軽減スイッチ155が点灯状態で再度手ブレ軽減スイッチ155を押下した場合、図6のように、当初の撮影準備で決定したISO100、1/13秒、F2.8の露出に戻すことができる。
本実施形態では、カメラは画像表示装置108を備え、シャッタ速度、絞り値、ISO感度情報、手ブレを示すアイコンなどの情報を表示している。しかし、必ずしも画像表示装置108をカメラに搭載する必要は無く、また、搭載していても、省電力を目的として画像表示装置を機能させないこともできる。このように、絞り値、シャッタ速度、ISO感度を表示していなくとも、手ブレ軽減スイッチ155の発光装置による消灯/点灯/点滅といった発光パターンにより、手ブレ軽減実施状態をユーザーに知らせることができる。
手ブレ軽減時の最大感度アップ量は、カメラがあらかじめ所定値に決めておくことも可能であるが、ユーザーが任意に選択することも可能である。なお、ユーザーは、操作部70に配置された不図示の最大感度選択スイッチにより最大感度アップ量を指定することができる。感度アップによる弊害としてS/N悪化による画質の低下がある。どこまで画質が低下することを許すか、また許されるかによって、最大感度アップ量は決定される。
最大感度アップ値がISO800のときに、手ブレ軽減露出にすることが出来た場合、出来なかった場合、手ブレ軽減自体が当初から機能しない場合、の例を図7、図8、図9にそれぞれ示す。
図7では、ISO100、1/6秒、F2.8に決定された露出をISO800、1/50秒、F2.8にすることで手ブレ軽減が可能となった場合を示している。しかし、図8では、ISO100、0”5(1/2秒)、F2.8に決定された露出をISO800、1/15秒、F2.8にしかすることができず、手ブレ軽減の目標であるシャッタ速度1/50秒に達していない。適正露出を保つことを無視すれば、ISO800のままシャッタ速度を1/50秒にすることができるが、撮影画像がアンダー露出となってしまう。そのため、図8では適正露出を保つように最大感度アップ値のISO800を上限とし、シャッタ速度を1/15秒として適正露出を保つようにしている。この時、手ブレ軽減は実施したので、手ブレ軽減スイッチ155は点滅から点灯に変化するが、手ブレを示すアイコン208は表示されたままとなる。図9では、当初の撮影準備にて決定された露出が ISO800、1/15秒、F2.8であり、手ブレの影響が大きいと判断されるが、すでに最大感度アップ値のISO800となっており、この場合、手ブレ軽減スイッチ155は機能せず消灯状態となる。
続いて図10に、光学ズームを望遠方向にして焦点距離が変化した例を示す。図10では、焦点距離の変化に伴い手ブレ軽減シャッタ速度が1/125秒と速くなっている。撮影準備において、ISO100、1/30秒、F5.0に決定された露出は、ISO400、1/125秒、F5.0にすることで手ブレ軽減が可能となっている。
さらに図11に、手ブレ補正を機能させた場合の例を示す。図11では、手ブレ補正の効果に伴い手ブレ軽減シャッタ速度が1/15秒と遅くなっている。撮影準備において、ISO100、1/4秒、F2.8に決定された露出は、ISO400、1/15秒、F2.8 にすることで手ブレ軽減が可能となっている。ただし、これは手ブレのみを考慮した場合の動作であって、手ブレ補正ONに応じて手ブレ軽減シャッタ速度を遅くした場合、撮影画像に被写体ブレが発生しやすくなることもある。
最後に図12に、手ブレ軽減時に絞り値を変更する場合の例を示す。カメラにはユーザーがあらかじめ絞り値を選択しておく絞り優先モードを備えているものがある。ユーザーがF8.0といった小絞り値を選択して撮影準備した場合、ISO100、0”6、F8.0に露出が決定されるとする。この状態で手ブレ軽減スイッチ155を押下すると、まずは絞り値を開放絞り値であるF2.8まで開くと共に、開いた段数分シャッタ速度を1/13秒に速くする。しかし、手ブレ軽減シャッタ速度の1/50秒にはまだ達していないため、次に感度をISO100からISO400に上げることにより手ブレ軽減シャッタ速度を達成することができる。図12では始めに絞り値を変更してその後感度を変更しているが、これに限定されるものではなく、始めに感度を上げた後に絞りを開くようにすることも可能である。
以上、手ブレ軽減時の動作を図示した。続いて、カメラ内の制御フローチャートを示す。
図13は、デジタルカメラ100が起動してからの動作を示すフローチャートである。
カメラの電源スイッチ102が押下された後、モード切替スイッチ110の設定状態が撮影モードか再生モードかを判別する(ステップS102)。フローでは撮影モードと再生モードの2種類のモードを切替可能としているが、静止画撮影モードや動画モード、静止画モードの中でもポートレートモードや風景モードなど、様々なモードを切り替え可能とすることもできる。
撮影モードが選択されていた場合、ステップS104に進み、撮影に必要な各種デバイスの初期化を行う。レンズ10を含む鏡筒ユニットが繰り出し方式の場合は鏡筒繰り出し処理を行い、画像処理回路50などカメラ内部のLSIやCPUの初期化、起動も行われる。
画像表示装置108をカメラファインダーとして使用するために、被写体のライブ画像を出力する場合(ステップS106、Yes)、ライブ画像の露出、色味、ピントを制御する(ステップS108)。ピント制御は、常に主被写体にピントを合わせつづけるモードや、撮影準備時にのみピントを合わせるモードを備える場合がある。そのため、ライブ画像を出力する際に常にピントを合わせるわけではなく、所定位置にフォーカスレンズを駆動するのみとする場合もある。
ライブ画像を出力する準備が整った後、画像表示装置108にライブ画像出力を開始させる(ステップS110)。ユーザーは画像表示装置108に表示されたライブ画像を見て被写体のフレーミングを行い、ファインダーとして使用することができる。画像表示装置にライブ画像を出力しない場合、出来ない場合、あるいは画像表示装置自体を備えていない場合、光学ファインダー106をファインダーとして使用する。
カメラ起動直後のモード判定(ステップS102)で再生モードと判定された場合、ステップS112に進み、再生に必要な各種デバイスを初期化する。例えばレンズ10や撮像素子16は初期化及び起動する必要が無く、再生表示する画像を読み出すために画像記憶媒体80や画像処理回路50を初期化及び起動する。
次に、画像読み込み(ステップS114)を行い、画像表示装置108に再生画像を表示する(ステップS116)。
図14に、カメラ起動後の撮影条件選択のフローチャートを示す。
カメラ起動後、ユーザーはパラメータ選択スイッチ151,153,157,159やモード切替スイッチ110を操作して撮影条件を選択することができる。起動直後にモード切替スイッチ110の状態に応じてカメラを起動したが、起動後にもモード変更することが可能である(ステップS222)。再生モードから撮影モード、撮影モードから再生モードといったモード変更や、ポートレートモード、風景モードといった、撮影モードの中でのモード変更も可能である。その中で、ユーザーが撮影用の絞り値を指定できるAv優先モード、シャッタ速度を指定できるTv優先モード、絞り値及びシャッタ速度の両方を指定できるマニュアルモードがある。これらのモードが選択された後、ユーザーは絞り値やシャッタ速度を選択することができる(ステップS242, ステップS244, ステップS262, ステップS264)。さらに各モードにおいて、撮影感度を選択することができる(ステップS282)。カメラが自動で感度を選択させるように自動感度モードを選択したり、高感度によるS/N悪化を避けたいユーザーは低感度を選択したりすることができる。
図15は、レリーズボタン104を押下した場合の動作を示すフローチャートである。
レリーズボタン104は押下の深さによって撮影準備と撮影開始の指示を行うことができるが、フローでは、撮影準備をスイッチSW1、撮影開始をスイッチSW2として記載する。
スイッチSW1のON後、被写体輝度の測定が行われる(ステップS302)。前述の図2のように、被写体輝度測定時には画面内を領域ごとに分割し、重みをかけることで画面のどこに重点を置いて測定するかを切り替えることができる。ピント合わせ(ステップS304)では、レンズ駆動回路42でレンズ10のフォーカスレンズを駆動することで、被写体にピントを合わせる。ピント合わせ時、被写体輝度測定(ステップS302)の場合と同様に、画面内のどこにピントを合わせるかを指定することができる。
ピント合わせ後、撮影用の露出条件として絞り値、シャッタ速度、ISO感度を決定する。撮影モードによっては、絞り値、シャッタ速度、ISO感度それぞれをユーザーが既に指定している場合と、被写体輝度測定(ステップS302)の結果に応じて、カメラがプログラム線図に従い自動で値を選択する場合がある。
決定した各値を表示装置108に表示する(ステップS308)。この時、図5のように、決定したシャッタ速度では手ブレの影響が大きいと判断される場合、手ブレを示すアイコン208を表示することでユーザーに手ブレの警告を行う。続いて、手ブレ軽減動作を許可するか禁止するかの判断を行う(ステップS310, ステップS312, ステップS314)。
ストロボ非発光(ステップS310)、手ブレの影響度判定(ステップS312)、感度を上げることが可能か否か(ステップS314)を判定することで、手ブレ軽減の可否を決める。そして、手ブレ軽減動作を許可する場合は手ブレ軽減スイッチ155の発光装置を点滅させ(ステップS316)、手ブレ軽減動作を禁止する場合は手ブレ軽減スイッチ155の発光装置を消灯させる(ステップS320)。手ブレの影響度判定(ステップS312)では、現在の焦点距離、手ブレ補正の入り切り情報を元に手ブレの影響度を判定する。
図16に、焦点距離と手ブレの影響が大きいと判断されるシャッタ速度の関係を、手ブレ補正入り時と切り時で示す。
通説として、1/焦点距離(mm)=手ブレシャッタ速度(秒)が知られているが、実際には撮影者の技量や撮影状況、カメラの形状によるグリップのしやすさなど、様々な要因がからみ、一概にどのシャッタ速度でブレの恐れがあるかを定義することは難しい。また、カメラによる手ブレ補正機能の有無によって、手ブレ度合いが全く違ってくる。これら諸要因を考慮し、図16に示したようなグラフをカメラ内部に持ち、手ブレ判定(ステップS312)を行う。
ここまでで、SW1のONによる撮影準備動作が完了する。このあと、キー操作を受け付ける(ステップS330)。そして、SW1のOFFにて撮影準備を解除するか、SW2のONにて決定した露出条件でそのまま撮影を行うか(ステップS334)、手ブレ軽減スイッチ155の押下を受けて手ブレ軽減動作を行うか(ステップS332)を判断する。
手ブレ軽減スイッチ155の押下後の動作のフローチャートを図17に示す。
手ブレ軽減スイッチ155 はトグル動作し、手ブレ軽減前後の露出を切り替えることができるため、まず手ブレ軽減済かどうかを判断する(ステップS402)。手ブレ軽減前の場合、感度アップ可能かどうかを判断し(ステップS404)、感度アップ可能な場合、感度アップ及びシャッタ速度高速化を同量だけ行う(ステップS406、ステップS408)。図17では、感度をSv++、シャッタ速度をTv++とし、感度、シャッタ速度の分解能に応じて最小増加量ずつ増加させていくものとしているが、1/3段単位や1/2段単位というように、所定の増加量ずつ増加させることも可能である。
感度アップ(ステップS406)、シャッタ速度高速化(ステップS408)を行った後、手ブレの影響度を判定する(ステップS410)。判定により、まだ手ブレの影響が大きい場合、再度、感度アップ、シャッタ速度高速化を行うループを形成し、手ブレの影響が軽減できると判断できるまでループを続ける。途中、最大感度アップ値に達した場合(ステップS404、No)、これ以上行っても手ブレを軽減できないとしてループを抜ける。この後、手ブレ軽減処理を行ったとして、手ブレ軽減スイッチ155の発光装置を点滅状態から点灯状態に変化させる(ステップS412)。
一方、既に手ブレ軽減済みの状態で手ブレ軽減スイッチ155が押下された場合(ステップS402、Yes)、ステップS422に進む。ステップS422では、当初のSW1のONによる撮影準備で決定された絞り値、シャッタ速度、感度に戻り、発光装置を点灯から点滅に変化させる(ステップS424)。
図18は、絞りを併用することで手ブレ軽減を実現する動作を示すフローチャートである。
図17との違いは、手ブレ軽減実施時に、まず絞りを開放方向に開くことが可能かどうかを判断している(ステップS434)点である。ステップS434で、絞りを開くことが出来る場合は開く(ステップS436)と共にシャッタ速度を高速化する(ステップS438)。その後手ブレの影響度を判定し(ステップS430)、手ブレの影響が大きい場合(ステップS430、Yes)、ステップS434に戻り、絞りを少しずつ開いていくループを形成する。絞りを開いたことで手ブレの影響を軽減できると判断された場合(ステップS430、No)、手ブレ軽減スイッチ155の発光装置を点滅状態から点灯状態に変化させ(ステップS412)、手ブレ軽減処理を終了する。手ブレを軽減できず、かつこれ以上絞りを開くことができないと判断された場合(ステップS434、No)、図17と同様に感度アップによる手ブレ軽減処理を行う。
このように、絞りを開くことで手ブレを軽減できるのは、Av優先モードやマニュアルモードでユーザーが開放絞り値以外を選択している場合が想定される。カメラがプログラム線図に従って自動で絞り値とシャッタ速度を決定するモードでは、通常は手ブレの影響が少ないようにシャッタ速度を遅くして低輝度被写体に追従する前に、先に絞り値を開放まで開くようなプログラム線図を設計するからである。
このように手ブレ軽減処理を行った後、図15のステップS334でSW2がONされ、決定した露出制御値にて撮影が行われる。
以上が手ブレ軽減に関するフローである。
このような実施形態により、SW1のONによる撮影準備後に、少ない操作で手ブレ軽減可能なシャッタ速度に瞬時に切り替えることが可能となり、ユーザーの露出選択の幅が広がると共に、カメラの使い勝手が向上する。
なお、上記の実施形態では、ストロボ90を使用しない場合の手ブレ軽減動作について説明した。一方、ストロボ90を使用して撮影を行う場合には、ユーザーの手ブレの影響はほとんどないと考えられるので、手ブレ軽減スイッチ155が押下された場合でも、手ブレ軽減処理を行わないようにすることが望ましい。
また、上記の実施形態では、撮像素子16により生成された画像信号から被写体の輝度の情報を得て露出制御を行うように説明した。しかし、撮像素子16とは別に、測光用のセンサを設けるようにしても良い。
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
本発明の一実施形態に係わる撮像装置としてのデジタルカメラの構成を示すブロック図である。 被写体の輝度分布を示す図である。 一実施形態のデジタルカメラの外観を示す図である。 自動露出制御時の絞り値とシャッタ速度の組み合わせを表わすプログラム線図の例を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 手ブレ軽減動作における露出変更の様子を示す図である。 デジタルカメラが起動してからの動作を示すフローチャートである。 カメラ起動後の撮影条件選択のフローチャートである。 レリーズボタンを押下した場合の動作を示すフローチャートである。 焦点距離と手ブレの影響が大きいと判断されるシャッタ速度の関係を、手ブレ補正入り時と切り時で示した図である。 手ブレ軽減スイッチの押下後の動作を示すフローチャートである。 絞りを併用することで手ブレ軽減を実現する動作を示すフローチャートである。
符号の説明
10 レンズ
12 メカニカルシャッタ
14 絞り
16 撮像素子
18 CDS回路
20 PGA回路
22 A/D変換器
24 TG
26 絞り駆動回路
28 メカニカルシャッタ駆動回路
50 画像処理回路
34 VRAM
32 圧縮伸張回路
36 D/A変換器
108 画像表示装置
60 システム制御回路
70 カメラ操作部
15 手ブレ軽減ボタン

Claims (14)

  1. 撮影レンズにより結像された被写体の光学像を光電変換して画像信号を生成する撮像手段と、
    前記被写体の輝度に基づいて前記撮像手段の露光時間を算出する演算手段と、
    手ブレ軽減指示を撮影者が入力するための入力手段と、
    前記入力手段による手ブレ軽減指示の入力が有効であるか否かを撮影者に報知する報知手段と、
    前記演算手段により算出された前記撮像手段の露光時間が撮影者の手ブレが前記画像信号の画質に影響を与えると予想される露光時間である場合に、前記入力手段による手ブレ軽減指示の入力を有効にするとともに前記報知手段により撮影者に報知し、前記入力手段により撮影者からの手ブレ軽減指示が入力された場合に、手ブレ軽減動作を実行するように制御する制御手段と、を具備し、
    前記報知手段は発光手段を具備し、前記制御手段は、前記入力手段による手ブレ軽減指示の入力が有効である場合に前記発光手段を点滅させ、前記入力手段による手ブレ軽減指示の入力が無効である場合に前記発光手段を消灯させるとともに、前記手ブレ軽減動作が実行されている場合に前記発光手段を点灯させることを特徴とする撮像装置。
  2. 前記手ブレ軽減動作では、前記撮像手段の露光時間を短くすることを特徴とする請求項1に記載の撮像装置。
  3. 前記入力手段の操作により前記手ブレ軽減動作を取り消すことが可能であることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記報知手段は前記入力手段と一体化されていることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記撮像手段により逐次生成された画像信号を逐次表示する表示手段をさらに具備し、前記制御手段は、前記演算手段により算出された前記撮像手段の露光時間が撮影者の手ブレが前記画像信号の画質に影響を与えると予想される露光時間である場合に、その旨を示すアイコンを前記表示手段に表示することを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  6. 前記画像信号を増幅する増幅手段をさらに具備し、前記制御手段は、前記増幅手段の増幅率を変更することにより前記撮像手段の撮像感度を調節し、前記撮像手段の露光時間が短くされる量に対応する量だけ前記撮像感度を増加させることを特徴とする請求項2に記載の撮像装置。
  7. 前記撮像感度を増加させる場合の該撮像感度の最大値を指定する最大感度指定手段をさらに具備することを特徴とする請求項に記載の撮像装置。
  8. 前記撮影レンズ内に設けられた絞りを駆動する絞り駆動手段をさらに具備し、該絞り駆動手段は、前記制御手段により前記撮像手段の露光時間が短くされる量に対応する量だけ前記絞りを開く方向に駆動することを特徴とする請求項2に記載の撮像装置。
  9. 前記撮影レンズ内に設けられた絞りを駆動する絞り駆動手段と、前記画像信号を増幅する増幅手段とをさらに具備し、前記制御手段は、前記増幅手段の増幅率を変更することにより前記撮像手段の撮像感度を調節し、前記撮像手段の露光時間が短くされる量に対応して前記撮像感度を増加させると共に前記絞りを開く方向に駆動させるように前記絞り駆動手段を制御することを特徴とする請求項2に記載の撮像装置。
  10. 前記制御手段は、前記撮影レンズの焦点距離に応じて、前記撮像手段の露光時間を短くする量を変更することを特徴とする請求項2に記載の撮像装置。
  11. 前記演算手段により算出された前記撮像手段の露光時間を短くすることができない場合に、前記制御手段は、前記入力手段による手ブレ軽減指示を無効にすることを特徴とする請求項1に記載の撮像装置。
  12. 前記被写体を照明するための照明手段を使用して撮像を行う場合には、前記制御手段は、前記入力手段による手ブレ軽減指示を無効にすることを特徴とする請求項1に記載の撮像装置。
  13. 撮影レンズにより結像された被写体の光学像を光電変換して画像信号を生成する撮像手段と、手ブレ軽減指示を撮影者が入力するための入力手段と、前記入力手段による手ブレ軽減指示の入力が有効であるか否かを撮影者に報知する、発光手段を有する報知手段と、を備える撮像装置を制御する方法であって、
    前記被写体の輝度に基づいて前記撮像手段の露光時間を算出する演算工程と、
    前記演算工程において算出された前記撮像手段の露光時間が撮影者の手ブレが前記画像信号の画質に影響を与えると予想される露光時間である場合に、前記入力手段による手ブレ軽減指示の入力を有効にするとともに前記報知手段により撮影者に報知し、前記入力手段により撮影者からの手ブレ軽減指示が入力された場合に、手ブレ軽減動作を実行するように制御する制御工程と、を具備し、
    前記制御工程では、前記入力手段による手ブレ軽減指示の入力が有効である場合に前記発光手段を点滅させ、前記入力手段による手ブレ軽減指示の入力が無効である場合に前記発光手段を消灯させるとともに、前記手ブレ軽減動作が実行されている場合に前記発光手段を点灯させることを特徴とする撮像装置の制御方法。
  14. 請求項13に記載の制御方法をコンピュータに実行させるためのプログラム。
JP2007039828A 2007-02-20 2007-02-20 撮像装置及びその制御方法及びプログラム Expired - Fee Related JP5006665B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007039828A JP5006665B2 (ja) 2007-02-20 2007-02-20 撮像装置及びその制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007039828A JP5006665B2 (ja) 2007-02-20 2007-02-20 撮像装置及びその制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2008205842A JP2008205842A (ja) 2008-09-04
JP2008205842A5 JP2008205842A5 (ja) 2010-03-04
JP5006665B2 true JP5006665B2 (ja) 2012-08-22

Family

ID=39782849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007039828A Expired - Fee Related JP5006665B2 (ja) 2007-02-20 2007-02-20 撮像装置及びその制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5006665B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6797566B2 (ja) * 2016-06-02 2020-12-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174520A (ja) * 1997-12-16 1999-07-02 Canon Inc 撮像装置
JP2005286790A (ja) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd 携帯端末装置
JP2005292740A (ja) * 2004-04-06 2005-10-20 Canon Inc 電子カメラ
JP4752223B2 (ja) * 2004-09-24 2011-08-17 カシオ計算機株式会社 カメラ装置
JP4487811B2 (ja) * 2005-03-14 2010-06-23 ソニー株式会社 撮影装置
JP2006352715A (ja) * 2005-06-17 2006-12-28 Casio Comput Co Ltd デジタルカメラ、及びその露出制御方法
JP2007025129A (ja) * 2005-07-14 2007-02-01 Fujifilm Holdings Corp 露出設定方法及び装置
JP2007028546A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp 撮像装置

Also Published As

Publication number Publication date
JP2008205842A (ja) 2008-09-04

Similar Documents

Publication Publication Date Title
JP5249077B2 (ja) 撮像装置及び画像処理方法
JP4510768B2 (ja) 撮影装置および方法並びにプログラム
JP2009044313A (ja) 撮像装置および制御方法
JP2008271412A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4843009B2 (ja) カメラのレンズ制御方法及び装置、並びにカメラ
JP5064926B2 (ja) 撮像装置及びその制御方法
JP5869808B2 (ja) 撮像装置及びその制御方法
JP5759190B2 (ja) 撮像装置及びその制御方法
JP4775172B2 (ja) 電子カメラ
JP5133921B2 (ja) 撮像装置および撮像方法
JP2010287919A (ja) 撮像装置
JP4658015B2 (ja) デジタルカメラおよびその制御方法
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2014057191A (ja) 撮像装置
JP2006253810A (ja) 撮像装置
JP5006665B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2004317650A (ja) カメラ
JP2009033386A (ja) 撮影装置及び撮影方法
JP2007228532A (ja) 撮像装置及びそのプログラム
JP2007028546A (ja) 撮像装置
JP4468601B2 (ja) 電子カメラ
JP2008085839A (ja) 撮像装置のエラー通知方法及び撮像装置
JP2009171006A (ja) 撮像装置および撮像装置の制御方法
JP2005091456A (ja) デジタルカメラ
JP4801013B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120521

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5006665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees