JP3956284B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3956284B2
JP3956284B2 JP2002066675A JP2002066675A JP3956284B2 JP 3956284 B2 JP3956284 B2 JP 3956284B2 JP 2002066675 A JP2002066675 A JP 2002066675A JP 2002066675 A JP2002066675 A JP 2002066675A JP 3956284 B2 JP3956284 B2 JP 3956284B2
Authority
JP
Japan
Prior art keywords
image
images
focus
lens
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002066675A
Other languages
English (en)
Other versions
JP2003264734A (ja
Inventor
雅裕 北村
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2002066675A priority Critical patent/JP3956284B2/ja
Publication of JP2003264734A publication Critical patent/JP2003264734A/ja
Application granted granted Critical
Publication of JP3956284B2 publication Critical patent/JP3956284B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、画像を連続的に撮影する技術に関する。
【0002】
【従来の技術】
従来、デジタルカメラなどの撮像装置におけるオートフォーカス技術として、撮影レンズを前後に駆動させて画像のコントラストが最大となる位置を求め、その位置を撮影レンズの合焦位置として特定するコントラスト方式(いわゆる山登り方式)のオートフォーカスなどが知られている。
【0003】
図12は、評価値と撮影レンズの光軸方向の位置xとの関係を表す曲線CLを示す模式図である。図12に示すように、撮影レンズが合焦位置に存在する場合(x=xv)に、上記評価値が最も大きくなっている。コントラスト方式のオートフォーカス動作は、撮影レンズの光軸方向の位置xを相違させて撮像した少なくとも2枚の撮像画像の評価値を比較することにより行われる。具体的には、2枚の画像のそれぞれについての評価値を比較し、評価値がより大きくなる方向に撮影レンズを駆動する。そして、このような動作を繰り返して撮影レンズを駆動させることにより、撮影レンズを合焦位置へと駆動することができる。
【0004】
ところで、動画などの時間的に連続した画像の撮影においては、撮影中に被写体が移動して撮影レンズの合焦位置が変化するため、上述した従来のオートフォーカス動作では、動画などの時間的に連続した画像の撮影中に、撮影レンズの光軸方向の位置xを相違させて撮像した少なくとも2枚の撮影画像の評価値を比較することにより、被写体が移動して、撮影レンズの合焦位置が変化したか否かを求める必要性がある。
【0005】
図13および図14は、被写体が移動して、撮影レンズの合焦位置が変化したか否かを判定する方法について例示する模式図であり、図13には、被写体が移動していない場合の評価値と撮影レンズの光軸方向の位置xとの関係を表す曲線CL1が例示されており、図14には、被写体が移動している場合の被写体移動前後における評価値と撮影レンズの光軸方向の位置xとの関係を表す曲線CL1,CL2が例示されている。
【0006】
図13の場合には、前回の撮影レンズの合焦位置(x=xv)、前回の撮影レンズの合焦位置(x=xv)からレンズを繰り込む方向の撮影レンズの位置(x=xu)、および前回の撮影レンズの合焦位置(x=xv)からレンズを繰り出す方向の撮影レンズの位置(x=xw)における評価値を比較することにより、評価値が最大となる撮影レンズの位置が前回の撮影レンズの合焦位置(x=xv)であることがわかるため、撮影レンズの合焦位置は変化していないと判定することができる。
【0007】
また、図14の場合には、被写体移動後の評価値について、前回の撮影レンズの合焦位置(x=xv)、前回の撮影レンズの合焦状態の位置(x=xv)からレンズを繰り込む方向の撮影レンズの位置(x=xu)、および前回の撮影レンズの合焦位置(x=xv)からレンズを繰り出す方向の撮影レンズの位置(x=xw)における評価値(C=C2v,C2u,C2w)を比較する。この場合には、前回の撮影レンズの合焦位置(x=xv)における評価値(C=C2v)よりも、撮影レンズの位置(x=xw)における評価値(C=C2w)の方が大きくなっているため、評価値が最大となる撮影レンズの位置が前回の撮影レンズの合焦位置(x=xv)でないことが分かるため、撮影レンズの合焦位置が変化していると判定することができる。
【0008】
【発明が解決しようとする課題】
しかしながら、上述したオートフォーカス動作においては、動画などの時間的に連続した画像の撮影中に、撮影レンズの光軸方向の位置xを相違させて少なくとも2枚の撮影画像を撮像する必要性があり、図13に示すような被写体が移動していない場合には、前回の撮影レンズの合焦位置(x=xv)以外では、被写体がぼけた画像を撮像することとなる。また、図14に示すような被写体が移動した場合には、前回の撮影レンズの合焦位置(x=xv)からレンズを繰り込む方向の撮影レンズの位置(x=xu)では被写体がよりぼけた画像を撮像することとなる。
【0009】
したがって、上述したオートフォーカス動作においては、被写体が移動していない場合、および被写体が移動した場合の両方の場合において、ぼけた画像を撮像してしまい、ぼけた画像を記録・表示するといった問題を生じる。
【0010】
本発明は、上記課題に鑑みてなされたものであり、撮影レンズの合焦位置が変化したか否かを判定する際に取得されたぼけた画像を撮像結果として出力しない撮像装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
上記の課題を解決するために、請求項1の発明は、時間的に連続した第1から第3の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段を備え、前記焦点調節手段が、前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに第1の調整画像を、および前記第2の撮影画像の取得後から前記第3の撮影画像の取得開始までに第2の調整画像を、画像取得手段がそれぞれ取得するように制御する画像取得制御手段と、前記第1からの撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記第1および第2の調整画像のうち一方を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向に駆動させた状態とし、他方を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向に駆動させた状態とする駆動制御手段と、前記第2の撮影画像と、前記第1および第2の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの合焦位置が前記初期合焦位置から変化したか否かを判定する判定手段とを有し、前記第1および第2の調整画像をとばして、前記第1から第3の撮影画像を時間的に連続して出力することを特徴とする。
【0012】
また、請求項2の発明は、時間的に連続した第1および第2の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段を備え、前記焦点調節手段が、前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに時間的に連続した複数の調整画像を、画像取得手段が取得するように制御する画像取得制御手段と、前記第1および第2の撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記複数の調整画像のうち一部の調整画像を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向に駆動させた状態とし、他の一部の調整画像を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向に駆動させた状態とする駆動制御手段と、前記第1または第2の撮影画像と、前記複数の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの合焦位置が前記初期合焦位置から変化したか否かを判定する判定手段とを有し、前記複数の調整画像をとばして、前記第1および第2の撮影画像を時間的に連続して出力することを特徴とする。
【0013】
また、請求項3の発明は、時間的に連続した第1から第3の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段を備え、前記焦点調節手段が、前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに複数の調整画像からなる第1の調整画像を、および前記第2の撮影画像の取得後から前記第3の撮影画像の取得開始までに複数の調整画像からなる第2の調整画像群を、画像取得手段がそれぞれ取得するように制御する画像取得制御手段と、前記第1からの撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記第1および第2の調整画像群のうち一方の調整画像群を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向のそれぞれ異なる位置に駆動させた状態とし、他方の調整画像群を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向のそれぞれ異なる位置に駆動させた状態とする駆動制御手段と、前記第2の撮影画像と、前記第1および第2の調整画像群に含まれる各調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの次の初期合焦位置を決定する決定手段とを有し、前記第1および第2の調整画像群をとばして、前記第1から第3の撮影画像を時間的に連続して出力することを特徴とする。
【0014】
また、請求項4の発明は、時間的に連続した第1および第2の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段を備え、前記焦点調節手段が、前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに時間的に連続した少なくとも3以上の調整画像を含む複数の調整画像を、画像取得手段が取得するように制御する画像取得制御手段と、前記第1および第2の撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記複数の調整画像を取得する際には、前記撮影レンズを光軸に沿った前記初期合焦位置以外における少なくとも3箇所以上の異なる位置にそれぞれ駆動させた状態とする駆動制御手段と、前記第1または第2の撮影画像と、前記複数の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの次の初期合焦位置を決定する決定手段とを有し、前記複数の調整画像をとばして、前記第1および第2の撮影画像を時間的に連続して出力することを特徴とする。
【0015】
また、請求項5の発明は、請求項1から請求項4のいずれかに記載の撮像装置であって、前記画像取得手段が、各撮影画像よりも解像度を下げて各調整画像を取得し、前記撮像装置が、前記各撮影画像について画素間引きを行い、前記各撮影画像と前記各調整画像とからそれぞれ評価値算出用の同一画素数からなる画像成分を取得する手段を備えることを特徴とする。
【0016】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0017】
<第1実施形態>
<撮像装置1の要部構成>
図1は本発明にかかる第1実施形態の撮像装置1を示す斜視図である。また、図2は撮像装置1の背面図である。なお、図1および図2には方位関係を明確にするためにお互いに直交するX,Y,Zの三軸を示している。
【0018】
図1に示すように、撮像装置1の前面側には、撮影レンズ11とファインダ窓2とが設けられている。撮影レンズ11の内側には撮影レンズ11を介して入射する被写体像を光電変換して画像信号(画素ごとの画素データの配列からなる信号)を生成するための画像生成手段としてCCD撮像素子30が設けられている。
【0019】
撮影レンズ11には光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、CCD撮像素子30に結像される被写体像の合焦状態を実現することができるように構成されている。
【0020】
また、撮像装置1の上面側には、シャッターボタン8と、撮影モード切替ボタン14とが配置されている。シャッターボタン8は被写体の撮影を行うときにユーザーが押下操作を行って撮像装置1に撮影指示を与えるボタンである。ここでは、シャッターボタン8を半押し状態(S1)とすることによって後述するオートフォーカス動作が実施され、全押し状態(S2)とすることによって後述する本撮影が実施される。また、後述する動画撮影モードにおいては、シャッターボタン8の押下操作によって動画撮影が開始および終了される。
【0021】
また、撮影モード切替ボタン14は、撮像装置1による撮影動作時の撮影モード、つまり、静止画撮影モード、および動画撮影モードの切り替えを手動操作で選択設定するためのボタンである。
【0022】
また、撮像装置1の側面部には、ユーザーによるシャッターボタン8の押下操作に伴う本撮影動作で得られる画像データを記録するためのメモリカード9を着装する着装部15が形成されており、交換可能なメモリカード9を着装することができる。さらに、着装部15からメモリカード9を取り出す際に押下するカード取り出しボタン7が配置されており、着装部15からメモリカード9を取り出すことができる。
【0023】
また、図2に示すように、撮像装置1の背面図にはライブビュー画像や撮影した画像等を表示するための液晶表示部16と、撮像装置1の各種設定状態を変更するための操作ボタン17と、ファインダ窓2とが設けられている。
【0024】
<撮像装置1の機能ブロック>
図3は撮像装置1の内部構成を示すブロック図である。図3に示すように、撮像装置1は、画像信号を処理するための撮影機能部3、オートフォーカス制御を実現するための光学系制御部150、画像取得等のタイミングを制御するタイミング制御部160およびレンズ駆動部110、撮像装置1に設けられた各部を統括的に制御するカメラ制御部100とを備えて構成される。
【0025】
CCD撮像素子30は、被写体像を撮像して電子的な画像信号を生成する撮像手段(画像取得手段)として機能するものであり、1280×960個の画素を有し、撮影レンズ11によって結像された被写体の光像を、画素毎にR(赤),G(緑),B(青)の色成分の画像信号(各画素で受光された画素信号の信号列からなる信号)に光電変換して画像信号を出力する。なお、ここでは、CCD撮像素子30が露光されて被写体の光像を光電変換することを「画像の取得」と定義することにする。タイミング制御部160は、CCD撮像素子30などの駆動を制御するための各種のタイミングパルスを生成するものであり、ここでは、CCD撮像素子30が毎秒60フレーム分の画像信号を生成して出力するように制御している。タイミング制御部160については、さらに後述する。
【0026】
CCD撮像素子30の駆動方式(読み出しモード)には、ドラフトモード、自動合焦モード、および本撮影モードの3つのモードがある。
【0027】
ドラフトモードは本撮影前のプレビュー用となるライブビュー表示用の画像を生成するための読み出しモード、いわゆるライブビュー表示時に適用される。一般的にCCD撮像素子から信号読み出しは水平ラインごとに行われる。このため、ドラフトモードにおいては、水平方向1280画素、垂直方向960画素を有するCCD撮像素子30から水平ラインごとの画素信号を読み出す際、4ライン中1ラインを読み出すようにCCD撮像素子30が駆動される。つまり、ドラフトモード時には、960の水平ラインが1/4間引きされた状態で読み出されるのである。この結果、ドラフトモード時にCCD撮像素子30から出力される画像は、1280×240の画素で構成されることになる。
【0028】
また、自動合焦モードはオートフォーカス制御時に適用される読み出しモードである。自動合焦モードにおいては、ドラフトモード時に読み出される240ラインのうち、中央に位置する80ラインが読み出される。この結果、自動合焦モード時にCCD撮像素子から出力される画像は、1280×80の画素で構成されることになる。
【0029】
さらに、本撮影モードはフレーム全体、すなわち1280×960の全画素を読み出し対象として画像信号を読み出すモードである。そしてタイミング制御部160はこれらの読み出しモードのうち指定されるモードについてCCD撮像素子30の駆動タイミングを制御する。また、動画撮影モードにおいては、CCD撮像素子30は、本撮影モードにおける1280×960の画素を有する画像信号を毎秒30フレーム分読み出す。
【0030】
また、動画撮影モードにおいては、CCD撮像素子30は、本撮影モードにおける1280×960の画素を有する画像信号を毎秒30フレーム分読み出す合間に、自動合焦モードにおける1280×80の画素を有する画像信号を読み出す。つまり、動画撮影モードにおいては、CCD撮像素子30は、本撮影モードにおける1280×960の画素を有する記録・表示用の画像信号(以下、「撮影画像」と称す)と、自動合焦モードにおける1280×80の画素を有するオートフォーカス制御用の画像信号(以下、「調整画像」と称す)とを交互に読み出して、毎秒60フレーム分の画像信号を読み出す。なお、動画撮影モードにおけるCCD撮像素子30の駆動タイミングについてもタイミング制御部160によって制御される。
【0031】
上述したようにCCD撮像素子30から得られる画像信号はA/D変換器40に与えられる。
【0032】
A/D変換器40は、CCD撮像素子30から出力される画像信号(アナログ信号)を例えば1画素あたり10ビットのデジタル信号に変換する。A/D変換器40から出力される画像信号は、画像メモリ70へと導かれる。
【0033】
画像メモリ70は、画像信号を一時的に記憶するためのものであり、画像をメモリカード9に記録する際や、液晶表示部16に表示する際には、画像信号を画像処理部50へ導く。
【0034】
また、シャッターボタン8の押下操作が行われた場合、本撮影の撮影動作を行う前にオートフォーカス制御を行う必要がある。そのため、本撮影動作を行う前に、光学系制御部150が撮影レンズ11のレンズ位置を光軸方向へ段階的に駆動させ、カメラ制御部100およびタイミング制御部160の制御によって撮影レンズ11の各レンズ位置で撮像された画像信号が画像メモリ70に格納される。
【0035】
そして、動画撮影モードにおいては、CCD撮像素子30は、本撮影モードにおける撮影画像(1280×960画素)と、自動合焦モードにおける調整画像(1280×80画素)とを交互に読み出すことによって、毎秒60フレーム分の画像信号を読み出すため、画像メモリ70には、1280×960の画素を有する撮影画像と、1280×80の画素を有する調整画像とがA/D変換器40から交互に入力される。つまり、動画撮影中には、画像メモリ70に毎秒60フレーム分の画像信号が連続して格納される。
【0036】
画像処理部50は、画像信号に対してホワイトバランスの調整、γ補正、色補正等の画像処理を施す。画像処理部50から出力される画像信号は、解像度変換部60へと導かれる。
【0037】
解像度変換部60は、CCD撮像素子30から得られる画像データに対して所定の解像度変換を行うものである。
【0038】
例えば、撮影前のライブビュー表示時にはCCD撮像素子30がドラフトモードで駆動されて取得される画像データに対して、解像度変換部60が所定の解像度変換を施し、液晶表示部16の表示画素数に適合した画像サイズの画像データ(320×240画素)を生成する。つまり、ライブビュー表示時には、解像度変換部60がCCD撮像素子30によって得られた1280×240の画素を有する画像の水平方向のみについて1/4間引きを行い、320×240の画素を有するライブビュー画像を生成するのである。なお、本撮影時には解像度変換部60は解像度変換処理を行うことなく、画像処理部50から得られる画像データをそのまま画像圧縮部80に出力する。
【0039】
また、動画撮影時には、画像メモリ70から画像処理部50を介して解像度変換部60へ毎秒30フレーム分の撮影画像(1280×960画素)が入力され、解像度変換部60は、解像度変換処理を行うことなく画像メモリ70から画像処理部50を介して入力された撮影画像を画像圧縮部80に出力するとともに、動画撮影中のライブビュー表示を行うために、画像処理部50から入力される撮影画像(1280×960画素)から水平方向および垂直方向について1/4間引きを行い、液晶表示部16の表示画素数に適合した画像サイズの表示画像(320×240画素)を生成して液晶表示部16へ出力し、液晶表示部16において撮影画像に基づいた毎秒30フレームからなるライブビュー画像(表示画像)が表示される。
【0040】
光学系制御部150は、画像メモリ70に格納される画像信号を取得して、コントラスト方式のオートフォーカス動作を行うように構成される。そして、光学系制御部150によるオートフォーカス制御が行われて撮影レンズ11が合焦位置に駆動された後に本撮影の撮影動作が行われ、本撮影によって得られる1280×960画素を有する画像信号が画像圧縮部80に与えられる。
【0041】
また、光学系制御部150は、動画撮影モードにおいては、オートフォーカス制御によって撮影レンズ11が合焦位置に駆動され、本撮影を開始した後、光学系制御部150が、被写体が移動して撮影レンズ11の合焦位置が変化したか否かを判定したり、被写体の移動に追従して、変化した撮影レンズ11の合焦位置を検出するオートフォーカス動作を制御する。この動画撮影モードにおけるオートフォーカス動作については、さらに後述する。
【0042】
タイミング制御部160は、上述したように、CCD撮像素子30などの駆動を制御するための各種のタイミングパルスを生成するとともに、撮影レンズ11の駆動タイミング、光学系制御部150および撮影機能部3の各部における各種処理のタイミングを制御する。動画撮影中のオートフォーカス制御におけるタイミング制御部160による各部の処理タイミングの制御については、さらに後述する。
【0043】
画像圧縮部80は本撮影によって得られる撮影画像(1280×960画素)に対して所定の圧縮方法による画像圧縮処理を施すように構成されており、画像圧縮の施された画像信号(記録画像)が画像圧縮部80から出力され、メモリカード9に記憶される。
【0044】
カメラ制御部100はCPUが所定のプログラムを実行することによって実現され、ユーザーがシャッターボタン8、撮影モード切替ボタン14、および操作ボタン17を含む各種ボタンを押下操作した場合に、その操作内容に応じて撮影機能部3の各部、光学系制御部150、およびタイミング制御部160を制御するように構成される。
【0045】
また、カメラ制御部100は、光学系制御部150およびタイミング制御部160と連繋し、オートフォーカス制御時には光学系制御部150およびタイミング制御部160が撮影レンズ11のレンズ位置を段階的に駆動させた場合に、タイミング制御部160とともに各レンズ位置でCCD撮像素子30の撮像動作を制御する。また、動画撮影モードにおいては、カメラ制御部100は、ユーザーがシャッターボタン8を押下することにより動画撮影を開始し、ユーザーが再度シャッターボタン8を押下することにより動画撮影を終了する。
【0046】
レンズ駆動部110は、光学系制御部150からの指令に応じて撮影レンズ11を光軸に沿って駆動させるための駆動手段であり、CCD撮像素子30に結像される被写体像の合焦状態を変化させるものである。
【0047】
<光学系制御部150について>
図3に示すように、光学系制御部150は、画像取得部151、評価値算出部152、駆動制御部153、合焦位置検出部154、および合焦判定部155を備えて構成され、画像メモリ70に格納された画像信号を取得して、コントラスト方式によるオートフォーカス制御を行う。つまり、撮影レンズ11によってCCD撮像素子30に結像される被写体像を合焦位置に導くように動作する。
【0048】
また、光学系制御部150は、撮影モード切替ボタン14の操作によって設定される撮影モードによって、オートフォーカス制御において果たす機能が異なるが、ここでは、撮像装置1の特徴である動画撮影モードにおける光学系制御部150の各部の機能について説明し、静止画撮影モード等が設定された場合については、一般的なコントラスト方式によるオートフォーカス制御と同様となるため、説明を省略する。
【0049】
画像取得部151は、画像メモリ70に入力した画像データを画像メモリ70から取得する。
【0050】
動画撮影モードにおいては、画像メモリ70には、1280×960の画素を有する記録・表示用の撮影画像と、1280×80の画素を有するオートフォーカス制御用の調整画像とがA/D変換器40から交互に格納され、ここでは、調整画像のみならず、撮影画像もオートフォーカス制御に利用する。
【0051】
したがって、画像取得部151は、画像メモリ70に撮影画像(1280×960画素)が格納された際には、画像メモリ70に格納される撮影画像から、撮影画像の中央部分に位置するAF評価領域(320×320画素)の画像成分のうち水平方向のみについて1/4間引きした320×80の画像成分を取得する。また、画像メモリ70に調整画像(1280×80画素)が格納された際には、画像メモリ70に格納される調整画像から、その中央部分に位置するAF評価領域にあたる320×80の画像成分を取得する。つまり、画像取得部151は、毎秒60フレーム分に対応する320×80画素を有する画像データを取得する。
【0052】
評価値算出部152は、画像取得部151によって取得された画像データに基づいて撮影レンズ11の合焦状態に関する評価値を求める。この評価値は、上述した一般的なコントラスト方式のオートフォーカス動作において実施されているものと同様に、AF評価領域内のコントラスト値の総和として求められる。
【0053】
駆動制御部153は、動画撮影時には、タイミング制御部160およびカメラ制御部100による制御の下で、オートフォーカス制御のための画像データを取得するため、若しくは、撮影レンズ11を合焦位置検出部154によって検出された合焦位置に導くように、光軸方向への撮影レンズ11の駆動を制御する。また、動画撮影時には、駆動制御部153は、撮影レンズ11の合焦位置への駆動が完了すると、その旨を示す信号をカメラ制御部100およびタイミング制御部160へ送信し、後述する撮影レンズ11の合焦状態の判定を開始する。動画撮影時の駆動制御部153による撮影レンズ11の駆動の制御については、さらに後述する。
【0054】
合焦位置検出部154は、動画撮影開始時、および動画撮影中に合焦判定部155によって撮影レンズ11の合焦状態の位置が変化したと判定された場合に、一般的なコントラスト方式のオートフォーカス動作と同様に、評価値算出部152によって算出された評価値に基づいて撮影レンズ11の合焦位置を検出する。
【0055】
図4は、動画撮影開始時または動画撮影中における評価値と撮影レンズ11の光軸方向の位置xとの関係を表す曲線CLfを示す模式図である。動画撮影モードにおいて、ユーザーがシャッターボタン8を押下することにより動画撮影開始の指示がなされた場合や、動画撮影中に合焦判定部155によって、撮影レンズ11の合焦位置が変化したと判定された場合に、一般的なコントラスト方式のオートフォーカス動作を行い、図4に示すように、合焦位置検出部154が、評価値が最も大きくなる撮影レンズ11のレンズ位置(初期合焦位置(x=x10))を検出する。つまり、ここでは、合焦位置検出部154が、動画撮影開始時および動画撮影中に撮影レンズ11の合焦位置が検出される度に、撮影レンズ11の初期合焦位置を更新設定する。
【0056】
合焦判定部155は、動画撮影中に、評価値算出部152によって算出される評価値に基づいて、撮影レンズ11の合焦位置が変化したか否かを判定する。
【0057】
図5および図6は、被写体が移動して、撮影レンズ11の合焦位置が変化したか否かを判定する方法について例示する模式図であり、図5には、図4に示す撮影レンズ11の初期合焦位置(x=x10)を検出した時から被写体が移動していない場合の評価値と撮影レンズ11の光軸方向の位置xとの関係を表す曲線CLfが例示されており、図6には、図4に示す撮影レンズ11の初期合焦位置(x=x10)を検出した時から被写体が移動している場合の評価値と撮影レンズ11の光軸方向の位置xとの関係を表す曲線CLmが例示されている。なお、ここでは、撮影レンズ11の光軸方向の3つの位置(x=x9,x10,x11)は、等間隔に所定の単位調整距離Δx(図示せず)だけ離れているものとし、また、単位距離の整数倍にあたる距離を調整距離と称する。
【0058】
図5の場合には、撮影レンズ11の初期合焦位置(x=x10)における評価値(C=C10)と、初期合焦位置(x=x10)からレンズを所定の調整距離だけ繰り込む方向のレンズ位置(x=x9)、および初期合焦位置(x=x10)からレンズを調整距離だけ繰り出す方向のレンズ位置(x=x11)における評価値(C=C9,C11)とを比較する。そして、これらにおける評価値(C9,C10,C11)から、評価値が最大となる撮影レンズ11の位置が、初期合焦位置(x=x10)であると判定し、撮影レンズ11の合焦位置が変化していないと判定する。
【0059】
また、図6の場合には、撮影レンズ11の初期合焦位置(x=x10)における評価値(C=C10)と、初期合焦位置(x=x10)からレンズを調整距離だけ繰り込む方向のレンズ位置(x=x9)、および初期合焦位置(x=x10)からレンズを調整距離だけ繰り出す方向のレンズ位置(x=x11)における評価値(C=C9,C11)とを比較する。そして、初期合焦位置(x=x10)における評価値(C=C10)よりも、レンズ位置(x=x11)における評価値(C=C11)の方が大きくなっているため、評価値が最大となる撮影レンズ11の位置が、初期合焦位置(x=x10)でないと判定し、撮影レンズ11の合焦位置が変化していると判定する。なお、ここでは、撮影レンズ11の合焦位置の変化判定に加えて、評価値が最大となる撮影レンズ11の位置がレンズ位置(x=x11)の方向にあることも判定することができる。つまり、評価値が最大となる撮影レンズ11の位置の方向を判定する方向判定も行う。
【0060】
また、動画撮影中において、合焦判定部155は、撮影レンズ11の合焦位置が変化したか否かを判定し、その結果をカメラ制御部100および駆動制御部153へ送信する。そして、撮影レンズ11の合焦位置が変化していない限りは、図5および図6で示したように、駆動制御部153の制御の下で撮影レンズ11を調整距離だけ駆動させながら、撮影レンズ11の位置(x=x9,x10,x11)において取得される画像について評価値算出部152が評価値を算出し、合焦判定部155は評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)と同様であるか否かの判定を繰り返す。つまり、合焦判定部155が撮影レンズ11の合焦位置が変化しているか否かを繰り返し判定する。
【0061】
また、撮影レンズ11の合焦位置が変化している場合には、合焦判定部155における方向判定結果に基づいて、一般的なコントラスト方式のオートフォーカス動作を行い、撮影レンズ11を次の初期合焦位置に駆動し、駆動制御部153より、撮影レンズ11の次の初期合焦位置への駆動の完了を示す信号がカメラ制御部100およびタイミング制御部160へ送信される。そして、再び上述した図5および図6において示したように、駆動制御部153の制御の下で撮影レンズ11を次の初期合焦位置の前後に調整距離だけ駆動させながら、画像を取得して、その画像に基づいて撮影レンズ11の合焦位置が変化したか否かを合焦判定部155によって繰り返し判定する。
【0062】
<撮影レンズ11の位置と各種動作タイミングについて>
次に、撮像装置1における動画撮影中の撮影レンズ11の位置と、タイミング制御部160によって制御される画像取得、レンズ駆動、および合焦判定などの各種動作タイミングについて説明する。
【0063】
図7は、動画撮影中の画像取得、撮影レンズ11の駆動、および合焦判定などの各種動作タイミングと撮影レンズ11の位置との関係を例示する図であり、横軸は時間t(sec)を示しており、縦方向には、上段から順に、画像取得タイミング(露光タイミング)、転送タイミング、レンズ駆動タイミング、撮影レンズ位置、評価値算出および合焦判定タイミング、記録タイミングを示している。なお、図7における撮影レンズ11の位置は、図5および図6に例示した撮影レンズ11の位置と対応させて示している。
【0064】
また、図7では、一般的なオートフォーカス動作によって、撮影レンズ11を光軸方向へ駆動させながら入力される画像に基づいて、時間t=N(sec)からの第1の撮影画像の取得前に合焦位置検出部154が撮影レンズ11の合焦位置(x=x10)を検出して、初期合焦位置として設定し、撮影レンズ11が初期合焦位置(x=x10)へ移動して、第1の撮影画像の取得が開始されているものとする。
【0065】
画像取得タイミング(露光タイミング)は、タイミング制御部160およびカメラ制御部100の制御の下で、CCD撮像素子30が露光されるタイミング、つまり、被写体の光像を光電変換して画像を取得するタイミングである。図7に示すように、ここでは、時間t=N,N+1/30,N+1/15(sec)から、CCD撮像素子30において、時間的に連続した第1から第3の撮影画像をそれぞれ取得する。また、時間t=N+1/60,N+1/20,N+1/10(sec)から、CCD撮像素子30において、第1から第3の調整画像をそれぞれ取得する。つまり、第1の撮影画像の取得後から第2の撮影画像の取得開始までに第1の調整画像を取得し、第2の撮影画像の取得後から第3の撮影画像の取得開始までに第2の調整画像を取得する。さらに、第2の撮影画像の取得後に第3の調整画像を取得する。
【0066】
転送タイミングは、CCD撮像素子30において取得された撮影画像および調整画像が、CCD撮像素子30からA/D変換器40を介して画像メモリ70に格納されるタイミングである。図7に示すように、第1から第3の撮影画像、および第1から第3の調整画像は、それぞれの画像取得後ただちにCCD撮像素子30から画像メモリ70へ転送される。
【0067】
また、ここでは、CCD撮像素子30において各撮影画像よりも解像度を下げて各調整画像を取得しているため、各調整画像については各撮影画像についてよりもCCD撮像素子30から画像メモリ70までの転送時間を短かくすることができる。
【0068】
レンズ駆動タイミングは、タイミング制御部160および駆動制御部153の制御の下で、撮影レンズ11を光軸方向に対して前後に駆動させるタイミングである。図7に示すように、駆動制御部153の制御の下で、各画像の取得の合間に撮影レンズ11を光軸方向に対して前後に調整距離だけ駆動させ、第1から第3の撮影画像の取得時に撮影レンズ11を初期合焦位置(x=x10)へ駆動させた状態とし、第1および第2の調整画像の取得時に撮影レンズ11を初期合焦位置(x=x10)から光軸方向へ前後に調整距離だけ駆動させた状態とする。つまり、第1および第2の調整画像の取得時に撮影レンズ11を、それぞれ第1および第2の撮影画像取得時の撮影レンズ11の位置である初期合焦位置(x=x10)から前後にあたる2箇所の異なるレンズ位置(x=x9,x11)へ駆動させた状態とする。なお、第3の調整画像の取得時には、撮影レンズ11は、後述する合焦判定結果にしたがって、撮影レンズ11が駆動した状態となる。
【0069】
評価値算出タイミングは、評価値算出部152において画像メモリ70に格納される画像について評価値を算出するタイミングであり、合焦判定タイミングは、評価値算出部152において算出された評価値に基づいて撮影レンズ11の合焦位置が変化したか否かを判定するタイミングである。図7に示すように、第1から第3の撮影画像と、第1および第2の調整画像のそれぞれが画像メモリ70への転送された後、ただちに評価値算出部152において、第1から第3の撮影画像、第1および第2の調整画像について評価値をそれぞれ算出する。そして、ここでは、時間t=N+1/15(sec)から第2の調整画像について評価値を算出するとともに、第2の撮影画像と、第1および第2の調整画像からなる3つの画像7Dの評価値に基づいて、合焦判定部155において撮影レンズ11の合焦位置が変化したか否を判定する。つまり、ここでは、第2の撮影画像と、第2の撮影画像の前後に取得された第1および第2の調整画像とに基づいて、撮影レンズ11の合焦状態について判定することができる。
【0070】
そして、合焦判定部155は、判定結果をカメラ制御部100および駆動制御部153へ送信し、その結果を受けてカメラ制御部100および駆動制御部153は、撮影レンズ11の駆動を制御する。具体的には、撮影レンズ11の合焦位置が変化していない限りは、駆動制御部153の制御の下で撮影レンズ11を調整距離だけ駆動させながら、撮影レンズ11の位置(x=x9,x10,x11)において取得される画像についての評価値を評価値算出部152において算出し、合焦判定部155は評価値算出部152において算出された評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)と同様であるか否かの判定を繰り返す。したがって、撮影レンズ11の合焦位置が変化していない場合は、第3の調整画像の取得開始時(時間t=N+1/10)に、撮影レンズ11を位置(x=x9)へ駆動させた状態とし、その後、時間t=N+1/60〜N+1/10(sec)までの画像取得、レンズ駆動、および合焦判定などの各種処理タイミングと同様なタイミングで各種動作を行って撮影レンズ11の合焦状態の判定を行う。
【0071】
また、撮影レンズ11の合焦位置が変化している場合には、合焦判定部155が撮影レンズ11の合焦位置の変化判定に加えて、評価値が最大となる撮影レンズ11の位置の方向判定も行っているため、合焦判定部155からカメラ制御部100および駆動制御部153への判定結果の送信後、すぐに方向判定結果に基づいて一般的なコントラスト方式のオートフォーカス動作を開始し、合焦位置検出部154が、次の初期合焦位置を検出・決定し、撮影レンズ11が次の初期合焦位置に駆動した後に、再び時間t=N(sec)からの画像取得、レンズ駆動、および合焦判定などの各種処理タイミングと同様なタイミングで各種動作を行って、駆動制御部153の制御の下で撮影レンズ11を次の初期合焦位置の前後に調整距離だけ駆動させながら取得される画像について評価値算出部152が評価値を算出し、合焦判定部155において評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)と同様であるか否かの判定を行う。
【0072】
なお、ここでは、合焦判定部155において、撮影レンズ11の合焦位置が変化したか否かを判定する際に対象となる、第2の撮影画像と第1および第2の調整画像を取得後に、撮影レンズ11の位置を初期合焦位置(x=x10)として第3の撮影画像を取得する。これは、合焦判定部155における撮影レンズ11の合焦状態の判定に若干の時間を要するため、時間t=N+1/15(sec)からの合焦判定結果が出るまで、不必要に撮影レンズ11を駆動させないようにしている。したがって、ここでは、判定結果が出るまで撮影・表示用の撮影画像をぼかさないようにするために、撮影レンズ11の合焦位置が変化していないものとして、第3の撮影画像を取得する際には、撮影レンズ11を初期合焦位置に戻すこととしている。
【0073】
記録タイミングは、撮影画像を記録画像としてメモリカード9への記録処理を行うタイミングである。図7に示すように、第1および第2の撮影画像については、それぞれ時間t=N+1/30,N+1/15(sec)からメモリカード9への記録処理がなされ、図示を省略するが、第3の撮影画像については、時間t=N+7/60(sec)からメモリカード9への記録処理がなされる。また、第1から第3の撮影画像は、それぞれの記録タイミング開始後間もなく液晶表示部16に表示画像として表示される。つまり、ここでは、第1および第2の調整画像をとばして、第1から第3の撮影画像を連続して記録・表示する。
【0074】
したがって、ここでは、第2および第3の撮影画像を取得する際には、撮影レンズ11の位置を、初期合焦位置(x=x10)とし、第1および第2の調整画像を取得する際に、撮影レンズ11を初期合焦位置から前後に調整距離だけ駆動させたレンズ位置(x=x9,x11)とすることによって、図5に示すように被写体が動いていない場合には、撮影レンズ11の合焦状態の判定用(合焦判定用)のぼけた調整画像を記録・表示しないようにする。また、図6に示すように被写体が動いた場合には、よりぼける方向(レンズ位置x=x9の方向)に撮影レンズ11を調整距離だけ駆動した合焦判定用のぼけた調整画像を記録・表示しないようにする。
【0075】
以上のように、動画撮影時において、記録・表示用の撮影画像を取得する際には撮影レンズ11の位置を初期合焦位置とし、記録・表示用に使用しない調整画像を取得する際には、撮影レンズ11を初期合焦位置から前後に調整距離だけ駆動させたレンズ位置とすることによって、撮影レンズ11の合焦位置が変化していない場合には、合焦判定用のぼけた調整画像を記録・表示しないようにすることができ、また、撮影レンズ11の合焦位置が変化している場合には、よりぼける方向に撮影レンズ11を駆動させて取得される合焦判定用のぼけた調整画像を記録・表示しないようにすることができるため、高精度で鮮明な動画を記録・表示することができる。
【0076】
また、CCD撮像素子30において自動合焦モードのように各撮影画像よりも解像度を下げて各調整画像を取得しているため、調整画像については撮影画像についてよりもCCD撮像素子30から画像メモリ70までの転送時間を短かくすることができるため、撮影レンズ11の合焦状態の判定が短時間で可能となり、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0077】
<第2実施形態>
第2実施形態では、大部分が第1実施形態と同様な構成となっているが、CCD撮像素子30における単位時間当たりの読み出しフレーム数と、タイミング制御部160、カメラ制御部100、および駆動制御部153の制御による、動画撮影中の画像取得、撮影レンズ11の駆動、および合焦判定などの各種動作タイミングと撮影レンズ11の位置との関係が、第1実施形態と異なる。以下、第1実施形態と異なる点について主に説明する。なお、第1実施形態と同様となる点については、同様な符号を用いる等して説明を省略する。
【0078】
上述した第1実施形態では、動画撮影中において、CCD撮像素子30は、本撮影モードにおける1280×960の画素を有する画像信号と、自動合焦モードにおける1280×80の画素を有する画像信号を交互に読み出し、毎秒60フレームの画像信号を読み出していたが、第2実施形態では、CCD撮像素子30の画像信号の読み出しを毎秒90フレーム分とし、3フレームに1フレームのタイミングで、CCD撮像素子30が、本撮影モードにおける1280×960の画素を有する画像信号を読み出す。
【0079】
<撮影レンズ11の位置と各種動作タイミングについて>
次に、第2実施形態における動画撮影中の撮影レンズ11の位置と、タイミング制御部160によって制御される画像取得、レンズ駆動、および合焦判定などの各種動作タイミングについて説明する。
【0080】
図8は、第1実施形態の説明において用いた図7と同様に、動画撮影中の画像取得、撮影レンズ11の駆動、および合焦判定などの各種動作タイミングと撮影レンズ11の位置との関係を例示する図であり、横軸は時間t(sec)を示しており、縦方向には、上段から順に、画像取得タイミング(露光タイミング)、転送タイミング、レンズ駆動タイミング、撮影レンズ位置、評価値算出および合焦判定タイミング、記録タイミングを示している。なお、図8における撮影レンズ11の位置は、図5および図6に例示した撮影レンズ11の位置と対応させて示している。
【0081】
また、図8では、一般的なオートフォーカス動作によって、撮影レンズ11を光軸方向へ駆動させながら入力される画像に基づいて、時間t=N(sec)からの第1の撮影画像の取得前に合焦位置検出部154が撮影レンズ11の合焦位置(x=x10)を検出して、初期合焦位置として設定し、撮影レンズ11が初期合焦位置(x=x10)へ移動して、第1の撮影画像の取得が開始されているものとする。
【0082】
図8に示すように、ここでは、時間t=N,N+1/30(sec)から、CCD撮像素子30において第1および第2の撮影画像をそれぞれ取得する。また、時間t=N+1/90,N+1/45,N+2/45(sec)から、CCD撮像素子30において第1から第3の調整画像をそれぞれ取得する。つまり、第1の撮影画像の取得後から第2の撮影画像の取得開始までに第1および第2の調整画像(複数の調整画像)を取得し、さらに、第2の撮影画像の取得後に第3の調整画像を取得する。
【0083】
また、図8に示すように、第1および第2の撮影画像、および第1から第3の調整画像は、それぞれの画像取得後ただちにCCD撮像素子30から画像メモリ70へ転送される。
【0084】
また、ここでは、CCD撮像素子30において各撮影画像よりも解像度を下げて各調整画像を取得しているため、各調整画像については各撮影画像についてよりもCCD撮像素子30から画像メモリ70までの転送時間を短かくすることができる。
【0085】
また、図8に示すように、駆動制御部153の制御の下で各画像の取得の合間に撮影レンズ11を光軸方向に対して前後に調整距離だけ駆動させ、第1および第2の撮影画像の取得時に撮影レンズ11を初期合焦位置(x=x10)へ駆動させた状態とし、第1および第2の調整画像(複数の調整画像)の取得時に撮影レンズ11を初期合焦位置(x=x10)から光軸方向へ前後に調整距離だけ駆動させた状態とする。つまり、第1および第2の調整画像(複数の調整画像)の取得時に撮影レンズ11を、それぞれ第1および第2の撮影画像取得時の撮影レンズ11の位置である初期合焦位置(x=x10)から前後にあたる2箇所の異なるレンズ位置(x=x9,x11)へ駆動させた状態とする。
【0086】
また、図8に示すように、第1および第2の撮影画像と、第1および第2の調整画像のそれぞれが画像メモリ70への転送された後、ただちに評価値算出部152において、第1および第2の撮影画像、第1および第2の調整画像について評価値をそれぞれ算出する。そして、ここでは、時間t=N+1/18(sec)までに第2の調整画像について評価値を算出するとともに、第2の撮影画像と、第1および第2の調整画像からなる3つの画像9Dの評価値に基づいて、合焦判定部155において撮影レンズ11の合焦位置が変化したか否を判定する。つまり、ここでは、第2の撮影画像と、第1および第2の撮影画像の取得の合間に取得された第1および第2の調整画像(複数の調整画像)とに基づいて、撮影レンズ11の合焦状態について判定することができる。
【0087】
そして、合焦判定部155は、判定結果をカメラ制御部100および駆動制御部153へ送信し、その結果を受けてカメラ制御部100および駆動制御部153は、撮影レンズ11の駆動を制御する。
【0088】
ここでは、合焦判定部155において、撮影レンズ11の合焦位置が変化したか否かを判定する際に対象となる、第2の撮影画像と第1および第2の調整画像を取得後に、撮影レンズ11の位置(x=x9)において第3の撮影画像を取得する。これは、合焦判定部155における撮影レンズ11の合焦状態の判定に若干の時間を要し、時間t=N+1/18(sec)まで合焦判定結果が出ないため、とりあえず撮影レンズ11の合焦位置が変化していないものとして、次の合焦判定用の画像を取得すべく、第3の調整画像を取得する際には、時間t=N+1/90(sec)からの第1の調整画像を取得する際と同様に、撮影レンズ11を位置(x=x9)とすることにしている。
【0089】
そして、ここでは、撮影レンズ11の合焦位置が変化していない限りは、時間t=N+1/18(sec)以降、時間t=N+1/45〜N+1/18(sec)までの画像取得、レンズ駆動、および合焦判定などの各種処理タイミングと同様なタイミングで各種動作を行って撮影レンズ11の合焦状態の判定を行う。
【0090】
また、撮影レンズ11の合焦位置が変化している場合には、第1実施形態と同様となるため、ここでは説明を省略する。
【0091】
また、図7に示したものと同様に、第1の撮影画像については、時間t=N+1/45(sec)からメモリカード9への記録処理がなされ、図示を省略するが、第2の撮影画像については、時間t=N+1/18(sec)からメモリカード9への記録処理がなされる。また、第1および第2の撮影画像は、それぞれの記録タイミング開始後間もなく液晶表示部16に表示画像として表示される。つまり、ここでは、第1および第2の調整画像(複数の調整画像)をとばして、第1および第2の撮影画像を連続して記録・表示する。
【0092】
したがって、ここでは、第2の撮影画像を取得する際には、撮影レンズ11の位置を、初期合焦位置(x=x10)とし、第1および第2の調整画像(複数の調整画像)を取得する際に、撮影レンズ11を初期合焦位置から前後に調整距離だけ駆動させて、レンズ位置(x=x9,x11)とすることによって、図5に示すように被写体が動いていない場合には、撮影レンズ11の合焦判定用のぼけた調整画像を記録・表示しないようにする。また、図6に示すように被写体が動いた場合には、よりぼける方向(レンズ位置x=x9の方向)に撮影レンズ11を調整距離だけ駆動した合焦判定用のぼけた調整画像を記録・表示しないようにする。
【0093】
また、第2実施形態では、第1実施形態よりも、CCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させているため、合焦判定部155における撮影レンズ11の合焦状態の判定に必要な撮影画像および複数の調整画像を短時間で得ることができる。
【0094】
以上のように、動画撮影時において、CCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させることによって、撮影レンズ11の合焦判定用の撮影画像および複数の調整画像を短時間で取得することができるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0095】
<第3実施形態>
第3実施形態では、大部分が第1実施形態と同様な構成となっているが、CCD撮像素子30における単位時間当たりの読み出しフレーム数と、タイミング制御部160、カメラ制御部100、および駆動制御部153の制御による、動画撮影中の画像取得、撮影レンズ11の駆動、および合焦判定などの各種動作タイミングと撮影レンズ11の位置との関係が、第1実施形態と異なる。さらに、第3実施形態においては、合焦判定部155による動画撮影における合焦判定と並行して、合焦位置検出部154による合焦位置の検出も可能となっている。以下、第1実施形態と異なる点について主に説明する。なお、第1実施形態と同様となる点については、同様な符号を用いる等して説明を省略する。
【0096】
上述した第1実施形態では、動画撮影中において、CCD撮像素子30は、本撮影モードにおける1280×960の画素を有する画像信号と、自動合焦モードにおける1280×80の画素を有する画像信号とを交互に読み出し、毎秒60フレーム分の画像信号を読み出していたが、第3実施形態では、CCD撮像素子30の単位時間当たりの読み出しフレーム数を増加させ、CCD撮像素子30の画像信号の読み出しを毎秒90フレーム分とし、3フレームに1フレームのタイミングで、CCD撮像素子30が、本撮影モードにおける1280×960の画素を有する画像信号を読み出す。
【0097】
図9は、被写体が移動して、撮影レンズ11の合焦位置が変化した場合に、撮影レンズ11の合焦位置が変化したか否かを判定する方法、および次の合焦位置(初期合焦位置)を決定する方法について例示する模式図である。
【0098】
図9には、第1実施形態で示した図6と同様に、図4に示す撮影レンズ11の初期合焦位置(x=x10)を検出した時から被写体が移動している場合の評価値と撮影レンズ11の光軸方向の位置xとの関係を表す曲線CLmが例示されている。なお、ここでは、撮影レンズ11の光軸方向の5つの位置(x=x8,x9,x10,x11,x12)が等間隔に所定の単位調整距離Δx(図示せず)だけ離れているものとし、また、単位距離の整数倍にあたる距離を調整距離と称する。
【0099】
第3実施形態においても、第1実施形態と同様に、初期合焦位置(x=x10)における評価値(C=C10)と、初期合焦位置(x=x10)からレンズを調整距離だけ繰り込む方向のレンズ位置(x=x9)、および初期合焦位置(x=x10)からレンズを調整距離だけ繰り出す方向のレンズ位置(x=x11)における評価値(C=C9,C11)とを合焦判定部155が比較する。そして、初期合焦位置(x=x10)よりも、レンズ位置(x=x11)における評価値(C=C11)の方が大きくなっているため、評価値が最大となる撮影レンズ11の位置が、初期合焦位置(x=x10)でないと判定し、撮影レンズ11の合焦位置が変化していると判定する。なお、ここでも、第1実施形態と同様に、評価値が最大となる撮影レンズ11の位置の方向を判定する方向判定も行う。
【0100】
そして、ここでは、第1実施形態と同様に、撮影レンズ11の合焦位置が変化していない限りは、駆動制御部153の制御の下で撮影レンズ11を調整距離だけ駆動させながら、撮影レンズ11の位置(x=x9,x10,x11)において取得される画像について評価値算出部152が評価値を算出し、合焦判定部155によって評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)と同様であるか否かの判定を繰り返す。
【0101】
また、ここでは、上述した合焦判定部155の判定と並行して、合焦位置検出部154が、図9に示すように、初期合焦位置(x=x10)における評価値(C=C10)と、初期合焦位置(x=x10)からレンズを調整距離だけ繰り込む方向のレンズ位置(x=x8,x9)、および初期合焦位置(x=x10)からレンズを調整距離だけ繰り出す方向のレンズ位置(x=x11,x12)における評価値(C=C8,C9,C11,C12)とから、評価値が最大となる撮影レンズ11の位置(x=x11)を検出し、撮影レンズ11の次の初期合焦位置(x=x11)として決定する。つまり、5つの評価値(C=C8,C9,C10,C11,C12)によって、評価値が最大となる撮影レンズ11の位置を検出することができれば、撮影レンズ11の次の初期合焦位置として決定することができる。
【0102】
合焦位置検出部154が、次の初期合焦位置(x=x11)を決定した場合は、駆動制御部153が、合焦位置検出部154によって決定された次の初期合焦位置(x=x11)に導くように、光軸方向への撮影レンズ11の駆動を制御する。また、図示を省略するが、合焦判定部155によって評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)でないと判定された場合で、合焦位置検出部154が、評価値が最大となる撮影レンズ11の位置(次の初期合焦位置)を検出することができない場合は、合焦判定部155において、第1実施形態と同様に、評価値が最大となる撮影レンズ11の位置の方向判定がなされるため、その方向判定結果に基づいて、第1実施形態と同様に、一般的なコントラスト方式のオートフォーカス動作を行う。そして、撮影レンズ11が次の初期合焦位置(x=x11)に駆動すると、駆動制御部153より、撮影レンズ11の次の初期合焦位置(x=x11)への駆動完了を示す信号がカメラ制御部100およびタイミング制御部160へ送信される。さらに、再び上述した図9で示したように、駆動制御部153の制御の下で撮影レンズ11を次の初期合焦位置の前後に調整距離だけ駆動させながら、画像を取得して、その画像に基づいて撮影レンズ11の合焦位置が変化したか否かについて合焦判定部155が繰り返し判定するとともに、合焦位置検出部154が、その後の初期合焦位置の検出・決定を行う。
【0103】
ところで、第1実施形態では、3つの異なる撮影レンズ11の位置に対する評価値しか得ることができなかったため、撮影レンズ11の合焦位置が変化した場合に、評価値が最大となる撮影レンズ11の位置が、初期合焦位置(x=x10)でないと判定することはできるが、並行して次の初期合焦位置を検出することができなかった。しかし、第3実施形態においては、初期合焦位置を中心として、5つの異なる撮影レンズ11の位置に対する評価値を得ることができるため、撮影レンズ11の合焦位置が変化した場合に、評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)でないとの判定と並行して次の初期合焦位置を検出することも可能となる。
【0104】
<撮影レンズ11の位置と画像取得タイミングについて>
次に、第3実施形態における動画撮影中の撮影レンズ11の位置と画像取得タイミングについて説明する。
【0105】
図10には、動画撮影中の撮影レンズ11の位置と時間との関係を表す線12Lが例示されており、線12L上には、撮影画像および調整画像の取得タイミング(露光タイミング)をそれぞれ○印および△印で併せて示している。なお、図10では、横軸および縦軸はそれぞれ撮影レンズ11の位置xおよび時間t(sec)を示している。また、図10における撮影レンズ11の位置は、図9に例示した撮影レンズ11の位置と対応させて示している。
【0106】
また、ここでは、オートフォーカス動作によって、撮影レンズ11を光軸方向へ駆動させながら入力される画像に基づいて、時間t=N(sec)からの第1の撮影画像を取得前に合焦位置検出部154が撮影レンズ11の合焦位置(初期合焦位置)を検出して、撮影レンズ11が初期合焦位置(x=x10)へ移動して、第1の撮影画像の取得が開始されているものとする。
【0107】
図10に示すように、ここでは、時間t=N,N+1/30,N+1/15(sec)より、それぞれ、CCD撮像素子30が、連続した第1から第3の撮影画像を取得して、その後、メモリカード9に記録するとともに、液晶表示部16に第1から第3の撮影画像に基づいた表示画像の表示を行う。また、第1の撮影画像の取得後から第2の撮影画像の取得開始までに、時間t=N+1/90,N+1/45(sec)から取得される、2つの調整画像からなる第1の調整画像群を取得し、第2の撮影画像の取得後から第3の撮影画像の取得開始までに、時間t=N+2/45,N+1/18(sec)から取得される、2つの調整画像からなる第2の調整画像群が取得される。したがって、ここでは、第1および第2の調整画像群をとばして、第1から第3の撮影画像を連続して記録・表示する。
【0108】
また、図10に示すように、駆動制御部153の制御の下で各画像を画像の取得の合間に撮影レンズ11を光軸方向に対して前後に調整距離だけ駆動させ、第1から第3の撮影画像の取得時に撮影レンズ11を初期合焦位置(x=x10)へ駆動させた状態とし、第1および第2の調整画像群の取得時に撮影レンズ11を初期合焦位置(x=x10)から光軸方向へ前後に調整距離だけ駆動させた状態とする。つまり、第1および第2の調整画像群の取得時に撮影レンズ11を、それぞれ第1から第3の撮影画像取得時の撮影レンズ11の位置である初期合焦位置(x=x10)から前後に2箇所ずつの異なるレンズ位置(x8,x9,x11,x12)へ駆動させた状態とする。
【0109】
また、ここでは、第2の撮影画像と、第1および第2の調整画像群とからなる5つの画像について評価値算出部152によって評価値を算出し、その評価値に基づいて、合焦判定部155において、動画撮影中に撮影レンズ11の合焦位置が初期合焦位置から変化したか否を判定するとともに、合焦位置検出部154において、撮影レンズ11の次の合焦位置を決定する。つまり、第2の撮影画像と、第1および第2の調整画像群とに基づいて、撮影レンズ11の合焦状態について判定するとともに、撮影レンズ11の次の合焦位置を決定する。なお、ここでは、合焦判定部155における撮影レンズ11の合焦状態の判定は、第2の撮影画像と、時間t=N+1/45,N+2/45から取得された2つの調整画像とから構成される3つの画像に基づいて行われる。
【0110】
そして、合焦判定部155、および合焦位置検出部154は、判定・決定結果をカメラ制御部100および駆動制御部153へ送信し、その結果を受けてカメラ制御部100および駆動制御部153は、撮影レンズ11の駆動を制御する。
【0111】
また、ここでは、合焦判定部155における撮影レンズ11の合焦状態の判定、および、合焦位置検出部154における撮影レンズ11の次の合焦位置の決定時に対象となる、第2の撮影画像と、第1および第2の調整画像群とを取得した後に、撮影レンズ11のレンズ位置x=x10として第3の撮影画像を撮像するが、これは、第1実施形態において説明したように、合焦判定部155における撮影レンズ11の合焦状態の判定、および、合焦位置検出部154における撮影レンズ11の次の合焦位置の決定に若干の時間を要するため、判定および決定結果が出るまで、不必要に撮影レンズ11を駆動させないようにしている。したがって、判定結果が出るまで、撮影・表示用の撮影画像をぼかさないために、撮影レンズ11の合焦位置が変化していないものとして、第3の撮影画像を取得する際には、撮影レンズ11を初期合焦位置に戻すこととしている。
【0112】
なお、図10では、図7および図8で示した転送タイミング、評価値算出および合焦判定タイミング、記録タイミングについては記述していないが、ここでも、図7および図8で示したものと同様に、CCD撮像素子30において取得される各画像は、画像取得後ただちにCCD撮像素子30から画像メモリ70へ転送される。また、各画像が画像メモリ70に転送されると、ただちに評価値算出部152において、各画像についての評価値をそれぞれ算出する。そして、合焦判定の対象となる画像について評価値が算出されると、ただちに合焦判定を行う。さらに、ここでは、合焦位置の検出の対象となる画像について評価値が算出されると、ただちに合焦位置の検出・決定を行う。また、撮影画像については、評価値算出部152において評価値が算出された後、ただちに画像メモリ70からメモリカード9に記録画像として記録されるとともに、液晶表示部16に表示画像として表示される。
【0113】
したがって、ここでは、第2および第3の撮影画像を取得する際に、撮影レンズ11の位置を初期合焦位置(x=x10)とし、第1および第2の調整画像群を取得する際に、撮影レンズ11の位置を初期合焦位置(x=x10)の前後に調整距離だけ駆動させたレンズ位置(x=x8,x9,x11,x12)とすることによって、被写体が動いていない時には、合焦判定用、および撮影レンズ11の合焦位置の検出・決定用(合焦検出・決定用)のぼけた調整画像を記録・表示しないようにし、また、図9に示すように被写体が動いた時には、よりぼける方向(レンズ位置x=x8,x9の方向)に撮影レンズ11を調整距離だけ駆動した合焦判定用および合焦検出・決定用のぼけた調整画像を記録・表示しないようにする。
【0114】
以上のように、動画撮影時において、記録・表示用の撮影画像を取得する際には撮影レンズ11の位置を初期合焦位置とし、記録用には使用しない調整画像を取得する際には撮影レンズ11を初期合焦位置から前後に調整距離だけ駆動させたレンズ位置とすることによって、撮影レンズ11の合焦位置が変化していない場合には、合焦判定用および合焦検出・決定用のぼけた調整画像を記録・表示しないようにすることができ、また、撮影レンズ11の合焦位置が変化している場合には、よりぼける方向に撮影レンズ11を調整距離だけ駆動した合焦判定用および合焦検出・決定用のぼけた調整画像を記録・表示しないようにすることができるため、高精度で鮮明な動画を記録・表示することができる。
【0115】
さらに、CCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させ、記録・表示用の各撮影画像の取得どうし間にそれぞれ調整画像群を取得し、撮影画像とその前後に取得される調整画像群とに基づいて、撮影レンズ11の次の初期合焦位置を決定することによって、被写体の動きに素早く追従した合焦動作が実施可能なため、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0116】
<第4実施形態>
第4実施形態では、大部分が第3実施形態と同様な構成となっているが、CCD撮像素子30における単位時間当たりの読み出しフレーム数と、タイミング制御部160、カメラ制御部100、および駆動制御部153の制御による、動画撮影中の画像取得、撮影レンズ11の駆動、合焦判定、および合焦位置の検出などの各種動作タイミングと撮影レンズ11の位置との関係が、第3実施形態と異なる。以下、第3実施形態と異なる点について主に説明する。なお、第3実施形態と同様となる点については、同様な符号を用いる等して説明を省略する。
【0117】
上述した第3実施形態では、動画撮影中において、CCD撮像素子30の画像信号の読み出しを毎秒90フレーム分とし、3フレームに1フレームのタイミングで、CCD撮像素子30が、本撮影モードにおける1280×960の画素を有する画像信号を読み出していたが、第4実施形態では、CCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させ、CCD撮像素子30の画像信号の読み出しを毎秒150フレーム分とし、5フレームに1フレームのタイミングで、CCD撮像素子30が、本撮影モードにおける1280×960の画素を有する画像信号を読み出す。
【0118】
第4実施形態においても、第3実施形態における説明で用いた図9に示したように、合焦判定部155の撮影レンズ11の合焦状態の判定や、評価値が最大となる撮影レンズ11の位置の方向を判定する方向判定と並行して、合焦位置検出部154が、評価値が最大となる撮影レンズ11の位置(x=x11)を検出し、撮影レンズ11の次の初期合焦位置(x=x11)として決定する。
【0119】
そして、第3実施形態と同様に、合焦位置検出部154が、次の初期合焦位置(x=x11)を決定した場合は、駆動制御部153が、合焦位置検出部154によって決定された次の初期合焦位置(x=x11)に導くように、光軸方向への撮影レンズ11の駆動を制御する。また、図示を省略するが、合焦判定部155によって評価値が最大となる撮影レンズ11の位置が初期合焦位置(x=x10)でないと判定された場合で、合焦位置検出部154が評価値が最大となる撮影レンズ11の位置(次の初期合焦位置)を検出することができない場合は、合焦判定部155において、第3実施形態と同様に、評価値が最大となる撮影レンズ11の位置の方向判定がなされるため、その方向判定結果に基づいて、第3実施形態と同様に、一般的なコントラスト方式のオートフォーカス動作を行う。そして、撮影レンズ11が次の初期合焦位置(x=x11)に駆動すると、駆動制御部153より撮影レンズ11の次の初期合焦位置(x=x11)への駆動完了を示す信号がカメラ制御部100およびタイミング制御部160へ送信される。さらに、再び上述した図9で示したように、駆動制御部153の制御の下で撮影レンズ11を次の初期合焦位置の前後に調整距離だけ駆動させながら画像を取得して、その画像に基づいて撮影レンズ11の合焦位置が変化したか否かを合焦判定部155が繰り返し判定するとともに、合焦位置検出部154がその後の初期合焦位置の検出・決定を行う。
【0120】
<撮影レンズ11の位置と画像取得タイミングについて>
次に、第4実施形態における動画撮影中の撮影レンズ11の位置と画像取得タイミングについて説明する。
【0121】
図11には、動画撮影中の撮影レンズ11の位置と時間との関係を表す線13Lが例示されており、線13L上には、撮影画像および調整画像の取得タイミングをそれぞれ○印および△印で併せて示している。なお、図11では、横軸および縦軸はそれぞれ撮影レンズ11の位置xおよび時間t(sec)を示している。また、図11における撮影レンズ11の位置は、図9に例示した撮影レンズ11の位置と対応させて示している。さらに、ここでは、オートフォーカス動作によって、撮影レンズ11を光軸方向へ駆動させながら入力される画像に基づいて、時間t=N(sec)からの第1の撮影画像の取得前に、合焦位置検出部154が撮影レンズ11の合焦位置(初期合焦位置)を検出して、撮影レンズ11が初期合焦位置(x=x10)へ移動して、第1の撮影画像の取得が開始されているものとする。
【0122】
図11に示すように、ここでは、時間t=N,N+1/30(sec)から、それぞれCCD撮像素子30が連続した第1および第2の撮影画像を取得して、その後、メモリカード9に記録するとともに、液晶表示部16に第1および第2の撮影画像に基づいた表示画像の表示を行う。また、第1の撮影画像の取得後から第2の撮影画像の取得開始までに、時間t=N+1/150,N+1/75,N+1/50,N+2/75から4つの調整画像(複数の調整画像)が取得される。したがって、ここでは、複数の調整画像をとばして、第1および第2の撮影画像を連続して記録・表示する。
【0123】
また、図11に示すように、駆動制御部153の制御の下で各画像を画像の取得の合間に撮影レンズ11を光軸方向に対して前後に調整距離だけ駆動させ、第1および第2の撮影画像の取得時に撮影レンズ11を初期合焦位置(x=x10)へ駆動させた状態とし、複数の調整画像の取得時に撮影レンズ11を初期合焦位置(x=x10)から光軸方向へ前後に調整距離だけ駆動させた状態とする。つまり、複数の調整画像の取得時に撮影レンズ11を、それぞれ第1および第2の撮影画像取得時の撮影レンズ11の位置である初期合焦位置(x=x10)から前後に2箇所ずつの異なるレンズ位置(x8,x9,x11,x12)へ駆動させた状態とする。
【0124】
また、ここでは、第2の撮影画像と4つの調整画像とについて評価値算出部152によって評価値を算出し、その評価値に基づいて、合焦判定部155において、動画撮影中に撮影レンズ11の合焦位置が初期合焦位置から変化したか否を判定するとともに、合焦位置検出部154において、撮影レンズ11の次の初期合焦位置を決定する。つまり、第2の撮影画像と、複数の調整画像とに基づいて、撮影レンズ11の合焦状態について判定するとともに、撮影レンズ11の次の合焦位置を決定する。なお、ここでは、合焦判定部155における撮影レンズ11の合焦状態の判定は、第2の撮影画像と時間t=N+1/75,1/50(sec)から取得された調整画像とに基づいて行われる。
【0125】
そして、合焦判定部155、および合焦位置検出部154は、判定・決定結果をカメラ制御部100および駆動制御部153へ送信し、その結果を受けてカメラ制御部100および駆動制御部153は、撮影レンズ11の駆動を制御する。
【0126】
なお、図11では、図7および図8で示した転送タイミング、評価値算出および合焦判定タイミング、記録タイミングについては記述していないが、ここでも、図7および図8で示したものと同様に、CCD撮像素子30において取得される各画像は、画像取得後ただちにCCD撮像素子30から画像メモリ70へ転送される。また、各画像が画像メモリ70に転送されると、ただちに評価値算出部152において、各画像についての評価値をそれぞれ算出する。そして、合焦判定の対象となる画像について評価値が算出されると、ただちに合焦判定を行う。さらに、ここでは、合焦位置の検出の対象となる画像について評価値が算出されると、ただちに合焦位置の検出・決定を行う。また、撮影画像については、評価値算出部152において評価値が算出された後、ただちに画像メモリ70からメモリカード9に記録画像として記録されるとともに、液晶表示部16に表示画像として表示される。
【0127】
したがって、ここでは、第2の撮影画像を取得する際に、撮影レンズ11のレンズ位置を初期合焦位置(x=x10)とし、複数の調整画像の取得時に、撮影レンズ11のレンズ位置を初期合焦位置(x=x10)の前後に調整距離だけ駆動させることによって、被写体が動いていない時には、合焦判定用のぼけた調整画像を記録・表示しないようにし、また、図9に示すように被写体が動いた時には、よりぼける方向(レンズ位置x=x8,x9の方向)に撮影レンズ11を調整距離だけ駆動した合焦判定用のぼけた調整画像を記録・表示しないようにする。
【0128】
また、第4実施形態では、第3実施形態よりも、CCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させているため、動画撮影中において、合焦判定部155における撮影レンズ11の合焦状態の判定、および合焦位置検出部154における合焦位置の検出に必要な撮影画像および複数の調整画像を短時間で取得することができる。
【0129】
以上のように、動画撮影時において、第3実施形態よりもCCD撮像素子30における単位時間当たりの読み出しフレーム数を増加させ、記録・表示用の各撮影画像の取得どうしの間に調整画像群を取得し、撮影画像とその前に取得される調整画像群とに基づいて、撮影レンズ11の次の初期合焦位置を決定することによって、撮影レンズ11の合焦判定用および合焦検出・決定用の撮影画像および複数の調整画像を短時間で得ることができるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0130】
また、CCD撮像素子30によって自動合焦モードのように各撮影画像よりも解像度を下げて各調整画像を取得することにより、調整画像については撮影画像についてよりもCCD撮像素子30から画像メモリ70までのデータ転送時間を短かくすることができるため、撮影レンズ11の次の初期合焦位置の決定が短時間で可能となり、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0131】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0132】
◎例えば、上述した実施形態では、動画撮影モードにおける合焦判定および合焦検出・決定について説明したが、これに限られるものではなく、動画撮影と同様なタイミングで連続した画像の記録または表示を行うようなものであっても良い。具体的には、被写体に対する撮影レンズの合焦状態を維持し続けようとするコンティニュアスAFやフルタイムAF等の動作において連続した画像の表示を行う場合などに適用可能である。
【0133】
◎また、第2実施形態では、第2の撮影画像とその前に取得された第1および第2の調整画像(複数の調整画像)とに基づいて、撮影レンズ11の合焦状態について判定していたが、これに限られるものではなく、第1の撮影画像とその後に取得された第1および第2の調整画像(複数の調整画像)とに基づいて、撮影レンズ11の合焦状態について判定するようなものであっても良い。
【0134】
◎また、第3実施形態では、撮影画像の前後に取得される調整画像群は、それぞれ撮影画像取得時の撮影レンズ11の位置以外における異なる2つの撮影レンズの位置において取得された2つの調整画像から構成されていたが、これに限られるものではなく、撮影画像の前後に取得される調整画像群が、それぞれ撮影画像取得時の撮影レンズの位置以外における少なくとも2箇所以上の異なる撮影レンズの位置において取得された調整画像から構成されるものであれば良い。
【0135】
◎また、第3実施形態においては、撮影画像とその前後に取得される調整画像群とに基づいて、撮影レンズ11の次の初期合焦位置の決定を行っているが、これに限られるものではなく、撮影画像の前後に取得される調整画像群のうちのいずれか一方を1つの調整画像とし、当該調整画像と他方の調整画像群と撮影画像とに基づいて撮影レンズ11の次の初期合焦位置の決定を行うものであっても良い。
【0136】
◎また、第4実施形態では、撮影画像の前に取得される複数の調整画像は、撮影画像取得時の撮影レンズ11の位置以外における4箇所の異なる撮影レンズ11の位置において取得した4つの調整画像から構成されているが、これに限られるものではなく、撮影画像の前に取得される複数の調整画像は、撮影画像取得時の撮影レンズ11の位置以外における少なくとも3箇所以上の異なる撮影レンズ11の位置において取得した調整画像から構成されるものであれば良い。
【0137】
◎また、第4実施形態では、第2の撮影画像とその前に取得された複数の調整画像とに基づいて、撮影レンズ11の合焦状態について判定するとともに、撮影レンズ11の次の合焦位置を決定していたが、これに限られるものではなく、第1の撮影画像とその後に取得された複数の調整画像とに基づいて、撮影レンズ11の合焦状態について判定するとともに、撮影レンズ11の次の合焦位置を決定するようなものであっても良い。
【0138】
◎また、上述した第1実施形態では、撮影レンズ11の合焦状態の判定後に取得される画像に基づいて、次の撮影レンズ11の合焦状態の判定を行っているが、これに限られるものではなく、撮影レンズ11の合焦状態の判定時および判定前に取得される画像と、撮影レンズ11の合焦状態の判定後に取得される画像とに基づいて、次の撮影レンズ11の合焦状態の判定を行うようなものであっても良い。例えば、図7において、第2の撮影画像と、第1および第2の調整画像とからなる3つの画像7Dに基づいて、撮影レンズ11の合焦状態の判定を行った後に、第3の撮影画像と、第2および第3の調整画像とからなる3つの画像に基づいて、撮影レンズ11の合焦状態の判定を行うようなものであっても良い。このような構成とすることによって、切れ間なく撮影レンズ11の合焦状態についての判定を行うことができるため、さらに被写体の動きに素早く追従した合焦動作を行うことが可能となり、被写体が動いたときにぼけた画像を記録・表示する時間を短縮することができる。
【0139】
◎また、上述した実施形態では、撮影画像を記録画像および表示画像としてそれぞれメモリカード9および液晶表示部16に記録・表示して出力していたが、これに限られるものではなく、通信回線を通じて他のコンピュータなどに撮影画像を送信するなど、種々の機器および記録メディアなどに撮影画像を出力するものであっても良い。
【0140】
◎また、上述した実施形態では、撮影レンズ11の光軸方向の5つの位置(x=x8,x9,x10,x11,x12)は、等間隔に所定の単位調整距離Δxだけ離れているものとしていたが、これに限られるものではなく、撮影レンズ11の位置(x=x8,x9,x10,x11,x12)の間隔は、任意の間隔であっても良い。
【0141】
◎また、上述した実施形態では、撮影レンズ11の駆動タイミングと、画像取得タイミング(露光タイミング)とは別々の時間であったが、これに限られるものではなく、撮影レンズ11の駆動時間中に露光(画像取得)を行うようなものであっても良い。なお、撮影レンズ11の駆動時間中に露光(画像取得)を行う場合は、露光(画像取得)中の撮影レンズ11の駆動範囲の中心を、露光(画像取得)が行われた撮影レンズ11の位置とすることが好ましい。このような構成とすることによって、駆動にかかる時間を短縮することができるため、複数の画像の取り込みを短時間で行うことができる。
【0142】
◎また、上述した実施形態では、動画撮影についても、CCD撮像素子30において、本撮影モードにおける全画素に相当する1280×960の画像信号を読み出し対象としているが、これに限られるものではなく、CCD撮像素子30において、ドラフトモードにおける1280×240の画像信号を読み出し対象として、NTSCなどの一般的なフォーマットに準拠した形で画像データを作成するようなものであっても良い。このような構成とすることによって、CCD撮像素子30から画像メモリ70までなどの画像の転送時間を短縮することができるため、撮影レンズの合焦状態の判定および次の合焦位置の決定が短時間で可能となる。
【0143】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0144】
(1)請求項1に記載の撮像装置であって、前記画像取得手段が、前記第1から第3の撮影画像よりも解像度を下げて前記第1および第2の調整画像を取得することを特徴とする撮像装置。
【0145】
(1)の発明によれば、調整画像を撮影画像よりも解像度を下げて取得することによって、撮影レンズの合焦状態の判定および次の合焦位置の決定が短時間で可能となるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0146】
(2)請求項2または請求項4に記載の撮像装置であって、前記画像取得手段が、前記第1および第2の撮影画像よりも解像度を下げて前記複数の調整画像を取得することを特徴とする撮像装置。
【0147】
(2)の発明によれば、調整画像を撮影画像よりも解像度を下げて取得することによって、撮影レンズの合焦状態の判定および次の合焦位置の決定が短時間で可能となるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0148】
(3)請求項3に記載の撮像装置であって、前記画像取得手段が、前記第1から第3の撮影画像よりも解像度を下げて前記複数の調整画像を取得することを特徴とする撮像装置。
【0149】
(3)の発明によれば、調整画像を撮影画像よりも解像度を下げて取得することによって、撮影レンズの合焦状態の判定および次の合焦位置の決定が短時間で可能となるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0150】
【発明の効果】
以上説明したように、請求項1から請求項4の発明によれば、時間的に連続した画像の撮影時に、出力用の撮影画像を取得する際には撮影レンズの位置を初期合焦位置とし、出力用に使用しない調整画像を取得する際には撮影レンズを初期合焦位置から前後に駆動させたレンズ位置とすることによって、撮影レンズの合焦位置が変化していない場合には、合焦判定用のぼけた画像を出力しないようにすることができ、また、撮影レンズの合焦位置が変化している場合には、よりぼける方向に撮影レンズを駆動させて取得される合焦判定用のぼけた画像を出力しないようにすることができるため、高精度で鮮明な動画を出力することができる。
【0151】
また、請求項2の発明によれば、連続した画像の撮影時に、撮影レンズの合焦判定用の画像を短時間で得ることができるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0152】
また、請求項3の発明によれば、時間的に連続した画像の撮影時に、出力用の各撮影画像の取得どうし間にそれぞれ調整画像群を取得し、撮影画像とその前後に取得される調整画像群とに基づいて、撮影レンズの次の合焦位置を決定することによって、被写体の動きに素早く追従した合焦動作が実施可能なため、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0153】
また、請求項4の発明によれば、時間的に連続した画像の撮影時に、出力用の各撮影画像の取得どうし間にそれぞれ調整画像群を取得し、撮影画像とその前または後に取得された調整画像群とに基づいて、撮影レンズの次の合焦位置を決定することによって、撮影レンズの合焦検出・決定用の画像を短時間で得ることができるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【0154】
また、請求項5の発明によれば、調整画像を撮影画像よりも解像度を下げて取得することによって、撮影レンズの合焦状態の判定および次の合焦位置の決定が短時間で可能となるため、被写体の動きに素早く追従した合焦動作を行って、被写体が動いたときにぼけた画像を出力する時間を短縮することができる。
【図面の簡単な説明】
【図1】 第1実施形態の撮像装置を示す斜視図である。
【図2】 図1に示す撮像装置の背面図である。
【図3】 撮像装置の内部構成を示すブロック図である。
【図4】 評価値と撮影レンズの光軸方向の位置との関係を示す模式図である。
【図5】 撮影レンズの合焦位置が変化したか否かの判定方法を例示する模式図である。
【図6】 撮影レンズの合焦位置が変化したか否かの判定方法を例示する模式図である。
【図7】 動画撮影中の画像取得、撮影レンズの駆動、および合焦判定などの各動作タイミングと撮影レンズの位置との関係を例示する図である。
【図8】 動画撮影中の画像取得、撮影レンズの駆動、および合焦判定などの各動作タイミングと撮影レンズの位置との関係を例示する図である。
【図9】 撮影レンズの合焦位置が変化したか否かの判定方法および次の合焦位置を決定する方法について例示する模式図である。
【図10】 動画撮影中の撮影レンズの位置と時間との関係を例示する図である。
【図11】 動画撮影中の撮影レンズの位置と時間との関係を例示する図である。
【図12】 評価値と撮影レンズの光軸方向の位置との関係を示す模式図である。
【図13】 撮影レンズの合焦位置が変化したか否かの判定方法を例示する模式図である。
【図14】 撮影レンズの合焦位置が変化したか否かの判定方法を例示する模式図である。
【符号の説明】
1 撮像装置
3 撮影機能部
30 CCD撮像素子(画像取得手段)
60 解像度変換部
100 カメラ制御部
150 光学系制御部
153 駆動制御部(駆動制御手段)
154 合焦位置検出部(検出手段、決定手段)
155 合焦判定部(判定手段)
160 タイミング制御部

Claims (5)

  1. 時間的に連続した第1から第3の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、
    影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段、
    を備え、
    前記焦点調節手段が、
    前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに第1の調整画像を、および前記第2の撮影画像の取得後から前記第3の撮影画像の取得開始までに第2の調整画像を、画像取得手段がそれぞれ取得するように制御する画像取得制御手段と、
    前記第1からの撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記第1および第2の調整画像のうち一方を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向に駆動させた状態とし、他方を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向に駆動させた状態とする駆動制御手段と、
    前記第2の撮影画像と、前記第1および第2の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの合焦位置が前記初期合焦位置から変化したか否かを判定する判定手段と、
    有し
    前記第1および第2の調整画像をとばして、前記第1から第3の撮影画像を時間的に連続して出力することを特徴とする撮像装置。
  2. 時間的に連続した第1および第2の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、
    影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段、
    を備え、
    前記焦点調節手段が、
    前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに時間的に連続した複数の調整画像を、画像取得手段が取得するように制御する画像取得制御手段と、
    前記第1および第2の撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記複数の調整画像のうち一部の調整画像を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向に駆動させた状態とし、他の一部の調整画像を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向に駆動させた状態とする駆動制御手段と、
    前記第1または第2の撮影画像と、前記複数の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの合焦位置が前記初期合焦位置から変化したか否かを判定する判定手段と、
    有し
    前記複数の調整画像をとばして、前記第1および第2の撮影画像を時間的に連続して出力することを特徴とする撮像装置。
  3. 時間的に連続した第1から第3の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、
    影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段、
    を備え、
    前記焦点調節手段が、
    前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに複数の調整画像からなる第1の調整画像を、および前記第2の撮影画像の取得後から前記第3の撮影画像の取得開始までに複数の調整画像からなる第2の調整画像群を、画像取得手段がそれぞれ取得するように制御する画像取得制御手段と、
    前記第1からの撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記第1および第2の調整画像群のうち一方の調整画像群を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った第1の方向のそれぞれ異なる位置に駆動させた状態とし、他方の調整画像群を取得する際には、前記撮影レンズを前記初期合焦位置から光軸に沿った前記第1の方向とは反対方向の第2の方向のそれぞれ異なる位置に駆動させた状態とする駆動制御手段と、
    前記第2の撮影画像と、前記第1および第2の調整画像群に含まれる各調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの次の初期合焦位置を決定する決定手段と、
    有し
    前記第1および第2の調整画像群をとばして、前記第1から第3の撮影画像を時間的に連続して出力することを特徴とする撮像装置。
  4. 時間的に連続した第1および第2の撮影画像を含む記録及び表示用の複数の撮影画像に基づいて形成される動画を取得して出力する撮像装置において、
    影レンズ光軸方向の位置を相違させつつ、時間的に連続して入力される複数の画像について、合焦状態に関する評価値をそれぞれ求め、当該複数の画像に係る評価値の大小関係を比較することで、前記撮影レンズの合焦位置を求めて焦点の調節を行う焦点調節動作を繰り返し実施することにより、時間的に連続して焦点の調節を行う焦点調節手段、
    を備え、
    前記焦点調節手段が、
    前記複数の撮影画像を一定の時間間隔で取得しつつ、当該複数の撮影画像を取得する合間に、それぞれ合焦制御用の調整画像を取得することで、前記第1の撮影画像の取得後から前記第2の撮影画像の取得開始までに時間的に連続した少なくとも3以上の調整画像を含む複数の調整画像を、画像取得手段が取得するように制御する画像取得制御手段と、
    前記第1および第2の撮影画像の取得時に前記撮影レンズを、前記焦点調節手段によって前記第1の撮影画像の取得前に求められた初期合焦位置へ駆動させた状態とし、前記複数の調整画像を取得する際には、前記撮影レンズを光軸に沿った前記初期合焦位置以外における少なくとも3箇所以上の異なる位置にそれぞれ駆動させた状態とする駆動制御手段と、
    前記第1または第2の撮影画像と、前記複数の調整画像とについて、合焦状態に関する評価値をそれぞれ求めて大小関係を比較することで、前記撮影レンズの次の初期合焦位置を決定する決定手段と
    有し
    前記複数の調整画像をとばして、前記第1および第2の撮影画像を時間的に連続して出力することを特徴とする撮像装置。
  5. 請求項1から請求項4のいずれかに記載の撮像装置であって、
    前記画像取得手段が、
    各撮影画像よりも解像度を下げて各調整画像を取得し、
    前記撮像装置が、
    前記各撮影画像について画素間引きを行い、前記各撮影画像と前記各調整画像とからそれぞれ評価値算出用の同一画素数からなる画像成分を取得する手段、を備えることを特徴とする撮像装置。
JP2002066675A 2002-03-12 2002-03-12 撮像装置 Expired - Fee Related JP3956284B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002066675A JP3956284B2 (ja) 2002-03-12 2002-03-12 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002066675A JP3956284B2 (ja) 2002-03-12 2002-03-12 撮像装置

Publications (2)

Publication Number Publication Date
JP2003264734A JP2003264734A (ja) 2003-09-19
JP3956284B2 true JP3956284B2 (ja) 2007-08-08

Family

ID=29198345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002066675A Expired - Fee Related JP3956284B2 (ja) 2002-03-12 2002-03-12 撮像装置

Country Status (1)

Country Link
JP (1) JP3956284B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4496463B2 (ja) * 2004-03-29 2010-07-07 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4637029B2 (ja) * 2006-02-08 2011-02-23 キヤノン株式会社 撮像装置及びその制御方法
JP5379449B2 (ja) * 2008-10-31 2013-12-25 キヤノン株式会社 撮像装置及びその制御方法
JP5411508B2 (ja) 2009-01-07 2014-02-12 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2003264734A (ja) 2003-09-19

Similar Documents

Publication Publication Date Title
US8823861B2 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
US7586518B2 (en) Imaging technique performing focusing on plurality of images
JP4444927B2 (ja) 測距装置及び方法
JP5652157B2 (ja) 撮像装置、画像処理方法、並びにコンピューター・プログラム
JP2007010908A (ja) 焦点調節方法及び装置
US8872963B2 (en) Imaging apparatus and imaging method
JP2006162991A (ja) 立体画像撮影装置
JP2005215373A (ja) 撮像装置
JP6238578B2 (ja) 撮像装置およびその制御方法
JP4678061B2 (ja) 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
JP5014267B2 (ja) 撮像装置
JP2007133810A (ja) 画像処理装置
JP3956284B2 (ja) 撮像装置
JP4407379B2 (ja) 電子カメラおよび画像処理システム
JP5354879B2 (ja) カメラ
JP2009042555A (ja) 電子カメラ
JPH09181954A (ja) 電子スチルカメラおよびそのフォーカス制御方法
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP5415208B2 (ja) 撮像装置
JP5239250B2 (ja) 電子カメラ
JP2006135501A (ja) 撮像装置
JP5948062B2 (ja) 撮像装置および顕微鏡システム
JPH11258491A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2001324672A (ja) オートフォーカス制御方法及びオートフォーカス装置
JP5157757B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040917

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040917

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees