JP3823921B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3823921B2
JP3823921B2 JP2002380865A JP2002380865A JP3823921B2 JP 3823921 B2 JP3823921 B2 JP 3823921B2 JP 2002380865 A JP2002380865 A JP 2002380865A JP 2002380865 A JP2002380865 A JP 2002380865A JP 3823921 B2 JP3823921 B2 JP 3823921B2
Authority
JP
Japan
Prior art keywords
state
focus position
image
subject
panning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002380865A
Other languages
English (en)
Other versions
JP2004212556A (ja
Inventor
純 青山
真一 藤井
努 本田
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2002380865A priority Critical patent/JP3823921B2/ja
Priority to US10/391,112 priority patent/US20040125229A1/en
Publication of JP2004212556A publication Critical patent/JP2004212556A/ja
Application granted granted Critical
Publication of JP3823921B2 publication Critical patent/JP3823921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置における撮影レンズの合焦制御技術に関する。
【0002】
【従来の技術】
従来のデジタルカメラにおいては、いわゆるコントラスト方式(山登り方式)のオートフォーカス(AF)動作を行っている。例えば、ユーザーによって、シャッターボタンが半押しされると、撮影レンズをその光軸方向に沿って移動させつつ複数の画像を取得し、それら複数の画像におけるコントラスト値をそれぞれ算出して比較することにより、コントラスト値が最も高くなる撮影レンズの位置を合焦位置として検出する。その後、撮影レンズが合焦位置へ移動して、フォーカスフレーム内の被写体に合焦した状態となる。また、実際のAF動作においては、AF動作の高速化のために、合焦位置近傍の数点において求まるコントラスト値を曲線近似することで、ピーク位置を求めるのが一般的である。
【0003】
ところで、昨今のデジタルカメラにおいては、シャッターボタンを半押ししなくてもフォーカスフレーム内の被写体に常に合焦し続ける「フルタイムAF」機能を有するものがある。そして、この機能により、ユーザーは、合焦した状態の被写体を表示部などに表示しつつ撮りたい写真の構図を容易に確認することができるとともに、シャッターボタンの半押しで合焦させ始めるよりも短時間で合焦状態を実現させることができる。したがって、フルタイムAF機能によりユーザーにとって操作性の良いAF動作を実現することができる。
【0004】
このフルタイムAF機能に関する技術として、例えば、手ぶれ発生などに対応するために、一旦、コントラスト方式のAF動作によって、撮影レンズが合焦位置へ移動した後、その撮影レンズの位置で、再度、コントラスト値を算出し、同じ撮影レンズの位置で前回取得されたコントラスト値との差分値を求め、この差分値の大きさに応じてその後のAF動作を選択し切り換える技術が提案されている(例えば、特許文献1)。
【0005】
このような技術に関する先行技術文献としては、以下のようなものがある。
【0006】
【特許文献1】
特開2000−47094
【0007】
【発明が解決しようとする課題】
しかしながら、手ぶれや被写体の動きなどにより、AF動作において、合焦位置近傍の数点について求まるコントラスト値に基づく近似曲線が歪み易くなったり、近似曲線に十分なピークを検出することができず、被写体に対する適正な合焦位置から撮影レンズがずれ易くなるといった問題がある。
【0008】
本発明は上記課題に鑑みてなされたものであり、手ぶれや被写体の動きなどに対応して、被写体に対して適正に合焦し続ける機能を有する撮像装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の課題を解決するために、請求項1の発明は、撮影前に撮影レンズを駆動させつつ複数の画像を入力して、前記撮影レンズの合焦制御を行う撮像装置であって、(a)前記複数の画像を順次表示する表示手段と、(b)前記撮像装置の撮影動作の開始を指示する撮影指示手段と、(c)前記複数の画像において画像ごとに設定された評価領域について、前記撮影レンズの合焦状態に関する評価値を算出する算出手段と、(d)前記算出手段によって算出された複数の前記評価値に基づいて、前記撮影レンズの合焦位置を決定する決定手段と、(e)前記合焦位置へ前記撮影レンズを駆動させる駆動手段と、(f)前記表示手段に表示させるための画像に基づいて、被写体が動体である被写体動き状態を検出する検出手段と、(g)前記検出手段による前記被写体動き状態の検出に基づいて、前記複数の画像を入力する前記撮影レンズの位置どうしの間隔を拡大させるとともに、前記算出手段による複数の前記評価値の算出と、前記決定手段による前記合焦位置の決定と、前記駆動手段による前記合焦位置への前記撮影レンズの駆動とを含む一連の動作を繰り返し実行させるように制御する制御手段とを備えることを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0015】
<撮像装置1の要部構成>
図1は本発明の実施形態に係る撮像装置(デジタルカメラ)1を示す斜視図である。また、図2は撮像装置1の背面図である。なお、図1および図1以降の図には、必要に応じて方位関係を明確にするためにお互いに直交するX,Y,Zの三軸を示している。
【0016】
図1に示すように、撮像装置1の前面側には、撮影レンズ11とファインダ窓2とが設けられている。撮影レンズ11の内側にはCCD撮像素子30が設けられている。CCD撮像素子30は、撮影レンズ11を介して入射する被写体像を光電変換して画像信号(画素ごとの画素データの配列からなる信号)を生成する。
【0017】
撮影レンズ11には光軸方向に沿って駆動可能なレンズ系が含まれている。そして、当該レンズ系を光軸方向に駆動することにより、CCD撮像素子30に結像される被写体像の合焦状態を実現することができるように構成されている。
【0018】
また、撮像装置1の上面側には、シャッターボタン8と、撮影モード切替ボタン14とが配置されている。
【0019】
撮影モード切替ボタン14は、撮像装置1による撮影動作時および撮影待機状態における撮影モードの切り替えを手動操作で選択設定するためのボタンである。なお、ここで、撮影待機状態とは、画像を取得してメモリカード9などに記憶する撮影(以下、「本撮影」と称する)前にライブビュー画像を液晶表示部16に表示する状態のことを言う。よって、撮影待機状態において、撮影モード切替ボタン14を操作することにより、通常のオートフォーカス動作(通常AF動作)を行うモード(以下、「通常AFモード」と称する)、およびフルタイムオートフォーカス動作(フルタイムAF動作)を行うモード(以下、「フルタイムAFモード」と称する)を設定することができる。なお、フルタイムAF動作とは、シャッターボタン8を押下しなくてもファインダ窓2内の主な被写体(以下、「主被写体」と称する)に常に合焦し続けるAF動作のことを言う。なお、通常AF動作およびフルタイムAF動作についてはさらに後述する。
【0020】
シャッターボタン8は被写体の撮影を行うときにユーザーが押下操作を行って撮像装置1に撮影指示を与えるボタンである。つまり、シャッターボタン8は、撮像装置1の撮影動作の開始を指示するためのボタンとして機能する。また、シャッターボタン8は、押下されることにより、半押し状態(以下、「S1状態」と称する)および全押し状態(以下、「S2状態」と称する)の2段階の押下状態とすることができる。そして、撮影待機状態において、通常AFモードに設定されている場合は、シャッターボタン8をS1状態とすることによって後述するワンショットAF動作が実施され、S2状態とすることによって後述する本撮影が実施される。
【0021】
また、フルタイムAFモードに設定されている場合は、撮影待機状態において、シャッターボタン8の押下操作前に、主被写体に常に合焦し続けるようなAF動作を行う。そして、S1状態となると、撮影レンズ11の駆動を停止し、フルタイムAF動作を停止する。この動作についてはさらに後述する。
【0022】
また、撮像装置1の側面部には、交換可能なメモリカード9を着装することができる着装部15が形成されている。そして、着装部15に着装されるメモリカード9には、ユーザーによるシャッターボタン8の押下操作に伴う本撮影動作で得られる画像データを記憶することができる。さらに、撮像装置1の側面部には、カード取り出しボタン7が配置されており、カード取り出しボタン7を押下することによって、着装部15からメモリカード9を取り出すことができる。
【0023】
また、図2に示すように、撮像装置1の背面には液晶表示部16と、操作ボタン17と、ファインダ窓2とが設けられている。液晶表示部16には、ライブビュー画像や本撮影時に取得される撮影画像等を表示することができる。また、操作ボタン17を操作することで、撮像装置1の各種設定状態を変更することができる。
【0024】
<撮像装置1の機能ブロック>
図3は撮像装置1の内部構成を示すブロック図である。図3に示すように、撮像装置1は、主に、撮影機能部3、光学系制御部150、パンニング・被写体動き状態検出部130、レンズ駆動部110、およびカメラ制御部100とを備えて構成される。撮影機能部3は、画像信号を処理するための部位であり、光学系制御部150は、オートフォーカス(AF)動作を実現するための部位であり、パンニング・被写体動き状態検出部130は、撮像装置1が左右に振られている状態(以下、「パンニング状態」と称する)にあるか否かおよび被写体が動いている状態(以下、「被写体動き状態」と称する)にあるか否かを検出する部位である。また、カメラ制御部100は、撮像装置1に設けられた各部を統括的に制御する部位である。
【0025】
CCD撮像素子30は、被写体像を撮像して電子的な画像信号を生成する撮像手段(画像取得手段)として機能する部位である。そして、CCD撮像素子30は、2560×1920個の画素を有し、撮影レンズ11によって結像された被写体の光像を、画素毎にR(赤),G(緑),B(青)の色成分の画像信号(各画素で受光された画素信号の信号列からなる信号)に光電変換して画像信号を出力する。なお、ここでは、CCD撮像素子30が露光されて被写体の光像を光電変換することを「画像の入力」と定義することにする。
【0026】
タイミングジェネレータ314は、カメラ制御部100から送信される基準クロックに基づきCCD撮像素子30の駆動制御信号を生成する部位である。このタイミングジェネレータ314は、例えば積分開始/終了(露出開始/終了)のタイミング信号、各画素の受光信号の読出制御信号(水平同期信号,垂直同期信号,転送信号等)等のクロック信号を生成し、CCD撮像素子30に出力する。
【0027】
そして、CCD撮像素子30から得られる画像信号はA/D変換器40に与えられる。撮影待機状態においては、例えば、タイミングジェネレータ314からの駆動制御信号に基づいて、CCD撮像素子30から1/30秒ごとにA/D変換器40に画像信号が入力される。
【0028】
A/D変換器40は、CCD撮像素子30から出力される画像信号(アナログ信号)を例えば1画素あたり10ビットのデジタル信号に変換する部位である。本撮影時においては、A/D変換器40から出力される画像信号は、画像処理部50のみに送信される。一方、撮影待機状態においては、A/D変換器40から出力される画像信号は、画像処理部50に送信されるとともに、パンニング・被写体動き状態検出部130および光学系制御部150にも送信される。
【0029】
画像処理部50は、画像信号に対してホワイトバランスの調整、γ補正、色補正等の画像処理を施す部位である。そして、画像処理部50から出力される画像信号は、解像度変換部60へと導かれる。
【0030】
解像度変換部60は、CCD撮像素子30から得られる画像信号(画像)に対して所定の解像度変換を行う部位である。例えば、撮影待機状態では、CCD撮像素子30から入力される画像データに対して、解像度変換部60が所定の解像度変換を施す。その結果、解像度変換部60が、液晶表示部16の表示画素数(320×240個)に適合した画像サイズの画像データを生成する。つまり、撮影待機状態では、CCD撮像素子30において垂直方向について1/8間引きされた2560×240個の画素を有する画像に対し、解像度変換部60が、水平方向について1/8間引きを行い、320×240個の画素を有するライブビュー画像を生成する。なお、本撮影時には、解像度変換部60は解像度変換処理を行うことなく、画像処理部50から得られる画像データをそのまま画像圧縮部80に出力する。
【0031】
画像メモリ70は、CCD撮像素子30で取得され、上記の画像処理が施された画像データを一時的に記憶するメモリである。画像メモリ70は、少なくとも数フレーム分の記憶容量を有している。すなわち、画像メモリ70は、CCD撮像素子30の画素数に対応する2560×1920個の画素分の画素データを数フレーム分記憶可能な記憶容量を少なくとも有し、各画素データが対応する画素位置に記憶されるようになっている。
【0032】
画像圧縮部80は、本撮影によって得られる撮影画像(2560×1920画素)に対して所定の圧縮方法による画像圧縮処理を施す。そして、画像圧縮の施された画像信号(記録画像)が画像圧縮部80から出力され、メモリカード9に記憶される。
【0033】
液晶表示部16は、一般的な液晶ディスプレイなどで構成され、320×240個の表示画素を有する。撮影待機状態では、解像度変換部60から入力される毎秒30フレームからなるライブビュー画像が、液晶表示部16に順次表示される。また、本撮影時には、撮影直後に撮影画像に係るアフタービュー画像が、液晶表示部16に表示される。
【0034】
パンニング・被写体動き状態検出部130は、撮像装置1がパンニング状態にあるか否かを検出する機能と、被写体が動体である被写体動き状態にあるか否かを検出する機能とを有する。なお、パンニング・被写体動き状態検出部130の機能については、後程詳述する。
【0035】
光学系制御部150は、A/D変換器40から入力される画像信号(画像データ)を取得して、コントラスト方式のAF動作を制御するように構成される。すなわち、光学系制御部150は、本撮影前に、撮影レンズ11を駆動させつつ複数の画像データ(画像)を入力して、撮影レンズ11の合焦制御を主に行う部位である。ここでは、光学系制御部150は、通常AFモードにおける通常AF動作、およびフルタイムAFモードにおけるフルタイムAF動作の双方を制御する。
【0036】
通常AFモードに設定されている場合には、シャッターボタン8の押下によって光学系制御部150によるAF動作が行われて撮影レンズ11が合焦位置に駆動される。そして、その後、本撮影の撮影動作が行われ、本撮影によって得られる2560×1920個の画素を有する画像信号が画像圧縮部80に与えられる。一方、撮影待機状態において、フルタイムAFモードに設定されると、光学系制御部150が、シャッターボタン8が押下されるまでの間、主被写体に対して常に合焦状態となるようにAF動作を制御する。これらのAF動作については、後程詳述する。
【0037】
カメラ制御部100は、CPUが所定のプログラムを実行することによって実現される。例えば、カメラ制御部100は、ユーザーがシャッターボタン8、撮影モード切替ボタン14、および操作ボタン17を含む各種ボタンを押下操作した場合に、その操作内容に応じて撮影機能部3の各部、パンニング・被写体動き状態検出部130、光学系制御部150、およびレンズ駆動部110を制御するように構成される。そして、撮影待機状態において、フルタイムAFモードに設定されている場合、パンニング・被写体動き状態検出部130によるパンニング状態および被写体動き状態の検出に基づいて、カメラ制御部100が、AF動作の方法を変更するように光学系制御部150を制御する。
【0038】
また、カメラ制御部100は、光学系制御部150およびタイミングジェネレータ314と連繋し、AF動作時に、光学系制御部150の制御の下で撮影レンズ11のレンズ位置を段階的に駆動させた場合に、各レンズ位置でCCD撮像素子30による画像データの取得を制御する。
【0039】
また、後述するフルタイムAF動作中に、ユーザーがシャッターボタン8を半押することによりS1状態となった場合には、カメラ制御部100が、その時点で、フルタイムAF動作を中断して、撮影レンズ11の位置を固定するように制御する。つまり、撮影待機状態において、フルタイムAFモードに設定されている場合は、カメラ制御部100が、シャッターボタン8による撮影動作の開始の指示前において、後述する画像取得部151による画像データの取得と、評価値算出部152による評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作を繰り返し実行させるように制御する。
【0040】
レンズ駆動部110は、光学系制御部150からの指令に応じて撮影レンズ11を光軸に沿って前後に駆動させるための駆動手段であり、CCD撮像素子30に結像される被写体像の合焦状態を変化させる部位である。つまり、レンズ駆動部110は、撮影レンズ11を合焦位置へ駆動させる部位である。なお、合焦位置は、光学系制御部150に備えられた後述する合焦位置決定部154によって決定される。
【0041】
縦横検出部120は、撮像装置1が略水平方向に構えられている状態(以下、「水平状態」と称する)であるか、または、撮像装置1が略垂直方向に構えられている状態(以下、「垂直状態」と称する)であるかを検出する部位である。つまり、縦横検出部120は、撮像装置1が構えられている状態、すなわち撮影装置1の撮影状態を検知する。言い換えれば、縦横検出部120は、地面に対する略垂直方向を検出する。なお、縦横検出部120は、例えば、水銀スイッチなどで構成することができる。ここで、図2のXZ平面を地面に対する水平面とすると、縦横検出部120は、図2に示すように撮像装置1が構えられている状態を水平状態であると検出する。一方、縦横検出部120は、図2に示される撮像装置1がXY平面内で約90°回転させた状態を垂直状態であると検出する。
【0042】
<パンニング・被写体動き状態検出部について>
パンニング・被写体動き状態検出部130は、撮像装置1がパンニング状態にあるか否かを検出する機能と、被写体が動体である被写体動き状態にあるか否かを検出する機能とを有する。以下、パンニング・被写体動き状態検出部130の機能について具体的に説明する。
【0043】
図4は、パンニング状態および被写体動き状態の検出について説明するための図である。パンニング・被写体動き状態検出部130では、CCD撮像素子30において垂直方向について1/8間引きされ、A/D変換器40から入力される2560×240個の画素を有する画像データに基づく画像G1を、例えば、128×16個の画素を有するブロック(以下、「評価ブロック」と称する)に区分けして、画像データを評価する。なお、図4では、CCD撮像素子30における画素の位置との対応を分かり易くするために、CCD撮像素子30において1/8間引きされた方向である垂直方向に画像G1を8倍拡大して示している。そして、図4では、画像G1を128×16個の画素を有する評価ブロックに区分けしたものを示している。つまり、図4では、画像G1が、横方向に20個、縦方向に15個、合計300個の評価ブロックに区分けされた状態を示している。
【0044】
パンニング・被写体動き状態検出部130は、例えば、図4に示すように、画像G1の周縁部に近い砂地のハッチングを付した22個の評価ブロック(以下、「パンニング評価ブロック」と称する)PDEと、画像G1の中央部に近い斜線のハッチングを付した35個の評価ブロック(以下、「被写体動き評価ブロック」と称する)MDEとに含まれる画素について、各画素値の積算値を算出する。
【0045】
そして、パンニング・被写体動き状態検出部130は、パンニング状態を検出するために、1/30秒おきにA/D変換器40から入力される連続する2つの画像データの間における、22個のパンニング評価ブロックPDEについての画素値の積算値の変化量を算出する。また、パンニング・被写体動き状態検出部130は、被写体動き状態を検出するために、1/30秒おきにA/D変換器40から入力される連続する2つの画像データの間における、35個の被写体動き評価ブロックMDEについての画素値の積算値の変化量を算出する。つまり、パンニング・被写体動き状態検出部130が、全てのパンニング評価ブロックPDEについての画素値の積算値の時間変化量(以下、「パンニング評価値」と称する)と、全ての被写体動き評価ブロックMDEについての画素値の積算値の時間変化量(以下、「被写体動き状態評価値」と称する)とを算出する。
【0046】
そして、例えば、パンニング評価値が所定の閾値以上であり、被写体動き状態評価値が所定の閾値以上である場合は、パンニング・被写体動き状態検出部130は、パンニング状態にあると検出する。また、パンニング評価値が所定の閾値以下であり、被写体動き状態評価値が所定の閾値以上である場合は、パンニング・被写体動き状態検出部130は、被写体動き状態にあると検出する。
【0047】
なお、上述したように、撮影待機状態において、A/D変換器40からパンニング・被写体動き状態検出部130に入力される画像信号は、同時に、ライブビュー画像を生成するために、画像処理部50にも送信される。つまり、パンニング・被写体動き状態検出部130が、液晶表示部16に表示するための画像に基づいて、被写体が動体である被写体動き状態を検出する。さらに、パンニング・被写体動き状態検出部130が、撮影レンズ11の光軸方向が所定量以上変化している状態(以下、「撮影方向変化状態」と称する)に含まれるパンニング状態を検出する。
【0048】
<光学系制御部について>
図3に示すように、光学系制御部150は、画像取得部151、評価値算出部152、駆動制御部153、および合焦位置決定部154を備えて構成される。そして、光学系制御部150は、A/D変換器40から入力される2560×240個の画素からなる画像信号のうち、後述するオートフォーカス評価エリア(AF評価エリア)に対応する画像信号を取得し、コントラスト方式によるAF動作を行う。つまり、光学系制御部150は、撮影レンズ11によってCCD撮像素子30に結像される被写体像を合焦位置に導くように制御する。
【0049】
なお、上述したように、A/D変換器40から光学系制御部150に入力される画像信号は、同時に、ライブビュー画像を生成するためにA/D変換器40から画像処理部50に送信される。つまり、上述するAF動作において、撮影レンズ11を駆動させつつCCD撮像素子30によって入力される複数の画像が、液晶表示部16に順次表示される。
【0050】
また、光学系制御部150は、通常AFモードおよびフルタイムAFモードにおいて果たす機能が異なる。なお、本発明の特徴部分であるフルタイムAFモードにおいては、AF動作における初期の動作は通常AF動作と同様となる。よって、ここでは、まず、通常AFモードにおける光学系制御部150の機能について簡単に説明し、その後、本発明の特徴部分であるフルタイムAFモードにおける光学系制御部150の機能について説明する。
【0051】
<通常AFモードにおける光学系制御部の機能>
図5および図6は、AF評価エリアを例示する図である。なお、図5は撮像装置1が水平状態にある場合を示しており、図6は撮像装置1が垂直状態にある場合を示している。また、図5では、CCD撮像素子30における画素の位置との対応を分かり易くするために、CCD撮像素子30において1/8間引きされた方向である垂直方向(Y方向)に画像G1を8倍拡大して示し、図6では、CCD撮像素子30において1/8間引きされた方向である水平方向(X方向)に画像G1を8倍拡大して示している。
【0052】
通常AFモードでは、画像取得部151は、A/D変換器40から入力される2560×240個の画素を有する画像信号に基づく画像G1のうち、中央部付近の320×24個の画素を有するAF評価エリアAE1に相当する画像データを取得する。そして、一般的なコントラスト方式のAF動作において実施されるものと同様に、撮影レンズ11を駆動させつつ、画像取得部151がAF評価エリアAE1内の画像データを複数入力する。
【0053】
評価値算出部152は、画像取得部151によって取得された画像データに基づいて撮影レンズ11の合焦状態に関する評価値を求める。この評価値は、一般的なコントラスト方式のAF動作において求められるものと同様に、AF評価エリアAE1内のコントラスト値の総和として求められる。つまり、評価値算出部152が、撮影レンズ11を駆動させつつ入力される複数の画像において、画像ごとに設定されたAF評価エリアAE1について、撮影レンズ11の合焦状態に関する評価値を算出する。
【0054】
駆動制御部153は、タイミングジェネレータ314およびカメラ制御部100による制御の下で、光軸方向への撮影レンズ11の駆動を制御する。そして、駆動制御部153によって、AF動作のための画像データを取得するため、若しくは、撮影レンズ11を合焦位置決定部154によって決定された合焦位置に導くように、光軸方向への撮影レンズ11の駆動が制御される。また、駆動制御部153は、撮影レンズ11の合焦位置への駆動が完了すると、その旨を示す信号をカメラ制御部100およびタイミングジェネレータ314へ送信する。この動作によって、撮影レンズ11の合焦位置への駆動完了後、種々の動作を実施することができる。
【0055】
合焦位置決定部154は、一般的なコントラスト方式のAF動作と同様に、評価値算出部152によって算出された評価値に基づいて撮影レンズ11の合焦位置を決定する。
【0056】
図7は、評価値Cと撮影レンズ11の光軸方向の位置xとの関係を表す曲線CLを示す模式図である。図7に示すように、撮影レンズ11が合焦位置に存在する場合(x=x1)に、上記評価値Cが最も大きくなっている。コントラスト方式のAF動作は、撮影レンズ11の光軸方向の位置xを相違させて取得した少なくとも2枚の画像の評価値Cを比較することにより行われる。具体的には、2枚の画像のそれぞれについての評価値Cを比較し、評価値Cがより大きくなる方向に撮影レンズ11を駆動する。そして、このような動作を繰り返して撮影レンズ11を駆動させることにより、撮影レンズ11を合焦位置x1へと駆動することができる。
【0057】
<フルタイムAFモードにおける光学系制御部の機能>
撮影待機状態で、フルタイムAFモードに設定された場合は、初めに、通常AFモードにおけるAF動作(以下、「ワンショットAF動作」と称する)と同様なAF動作を行い、例えば、撮影レンズ11を合焦位置x1へと駆動する。その後、パンニング・被写体動き状態検出部130によるパンニング状態および被写体動き状態の検出結果に基づいて、フルタイムAF動作を行う。
【0058】
具体的には、パンニング・被写体動き状態検出部130によって、パンニング状態および被写体動き状態のいずれも検出されない場合は、主被写体の位置も構図もほとんど変わらず、撮影レンズ11の合焦位置が変わっていないものとカメラ制御部100が判断する。この場合は、カメラ制御部100の制御の下で、画像取得部151が新たに画像データを取得しない。その結果、評価値算出部152が新たに評価値を算出せず、駆動制御部153によって撮影レンズ11が光軸方向に駆動されないように制御される。
【0059】
また、パンニング・被写体動き状態検出部130によって、パンニング状態や被写体動き状態が検出された場合(パンニング/被写体動き状態が検出された場合)は、以下のようにフルタイムAF動作が行われる。具体的には、パンニング・被写体動き状態検出部130によって、
(1)パンニング状態の検出後にパンニング状態および被写体動き状態のいずれも検出されなくなった場合、
(2)被写体動き状態のみが検出された場合、および、パンニング状態の検出後に被写体動き状態のみが検出された場合、
(3)パンニング状態が検出され続ける場合、
の3つの場合でそれぞれ異なるフルタイムAF動作が行われる。以下、(1)〜(3)の3つの場合でのフルタイムAF動作における光学系制御部150の機能などについて説明する。
【0060】
<(1)パンニング状態の検出後にパンニング状態および被写体動き状態のいずれも検出されなくなった場合>
パンニング・被写体動き状態検出部130によってパンニング状態が検出された場合には、パンニング状態が検出されなくなるまで、パンニング/被写体動き状態の検出動作が繰り返し行われる。そして、パンニング状態が検出されなくなった時に、パンニング・被写体動き状態検出部130によって被写体動き状態が検出されない場合(パンニング状態および被写体動き状態のいずれも検出されなくなった場合)は、駆動制御部153の制御の下で、撮影レンズ11を前回の合焦位置を中心として光軸方向について所定の範囲内で前後に駆動させつつ、画像取得部151が、図5および図6に示すAF評価エリアAE1から画像データを取得する。このとき、画像取得部151は、次の合焦位置を決定するまでに、前回の合焦位置を中心とした所定の範囲内における複数の撮影レンズ11の位置において、画像データを取得する。なお、ここで言う前回の合焦位置とは、直近において合焦位置決定部154によって決定された合焦位置のことを言う。例えば、フルタイムAF動作の初期においてワンショットAF動作が行われた直後においては、前回の合焦位置は、ワンショットAF動作において決定された合焦位置x1となる。
【0061】
そして、評価値算出部152が画像取得部151によって取得された複数の画像データについて撮影レンズ11の合焦状態に関する評価値を求める。さらに、合焦位置決定部154は、評価値算出部152によって算出された評価値に基づいて撮影レンズ11の合焦位置を決定する。その後、駆動制御部153は撮影レンズ11を合焦位置決定部154によって決定された合焦位置に導くように、光軸方向への撮影レンズ11の駆動を制御する。
【0062】
図8は、このときの評価値Cと撮影レンズ11の位置との関係を表す曲線CL1を示す模式図である。曲線CL1は、一例として、フルタイムAF動作の初期においてワンショットAF動作によって求められた合焦位置x1を中心として、撮影レンズ11を光軸方向について前後に駆動させた際に得られる評価値Cと撮影レンズ11の位置との関係を示す曲線を示している。図8に示す白丸は、合焦位置決定部154によって前回の合焦位置を決定した後から次の合焦位置を決定するまでに、画像取得部151が画像データを取得する撮影レンズ11の位置(以下、「サンプリング位置」とも称する)を示すとともに、画像取得部151によって取得された画像データについて評価値算出部152が算出する評価値を示している。そして、曲線CL1は、白丸で示すサンプリング位置における評価値Cに基づいて、曲線近似を行って求めた曲線を示している。
【0063】
なお、フルタイムAF動作においては、被写体に対して常に合焦状態となるように、迅速にAF動作を繰り返し行うのが一般的である。そのため、ここでは、図8に示すように、前回の合焦位置x1を中心に光軸方向について前後に撮影レンズ11を駆動させつつ、サンプリング位置の間隔(以下、「サンプリングピッチ」とも称する)が3Fδとなるように設定されている。ここで、Fは撮影レンズ11のFナンバー(絞り値)を示し、δはCCD撮像素子30の許容錯乱円を示す。その結果、ここでは、図8に示すように、画像取得部151が、合焦位置x1および前後それぞれ2点ずつの合計5点において画像データを取得する。そして、その5点において取得される画像データについて評価値算出部152が評価値Cを算出し、その5点についての評価値Cを曲線近似することによって曲線CL1を算出する。さらに、合焦位置決定部154が、曲線CL1が最大となるレンズ位置を次の合焦位置として決定する。なお、図8では、図示を簡単にするために、次の合焦位置が前回の合焦位置x1と同様となっているものを例示している。
【0064】
また、図8に示す白丸の撮影レンズ11の位置において、CCD撮像素子30が取得する画像信号に基づいて、液晶表示部16にライブビュー画像が表示される。上述したように、液晶表示部16に表示されるライブビュー画像は、CCD撮像素子30で取得される2560×1920個の画素からなる画像のうち垂直方向および水平方向に1/8間引きした320×240個の画素からなる画像となっている。よって、撮影レンズ11が合焦位置からずれても、ライブビュー画像がぼけて見えない許容範囲、すなわちライブビュー画像用に換算した被写界深度(以下、「被写界深度ライブビュー換算値」と称する)ELは約8Fδとなる。つまり、光軸方向に合焦位置から前後にそれぞれ約8Fδずれた範囲内に撮影レンズ11が位置する場合は、ライブビュー画像はぼけて見えないこととなる。
【0065】
そして、ここでは、例えば、図8に示すように、合焦位置x1を中心に光軸方向について前後にサンプリングピッチが3Fδとなるように、合焦位置x1および前後それぞれ2点ずつの合計5点において画像取得部151が画像データを取得する。よって、このときの撮影レンズ11の駆動幅は、合焦位置x1を中心にして前後にそれぞれ6Fδとなるため、被写界深度ライブビュー換算値EL=8Fδの範囲内となる。その結果、ライブビュー画像がぼけて見えることがないため、ライブビュー画像の画質が良く、ユーザーにとって好感触のAF動作を実現することができる。
【0066】
なお、上述したように前回の合焦位置を中心として光軸方向について前後にサンプリングピッチが3Fδとなるように、前回の合焦位置および前後それぞれ2点すつの合計5点において画像取得部151が画像データを取得し、次の合焦位置を決定するAF動作を、以下、「サンプリングピッチの短いAF動作」とも称することとする。
【0067】
<(2)被写体動き状態のみが検出された場合、および、パンニング状態の検出後に被写体動き状態のみが検出された場合>
パンニング・被写体動き状態検出部130によってパンニング状態が検出された場合には、パンニング状態が検出されなくなるまで、パンニング/被写体動き状態の検出動作が繰り返し行われる。そして、パンニング状態が検出されなくなった時にパンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合、および、はじめから被写体動き状態のみが検出されている場合は、パンニング状態の検出後にパンニング状態および被写体動き状態のいずれも検出されなくなった場合と同様に、前回の合焦位置を決定した時から次の合焦位置を決定するまでに、前回の合焦位置および前後それぞれ2点の合計5点に撮影レンズ11が位置するときに画像取得部151が画像データを取得する。そして、カメラ制御部100の制御の下で、画像取得部151による複数の画像データの取得と、評価値算出部152による複数の評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作を繰り返し行うように制御される。
【0068】
しかし、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合は、カメラ制御部100の制御の下で、縦横検出部120による検出結果に基づいてAF評価エリアの大きさを変更する。例えば、縦横検出部120によって撮像装置1が水平状態にあると検出されているときは、図5に示すように、AF評価エリアAE1をAF評価エリアAE2に変更する。AF評価エリアAE2は、AF評価エリアAE1を地面に対して略垂直方向に拡大したエリア(320×48個の画素を有するエリア)である。一方、縦横検出部120によって撮像装置1が垂直状態にあると検出されているときは、図6に示すように、AF評価エリアAE1をAF評価エリアAE3に変更する。AF評価エリアAE3は、AF評価エリアAE1を地面に対して略垂直方向に拡大したエリア(640×24個の画素を有するエリア)である。
【0069】
つまり、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合は、被写体動き状態の検出に基づいて、カメラ制御部100が、AF評価エリアの面積が拡大されるようにAF評価エリアを地面に対して略垂直方向に拡大させるように制御する。このとき、カメラ制御部100が、縦横検出部120による垂直状態および水平状態の検出、すなわち地面に対する略垂直方向の検出に基づいて、AF評価エリアを地面に対して略垂直方向に拡大させるように制御する。言い換えれば、カメラ制御部100が、縦横検出部120による撮像装置1の撮影状態の検知結果に基づいて、AF評価エリアの拡大方向を変更するように制御する。
【0070】
被写体動き状態にある場合には、AF評価エリア内に含まれる主被写体の面積が時間によって大きく変化するおそれがある。そこで、ここでは、AF評価エリアを上述のごとく拡大することによって、AF評価エリア内に含まれる主被写体の面積が時間によって大きく変化するのを少しでも抑制している。その結果、前回合焦位置を求めた際に、AF評価エリア内に存在した主被写体の部分が、次に合焦位置を求める際にも、AF評価エリア内に存在する可能性をより高くすることができる。つまり、AF評価エリア内に主被写体を捉え続けることによって、主被写体に対する合焦状態をより適正に実現することができる。
【0071】
また、一般的な動く主被写体は人物などである。この人物は縦長であるため、もしも、地面に対して水平方向にAF評価エリアを拡大すると、主被写体である人物よりもAF評価エリアが地面に対して水平方向に大きくはみ出る可能性が高い。つまり、AF評価エリアを地面に対して水平方向に拡大したのでは、AF評価エリアに背景である遠景がより多く含まれることとなり、近景である主被写体に合焦しない現象(所謂、遠近競合)を起こす可能性が高くなる。そこで、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合は、画像取得部151によって取得される画像について、画像ごとに設定されるAF評価エリアを地面に対して略垂直方向に拡大させる。その結果、より確実に被写体に対して適正に合焦させることができる。特に、シャッターボタン8の操作前などに生じ易い手ぶれに対応して、被写体に対して適正に合焦させることができる。
【0072】
また、ここでは、縦横検出部120によって地面に対する略垂直方向を検出して、撮像装置1の撮影状態に基づいてAF評価エリアの拡大方向を変更し、AF評価エリアを地面に対して略垂直方向に拡大させる。その結果、ユーザーによる撮像装置1の使用状態に応じて、被写体に対して適正に合焦させることができる。
【0073】
図9は、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合における評価値Cと撮影レンズ11の位置との関係を表す曲線CL2,CL3を示す模式図である。曲線CL3は、一例として、フルタイムAF動作の初期におけるワンショットAF動作において求められた合焦位置x1を中心として、撮影レンズ11を光軸方向について前後に駆動させる際に得られる評価値Cと撮影レンズ11の位置との関係を示している。そして、図9に示す白丸は、図8と同様に、合焦位置決定部154によって前回の合焦位置を決定した後から次の合焦位置を決定するまでに、画像取得部151が画像データを取得する撮影レンズ11の位置(サンプリング位置)を示すとともに、画像取得部151によって取得された画像データについて評価値算出部152が算出する評価値を示している。そして、曲線CL3は、白丸で示すサンプリング位置における評価値Cに基づいて、曲線近似を行って求めた曲線を示している。
【0074】
ところで、被写体動き状態にある場合は、AF評価エリアの外側へ主被写体が出る傾向となる。このような場合は、主被写体自体の動きの影響も相まって、例えば、曲線CL2に示すように評価値Cの曲線が波打つこととなるとともに、曲線CL2のピークにおける評価値Cmaxも小さくなる傾向にある。なお、曲線CL2はあくまでも評価値Cの曲線が波打っている一例を示すイメージ図である。
【0075】
なお、フルタイムAF動作においては、上述したように、被写体に対して常に合焦状態となるように、迅速にAF動作を繰り返して行うのが一般的である。そのため、ここでは、図9に示すように、前回の合焦位置x1を中心に光軸方向について前後に撮影レンズ11を駆動させつつ、サンプリング位置の間隔(以下、「サンプリングピッチ」とも称する)が6Fδとなるように設定されている。つまり、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合は、カメラ制御部100の制御の下で、サンプリングピッチが6Fδと長くなるように変更される。言い換えれば、カメラ制御部100の制御の下で、パンニング・被写体動き状態検出部130による被写体動き状態の検出に基づいて、複数の画像を入力する撮影レンズ11の位置どうしの間隔が拡大される方向に変更される。
【0076】
その結果、ここでは、図9に示すように、画像取得部151が、合焦位置x1および前後それぞれ2点ずつの合計5点において画像データを取得する。そして、その5点において取得される画像データについて評価値算出部152が評価値Cを算出し、その5点についての評価値Cを曲線近似することによって曲線CL3を算出する。そして、合焦位置決定部154が、曲線CL3が最大となるレンズ位置を次の合焦位置として決定する。なお、図9では、図示を簡単にするために、次の合焦位置が前回の合焦位置x1と同様となっているものを例示している。
【0077】
ここで、サンプリングピッチを6Fδと拡大するのは、次の合焦位置をより確実に決定するためである。具体的には、被写体動き状態にある場合は、図9に示す曲線CL2のように、評価値Cの山が乱れやすい傾向にある。よって、図8に示すようにサンプリングピッチを3Fδと短いままとすると、評価値Cの乱れの影響を大きく受け、5点における評価値Cに基づいた曲線近似によって求まる曲線の最大値が実際の合焦位置からずれる傾向となる。つまり、主被写体に対する適正な合焦位置から撮影レンズ11がずれ易くなる。また、この場合には、評価値Cの乱れの影響で、5点における評価値Cの間における変化量も小さくなる傾向があり、曲線近似によって求まる曲線の最大値が求め難くなったり、適正な合焦位置からずれる傾向が大きくなり易い。
【0078】
そこで、ここでは、例えば、図9に示すように、前回の合焦位置を中心として光軸方向について前後にサンプリングピッチが6Fδとなるように、前回の合焦位置および前後それぞれ2点ずつの合計5点において画像取得部151が画像データを取得するようにしている。このように、サンプリングピッチを3Fδから6Fδへと長くすることによって、評価値Cの乱れの影響を相対的に小さくすることができるとともに、5点のサンプリング位置において取得される画像データについての5つの評価値Cの間の変化量もより大きくすることができる。その結果、5点のサンプリング位置における評価値Cに基づいた曲線近似によって求まる曲線CL3の最大値が、適正な合焦位置に近い値となる。すなわち、主被写体に対して適正に合焦した状態に近づけることができる。
【0079】
なお、このとき、このときの撮影レンズ11の駆動幅は、図9に示すように、前回の合焦位置x1から光軸方向に対して前後にそれぞれ12Fδとなる。よって、この場合は、撮影レンズ11の駆動幅が、被写界深度ライブビュー換算値EL=8Fδの範囲から若干はみ出る。その結果、液晶表示部16に表示されるライブビュー画像が若干ぼけて見えることとなる。しかしながら、上述したように、サンプリングピッチを長くすることによって、迅速かつ、より確実に合焦位置を決定することができるため、被写体に対する合焦状態を確実に実現することができる。
【0080】
また、上述したように前回の合焦位置を中心として光軸方向について前後にサンプリングピッチが6Fδとなるように、前回の合焦位置および前後それぞれ2点ずつの合計5点において画像取得部151が画像データを取得し、次の合焦位置を決定するAF動作を、以下、「サンプリングピッチの長いAF動作」とも称することとする。
【0081】
<(3)パンニング状態が検出され続ける場合>
パンニング・被写体動き状態検出部130によってパンニング状態が検出された場合には、パンニング状態が検出されなくなるまで、パンニング/被写体動き状態の検出動作を行う。このとき、パンニング・被写体動き状態検出部130によってパンニング状態が検出され続ける場合、画像取得部151は、AF評価エリアAE1から画像データを取得しない。つまり、パンニング状態が検出された場合は、カメラ制御部100によって、画像取得部151による複数の画像データの取得と、評価値算出部152による複数の評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作が禁止される。
【0082】
ここで、パンニング状態が検出された場合とは、撮像装置1の撮影レンズ11の光軸方向が大きく変化している場合である。よって、そのような場合には、撮像装置1に対する被写体の相対的な位置が大きく変化するため、AF動作によって合焦位置を決定するのが非常に困難である。例えば、前回の合焦位置を中心にして光軸方向について所定の範囲内で前後に撮影レンズ11を駆動させても、主被写体に対して合焦状態とならず、合焦状態を実現することができないAF動作に対して無駄な電力が浪費されることとなる。さらに、主被写体に対して合焦状態とならないままで、無駄に撮影レンズ11が光軸方向に対して前後に駆動すると、ぼけの具合が異なるライブビュー画像が刻々と変化しながら液晶表示部16に表示されることとなる。このような場合は、ライブビュー画像を見ているユーザーに対して不快感を与えることとなる。
【0083】
なお、撮像装置の設定によっては、前回の合焦位置を中心として光軸方向について前後の一定範囲内で撮影レンズ11を駆動させても、評価値Cの急峻なピークを見つけることができない場合は、撮影レンズ11を駆動可能な範囲の端から端まで駆動させつつ画像データを取得して評価値Cの急峻なピークを探す動作(ローコンスキャン)が行われたりして、無駄な電力を浪費することにもなる。
【0084】
そこで、撮像装置1では、液晶表示部16に表示させるための画像に基づいて、撮影レンズ11の光軸方向が所定量以上変化している状態の一つであるパンニング状態を検出した場合には、省電力とユーザーの操作感との双方の観点から、画像取得部151による複数の画像データの取得と、評価値算出部152による複数の評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作を禁止する。したがって、ぼけの具合が異なるライブビュー画像が刻々と変化しながら液晶表示部16に表示されることもなく、ユーザーに不快感を与えることもない。その結果、撮像装置1の省電力化およびユーザーの操作感の向上を図ることができる。
【0085】
なお、上述したように画像取得部151による複数の画像データの取得と、評価値算出部152による複数の評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作を禁止する場合であっても、ハンニング・被写体動き状態検出部130では、A/D変換器40からの画像データの入力が行われ、パンニング評価値と被写体動き状態評価値とを算出し、被写体動き状態およびパンニング状態を検出するための動作を行う。
【0086】
フルタイムAFモードにおける撮像装置1の動作については、以下において詳述する。
【0087】
<撮像装置のフルタイムAF動作について>
図10は、フルタイムAF動作の動作フローの一例を示すフローチャートである。なお、フルタイムAF動作の動作フローはカメラ制御部100の制御の下で、カメラ制御部100、パンニング・被写体動き状態検出部130、および光学系制御部150が協働しつつ実現される。
【0088】
まず、撮影待機状態において、ユーザーが撮影モード切替ボタン14を操作することで、「フルタイムAFモード」に設定されると、フルタイムAF動作が開始し、図10に示すステップS1に進む。
【0089】
ステップS1では、シャッターボタン8の半押し状態であるS1状態の割り込みを許可する設定を行い、ステップS2に進む。具体的には、図10に示す動作フロー中に、ユーザーがシャッターボタン8を半押ししてS1状態となった場合には、その時点で、図10に示す動作フローを中断して、撮影レンズ11の位置を固定させるような設定とする。
【0090】
このように、ユーザーによってシャッターボタン8を押下されることによる撮影動作の開始の指示に基づいて、カメラ制御部100が撮影レンズ11の駆動を禁止する。言い換えれば、ユーザーによる撮影動作の開始の指示前において、画像取得部151による複数の画像データの取得と、評価値算出部152による複数の評価値の算出と、合焦位置決定部154による撮影レンズ11の合焦位置の決定と、駆動制御部153による撮影レンズ11の合焦位置への駆動とを含む一連の動作を繰り返し実行させ、かつ、撮影動作の開始の指示に応答して上記一連の動作を停止させるように、カメラ制御部100が制御する。その結果、ユーザーによる撮影動作の開始の指示が行われた時点において、撮影レンズ11の位置が固定されるため、ユーザーの意図に従った撮影を実現することができる。
【0091】
ステップS2では、通常AF動作と同様なワンショットAF動作が行われ、ステップS3に進む。ここでは、シャッターボタン8の操作が行われることなく、通常AF動作と同様な動作が行われ、撮影レンズ11が主被写体に対して合焦状態となる合焦位置へ駆動する。
【0092】
ステップS3では、パンニング状態および被写体動き状態を検出し、ステップS4に進む。ここでは、パンニング・被写体動き状態検出部130によって、パンニング状態にあるか否か、および被写体動き状態にあるか否かを検出する。
【0093】
ステップS4では、ステップS3において、パンニング状態、または被写体動き状態を検出したか否かを判別する。ここでは、ステップS3において、パンニング状態、および被写体動き状態のうち少なくとも一方を検出していれば、ステップS5に進み、ステップS3において、パンニング状態、および被写体動き状態のいずれも検出していなければ、ステップS3に戻る。つまり、パンニング状態、および被写体動き状態のうち少なくとも一方を検出するまで、ステップS3およびステップS4の処理が繰り返し行われる。
【0094】
ステップS5では、ステップS3においてパンニング状態を検出したか否かを判別する。ここでは、ステップS3においてパンニング状態を検出していればステップS6に進み、ステップS3においてパンニング状態を検出していなければステップS10に進む。なお、ここでステップS3においてパンニング状態を検出していない場合とは、被写体動き状態を検出している場合にあたる。
【0095】
ステップS6では、ステップS3と同様に、再度、パンニング状態および被写体動き状態を検出し、ステップS7に進む。
【0096】
ステップS7では、ステップS6においてパンニング状態を検出したか否かを判別する。ここでは、ステップS6においてパンニング状態を検出していればステップS6に戻り、ステップS6においてパンニング状態を検出していなければステップS8に進む。つまり、パンニング状態が終了するまで、ステップS6およびステップS7の処理が繰り返し行われる。
【0097】
ステップS8では、ステップS6において被写体動き状態を検出したか否かを判別する。ここでは、ステップS6において被写体動き状態を検出していればステップS10に進み、ステップS6において被写体動き状態を検出していなければステップS9に進む。
【0098】
ステップS9では、サンプリングピッチの短いAF動作を実施し、ステップS3に戻る。サンプリングピッチの短いAF動作については、既に説明したため、ここでは説明を省略する。
【0099】
ステップS10では、AF評価エリアを拡大しステップS11に進む。ここでは、図5または図6に示すように、AF評価エリアAE1を地面に対して垂直方向に2倍となるようなAF評価エリアAE2,AE3に拡大する。
【0100】
ステップS11では、サンプリングピッチの長いAF動作を行い、ステップS12に進む。サンプリングピッチの長いAF動作については、既に説明したため、ここでは説明を省略する。
【0101】
ステップS12では、ステップS3およびステップS6と同様に、パンニング状態および被写体動き状態を検出し、ステップS13に進む。
【0102】
ステップS13では、ステップS12においてパンニング状態を検出したか否かを判別する。ここでは、ステップS12においてパンニング状態を検出していれば、ステップS15に進み、ステップS12においてパンニング状態を検出していなければ、ステップS14に進む。
【0103】
ステップS14では、ステップS12において被写体動き状態を検出したか否かを判別する。ここでは、ステップS12において被写体動き状態を検出していれば、ステップS11に戻り、ステップS12において被写体動き状態を検出していなければ、ステップS15に進む。
【0104】
ステップS15では、ステップS10において拡大したAF評価エリアを元に戻し、ステップS3に戻る。ここでは、図5または図6に示すように、AF評価エリアAE2,AE3から元のAF評価エリアAE1の大きさに戻す。
【0105】
その後、フルタイムAFモードの設定が解除されるか、またはシャッターボタン8が操作されてS1状態とされるまで、ステップS3からステップS15までの処理が繰り返し行われる。
【0106】
以上のように、本発明の実施形態に係る撮像装置1では、フルタイムAFモードが設定され、フルタイムAF動作が実施されているときに、パンニング・被写体動き状態検出部130によって被写体動き状態が検出された場合は、AF評価エリアを拡大させる。そして、取得された複数の画像データについての撮影レンズ11の合焦状態に関する評価値Cの算出と、複数の評価値Cに基づく撮影レンズ11の合焦位置の決定と、決定された合焦位置への撮影レンズ11の駆動とを含む一連の動作を繰り返し実行させる。その結果、手ぶれや被写体の動きなどに対応して、被写体に対して適正に合焦し続けるフルタイムAF機能を有する操作性の良い撮像装置を提供することができる。
【0107】
また、フルタイムAFモードが設定され、フルタイムAF動作が実施されているときに、パンニング・被写体動き状態検出部130によって被写体動き状態が検出された場合は、サンプリングピッチを3Fδから6Fδに拡大させる。その結果、速く動く被写体などに対応して、被写体に対して適正に合焦し続けるフルタイムAF機能を有する操作性の良い撮像装置を提供することができる。
【0108】
さらに、パンニング・被写体動き状態検出部130によってパンニング状態の検出後にパンニング状態および被写体動き状態のいずれも検出されなくなった場合は、サンプリングピッチが3Fδであるサンプリングピッチの短いAF動作を行い、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出される場合は、サンプリングピッチの長いAF動作を行う。したがって、被写体の動きが小さな時には、合焦位置のずれが生じにくいため、サンプリングピッチを短くすることで、合焦状態を実現する精度を確保するとともに、液晶表示部16に表示されるライブビュー画像がぼけないようにすることができる。一方、被写体の動きが大きな時には、適正な合焦位置からのずれが生じ易くなったり、合焦位置を見つけ難くなったりする。そこで、液晶表示部16に表示されるライブビュー画像が若干ぼけることとなるが、サンプリングピッチを長くすることで、迅速かつ、より確実に合焦位置を決定することができる。つまり、主被写体に対する合焦状態を確実に実現することができる。
【0109】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0110】
◎例えば、上述した実施形態では、フルタイムAFモードが設定され、フルタイムAF動作が実施されているときに、パンニング・被写体動き状態検出部130によって被写体動き状態のみが検出された場合は、サンプリングピッチを3Fδから6Fδに拡大させたが、これに限られるものではなく、例えば、サンプリングピッチを3Fδのままで、撮影レンズ11の駆動幅を広げてサンプリング位置を増加させるようなものも考えられる。
【0111】
図11は、サンプリングピッチを3Fδのままで、撮影レンズ11の駆動幅を光軸方向について前後にそれぞれ12Fδとした場合に得られる評価値Cと撮影レンズ11の位置との関係を表す曲線CL5を示す模式図である。図11では、一例として、フルタイムAF動作の初期におけるワンショットAF動作によって求められた合焦位置x1を中心として撮影レンズ11を光軸方向について前後に駆動させるものを示している。また、図11に示す白丸は、図9と同様に、合焦位置決定部154によって前回の合焦位置を決定した後から次の合焦位置を決定するまでの画像取得部151によるサンプリング位置を示すとともに、画像取得部151によって取得された画像データに基づいて評価値算出部152が算出する評価値Cを示している。なお、曲線CL5は、白丸で示すサンプリング位置における評価値Cに基づいて、曲線近似して求めた曲線を示している。
【0112】
被写体動き状態が検出された場合は、図9に示す曲線CL2のように、評価値Cの山が乱れやすい傾向にある。そこで、例えば、図11に示すように、合焦位置x1を中心として光軸方向について前後にサンプリングピッチが3Fδとなるように、合焦位置x1および前後4点ずつの合計9点において画像取得部151が画像データを取得する。このように、サンプリングピッチを3Fδのままで拡大させず、撮影レンズ11の駆動幅を広げてサンプリング位置を9点に増加させることによって、評価値Cの乱れの影響を相対的に小さくすることができる。また、9点のサンプリング位置どうしの間では評価値Cが大きく相違するため、大きく異なる評価値Cを得ることもできる。
【0113】
一方、この場合は、サンプリングピッチの長いAF動作と比較して、撮影レンズ11の同じ駆動範囲内におけるサンプリング位置が増加する。このため、次の合焦位置の決定までに要する画像データの取得、および次の合焦位置の決定までに要するデータ処理の時間に長時間を要する。しかしながら、サンプリングピッチを3Fδと短くすることによって、サンプリングピッチの長いAF動作と比較して、評価値Cに基づいた曲線近似によって求まる曲線CL5の最大値が適正な合焦位置により近い値となる傾向にある。つまり、主被写体に対して適正な合焦状態に近づけることができる。
【0114】
言い換えれば、ここでは、フルタイムAFモードが設定され、フルタイムAF動作が実施されているときに、カメラ制御部100の制御の下で、パンニング・被写体動き状態検出部130による被写体動き状態のみの検出に基づいて、合焦位置決定部154による撮影レンズ11の合焦位置の決定時に用いられる複数の画像の数を、5つから9つに増加させるように変更する。そして、複数の画像に設けられるAF評価エリアについて撮影レンズ11の合焦状態に関する評価値Cの算出と、複数の評価値Cに基づく撮影レンズ11の合焦位置の決定と、決定された合焦位置への撮影レンズ11の駆動とを含む一連の動作を繰り返し実行させる。その結果、手ぶれや被写体の動きなどに対応して、より精度良く被写体に対して適正に合焦し続けるフルタイムAF機能を有する操作性の良い撮像装置を提供することができる。
【0115】
◎また、上述した実施形態では、フルタイムAF動作は、シャッターボタン8が半押しされてS1状態となる前に、撮影レンズ11を光軸方向について前後に駆動させつつ、取得される複数の画像についての評価値Cの算出と、複数の評価値Cに基づく撮影レンズ11の合焦位置の決定と、決定された合焦位置への撮影レンズ11の駆動とを含む一連の動作を繰り返し実行させたが、これに限られるものではなく、シャッターボタン8が全押しされてS2状態となる前まで同様な一連の動作を繰り返し実行するようなものであっても良い。また、シャッターボタン8が半押しされてS1状態となった後に、同様な一連の動作を繰り返し実行するようなものであっても良い。
【0116】
◎また、上述した実施形態では、フルタイムAFモードが設定され、フルタイムAF動作が実施されているときに、パンニング・被写体動き状態検出部130によって被写体動き状態が検出された場合は、AF評価エリアを地面に対して略垂直方向に拡大させたがこれに限られるものではなく、被写体が横長の自動車などである場合には、AF評価エリアを地面に対して略水平方向に拡大させるようなものであっても良い。
【0117】
◎また、上述した実施形態では、パンニング・被写体動き状態検出部130によるパンニング状態の検出に応じて、フルタイムAF動作を変更したが、これに限られるものではなく、ユーザーによって撮像装置1の撮影レンズ11の光軸方向が縦方向に大きく振られている状態(ティルティング状態)を検出するようにして、ティルティング状態の検出をパンニング状態の検出と同視して、ティルティング状態の検出に応じて、フルタイムAF動作を変更するようにしても良い。
【0118】
◎また、上述した実施形態では、静止画像を撮影する前におけるフルタイムAF動作について説明したが、これに限られるものではなく、例えば、上述したフルタイムAF動作を、動画の撮影時に連続的に行うようにすることもできる。
【0119】
◎また、上述した実施形態では、シャッターボタン8の押下によって、撮影動作の開始を指示したが、これに限られるものではなく、タイマなどを設定時刻に撮影動作の開始を指示するようなものであっても良い。
【0120】
◎上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0121】
(1)請求項1に記載の撮像装置であって、前記撮像装置の撮影状態を検知する撮影状態検知手段をさらに備え、前記制御手段が、前記検知手段による検知結果に基づいて、前記評価領域の拡大方向を変更するように制御することを特徴とする撮像装置。
【0122】
(1)の発明によれば、撮像装置の構えられている状態などの撮影状態に基づいて、AF評価エリアの拡大方向を変更させるため、ユーザーによる撮像装置の使用状態に応じて、被写体に対して適正に合焦させることができる。
【0123】
(2)請求項1から請求項5、および(1)のいずれかに記載の撮像装置であって、前記制御手段が、前記撮影指示手段による撮影動作の開始の指示に基づいて、前記駆動手段による前記撮影レンズの駆動を禁止することを特徴とする撮像装置。
【0124】
(2)の発明によれば、撮影動作の開始の指示に基づいて、撮影レンズの駆動を禁止するため、ユーザーの意図に従った撮影を実現することができる。
【0125】
(3)請求項1から請求項5、(1)、および(2)のいずれかに記載の撮像装置であって、前記検出手段が、前記表示手段に表示させるための画像に基づいて、前記撮影レンズの光軸方向が所定量以上変化している撮影方向変化状態を検出し、前記制御手段が、前記検出手段による前記撮影方向変化状態の検出に基づいて、前記一連の動作を禁止することを特徴とする撮像装置。
【0126】
(3)の発明によれば、表示手段に表示させるための画像に基づいて、パンニング状態やティルティング状態など、撮影レンズの光軸方向が所定量以上変化している状態などを検出した場合には、取得される複数の画像についての撮影レンズの合焦状態に関する評価値の算出と、複数の評価値に基づく撮影レンズの合焦位置の決定と、決定された合焦位置への撮影レンズの駆動とを含む一連の動作を禁止するため、省電力化およびユーザーの操作感の向上を図ることができる。
【0127】
(4)請求項1から請求項5、および(1)から(3)のいずれかに記載の撮像装置であって、前記制御手段が、前記撮影指示手段による撮影動作の開始の指示前において、前記一連の動作を繰り返し実行させ、かつ前記撮影動作の開始の指示に応答して前記一連の動作の繰り返しを停止させるように制御することを特徴とする撮像装置。
【0128】
(4)の発明によれば、撮影動作の開始の指示前において、取得される複数の画像についての撮影レンズの合焦状態に関する評価値の算出と、複数の評価値に基づく撮影レンズの合焦位置の決定と、決定された合焦位置への撮影レンズの駆動とを含む一連の動作を繰り返し実行させ、かつ撮影動作の開始の指示に応答して上記一連の動作の繰り返しを停止させるように制御するため、ユーザーの意図に従った撮影を実現することができる。
【0129】
【発明の効果】
以上説明したように、請求項1に記載の発明によれば、被写体が動体である場合に、複数の画像を入力する撮影レンズの位置どうしの間隔を拡大させるとともに、取得される複数の画像についての撮影レンズの合焦状態に関する評価値の算出と、複数の評価値に基づく撮影レンズの合焦位置の決定と、決定された合焦位置への撮影レンズの駆動とを含む一連の動作を繰り返し実行させるため、速く動く被写体などに対応して、被写体に対して適正に合焦し続ける機能を有する撮像装置を提供することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態に係る撮像装置1を示す斜視図である。
【図2】 撮像装置1の背面図である。
【図3】 撮像装置1の内部構成を示すブロック図である。
【図4】 パンニング状態と被写体動き状態の検出について説明するための図である。
【図5】 AF評価エリアを例示する図である。
【図6】 AF評価エリアを例示する図である。
【図7】 評価値と撮影レンズの位置との関係を表す曲線を示す模式図である。
【図8】 評価値と撮影レンズの位置との関係を表す曲線を示す模式図である。
【図9】 評価値と撮影レンズの位置との関係を表す曲線を示す模式図である。
【図10】 フルタイムAF動作の動作フローを示すフローチャートである。
【図11】 評価値と撮影レンズの位置との関係を表す曲線を示す模式図である。
【符号の説明】
1 撮像装置
8 シャッターボタン(撮影指示手段)
16 液晶表示部(表示手段)
100 カメラ制御部(制御手段)
110 レンズ駆動部(駆動手段)
120 縦横検出部(垂直方向検出手段、撮影状態検知手段)
130 パンニング・被写体動き状態検出部(検出手段)
152 評価値算出部(算出手段)
154 合焦決定部(決定手段)

Claims (1)

  1. 撮影前に撮影レンズを駆動させつつ複数の画像を入力して、前記撮影レンズの合焦制御を行う撮像装置であって、
    (a)前記複数の画像を順次表示する表示手段と、
    (b)前記撮像装置の撮影動作の開始を指示する撮影指示手段と、
    (c)前記複数の画像において画像ごとに設定された評価領域について、前記撮影レンズの合焦状態に関する評価値を算出する算出手段と、
    (d)前記算出手段によって算出された複数の前記評価値に基づいて、前記撮影レンズの合焦位置を決定する決定手段と、
    (e)前記合焦位置へ前記撮影レンズを駆動させる駆動手段と、
    (f)前記表示手段に表示させるための画像に基づいて、被写体が動体である被写体動き状態を検出する検出手段と、
    (g)前記検出手段による前記被写体動き状態の検出に基づいて、前記複数の画像を入力する前記撮影レンズの位置どうしの間隔を拡大させるとともに、前記算出手段による複数の前記評価値の算出と、前記決定手段による前記合焦位置の決定と、前記駆動手段による前記合焦位置への前記撮影レンズの駆動とを含む一連の動作を繰り返し実行させるように制御する制御手段と、
    を備えることを特徴とする撮像装置。
JP2002380865A 2002-12-27 2002-12-27 撮像装置 Expired - Fee Related JP3823921B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002380865A JP3823921B2 (ja) 2002-12-27 2002-12-27 撮像装置
US10/391,112 US20040125229A1 (en) 2002-12-27 2003-03-18 Image-capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002380865A JP3823921B2 (ja) 2002-12-27 2002-12-27 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005347507A Division JP2006091915A (ja) 2005-12-01 2005-12-01 撮像装置

Publications (2)

Publication Number Publication Date
JP2004212556A JP2004212556A (ja) 2004-07-29
JP3823921B2 true JP3823921B2 (ja) 2006-09-20

Family

ID=32652755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002380865A Expired - Fee Related JP3823921B2 (ja) 2002-12-27 2002-12-27 撮像装置

Country Status (2)

Country Link
US (1) US20040125229A1 (ja)
JP (1) JP3823921B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2418090A (en) * 2004-09-08 2006-03-15 Hewlett Packard Development Co Camera with preset configurations associated with particular orientations
JP4407564B2 (ja) * 2005-04-15 2010-02-03 ソニー株式会社 オートフォーカス装置とオートフォーカス方法およびプログラム
JP4419084B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 制御装置および方法、プログラム、並びにカメラ
TW200721658A (en) * 2005-11-21 2007-06-01 Fujinon Corp Driving control device, portable optical apparatus and driving control method
US7884860B2 (en) * 2006-03-23 2011-02-08 Panasonic Corporation Content shooting apparatus
JP4182117B2 (ja) 2006-05-10 2008-11-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
US7860387B2 (en) 2008-08-12 2010-12-28 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
JP5134476B2 (ja) * 2008-09-16 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法
US8164682B2 (en) * 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
US8525916B2 (en) 2008-10-30 2013-09-03 Panasonic Corporation Imaging apparatus using different driving methods according to estimation results
US8717490B2 (en) * 2009-06-19 2014-05-06 Casio Computer Co., Ltd Imaging apparatus, focusing method, and computer-readable recording medium recording program
JP5445150B2 (ja) * 2010-01-12 2014-03-19 株式会社リコー 自動合焦制御装置、電子撮像装置及びデジタルスチルカメラ
JP5812706B2 (ja) * 2011-06-14 2015-11-17 キヤノン株式会社 光学装置およびその制御方法
JP6000520B2 (ja) 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP2013130761A (ja) * 2011-12-22 2013-07-04 Sony Corp 撮像装置、その制御方法およびプログラム
JP2013130762A (ja) * 2011-12-22 2013-07-04 Sony Corp 撮像装置、その制御方法およびプログラム
US20130242120A1 (en) * 2012-03-15 2013-09-19 Qualcomm Incorporated Motion-state classification for camera applications
JP6033038B2 (ja) * 2012-10-26 2016-11-30 キヤノン株式会社 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
JP6518452B2 (ja) * 2015-02-05 2019-05-22 オリンパス株式会社 撮像装置及び撮像方法
US10277816B2 (en) 2016-09-28 2019-04-30 Qualcomm Incorporated Systems and methods to reduce actuator power leakage
JP2020122906A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 焦点検出装置、撮像装置および焦点検出方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4942418A (en) * 1986-02-14 1990-07-17 Minolta Camera Kabushiki Kaisha Focus condition detecting device
US4841370A (en) * 1986-11-17 1989-06-20 Sanyo Electric Co., Ltd. Automatic focusing circuit for automatically matching focus in response to video signal
US5212513A (en) * 1987-11-26 1993-05-18 Minolta Camera Kabushiki Kaisha AF camera system
US5619264A (en) * 1988-02-09 1997-04-08 Canon Kabushiki Kaisha Automatic focusing device
DE69121930T2 (de) * 1990-02-08 1997-04-03 Canon Kk Bildaufnahmevorrichtung
JP2635246B2 (ja) * 1991-08-28 1997-07-30 三菱電機株式会社 先行車追尾用車間距離検出装置
JPH0630319A (ja) * 1992-06-02 1994-02-04 Sony Corp オートフォーカス装置
JPH06133206A (ja) * 1992-10-19 1994-05-13 Canon Inc 撮像装置のオートフォーカス方式
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
JP3450449B2 (ja) * 1994-07-18 2003-09-22 キヤノン株式会社 撮像装置およびその撮像方法
US6285831B1 (en) * 1997-09-09 2001-09-04 Minolta Co., Ltd. Optical apparatus with a posture detection device
JPH11271600A (ja) * 1998-03-25 1999-10-08 Minolta Co Ltd 距離検出装置
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
JP2001281529A (ja) * 2000-03-29 2001-10-10 Minolta Co Ltd デジタルカメラ
JP3797543B2 (ja) * 2001-10-26 2006-07-19 富士写真フイルム株式会社 自動焦点調節装置

Also Published As

Publication number Publication date
US20040125229A1 (en) 2004-07-01
JP2004212556A (ja) 2004-07-29

Similar Documents

Publication Publication Date Title
JP3823921B2 (ja) 撮像装置
EP2171685B1 (en) Image processor, image processing method, digital camera, and imaging apparatus
US7844176B2 (en) Imaging device, and control method for imaging device
US20050012833A1 (en) Image capturing apparatus
US20050007486A1 (en) Image capturing apparatus
JP5380784B2 (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2006091915A (ja) 撮像装置
US8405759B2 (en) Imaging device with contrast AF, and control method for imaging device with contrast AF
EP2715428B1 (en) Imaging device
JP2019029998A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP2006033023A (ja) 撮像装置
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP5744581B2 (ja) 撮像装置及びその制御方法
JP5014267B2 (ja) 撮像装置
JPH0943507A (ja) 電子スチルカメラおよびそのフォーカス制御方法
JP2007225897A (ja) 合焦位置決定装置及び方法
JP2004085936A (ja) カメラ
JP5257969B2 (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP2008263478A (ja) 撮像装置
JP5105298B2 (ja) 撮像装置及びそのプログラム
JPH09181954A (ja) 電子スチルカメラおよびそのフォーカス制御方法
JP2004287183A (ja) デジタルカメラ
JP6808501B2 (ja) 撮像装置、及び撮像装置の制御方法
JP5415208B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050616

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060619

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees