JP5173170B2 - ビデオカメラ - Google Patents

ビデオカメラ Download PDF

Info

Publication number
JP5173170B2
JP5173170B2 JP2006234872A JP2006234872A JP5173170B2 JP 5173170 B2 JP5173170 B2 JP 5173170B2 JP 2006234872 A JP2006234872 A JP 2006234872A JP 2006234872 A JP2006234872 A JP 2006234872A JP 5173170 B2 JP5173170 B2 JP 5173170B2
Authority
JP
Japan
Prior art keywords
distance
focus
imaging surface
evaluation value
infinite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006234872A
Other languages
English (en)
Other versions
JP2008058555A (ja
Inventor
和廣 辻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006234872A priority Critical patent/JP5173170B2/ja
Publication of JP2008058555A publication Critical patent/JP2008058555A/ja
Application granted granted Critical
Publication of JP5173170B2 publication Critical patent/JP5173170B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

この発明は、ビデオカメラに関し、特にたとえば、いわゆるコンティニュアスAF処理によって光学レンズから撮像面までの距離を調整する、ビデオカメラに関する。
従来のこの種のビデオカメラの一例が、特許文献1に開示されている。この従来技術によれば、合焦点が存在する方向が方向判別ルーチンによって判別され、その後に山登りルーチンによって合焦動作が実行される。方向判別ルーチンでは、まずフォーカスレンズが無限方向に移動され、現フィールドの焦点評価値(X)と前フィールドの焦点評価値(Y)とが所定期間にわたって互いに比較される。これによって、焦点評価値(X)が増加傾向および減少傾向のいずれにあるかが確認される。増加傾向にあると確認されれば、フォーカスレンズの移動方向が無限方向に設定され、方向判別ルーチンが終了される。一方、減少傾向にあると確認されれば、フォーカスレンズの移動方向が至近方向に設定され、方向判別ルーチンが終了される。
特開平1−309572号公報[H04N 5/232, G02B 7/11]
しかし、従来技術では、焦点評価値の比較処理が所定期間にわたって実行される。ここで、所定期間が短いと、方向判別に要する時間を短縮できるものの、判別動作の安定性(精度)が低下する。一方、所定期間が長いと、判別動作の安定性を確保できるものの、方向判別に要する時間が長期化する。
それゆえに、この発明の主たる目的は、方向判別に要する時間の短縮化と判別動作の安定性の確保とを両立させることができる、ビデオカメラを提供することである。
請求項1の発明に従うビデオカメラ(10:実施例で相当する参照符号。以下同じ)は、光学レンズ(14)を経た被写体の光学像が照射される撮像面(16f)を有し、撮像面で生成された画像データを繰り返し出力する撮像手段(16,20)、画像データから抽出した第1周波数帯域に属する第1周波数成分に基づいて第1合焦評価値を求める第1評価手段(26a)、光学レンズから撮像面までの距離を変更する距離変更手段(S19,S79)、距離変更手段が距離を変更する都度第1合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定手段(S49,S51)、仮定手段が無限方向を仮定したとき増加されかつ至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を無限方向として確立させ、方向回数が負の閾値を下回ったとき合焦方向を至近方向として確定させる確定手段(S63-S69)、距離変更手段によって距離を変更した変更回数が閾値を上回るとき、光学レンズと撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、光学レンズと撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測手段(S59)、光学レンズから撮像面までの距離を確定手段の結果または予測手段の結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整手段(S27)、および撮像面によって捉えられる光学像の動き量が基準を上回るとき閾値を減少させる閾値変更手段(S53)を備える。
撮像手段は、光学レンズを経た被写体の光学像が照射される撮像面を有し、撮像面で生成された画像データを繰り返し出力する。第1評価手段は、第1周波数帯域に属する第1周波数成分を撮像手段によって出力された画像データから検出し、その第1周波数成分に基づいて第1合焦(AF)評価値を求める。光学レンズから撮像面までの距離は、距離変更手段によって複数回にわたって変更される。
仮定手段は、距離変更手段が距離を変更する都度、第1合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する。確定手段は、仮定手段が無限方向を仮定したとき増加されかつ至近方向を仮定したとき減少される、たとえば方向カウンタによって計数される方向回数が正の閾値を上回ったとき、合焦方向を無限方向として確立させ、方向回数が負の閾値を下回ったとき合焦方向を至近方向として確定させる。予測手段は、距離変更手段によって距離を変更した変更回数が閾値を上回るとき、光学レンズと撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、光学レンズと撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する。調整手段は、光学レンズから撮像面までの距離を予測手段または確定手段の結果に基づいて合焦点に対応する距離に調整する。閾値変更手段は、撮像面によって捉えられる光学像の動き量が基準を上回るとき閾値を減少させる。
したがって、撮像面によって捉えられる光学像の動き量が基準を上回るときの予測手段の起動タイミングは、撮像面によって捉えられる光学像の動き量が基準を下回るときの予測手段の起動タイミングよりも早くなる。動き量が基準を上回るときは、予測手段による合焦方向の予測処理が確定手段による合焦方向の確定処理に優先し易くなり、動き量が基準を下回るときは、確定手段による合焦方向の確定処理が予測手段による合焦方向の予測処理に優先し易くなる。
これによって、動き量が基準を上回る状態では短時間で合焦方向を特定でき、動き量が基準を下回る状態では高精度で合焦方向を特定できる。つまり、方向判別に要する時間の短縮化と判別動作の安定性の確保とを両立させることができる。
請求項2の発明に従うビデオカメラは、請求項1に従属し、調整手段は、第1合焦評価値が連続して基準値を下回ったとき予測手段または確定手段の結果に基づく調整動作を中止する中止手段(S123,S125,S133,S141)を含む。したがって、調整動作は、合焦方向が誤って判別されたときに中止される。
請求項3の発明に従うビデオカメラは、請求項2に従属し、画像データから抽出した第2周波数帯域に属する第2周波数成分に基づいて第2合焦評価値を求める第2評価手段(26b)、および第1合焦評価値および第2合焦評価値の相対比を算出する算出手段(S17)をさらに備え、調整手段は、相対比が閾値条件を満足するか否かを中止手段が中止処理を行うときに判別する判別手段(S133)、判別手段が相対比が閾値条件を満足すると判別したとき方向を反転して調整処理を再開する再開手段(S135-S139)、および判別手段が相対比が閾値条件を満足すると判別しなかったとき距離変更手段を再起動する再起動手段(S141)を含む。
したがって、相対比が閾値条件を満足するときは、反対方向が合焦方向であるとみなし、方向反転の後に調整処理が再開される。一方、相対比が閾値条件を満足しないときは、いずれの方向が合焦方向であるか不明であるとして、方向判別が再度実行される。
請求項4の発明に従うビデオカメラは、請求項1または2に従属し、画像データから抽出した第2周波数帯域に属する第2周波数成分に基づいて第2合焦評価値を求める第2評価手段(26b)、および第1合焦評価値および第2合焦評価値の相対比を算出する算出手段(S17)をさらに備え、閾値変更手段は相対比に基づいて動き量を判別する。動き量が激しいと、画像データ中の第1周波数成分量が低下し、応じて第1合焦評価値が小さくなる。したがって、相対比から動き量を判別することができる。
請求項5の発明に従うビデオカメラは、請求項1ないし4のいずれかに従属し、撮像手段から出力された画像データをメモリ(36)に書き込む書き込み手段(34)、メモリに格納された画像データのうち指定エリア(EX)に属する部分画像データを読み出す読み出し手段(28, 34)、および撮像面によって捉えられる光学像の動きが補償される方向に指定エリアの位置を移動させる移動手段(S5)をさらに備える。
請求項6の発明に従うビデオカメラは、請求項1ないしのいずれかに従属し、撮像面によって捉えられる光学像の動き量が大きいほど距離変更手段による1回の変更量を大きくする変更量制御手段(S83)をさらに備える。これによって、方向判別の精度が向上する。
請求項7の発明に従うビデオカメラは、請求項1ないし6のいずれかに従属し、被写体の変動量に関連する変動パラメータが変動条件を満足する毎に距離変更手段を再起動する再起動手段(S29,S159)をさらに備える。
請求項8の発明に従うビデオカメラは、請求項1ないし7のいずれかに従属し、予測手段は、光学レンズから撮像面までの距離が最大距離の1/2以上のとき無限方向を合焦方向として予測する無限方向予測手段(S93)、および光学レンズから撮像面までの距離が最大距離の1/2を下回るとき至近方向を合焦方向として予測する至近方向予測手段(S95)を含む。
請求項9の発明に従うビデオカメラは、請求項1ないし8のいずれかに従属し、距離変更手段は距離を無限方向および至近方向の間で交互に変更する。これによって、距離はほぼ同じ長さを維持する。
請求項10の発明に従う合焦制御プログラムは、光学レンズ(14)を経た被写体の光学像が照射される撮像面(16f)を有し、撮像面で生成された画像データを繰り返し出力する撮像手段(16,20)、および画像データから抽出した所定周波数帯域に属する周波数成分に基づいて合焦評価値を求める評価手段(26a)を備えるビデオカメラのプロセサに、光学レンズから撮像面までの距離を変更する距離変更ステップ(S19,S79)、距離変更ステップで距離を変更する都度合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定ステップ(S49,S51)、仮定ステップで無限方向を仮定したとき増加されかつ至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を無限方向として確立させ、方向回数が負の閾値を下回ったとき合焦方向を至近方向として確定させる確定ステップ(S63-S69)、距離変更ステップによって距離を変更した変更回数が閾値を上回るとき、光学レンズと撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、光学レンズと撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測ステップ(S59)、光学レンズから撮像面までの距離を確定ステップでの結果または予測ステップでの結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整ステップ(S27)、および撮像面によって捉えられる光学像の動き量が基準を上回るとき閾値を減少させる閾値変更ステップ(S53)を実行させる。
請求項1発明と同様、方向判別に要する時間の短縮化と判別動作の安定性の確保とを両立させることができる。
請求項11の発明に従う合焦制御方法は、光学レンズ(14)を経た被写体の光学像が照射される撮像面(16f)を有し、撮像面で生成された画像データを繰り返し出力する撮像手段(16,20)、および画像データから抽出した所定周波数帯域に属する周波数成分に基づいて合焦評価値を求める評価手段(26a)を備えるビデオカメラによって実行される合焦制御方法であって、光学レンズから撮像面までの距離を変更する距離変更ステップ(S19,S79)、距離変更ステップで距離を変更する都度合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定ステップ(S49,S51)、仮定ステップで無限方向を仮定したとき増加されかつ至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を無限方向として確立させ、方向回数が負の閾値を下回ったとき合焦方向を至近方向として確定させる確定ステップ(S63-S69)、距離変更ステップによって距離を変更した変更回数が閾値を上回るとき、光学レンズと撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、光学レンズと撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測ステップ(S59)、光学レンズから撮像面までの距離を確定ステップでの結果または予測ステップでの結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整ステップ(S27)、および撮像面によって捉えられる光学像の動き量が基準を上回るとき閾値を減少させる閾値変更ステップ(S53)を含む。
請求項1発明と同様、方向判別に要する時間の短縮化と判別動作の安定性の確保とを両立させることができる。
この発明によれば、撮像面によって捉えられる光学像の動き量が基準を上回るときの予測手段(予測ステップ)の起動タイミングは、撮像面によって捉えられる光学像の動き量が基準を下回るときの予測手段(予測ステップ)の起動タイミングよりも早くなる。動き量が基準を上回るときは、予測手段(予測ステップ)による合焦方向の予測処理が確定手段(確定ステップ)による合焦方向の確定処理に優先し易くなり、動き量が基準を下回るときは、確定手段(確定ステップ)による合焦方向の確定処理が予測手段(予測ステップ)による合焦方向の予測処理に優先し易くなる。これによって、動き量が基準を上回る状態では短時間で合焦方向を特定でき、動き量が基準を下回る状態では高精度で合焦方向を特定できる。つまり、方向判別に要する時間の短縮化と判別動作の安定性の確保とを両立させることができる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のビデオカメラ10は、ズームレンズ12およびフォーカスレンズ14を含む。被写界(被写体)の光学像は、ズームレンズ12およびフォーカスレンズ14を経てイメージセンサ16の撮像面16fに照射され、光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
電源が投入されると、動画撮影処理が開始される。このとき、CPU28は、露光および電荷読み出しの繰り返しをドライバ18cに命令する。ドライバ18cは、撮像面16fの露光動作と、これによって得られた電荷の読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ16に与える。撮像面16fで生成された生画像信号は、1/30秒に1回の割合で発生する垂直同期信号Vsyncに応答して、ラスタ走査に従う順序で読み出しを施される。生画像信号は、30fpsのフレームレートでイメージセンサ16から出力される。
イメージセンサ16から出力された生画像信号は、CDS/AGC/AD回路20によって相関2重サンプリング,自動ゲイン調整およびA/D変換の一連の処理を施される。信号処理回路22は、CDS/AGC/AD回路20から出力された生画像データに白バランス調整,色分離,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路34を通してSDRAM36に書き込む。
動き検出回路30は、CDS/AGC/AD回路20から出力された生画像データを1/30秒毎に取り込み、撮像面16fの手振れを示す動きベクトルを取り込まれた生画像データに基づいて検出する。検出された動きベクトルは、CPU28に与えられる。CPU28は、図2に示す要領でSDRAM36に割り当てられた抽出エリアEXを、動きベクトルが相殺(補償)される方向に移動させる。
ビデオエンコーダ38は、抽出エリアEXに属する部分画像データをメモリ制御回路34を通して1/30秒毎に読み出し、読み出された部分画像データをコンポジットビデオ信号に変換する。変換されたコンポジットビデオ信号は、LCDモニタ40に与えられる。この結果、被写界のリアルタイム動画像(スルー画像)が図3に示す要領でLCDモニタ40に表示される。
輝度評価回路24は、信号処理回路22によって生成されたYデータに基づいて、被写界の明るさ(輝度)を1/30秒毎に評価する。CPU28は、輝度評価回路24によって求められた輝度評価値に基づいて、イメージセンサ16の露光量を調整する。この結果、LCDモニタ40に表示されるスルー画像の明るさが適度に調整される。
高域AF評価回路26aは、信号処理回路22によって生成されたYデータのうち図4に示すフォーカスエリアFAに属するYデータを取り込み、取り込まれたYデータの高域周波数成分を1/30秒毎に積分する。同様に、中域AF評価回路26bは、信号処理回路22によって生成されたYデータのうち上述のフォーカスエリアFAに属するYデータを取り込み、取り込まれたYデータの中域周波数成分を1/30秒毎に積分する。この結果、高域AF評価値が1/30秒毎に高域AF評価回路26aから出力され、中域AF評価値が1/30秒毎に中域AF評価回路26bから出力される。
CPU28は、こうして求められた高域AF評価値および中域AF評価値に基づいて、いわゆるコンティニュアスAF処理を実行する。フォーカスレンズ14の光軸方向の位置は、CPU28の制御の下でドライバ18bによって継続的に変更される。
キー入力装置32によってズーム操作が実行されると、CPU28は、ドライバ18aを制御してズームレンズ12を光軸方向に移動させる。この結果、LCDモニタ40に表示されるスルー画像の倍率が変化する。
キー入力装置32によって記録開始操作が行われると、CPU28は、I/F42に記録処理を命令する。I/F42は、抽出エリアEXに属する部分画像データをメモリ制御回路34を通してSDRAM36から1/30秒毎に読み出し、読み出された部分画像データを含む動画ファイルを記録媒体44に作成する。このような記録処理は、キー入力装置32による記録終了操作に応答して終了される。
コンティニュアスAF処理は、大まかに、方向判断処理,山登り処理および監視処理によって構成される。方向判断処理は、合焦点が存在する方向つまり合焦方向を特定する処理である。山登り処理は、特定された合焦方向にフォーカスレンズ14を移動させて合焦点を検出する処理である。監視処理は、フォーカスエリアFAに属する被写体自身の動きやビデオカメラ10のパン/チルトに起因して合焦点が変化したか否かを監視する処理である。
高域AF評価値および中域AF評価値は、これらの処理から独立して、垂直同期信号Vsyncが発生する毎に高域AF評価回路26aおよび中域AF評価回路26bから取得され、数1に従って相対比が算出される。高域AF評価値,中域AF評価値および相対比は、方向判断処理,山登り処理および監視処理の各々で必要に応じて参照される。
[数1]
相対比=高域AF評価値/中域AF評価値
図5を参照して、方向判断処理では、垂直同期信号Vsyncが発生する毎に、フォーカスレンズ14が至近側および無限側に交互に変位される。高域AF評価値および中域AF評価値の各々が示す数値はこのような変位動作によって増減し、これによって合焦方向が判明する。なお、フォーカスレンズ14から撮像面16fまでの距離が拡大する方向が至近方向であり、フォーカスレンズ14から撮像面16fまでの距離が縮小する方向が無限方向である。
方向判断処理では、前フレームで取得された高域AF評価値(前高域AF評価値)と現フレームで取得された高域AF評価値(現高域AF評価値)との大小関係が判別され、数値が無限方向に向かって増加傾向にあるとき方向カウンタC1がインクリメントされる一方、数値が至近方向に向かって増加傾向にあるとき方向カウンタC1がディクリメントされる。方向カウンタC1のインクリメントによって、無限方向が合焦方向であると仮定される。また、方向カウンタC1のディクリメントによって、至近方向が合焦方向であると仮定される。実行回数カウンタC2は、大小関係の判別処理が1回行われる毎にインクリメントされる。
高域AF評価値および中域AF評価値は、たとえば図6に示すように山なりに変化する。また、たとえば無限側の裾野部分に注目したとき、高域AF評価値は、手振れが発生していないとき図7の曲線Aに沿って変化する一方、手振れが発生したとき図7の曲線Bに沿って変化する。
つまり、手振れが発生すると、高域AF評価値は、合焦方向に向かうにも関らず増減を繰り返す。この結果、大小関係の判別処理が繰り返し実行されると、実行回数カウンタC2のカウント値は増大し続けるにも関らず、方向カウンタC1のカウント値は増減を繰り返す可能性がある。また、手振れ発生時の高域AF評価値は、被写界像の高域周波数成分の劣化によって、手振れ非発生時の高域AF評価値よりも低くなる。この結果、手振れ発生時に求められる相対比は、手振れ非発生時に求められる相対比よりも低くなる。
このような性質を考慮して、フォーカスレンズ14の1回の移動量は、動き検出回路30から出力される動きベクトルに基づいて決定される。つまり、図5または図7に示すように、動きベクトル量が“”であれば移動量は“W1”とされ、動きベクトル量が“中”であれば移動量は“W2”とされ、そして動きベクトル量が“”であれば移動量は“W3”とされる。この結果、合焦方向を的確に特定することができる。
また、フォーカスレンズ14を至近方向および無限方向の間で繰り返し変更すると、光学特性上、LCDモニタ40に表示されるスルー画像の画角が変動する可能性がある。さらに、画角の変動量は、フォーカスレンズ14の移動量が増大するほど増大する。ただし、上述のように、フォーカスレンズ14の1回の移動量は撮像面16fの手振れ量が大きいほど大きくされる。換言すれば、手振れ量が小さければ、1回の移動量は小さい。これによって、視認性の低下が防止される。
さらに、方向判断処理では、方向カウンタC1のカウント値が閾値Aを上回ったとき、無限方向が合焦方向であるとみなして、移動方向が無限方向に確定される。また、方向カウンタC1のカウント値が閾値“−A”を下回ったとき、至近方向が合焦方向であるとみなして、移動方向が至近方向に確定される。また、方向カウンタC1のカウント値が上述の条件に合致する前に実行回数カウンタC2のカウント値が閾値MまたはNを上回ったとき、方向予測処理によって移動方向が設定される。方向予測処理では、フォーカスレンズ14の現在位置が無限端に近いときに移動方向が至近方向に設定され、フォーカスレンズ14の現在位置が至近端に近いときに移動方向が無限方向に設定される。
上述の閾値MおよびNの間には、N>Mの関係が成り立つ。手振れ発生時は閾値Mが実行回数カウンタC2のカウント値と比較され、手振れ非発生時は閾値Nが実行回数カウンタC2のカウント値と比較される。手振れ発生時に求められる相対比は手振れ非発生時に求められる相対比よりも低くなるため、具体的には、相対比が閾値αを上回るとき閾値Nが注目され、相対比が閾値α以下のとき閾値Mが注目される。
したがって、撮像面16fが手振れ状態にあるときの方向予測処理の起動タイミングは、撮像面16fが手振れ状態にないときの方向予測処理の起動タイミングよりも早くなる。手振れ状態では方向予測処理が合焦方向の確定処理に優先し易くなり、非手振れ状態では合焦方向の確定処理が方向予測処理に優先し易くなる。これによって、手振れ状態では精度は低下するものの短時間で合焦方向を特定でき、非手振れ状態では時間がかかる場合が生じることがあるものの高精度で合焦方向を特定できる。つまり、非手振れ状態では安定したAF評価値が得られるため、通常では時間がかからず、方向判断処理によって短時間で合焦方向を特定することができる。こうして、方向判別に要する時間の短縮化と判別動作の安定性の確保とが両立される。
山登り処理では、決定された合焦方向に向かってフォーカスレンズ14が移動され、高域AF評価値26aによって検出された高域AF評価値のうち最大の高域AF評価値が最大値レジスタR1に設定される。最大値レジスタR1の設定値が閾値Xを上回る状態で、その後に検出された高域AF評価値が3回連続して最大値レジスタR1の設定値を下回ると、フォーカスレンズ14は図6に示す合焦点FPを越えたとみなされる。フォーカスレンズ14の移動方向は反転され、フォーカスレンズ14は合焦点FPに配置される。このとき、フォーカスレンズ14は、たとえば図6に矢印AX1で示すように移動する。
最大値レジスタR1の設定値が閾値X以下の状態で、高域AF評価値が3回連続して最大値レジスタR1の設定値を下回り、かつ相対比が閾値βを上回るときは、合焦方向は現時点の移動方向と逆方向であるとみなされる。山登り処理は一旦中止され、移動方向が反転された後に再開される。フォーカスレンズ14はこのとき、たとえば図6に矢印AX2で示すように移動する。
最大値レジスタR1の設定値が閾値X以下の状態で、高域AF評価値が3回連続して最大値レジスタR1の設定値を下回り、かつ相対比が閾値β以下のときは、合焦方向が不明であるとして、方向判断処理が再起動される。
監視処理では、最大値レジスタR1の設定値からの現高域AF評価値の変化量がK%を上回るか否かが判別される。判別結果が複数フレームにわたって肯定的であれば、フォーカスエリアFAに属する被写体自身の動きやビデオカメラ10のパン/チルトに起因して合焦点FPが変化したとみなし、方向判断処理が再起動される。
CPU28は、図8に示す手振れ補正タスクおよび図9〜図16に示すコンティニュアスAF処理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ46に記憶される。
まず図8を参照して、ステップS1では垂直同期信号Vsyncが発生したか否かを判別する。ここでYESであればステップS3に進み、動き検出回路30から出力された動きベクトルを取り込む。ステップS5では、SDRAM36上の抽出エリアEXをステップS3で取り込まれた動きベクトルが相殺される方向に移動させる。ステップS5の処理が完了すると、ステップS1に戻る。
図9を参照して、ステップS11では初期化処理を実行する。具体的には、移動ステップ数を“0”に設定し、動作モードを方向判断モードに設定し、そして方向カウンタC1および実行回数カウンタC2の各々のカウント値を“0”に設定する。なお、移動ステップ数は、ドライバ18bに設けられたステッピングモータ(図示せず)を1回のレンズ移動処理において回転させるべきステップ数を示す。
垂直同期信号Vsyncが発生するとステップS13からステップS15に進み、高域AF評価値および中域AF評価値を高域AF評価回路26aおよび中域AF評価回路26bからそれぞれ取得する。ステップS17では、上述の数1に従って相対比を算出する。ステップS19では、フォーカスレンズ14を設定された移動ステップ数だけ設定方向に移動させる。1回目の処理を実行する時点では、移動ステップ数は“0”で、かつ移動方向は未定である。これによって、フォーカスレンズ14は現在位置に停止し続ける。
ステップS21では現時点の動作モードが方向判断モードであるか否かを判別し、ステップS23では動作モードが山登りモードであるか否かを判別する。ステップS21でYESであれば、ステップS25で方向判断処理を実行し、ステップS23でYESであればステップS27で山登り処理を実行し、そしてステップS23でNOであればステップS29で監視処理を実行する。ステップS25,S27またはS29の処理が完了すると、ステップS31で動き検出回路30から動きベクトルを取得し、その後にステップS13に戻る。
図9に示すステップS25の方向判断処理は、図10〜図11に示すサブルーチンに従って実行される。まずステップS41で実行回数カウンタC2が“0”であるか否かを判別する。ここでYESであれば、ステップS61でフォーカスレンズ14の移動方向を至近方向に設定する。ステップS75では、現高域AF評価値を前高域AF評価値として保持する。ステップS77では実行回数カウンタC2をインクリメントし、ステップS79ではフォーカスレンズ14の移動方向の設定を反転させる。つまり、現時点の移動方向が至近方向であれば無限方向を移動方向として設定し、現時点の移動方向が無限方向であれば至近方向を移動方向として設定する。ステップS81では“1”以上の数値を示す移動ステップ数を設定し、ステップS83では移動量決定処理を実行する。ステップS83の処理が完了すると、上階層のルーチンに復帰する。
ステップS41でNOと判断されると、現時点の移動方向が無限方向であるか否かをステップS43で判別し、NOであればステップS45に進む一方、YESであればステップS47に進む。ステップS45およびS47のいずれにおいても、現高域AF評価値が前高域AF評価値を上回るか否かを判別する。これが、上述した大小関係の判別処理に相当する。ただし、ステップS45では、判別結果がYESであるときにステップS49に進み、判別結果がNOであるときにステップS51に進む。これに対して、ステップS47では、判別結果がYESであるときにステップS51に進み、判別結果がNOであるときにステップS49に進む。
ステップS49では方向カウンタC1をディクリメントし、ステップS51では方向カウンタC1をインクリメントする。ステップS49またはS51の処理が完了すると、ステップS17で算出された相対比が閾値αを上回るかをステップS53で判別する。ここでYESであれば、撮像面16fが手振れ状態にないとして、ステップS55に進む。NOであれば、撮像面16fは手振れ状態にあるとして、ステップS57に進む。
ステップS55では実行回数カウンタC2のカウント値が閾値N(N:たとえば20)を上回るか否かを判別し、ステップS57では実行回数カウンタC2のカウント値が閾値M(M:たとえば10)を上回るか否かを判別する。ステップS55またはS57でYESであれば、ステップS59の方向予測処理を経て上階層のルーチンに復帰する。一方、ステップS55またはS57でNOであれば、ステップS63以降の処理に進む。
ステップS63では方向カウンタC1のカウント値が閾値Aを上回るか否かを判別し、ステップS65では方向カウンタC1のカウント値が閾値“−A”を下回るか否かを判別する。なお、数値Aはたとえば“5”である。ステップS63でYESであればステップS67で移動方向を無限方向に設定し、ステップS65でYESであればステップS69で移動方向を至近方向に設定する。ステップS65でNOであれば、ステップS75に移行する。
ステップS67またはS69の処理が完了すると、ステップS71で移動ステップ数を“1”以上の値に設定する。ステップS73では、動作モードを山登りモードに設定し、ダウンカウンタC3を“0”に設定し、最大値レジスタR1をクリアする。ステップS73の処理が完了すると、上階層のルーチンに復帰する。
図10に示すステップS59の方向予測処理は、図12に示すサブルーチンに従って実行される。まずステップS91で、現在のフォーカスレンズ14の位置が移動範囲の中央よりも無限側に近いか否かを判別する。ここでYESであればステップS95で移動方向を至近方向に設定する一方、NOであればステップS93で移動方向を無限方向に設定する。ステップS97では移動ステップ数を“1”以上の値に設定し、その後に上階層のルーチンに復帰する。
図11に示すステップS83の移動量決定処理は、図13に示すサブルーチンに従って実行される。まずステップS101で動きベクトル量を判別する。動きベクトル量が“大”であればステップS103に進み、フォーカスレンズ14の1回の移動量を“大”に設定する。動きベクトル量が“中”であればステップS105に進み、フォーカスレンズ14の1回の移動量を“中”に設定する。動きベクトル量が“小”であればステップS107に進み、フォーカスレンズ14の1回の移動量を“小”に設定する。ステップS103,S105またはS107の処理が完了すると、上階層のルーチンに復帰する。
図9に示すステップS27の山登り処理は、図14〜図15に示すサブルーチンに従って実行される。ステップS111では、現高域AF評価値が最大値レジスタR1の設定値を上回るか否かを判別する。ここでYESであれば、ステップS113で現高域AF評価値を最大値レジスタR1に設定し、ステップS115でダウンカウンタC3を“0”に設定する。NOであれば、ステップS117でダウンカウンタC3をインクリメントする。ステップS115またはS117の処理が完了すると、ダウンカウンタC3のカウント値が“2”であるか否かをステップS119で判別する。
ここでNOであればそのままステップS123に進む一方、YESであればステップS121でフォーカスレンズ14の現在位置をレンズ位置レジスタR2に登録する。ステップS123ではダウンカウンタC3のカウント値が“3”を上回るか否かを判別し、NOであれば上階層のルーチンに戻る一方、YESであれば最大値レジスタR1の設定値が閾値Xを上回るか否かをステップS125で判別する。
ステップS125でYESであれば、フォーカスレンズ14は合焦点を越えたとみなし、ステップS127で移動方向を反転させる。ステップS129では、レンズ位置レジスタR2に登録されたレンズ位置に基づいて合焦点FPを特定し、特定された合焦点FPまでの移動ステップ数を設定する。ステップS131では、動作モードを監視モードに設定し、ダウンカウンタC3および監視カウンタC4の各々のカウント値を“0”に設定する。ステップS131の処理が完了すると、上階層のルーチンに復帰する。
ステップS125でNOと判断されると、山登り処理を中止するべくステップS133に進む。ステップS133では、ステップS17で算出された相対比が閾値βを上回るか否かを判別する。ここでYESと判断されると、フォーカスレンズ14の移動方向は合焦点に向かう方向と逆方向であるとみなし、ステップS135で移動方向を反転させ、かつステップS137で移動ステップ数を“1”以上の数値に設定する。ステップS139では、ダウンカウンタC3を“0”に設定し、かつ最大値レジスタR1をクリアする。ステップS139の処理が完了すると、上階層のルーチンに復帰する。この結果、山登り処理が再起動される。
ステップS125およびステップS133の両方でNOと判断されると、ステップS141に進み、動作モードを方向判断モードに設定しかつ方向カウンタC1および実行回数カウンタC2の各々を“0”に設定する。ステップS141の処理が完了すると、上階層のルーチンに復帰する。この結果、方向判断処理が再起動される。
図9に示すステップS29の監視処理は、図16に示すサブルーチンに従って実行される。まずステップS151で、最大値レジスタR1の設定値からの現高域AF評価値の変化量がK%を上回るか否かを判別する。ここでNOであれば監視カウンタC4を“0”に設定する一方、YESであればステップS155で監視カウンタC4をインクリメントする。ステップS153またはS155の処理が完了すると、監視カウンタC4のカウント値が閾値Dを上回るか否かをステップS157で判別する。ここでNOであればそのまま上階層のルーチンに復帰する。YESであれば、ステップS159で動作モードを方向判断モードに設定し、方向カウンタC1および実行回数カウンタC2の各々を“0”に設定してから、上階層のルーチンに復帰する。
以上の説明から分かるように、イメージセンサ16は、フォーカスレンズ14を経た被写界の光学像が照射される撮像面16fを有し、CDS/AGC/AD回路20は、撮像面16fで生成された被写界像を表す画像データを繰り返し出力する。高域AF評価回路26aは、画像データの高域周波数成分を抽出して高域AF評価値を検出する。フォーカスレンズ14の位置は、CPU28の制御の下でドライバ18cによって至近方向および無限方向に交互に移動される(S19, S79)。
CPU28は、フォーカスレンズ14の移動回数を示す実行回数カウンタC2のカウント値が閾値MまたはN(N>M)を上回るとき、合焦点FPに向かう方向である合焦方向をフォーカスレンズ14の現在位置から予測する(S59)。ここで、撮像面16fが手振れ状態にあるときは閾値Mが実行回数カウンタC2のカウント値と比較され(S57)、撮像面16fが手振れ状態にないときは閾値Nが実行回数カウンタC2のカウント値と比較される(S55)。
CPU28はまた、フォーカスレンズ14の設定位置に対応して高域AF評価回路26aによって検出された高域AF評価値に基づいて、合焦方向を仮定するための方向カウンタC1を更新する。CPU28は、方向カウンタC1のカウント値(仮定回数に関連する回数パラメータ)が既定条件を満足するとき、このカウント値に基づいて合焦方向を確定させる(S63~S69)。CPU28は、フォーカスレンズ14を予測または確定された合焦方向に移動させて合焦点FPを探索する(S27)。
したがって、撮像面16fが手振れ状態にあるときの方向予測処理の起動タイミングは、撮像面16fが手振れ状態にないときの方向予測処理の起動タイミングよりも早くなる。手振れ状態では方向予測処理が合焦方向の確定処理に優先し易くなり、非手振れ状態では合焦方向の確定処理が方向予測処理に優先し易くなる。これによって、手振れ状態では精度は低下するものの短時間で合焦方向を特定でき、非手振れ状態では時間がかかる場合が生じることがあるものの高精度で合焦方向を特定できる。つまり、非手振れ状態では安定したAF評価値が得られるため、通常では時間がかからず、方向判断処理によって短時間で合焦方向を特定することができる。こうして、方向判別に要する時間の短縮化と判別動作の安定性の確保とが両立される。
また、この実施例によれば、フォーカスレンズ14の1回の移動量は、撮像面16fの手振れ量が大きいほど大きくされる。これによって、合焦方向を的確に判別することができる。
なお、この実施例では、コンティニュアスAF処理を行うにあたってフォーカスレンズ14を光軸方向に移動させるようにしているが、フォーカスレンズ14とともにまたはフォーカスレンズ14に代えてイメージセンサ16を光軸方向に移動させるようにしてもよい。また、この実施例では、動き検出回路30によって検出される動きベクトルが撮像面16fの手振れ量に相当することを前提としている。しかし、動きベクトルは、撮像面16fによって捉えられる被写界に存際する物体に動きが生じたときにも検出される。したがって、図10に示すステップS57の処理(閾値Mに注目する処理)は、被写界に存在する物体に大きな動きが生じたときにも実行される。
この発明の一実施例の構成を示すブロック図である。 SDRAMにおける抽出エリアの割り当て状態の一例を示す図解図である。 LCDモニタに表示される画像の一例を示す図解図である。 撮像面に割り当てられたフォーカスエリアの一例を示す図解図である。 方向判断時のフォーカスレンズの動作の一例を示す図解図である。 レンズ位置と高域AF評価値および中域AF評価値の各々との関係を示すグラフである。 手振れ状態での高域AF評価値の変化と非手振れ状態での高域AF評価値との関係を示すグラフである。 CPUの動作の一部を示すフロー図である。 CPUの動作の他の一部を示すフロー図である。 CPUの動作のその他の一部を示すフロー図である。 CPUの動作のさらにその他の一部を示すフロー図である。 CPUの動作の他の一部を示すフロー図である。 CPUの動作のその他の一部を示すフロー図である。 CPUの動作のさらにその他の一部を示すフロー図である。 CPUの動作の他の一部を示すフロー図である。 CPUの動作のその他の一部を示すフロー図である。
符号の説明
10 …ビデオカメラ
12 …ズームレンズ
14 …フォーカスレンズ
16 …イメージセンサ
26a …高域AF評価回路
26b …中域AF評価回路
28 …CPU
30 …動き検出回路

Claims (11)

  1. 光学レンズを経た被写体の光学像が照射される撮像面を有し、前記撮像面で生成された画像データを繰り返し出力する撮像手段、
    前記画像データから抽出した第1周波数帯域に属する第1周波数成分に基づいて第1合焦評価値を求める第1評価手段、
    前記光学レンズから前記撮像面までの距離を変更する距離変更手段、
    前記距離変更手段が距離を変更する都度前記第1合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定手段、
    前記仮定手段が前記無限方向を仮定したとき増加されかつ前記至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を前記無限方向として確立させ、前記方向回数が負の閾値を下回ったとき合焦方向を前記至近方向として確定させる確定手段、
    前記距離変更手段によって距離を変更した変更回数が閾値を上回るとき、前記光学レンズと前記撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、前記光学レンズと前記撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測手段、
    前記光学レンズから前記撮像面までの距離を前記確定手段の結果または前記予測手段の結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整手段、および
    前記撮像面によって捉えられる光学像の動き量が基準を上回るとき前記閾値を減少させる閾値変更手段を備える、ビデオカメラ。
  2. 前記調整手段は、前記第1合焦評価値が連続して基準値を下回ったとき前記予測手段または前記確定手段の結果に基づく調整動作を中止する中止手段を含む、請求項1記載のビデオカメラ。
  3. 前記画像データから抽出した第2周波数帯域に属する第2周波数成分に基づいて第2合焦評価値を求める第2評価手段、および
    前記第1合焦評価値および前記第2合焦評価値の相対比を算出する算出手段をさらに備え、
    前記調整手段は、前記相対比が閾値条件を満足するか否かを前記中止手段が中止処理を行うときに判別する判別手段、前記判別手段が前記相対比が閾値条件を満足すると判別したとき方向を反転して調整処理を再開する再開手段、および前記判別手段が前記相対比が閾値条件を満足すると判別しなかったとき前記距離変更手段を再起動する再起動手段を含む、請求項2記載のビデオカメラ。
  4. 前記画像データから抽出した第2周波数帯域に属する第2周波数成分に基づいて第2合焦評価値を求める第2評価手段、および
    前記第1合焦評価値および前記第2合焦評価値の相対比を算出する算出手段をさらに備え、
    前記閾値変更手段は前記相対比に基づいて前記動き量を判別する、請求項1または2記載のビデオカメラ。
  5. 前記撮像手段から出力された画像データをメモリに書き込む書き込み手段、
    前記メモリに格納された画像データのうち指定エリアに属する部分画像データを読み出す読み出し手段、および
    前記撮像面によって捉えられる光学像の動きが補償される方向に前記指定エリアの位置を移動させる移動手段をさらに備える、請求項1ないし4のいずれかに記載のビデオカメラ。
  6. 前記撮像面によって捉えられる光学像の動き量が大きいほど前記距離変更手段による1回の変更量を大きくする変更量制御手段をさらに備える、請求項1ないし5のいずれかに記載のビデオカメラ。
  7. 被写体の変動量に関連する変動パラメータが変動条件を満足する毎に前記距離変更手段を再起動する再起動手段をさらに備える、請求項1ないし6のいずれかに記載のビデオカメラ。
  8. 前記予測手段は、前記光学レンズから前記撮像面までの距離が最大距離の1/2以上のとき前記無限方向を前記合焦方向として予測する無限方向予測手段、および前記光学レンズから前記撮像面までの距離が最大距離の1/2を下回るとき前記至近方向を前記合焦方向として予測する至近方向予測手段を含む、請求項1ないし7のいずれかに記載のビデオカメラ。
  9. 前記距離変更手段は前記距離を前記無限方向および前記至近方向の間で交互に変更する、請求項1ないし8のいずれかに記載のビデオカメラ。
  10. 光学レンズを経た被写体の光学像が照射される撮像面を有し、前記撮像面で生成された画像データを繰り返し出力する撮像手段、および前記画像データから抽出した所定周波数帯域に属する周波数成分に基づいて合焦評価値を求める評価手段を備えるビデオカメラのプロセサに、
    前記光学レンズから前記撮像面までの距離を変更する距離変更ステップ、
    前記距離変更ステップで距離を変更する都度前記合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定ステップ、
    前記仮定ステップで前記無限方向を仮定したとき増加されかつ前記至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を前記無限方向として確立させ、前記方向回数が負の閾値を下回ったとき合焦方向を前記至近方向として確定させる確定ステップ、
    前記距離変更ステップによって距離を変更した変更回数が閾値を上回るとき、前前記光学レンズと前記撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、前記光学レンズと前記撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測ステップ、
    前記光学レンズから前記撮像面までの距離を前記確定ステップでの結果または前記予測ステップでの結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整ステップ、および
    前記撮像面によって捉えられる光学像の動き量が基準を上回るとき前記閾値を減少させる閾値変更ステップを実行させる、合焦制御プログラム。
  11. 光学レンズを経た被写体の光学像が照射される撮像面を有し、前記撮像面で生成された画像データを繰り返し出力する撮像手段、および前記画像データから抽出した所定周波数帯域に属する周波数成分に基づいて合焦評価値を求める評価手段を備えるビデオカメラによって実行される合焦制御方法であって、
    前記光学レンズから前記撮像面までの距離を変更する距離変更ステップ、
    前記距離変更ステップで距離を変更する都度前記合焦評価値に基づいて無限方向または至近方向の合焦方向を仮定する仮定ステップ、
    前記仮定ステップで前記無限方向を仮定したとき増加されかつ前記至近方向を仮定したとき減少される方向回数が正の閾値を上回ったとき、合焦方向を前記無限方向として確立させ、前記方向回数が負の閾値を下回ったとき合焦方向を前記至近方向として確定させる確定ステップ、
    前記距離変更ステップによって距離を変更した変更回数が閾値を上回るとき、前記光学レンズと前記撮像面との相対的位置関係が至近端に近いとき合焦方向を無限方向と予測し、前記光学レンズと前記撮像面との相対的位置関係が無限端に近いとき合焦方向を至近方向予測する予測ステップ、
    前記光学レンズから前記撮像面までの距離を前記確定ステップでの結果または前記予測ステップでの結果のうち先に得られた結果に基づいて合焦点に対応する距離に調整する調整ステップ、および
    前記撮像面によって捉えられる光学像の動き量が基準を上回るとき前記閾値を減少させる閾値変更ステップを含む、合焦制御方法。
JP2006234872A 2006-08-31 2006-08-31 ビデオカメラ Expired - Fee Related JP5173170B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006234872A JP5173170B2 (ja) 2006-08-31 2006-08-31 ビデオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006234872A JP5173170B2 (ja) 2006-08-31 2006-08-31 ビデオカメラ

Publications (2)

Publication Number Publication Date
JP2008058555A JP2008058555A (ja) 2008-03-13
JP5173170B2 true JP5173170B2 (ja) 2013-03-27

Family

ID=39241375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006234872A Expired - Fee Related JP5173170B2 (ja) 2006-08-31 2006-08-31 ビデオカメラ

Country Status (1)

Country Link
JP (1) JP5173170B2 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01187520A (ja) * 1988-01-21 1989-07-26 Minolta Camera Co Ltd 焦点検出装置
JP2517435B2 (ja) * 1990-03-30 1996-07-24 三洋電機株式会社 オ―トフォ―カス装置
JPH04152774A (ja) * 1990-10-16 1992-05-26 Sharp Corp 撮像装置
JP3500435B2 (ja) * 1994-05-19 2004-02-23 株式会社ニコン 自動焦点調節装置および自動焦点調節方法
JP2001272594A (ja) * 2000-03-28 2001-10-05 Sanyo Electric Co Ltd ビデオカメラ
JP2002287012A (ja) * 2001-03-26 2002-10-03 Sanyo Electric Co Ltd オートフォーカス機能を有する撮像装置
JP3639823B2 (ja) * 2001-08-10 2005-04-20 キヤノン株式会社 自動焦点調節装置、その方法、及び制御プログラム
JP4074911B2 (ja) * 2002-02-22 2008-04-16 フジノン株式会社 レンズシステム
JP4033169B2 (ja) * 2004-05-10 2008-01-16 ソニー株式会社 撮像装置及びそのピント表示方法

Also Published As

Publication number Publication date
JP2008058555A (ja) 2008-03-13

Similar Documents

Publication Publication Date Title
JP5483953B2 (ja) 焦点調節装置、焦点調節方法及びプログラム
JP4404864B2 (ja) ビデオカメラおよびそれに用いる画像抽出装置
US9025052B2 (en) Image pickup apparatus that provides for control of angle of view during auto zooming
WO2012077435A1 (ja) 撮像装置及び主要被写体認識方法
JP2010050798A (ja) 電子カメラ
JP2013097082A (ja) 画像信号処理装置
JP2009157130A (ja) 電子カメラ
US8320754B2 (en) Electronic camera
US8339505B2 (en) Electronic camera
JP6425440B2 (ja) 撮像装置及び撮像方法
JP6087536B2 (ja) 撮像装置およびその制御方法
US9282234B2 (en) Focus adjustment apparatus and method, and image capturing apparatus
JP5173170B2 (ja) ビデオカメラ
JP2010134309A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP2008058556A (ja) ビデオカメラ
JP5153157B2 (ja) ビデオカメラ
JP6164978B2 (ja) 焦点調整装置、その制御方法、および制御プログラム、並びに撮像装置
JP2005233985A (ja) オートフォーカスカメラ
JP5322842B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
JP4936799B2 (ja) 電子カメラ
JP2003121721A (ja) 撮像装置及びその合焦制御方法、並びにプログラム
JP3841129B2 (ja) カメラのレンズ制御装置
JP2009053462A (ja) ビデオカメラ
JP2009053469A (ja) ビデオカメラ
JP6199065B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees