JP4404864B2 - ビデオカメラおよびそれに用いる画像抽出装置 - Google Patents

ビデオカメラおよびそれに用いる画像抽出装置 Download PDF

Info

Publication number
JP4404864B2
JP4404864B2 JP2006044696A JP2006044696A JP4404864B2 JP 4404864 B2 JP4404864 B2 JP 4404864B2 JP 2006044696 A JP2006044696 A JP 2006044696A JP 2006044696 A JP2006044696 A JP 2006044696A JP 4404864 B2 JP4404864 B2 JP 4404864B2
Authority
JP
Japan
Prior art keywords
determination
object scene
determination step
scene image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006044696A
Other languages
English (en)
Other versions
JP2006287920A (ja
Inventor
安甲子 山之内
明 鳥羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006044696A priority Critical patent/JP4404864B2/ja
Priority to US11/369,178 priority patent/US7567753B2/en
Publication of JP2006287920A publication Critical patent/JP2006287920A/ja
Application granted granted Critical
Publication of JP4404864B2 publication Critical patent/JP4404864B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02Lateral adjustment of lens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Description

この発明は、手振れ補正機能を有するビデオカメラに関し、特に撮像面で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する、画像抽出装置に関する。
従来のこの種の装置の一例が、特許文献1に開示されている。この従来技術は、パンニング/チルティングに応答した誤った手振れ補正動作を防止するべく、パンニング/チルティング時に手振れ補正性能を制限しようとするものである。なお、手振れ補正性能の制限の程度は、撮像光学系の焦点距離が長いほど(ズーム倍率が高いほど)大きくされる。
特開平11−183951号公報[G03B5/00, 5/06, H04N5/232]
しかし、手振れに起因する被写界像の変動量は、ズーム倍率が高くなるほど大きくなる。にも関らず、従来技術では、ズーム倍率が高いほど手振れ補正性能が大きく制限され、この結果、高倍率で撮影するときに手振れを良好に防止することができない。
それゆえに、この発明の主たる目的は、ズーム倍率が高いときに良好な手振れ補正を実行できる、画像抽出装置を提供することである。
請求項1の発明に従う画像抽出装置(10)は、撮像面(14f)で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽出装置(10)において、撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別手段(S9, S11)、撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別手段(S21)、第1判別手段の判別結果が肯定的であるとき第1判別手段に代えて第2判別手段を起動する第1起動手段(S13)、第2判別手段の判別結果が肯定的であるとき第2判別手段に代えて第1判別手段を起動する第2起動手段(S23)、閾値をズーム倍率が高いほど大きい数値に設定する設定手段(S19)、および第1判別手段の判別結果が否定的であるとき撮像面で捉えられた被写界像の動きが解消される方向に特定エリアを撮像面内で移動させる移動手段(S15)を備えることを特徴とする。
抽出される部分被写界像は、撮像面で捉えられた被写界像のうち特定エリアに属する被写界像である。第1判別手段は撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別し、第2判別手段は撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する。閾値は、ズーム倍率が高いほど大きい数値を示すように、設定手段によって設定される。
第1起動手段は、第1判別手段の判別結果が肯定的であるとき、第1判別手段に代えて第2判別手段を起動する。第2起動手段は、第2判別手段の判別結果が肯定的であるとき、第2判別手段に代えて第1判別手段を起動する。移動手段は、第1判別手段の判別結果が否定的であるとき、撮像面で捉えられた被写界像の動きが解消される方向に特定エリアを撮像面内で移動させる。
操作者の手振れ量が均一であっても、撮像面で捉えられた被写界の動き量は、ズーム倍率が高いほど増大する。すると、閾値が固定であれば、ズーム倍率が高くなるほど第2判別手段の判別結果が肯定的となり難くなり、ひいては移動手段による手振れ補正動作が実行され難くなる。この発明では、ズーム倍率が高くなるほど閾値が増大するため、閾値が固定である場合と比較して、第2判別手段の判別結果が肯定的となり易くなる。この結果、ズーム倍率が高くても、良好な手振れ補正動作が実現される。
請求項2の発明に従う画像抽出装置は、請求項1に従属し、設定手段は、第2判別手段について肯定的な判別結果が得られる撮像面の最大動き量が異なるズーム倍率の間で一致するように閾値を設定する。これによって、手振れ補正動作の安定化が図られる。
請求項3の発明に従う画像抽出装置は、請求項1または2に従属し、特定エリアから抽出された部分被写界像を表示する表示手段(32)をさらに備える。
請求項4の発明に従う画像抽出装置は、請求項1ないし3のいずれかに従属し、撮像面で捉えられた被写界像の動きを周期的に検出する検出手段(22)をさらに備え、パン/チルト条件は、動き方向がN回(N:2以上の整数)連続して一致するという第1条件、および同方向の動き量の累積値が画角に関連する基準値を上回るという第2条件の論理和である。
請求項5の発明に従うビデオカメラは、請求項1ないし4のいずれかに記載の画像抽出装置を備える。
請求項6の発明に従うエリア制御プログラムは、撮像面(14f)で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽出装置(10)のプロセサ(24)に、撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ(S9, S11)、撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ(S21)、閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ(S19)、第1判別ステップの判別結果が肯定的であるとき第1判別ステップに代えて第2判別ステップを起動する第1起動ステップ(S13)、第2判別ステップの判別結果が肯定的であるとき第2判別ステップに代えて第1判別ステップを起動する第2起動ステップ(S23)、および第1判別ステップの判別結果が否定的であるとき撮像面で捉えられた被写界像の動きが解消される方向に特定エリアを撮像面内で移動させる移動ステップ(S15)を実行させる、エリア制御プログラムである。
請求項1の発明と同様、良好な手振れ補正動作が実現される。
請求項7の発明に従うエリア制御プログラムは、請求項に従属し、設定ステップは、第2判別ステップについて肯定的な判別結果が得られる撮像面の最大動き量が異なるズーム倍率の間で一致するように閾値を設定するステップである。
請求項8の発明に従うエリア制御方法は、撮像面(14f)で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽出装置(10)のエリア制御方法であって、撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ(S9, S11)、撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ(S21)、閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ(S19)、第1判別ステップの判別結果が肯定的であるとき第1判別ステップに代えて第2判別ステップを起動する第1起動ステップ(S13)、第2判別ステップの判別結果が肯定的であるとき第2判別ステップに代えて第1判別ステップを起動する第2起動ステップ(S23)、および第1判別ステップの判別結果が否定的であるとき撮像面で捉えられた被写界像の動きが解消される方向に特定エリアを撮像面内で移動させる移動ステップ(S15)を備える。
請求項1の発明と同様、良好な手振れ補正動作が実現される。
請求項9の発明に従うビデオカメラ(10)は、レンズ(46)を経た被写界像を捉える撮像手段(14)、カメラ筐体(56)の動きがパン/チルト条件を満足するか否かを判別する第1判別手段(S9, S11)、カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別手段(S21)、第1判別手段の判別結果が肯定的であるとき第1判別手段に代えて第2判別手段を起動する第1起動手段(S13)、第2判別手段の判別結果が肯定的であるとき第2判別手段に代えて第1判別手段を起動する第2起動手段(S23)、閾値をズーム倍率が高いほど大きい数値に設定する設定手段(S19)、および第1判別手段の判別結果が否定的であるとき撮像手段によって捉えられた被写界像の動きが解消されるようにレンズと撮像手段との位置関係を変更する変更手段(S35)を備える。
レンズを経た被写界像は、撮像手段によって捉えられる。第1判別手段はカメラ筐体の動きがパン/チルト条件を満足するか否かを判別し、第2判別手段は、カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する。閾値は、ズーム倍率が高いほど大きい数値を示すように、設定手段によって設定される。
第1起動手段は、第1判別手段の判別結果が肯定的であるとき、第1判別手段に代えて第2判別手段を起動する。第2起動手段は、第2判別手段の判別結果が肯定的であるとき、第2判別手段に代えて第1判別手段を起動する。変更手段は、第1判別手段の判別結果が否定的であるとき、撮像手段によって捉えられた被写界像の動きが解消されるようにレンズと撮像手段との位置関係を変更する。
操作者の手振れ量が均一であっても、撮像手段によって捉えられた被写界の動き量は、ズーム倍率が高いほど増大する。すると、閾値が固定であれば、ズーム倍率が高くなるほど第2判別手段の判別結果が肯定的となり難くなり、ひいては変更手段による手振れ補正動作が実行され難くなる。この発明では、ズーム倍率が高くなるほど閾値が増大するため、閾値が固定である場合と比較して、第2判別手段の判別結果が肯定的となり易くなる。この結果、ズーム倍率が高くても、良好な手振れ補正動作が実現される。
請求項10の発明に従うビデオカメラは、請求項9に従属し、設定手段は、第2判別手段について肯定的な判別結果が得られるカメラ筐体の最大動き量が異なるズーム倍率の間で一致するように閾値を設定する。これによって、手振れ補正動作の安定化が図られる。
請求項11の発明に従うビデオカメラは、撮像手段で捉えられた被写界像を表示する表示手段(32)をさらに備える。
請求項12の発明に従うビデオカメラは、請求項9ないし11のいずれかに従属し、撮像手段で捉えられた被写界像の動きを周期的に検出する検出手段(S31, S33)をさらに備え、パン/チルト条件は、動き方向がN回(N:2以上の整数)連続して一致するという第1条件、および同方向の動き量の累積値が画角に関連する基準値を上回るという第2条件の論理和である。
請求項13の発明に従う撮像制御プログラムは、レンズ(46)を経た被写界像を捉える撮像手段(14)を備えるビデオカメラ(10)のプロセサ(24)に、カメラ筐体(56)の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ(S9, S11)、カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ(S21)、第1判別ステップの判別結果が肯定的であるとき第1判別ステップに代えて第2判別ステップを起動する第1起動ステップ(S13)、第2判別ステップの判別結果が肯定的であるとき第2判別ステップに代えて第1判別ステップを起動する第2起動ステップ(S23)、閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ(S19)、および第1判別ステップの判別結果が否定的であるとき撮像手段によって捉えられた被写界像の動きが解消されるようにレンズと撮像手段との位置関係を変更する変更ステップ(S35)を実行させる、撮像制御プログラムである。
請求項9の発明と同様、良好な手振れ補正動作が実現される。
請求項14の発明に従う撮像制御プログラムは、請求項13に従属し、設定ステップは、第2判別ステップについて肯定的な判別結果が得られるカメラ筐体の最大動き量が異なるズーム倍率の間で一致するように閾値を設定するステップである。
請求項15の発明に従う撮像制御方法は、レンズ(46)を経た被写界像を捉える撮像手段(14)を備えるビデオカメラ(10)の撮像制御方法であって、カメラ筐体(56)の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ(S9, S11)、カメラ筐体の動き
閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ(S21)、第1判別ステップの判別結果が肯定的であるとき第1判別ステップに代えて第2判別ステップを起動する第1起動ステップ(S13)、第2判別ステップの判別結果が肯定的であるとき第2判別ステップに代えて第1判別ステップを起動する第2起動ステップ(S23)、閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ(S19)、および第1判別ステップの判別結果が否定的であるとき撮像手段によって捉えられた被写界像の動きが解消されるようにレンズと撮像手段との位置関係を変更する変更ステップ(S35)を備える。
請求項9の発明と同様、良好な手振れ補正動作が実現される。
この発明によれば、ズーム倍率が高くなるほど閾値が増大するため、閾値が固定である場合と比較して、第2判別手段の判別結果が肯定的となり易くなる。この結果、ズーム倍率が高くても、良好な手振れ補正動作が実現される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のディジタルビデオカメラ10は、ズームレンズ12を含む。被写界の光学像は、ズームレンズ12を通してイメージセンサ14の撮像面14fに照射され、光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
電源が投入されると、CPU24は、露光および電荷読み出しの繰り返しをTG/SG18に命令する。TG/SG18は、イメージセンサ14の撮像面14fの露光と、これによって得られた電荷の読み出しとを実行するべく、複数のタイミング信号をイメージセンサ14に与える。撮像面14fで生成された生画像信号は、1/30秒に1回の割合で発生する垂直同期信号Vsyncに応答して、ラスタ走査に従う順序で読み出される。
イメージセンサ14から出力された生画像信号は、CDS/AGC/AD回路16によって相関2重サンプリング,自動ゲイン調整およびA/D変換の一連の処理を施される。信号処理回路20は、CDS/AGC/AD回路16から出力された生画像データに白バランス調整,色分離,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路26を通してSDRAM28の表示画像エリア28aに書き込む。
図2を参照して、表示画像エリア28aには、手振れ補正エリアEXが割り当てられる。ビデオエンコーダ30は、手振れ補正エリアEXに格納された部分画像データをメモリ制御回路26を通して1/30秒毎に読み出し、読み出された部分画像データをコンポジットビデオ信号に変換する。したがって、図2に示す画像データが表示画像エリア28aに格納されるときは、図3に示すスルー画像がLCDモニタ32に表示される。
キー入力装置44によってズーム操作が行われると、CPU24は、ズームレンズ12の移動をドライバ40に命令する。ズームレンズ12は、ドライバ40によって光軸方向に移動され、これによってLCD32に表示されるスルー画像のズーム倍率が変動する。ズーム倍率は、ズームレンズ12がワイド側からテレ側に移動するにつれて高くなる。
動き検出回路22は、CDS/AGC/AD回路16から出力された生画像データのうち、動き検出処理に用いる生画像データを1/30秒毎に取り込み、手振れやパン/チルト動作に起因する被写界の変化を表す動きベクトルを取り込まれた生画像データに基づいて検出する。検出された動きベクトルは、CPU24に与えられる。
図4(A)および図4(B)を参照して、CPU24は、操作者がパン/チルト動作を中断しているときにパン/チルト条件を判別し、操作者がパン/チルト動作を実行しているときに手振れ条件を判別する。パン/チルト条件は、動きベクトルの方向が15フレーム連続して一致したとき、あるいは同方向の動きベクトルの累積値が画角の5%を上回るときに満足される。手振れ条件は、最新フレームで検出された動きベクトル量が閾値THを下回るときに満足される。
パン/チルト条件が満足されなければ、CPU24は、パン/チルト動作が依然として中断中であるとみなし、手振れ補正処理を実行する。図2に示す手振れ補正エリアEXは、手振れ補正処理の実行によって、動きベクトルが相殺される方向に移動される。なお、移動量は、ベクトル量の0.9倍である。
パン/チルト条件が満足されると、CPU24は、パン/チルト動作が開始されたとみなし、手振れ補正処理を中断するとともに、パン/チルト条件に代えて手振れ条件を判別する。
手振れ条件が満足されなければ、CPU24は、パン/チルト動作が依然として実行中であるとみなし、手振れ補正処理の中断を継続する。手振れ条件が満足されると、CPU24は、パン/チルト動作が中断されたとみなし、手振れ条件に代えてパン/チルト条件を判別するとともに、手振れ補正処理を再開する。
手振れ条件を判別するときに注目される閾値THは、現時点のズーム倍率に対応する数値に設定される。つまり、図5に示す特性を有するグラフデータがフラッシュメモリ42に記憶されており、CPU24は、このグラフデータを参照して現時点のズーム倍率に対応する数値を閾値THに設定する。図5によれば、閾値THは、ズーム倍率が高くなるほど大きくなる。より詳しくは、閾値THは、手振れ条件が満足される手振れ量の最大値が異なるズーム倍率の間で一致するように設定される。
操作者の手振れ量が均一である場合、動き検出回路22で検出される動きベクトル量は、ズーム倍率が高いほど増大する。すると、閾値THが固定であれば、ズーム倍率が高くなるほど手振れ条件が満足され難くなる。この実施例では、閾値THが図5に示す特性を有するため、閾値THが固定である場合と比較して、手振れ条件が満足され易くなる。この結果、ズーム倍率が高いときでも、良好な手振れ補正が実現される。
キー入力装置44によって記録開始操作が行われると、CPU24は、MPEGエンコーダ34を起動する。MPEGエンコーダ34は、メモリ制御回路26を通してSDRAM28の手振れ補正エリアEXから部分画像データを読み出し、読み出された部分画像データをMPEG4方式で圧縮し、そして圧縮画像データつまりMPEGデータをメモリ制御回路26を通してSDRAM28のMPEGエリア28bに書き込む。
CPU24は、MPEGエリア28bに蓄積されたデータ量が閾値に達する毎に、メモリ制御回路26を通してMPEGエリア28bからMPEGデータを読み出す。読み出されたMPEGデータは、I/F36を通して記録媒体38に記録される。キー入力装置44によって記録終了操作が行われると、CPU24は、MPEGエンコーダ34を停止し、MPEGエリア28bに残存するMPEGデータの記録が完了した後にSDRAM28へのアクセスを終了する。
CPU24は、図6に示す手振れ補正タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ42に記憶される。
まずステップS1でフラグFを“0”に設定する。フラグFは、パン/チルト条件および手振れ条件のいずれを判別すべきかを識別するためのフラグである。図4(B)および図4(C)から分かるように、“0”がパン/チルト条件に対応し、“1”が手振れ条件に対応する。ステップS1の処理によって、パン/チルト条件の判別が指示される。
垂直同期信号Vsyncが発生するとステップS3からステップS5に進み、現フレームの動きベクトルを動き検出回路22から取り込む。ステップS7ではフラグFが“0”であるか否かを判別し、YESであればステップS9でパン/チルト条件判別処理を実行する。
上述のパン/チルト条件が満足されれば、ステップS11でYESと判断し、ステップS13でフラグFを“1”に設定する。これに対して、パン/チルト条件が満足されなければ、ステップS11からステップS15に進み、動きベクトルが相殺されるように手振れ補正エリアEXを移動させる。ステップS13またはS15の処理が完了すると、ステップS3に戻る。
ステップS7でNOであれば、ステップS17でズームレンズ12の倍率を検出する。ステップS19では、図5に示す特性を有するグラフデータを参照して、現時点のズーム倍率に対応する数値を閾値THとして決定する。ステップS21では、動きベクトル量が決定された閾値THを下回るか否か、つまり手振れ条件が満足されるか否かを判別する。手振れ条件が満足されなければそのままステップS3に戻り、手振れ条件が満足されればステップS23でフラグFを“0”に設定してからステップS3に戻る。
以上の説明から分かるように、抽出される部分被写界像は、撮像面14fで捉えられた被写界像のうち手振れ補正エリアEXに属する被写界像である。CPU24は、撮像面14fで捉えられた被写界像の動きの原因が撮像面14fのパンおよび/またはチルトであるか否か、つまりパン/チルト条件が満足されるか否かを判別する(S9)。CPU24はまた、撮像面14fで捉えられた被写界像の動き量が閾値THを下回るか否か、つまり手振れ条件が満足されるか否かを判別する(S21)。ここで、閾値THは、ズーム倍率が高いほど大きい数値を示すように設定される(S19)。
手振れ条件の判別処理は、パン/チルト条件が満足されたときに、パン/チルト条件の判別処理に代えて起動される(S13)。また、パン/チルト条件の判別処理は、手振れ条件が満足されたときに、手振れ条件の判別処理に代えて起動される(S23)。さらに、手振れ補正エリアEXは、パン/チルト条件が満足されないときに、撮像面14fで捉えられた被写界像の動きが解消される方向に移動される(S15)。
操作者の手振れ量が均一であっても、撮像面14fで捉えられた被写界の動き量は、ズーム倍率が高いほど増大する。すると、閾値THが固定であれば、ズーム倍率が高くなるほど手振れ条件が満足され難くなり、ひいては手振れ補正動作が実行され難くなる。この実施例では、ズーム倍率が高くなるほど閾値THが増大するため、閾値THが固定である場合と比較して、手振れ条件が満足され易くなる。この結果、ズーム倍率が高くても、良好な手振れ補正動作が実現される。
図7を参照して、他の実施例のビデオカメラ10は、動き検出回路22が取り除かれ、手振れ補正レンズ46,ドライバ48,角速度センサ50,フィルタ52およびアンプ54が追加される点を除き、図1実施例と同じである。したがって、以下では、図1実施例と同様の構成および動作に関する説明をできる限り省略する。
被写界の光学像は、手振れ補正レンズ46およびズームレンズ12を介してイメージセンサ14の撮像面14fに照射される。撮像面14fで捉えられた被写界像を表すYUV形式の画像データは、SDRAM28の表示画像エリア28aに格納される。
スルー画像を表示するとき、ビデオエンコーダ30は、表示画像エリア28aに格納された全体画像データをメモリ制御回路26を通して読み出し、読み出された全体画像データをコンポジットビデオ信号に変換する。
記録開始操作が行われたとき、MPEGエンコーダ34は、表示画像エリア28aに格納された全体画像データをメモリ制御回路26を通して読み出し、読み出された全体画像データを圧縮する。
角速度センサ50は、カメラ筐体56に固定され、カメラ筐体56の振れを検知する。検知結果は、フィルタ52およびアンプ54を介してCPU24に与えられる。
CPU24は、図6に示す手振れ補正タスクに代えて、図8に示す手振れ補正タスクを実行する。ただし、図8に示す手振れ補正タスクは、ステップS5の処理に代えてステップS31およびS33の処理を実行し、ステップS15の処理に代えてステップS35の処理を実行する点を除き、図6に示す手振れ補正タスクと同じである。
ステップS31では、角速度センサ50の検知結果をフィルタ52およびアンプ54を介して取り込む。ステップS33では、取り込まれた検知結果を動きベクトルに変換する。変換された動きベクトルは、カメラ筐体56の動き方向および動き量を規定する。ステップS35では、手振れの起因する被写界の動きを解消するべく、手振れ補正レンズ46の姿勢を変化させる。手振れ補正レンズ46の姿勢は、ドライバ48によってシフトされる。
このような手振れ補正タスクの下で、CPU24は次のように動作する。CPU24は、操作者がパン/チルト動作を中断しているときに図1実施例と同じパン/チルト条件を判別し、操作者がパン/チルト動作を実行しているときに図1実施例と同じ手振れ条件を判別する。
パン/チルト条件が満足されなければ、CPU24は、パン/チルト動作が依然として中断中であるとみなし、ドライバ48および手振れ補正レンズ46を利用した手振れ補正処理を実行する。手振れ補正レンズ46は、手振れに起因する被写界の動きが解消されるように変位する。
パン/チルト条件が満足されると、CPU24は、パン/チルト動作が開始されたとみなし、手振れ補正処理を中断するとともに、パン/チルト条件に代えて手振れ条件を判別する。手振れ条件が満足されなければ、CPU24は、パン/チルト動作が依然として実行中であるとみなし、手振れ補正処理の中断を継続する。手振れ条件が満足されると、CPU24は、パン/チルト動作が中断されたとみなし、手振れ条件に代えてパン/チルト条件を判別するとともに、手振れ補正処理を再開する。
このように、手振れ補正レンズ46を経た被写界像は、イメージセンサ14によって捉えられる。CPU24は、カメラ筐体56の動きがパン/チルト条件を満足するか否かを判別し(S9, S11)、カメラ筐体の動きが手振れ条件を満足するか否かを判別する(S21)。閾値THは、ズーム倍率が高いほど大きい数値を示すように、CPU24によって設定される(S19)。
手振れ条件の判別処理は、パン/チルト条件が満足されたときに、パン/チルト条件の判別処理に代えて起動される(S13)。また、パン/チルト条件の判別処理は、手振れ条件が満足されたときに、手振れ条件の判別処理に代えて起動される(S23)。さらに、手振れ補正レンズ46とイメージセンサ14との位置関係は、パン/チルト条件が満足されないときに、イメージセンサ14で捉えられた被写界像の動きが解消されるように変更される(S35)。この実施例でも、ズーム倍率に関係なく、良好な手振れ補正動作が実現される。
なお、これらの実施例では、ズームレンズ12を用いた光学ズームを実行するようにしているが、電子ズーム処理を行った後に動き検出を実行するようにすれば、電子ズーム方式を採用するビデオカメラにこの発明を適用することができる。
また、図1実施例では、被写界の生画像データに基づいて撮像面14fの振れを検出するようにしているが、図7実施例のような角速度センサを用いて撮像面14fの振れを検出するようにしてもよい。
さらに、図7実施例では、手振れ補正レンズ46をシフトさせるようにしているが、手振れ補正レンズ46に代えてまたは手振れ補正レンズ46とともにイメージセンサ14をシフトさせるようにしてもよい。
この発明の一実施例の構成を示すブロック図である。 図1実施例の動作の一部を示す図解図である。 LCDモニタに表示される被写界像の一例を示す図解図である。 (A)はカメラ操作の変化の一例を示すタイミング図であり、(B)は判別条件の変化の一例を示すタイミング図であり、(C)はフラグの状態の変化の一例を示すタイミング図である。 ズーム倍率と閾値との関係の一例を示すグラフである。 図1実施例に適用されるCPUの動作の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。 図7実施例に適用されるCPUの動作の一部を示すフロー図である。
符号の説明
10 …ディジタルビデオカメラ
12 …光学レンズ
14 …イメージセンサ
22 …動き検出回路
24 …CPU
28 …SDRAM
40 …ドライバ
46 …手振れ補正レンズ
50 …角速度センサ

Claims (15)

  1. 撮像面で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽出装置において、
    前記撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別手段、
    前記撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別手段、
    前記第1判別手段の判別結果が肯定的であるとき前記第1判別手段に代えて前記第2判別手段を起動する第1起動手段、
    前記第2判別手段の判別結果が肯定的であるとき前記第2判別手段に代えて前記第1判別手段を起動する第2起動手段、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定手段、および
    前記第1判別手段の判別結果が否定的であるとき前記撮像面で捉えられた被写界像の動きが解消される方向に前記特定エリアを前記撮像面内で移動させる移動手段を備えることを特徴とする、画像抽出装置。
  2. 前記設定手段は、前記第2判別手段について肯定的な判別結果が得られる前記撮像面の最大動き量が異なるズーム倍率の間で一致するように前記閾値を設定する、請求項1記載の画像抽出装置。
  3. 前記特定エリアから抽出された部分被写界像を表示する表示手段をさらに備える、請求項1または2記載の画像抽出装置。
  4. 前記撮像面で捉えられた被写界像の動きを周期的に検出する検出手段をさらに備え、
    前記パン/チルト条件は、動き方向がN回(N:2以上の整数)連続して一致するという第1条件、および同方向の動き量の累積値が画角に関連する基準値を上回るという第2条件の論理和である、請求項1ないし3のいずれかに記載の画像抽出装置。
  5. 請求項1ないし4のいずれかに記載の画像抽出装置を備える、ビデオカメラ。
  6. 撮像面で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽
    出装置のプロセサに、
    前記撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ、
    前記撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ、
    前記第1判別ステップの判別結果が肯定的であるとき前記第1判別ステップに代えて前記第2判別ステップを起動する第1起動ステップ、
    前記第2判別ステップの判別結果が肯定的であるとき前記第2判別ステップに代えて前記第1判別ステップを起動する第2起動ステップ、および
    前記第1判別ステップの判別結果が否定的であるとき前記撮像面で捉えられた被写界像の動きが解消される方向に前記特定エリアを前記撮像面内で移動させる移動ステップを実行させる、エリア制御プログラム。
  7. 前記設定ステップは、前記第2判別ステップについて肯定的な判別結果が得られる前記撮像面の最大動き量が異なるズーム倍率の間で一致するように前記閾値を設定するステップである、請求項6記載のエリア制御プログラム。
  8. 撮像面で捉えられた被写界像のうち特定エリアに属する部分被写界像を抽出する画像抽出装置のエリア制御方法であって、
    前記撮像面で捉えられた被写界像の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ、
    前記撮像面で捉えられた被写界像の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ、
    前記第1判別ステップの判別結果が肯定的であるとき前記第1判別ステップに代えて前記第2判別ステップを起動する第1起動ステップ、
    前記第2判別ステップの判別結果が肯定的であるとき前記第2判別ステップに代えて前記第1判別ステップを起動する第2起動ステップ、および
    前記第1判別ステップの判別結果が否定的であるとき前記撮像面で捉えられた被写界像の動きが解消される方向に前記特定エリアを前記撮像面内で移動させる移動ステップを備える、エリア制御方法。
  9. レンズを経た被写界像を捉える撮像手段、
    カメラ筐体の動きがパン/チルト条件を満足するか否かを判別する第1判別手段、
    前記カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別手段、
    前記第1判別手段の判別結果が肯定的であるとき前記第1判別手段に代えて前記第2判別手段を起動する第1起動手段、
    前記第2判別手段の判別結果が肯定的であるとき前記第2判別手段に代えて前記第1判別手段を起動する第2起動手段、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定手段、および
    前記第1判別手段の判別結果が否定的であるとき前記撮像手段によって捉えられた被写界像の動きが解消されるように前記レンズと前記撮像手段との位置関係を変更する変更手段を備える、ビデオカメラ。
  10. 前記設定手段は、前記第2判別手段について肯定的な判別結果が得られる前記カメラ筐体の最大動き量が異なるズーム倍率の間で一致するように前記閾値を設定する、請求項9記載のビデオカメラ。
  11. 前記撮像手段で捉えられた被写界像を表示する表示手段をさらに備える、請求項9または10記載のビデオカメラ。
  12. 前記撮像手段で捉えられた被写界像の動きを周期的に検出する検出手段をさらに備え、
    前記パン/チルト条件は、動き方向がN回(N:2以上の整数)連続して一致するという第1条件、および同方向の動き量の累積値が画角に関連する基準値を上回るという第2条件の論理和である、請求項9ないし11のいずれかに記載のビデオカメラ。
  13. レンズを経た被写界像を捉える撮像手段を備えるビデオカメラのプロセサに、
    カメラ筐体の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ、
    前記カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ、
    前記第1判別ステップの判別結果が肯定的であるとき前記第1判別ステップに代えて前記第2判別ステップを起動する第1起動ステップ、
    前記第2判別ステップの判別結果が肯定的であるとき前記第2判別ステップに代えて前記第1判別ステップを起動する第2起動ステップ、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ、および
    前記第1判別ステップの判別結果が否定的であるとき前記撮像手段によって捉えられた被写界像の動きが解消されるように前記レンズと前記撮像手段との位置関係を変更する変更ステップを実行させる、撮像制御プログラム。
  14. 前記設定ステップは、前記第2判別ステップについて肯定的な判別結果が得られる前記カメラ筐体の最大動き量が異なるズーム倍率の間で一致するように前記閾値を設定するステップである、請求項13記載の撮像制御プログラム。
  15. レンズを経た被写界像を捉える撮像手段を備えるビデオカメラの撮像制御方法であって、
    カメラ筐体の動きがパン/チルト条件を満足するか否かを判別する第1判別ステップ、
    前記カメラ筐体の動きが閾値を参照する手振れ条件を満足するか否かを判別する第2判別ステップ、
    前記第1判別ステップの判別結果が肯定的であるとき前記第1判別ステップに代えて前記第2判別ステップを起動する第1起動ステップ、
    前記第2判別ステップの判別結果が肯定的であるとき前記第2判別ステップに代えて前記第1判別ステップを起動する第2起動ステップ、
    前記閾値をズーム倍率が高いほど大きい数値に設定する設定ステップ、および
    前記第1判別ステップの判別結果が否定的であるとき前記撮像手段によって捉えられた被写界像の動きが解消されるように前記レンズと前記撮像手段との位置関係を変更する変更ステップを備える、撮像制御方法。
JP2006044696A 2005-03-10 2006-02-22 ビデオカメラおよびそれに用いる画像抽出装置 Expired - Fee Related JP4404864B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006044696A JP4404864B2 (ja) 2005-03-10 2006-02-22 ビデオカメラおよびそれに用いる画像抽出装置
US11/369,178 US7567753B2 (en) 2005-03-10 2006-03-06 Video camera and image extracting apparatus utilized for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005066472 2005-03-10
JP2006044696A JP4404864B2 (ja) 2005-03-10 2006-02-22 ビデオカメラおよびそれに用いる画像抽出装置

Publications (2)

Publication Number Publication Date
JP2006287920A JP2006287920A (ja) 2006-10-19
JP4404864B2 true JP4404864B2 (ja) 2010-01-27

Family

ID=37035287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006044696A Expired - Fee Related JP4404864B2 (ja) 2005-03-10 2006-02-22 ビデオカメラおよびそれに用いる画像抽出装置

Country Status (2)

Country Link
US (1) US7567753B2 (ja)
JP (1) JP4404864B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783252B2 (ja) * 2006-04-18 2011-09-28 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム
KR100855471B1 (ko) * 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
US8149285B2 (en) 2007-09-12 2012-04-03 Sanyo Electric Co., Ltd. Video camera which executes a first process and a second process on image data
JP5371845B2 (ja) * 2010-03-18 2013-12-18 富士フイルム株式会社 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP5247782B2 (ja) * 2010-09-09 2013-07-24 キヤノン株式会社 光学機器及びそれを備えた撮像装置、光学機器の制御方法
JP5797003B2 (ja) * 2011-05-10 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5959871B2 (ja) * 2012-02-15 2016-08-02 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2015142181A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 制御装置、制御方法
JP6598537B2 (ja) * 2015-07-01 2019-10-30 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US10805539B2 (en) * 2016-12-02 2020-10-13 Hangzhou Hikvision Digital Technology Co., Ltd. Anti-shake method for camera and camera
US10564174B2 (en) * 2017-09-06 2020-02-18 Pixart Imaging Inc. Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
JP7243727B2 (ja) * 2018-08-06 2023-03-22 ソニーグループ株式会社 撮像制御装置、撮像制御方法、プログラム
JP7423270B2 (ja) * 2019-11-14 2024-01-29 キヤノン株式会社 表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2563567B2 (ja) * 1989-03-20 1996-12-11 松下電器産業株式会社 揺れ補正装置
JP2804644B2 (ja) * 1991-06-18 1998-09-30 株式会社日立製作所 撮像装置
JPH06133211A (ja) * 1992-10-19 1994-05-13 Canon Inc 画像揺れ補正機能付光学装置
KR100319034B1 (ko) * 1993-06-29 2002-03-21 다카노 야스아키 손흔들림보정장치를가진비디오카메라
JP2957851B2 (ja) * 1993-06-29 1999-10-06 三洋電機株式会社 手振れ補正方法
US6573930B2 (en) * 1996-11-15 2003-06-03 Canon Kabushiki Kaisha Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
JP3424063B2 (ja) 1997-12-19 2003-07-07 松下電器産業株式会社 画像動き補正装置

Also Published As

Publication number Publication date
US7567753B2 (en) 2009-07-28
JP2006287920A (ja) 2006-10-19
US20060216010A1 (en) 2006-09-28

Similar Documents

Publication Publication Date Title
JP4404864B2 (ja) ビデオカメラおよびそれに用いる画像抽出装置
KR101290611B1 (ko) 촬상 장치, 피사체 추종 방법 및 기록 매체
JP4818987B2 (ja) 撮像装置、表示方法、及びプログラム
JP4438099B2 (ja) 撮像装置及びそのプログラム
JP5381486B2 (ja) 撮像装置および方法
JP4916513B2 (ja) 撮像装置
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP5261765B2 (ja) 撮像装置及び撮像方法
JP5217213B2 (ja) 撮像装置及びプログラム
WO2012093663A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2007267072A (ja) 電子カメラ
JP6024135B2 (ja) 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
JP5179859B2 (ja) 撮像装置及び撮像方法
JP5383361B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP4983479B2 (ja) 撮像装置
JP5621265B2 (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP5233554B2 (ja) 撮像装置及びプログラム
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP5229371B2 (ja) 撮像装置
JP4936799B2 (ja) 電子カメラ
US20090244297A1 (en) Motion detection apparatus
JP2006238041A (ja) ビデオカメラ
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム
JP5067323B2 (ja) 撮影装置、及びプログラム
JP5168424B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091102

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees