JP2687670B2 - 動き検出回路および手ぶれ補正装置 - Google Patents
動き検出回路および手ぶれ補正装置Info
- Publication number
- JP2687670B2 JP2687670B2 JP2103453A JP10345390A JP2687670B2 JP 2687670 B2 JP2687670 B2 JP 2687670B2 JP 2103453 A JP2103453 A JP 2103453A JP 10345390 A JP10345390 A JP 10345390A JP 2687670 B2 JP2687670 B2 JP 2687670B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- flicker
- motion vector
- signal
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S348/00—Television
- Y10S348/91—Flicker reduction
Description
補正を行う手ぶれ補正装置に関するものである。
告VOL.11.NO3(may.1987)P43〜P48に示されているもの
がある。
ものであり、同図において、1401はA/D変換回路、1402
は動きベクトル検出回路、1403はメモリ制御回路、1404
はメモリ回路、1405は補間制御回路、1406は補間回路、
1407はD/A変換回路である。
ては、入力信号はA/D変換回路1401でデジタル信号とな
り、動きベクトル検出回路1402およびメモリ回路1404に
入力する。動きベクトル検出回路1402では、前後2フィ
ールドの映像信号を比較して動きベクトルを検出し、メ
モリ制御回路1403では動きベクトルを用いてメモリ回路
1404から手ぶれ補正された切り出し信号を得る。メモリ
出力信号は補間制御回路1405により制御される補間回路
1406によって正規の映像信号となり、D/A変換回路1407
でアナログ信号となる。
および第16図を用いて説明する。第15図は動きベクトル
の検出方法である代表点マッチング法における代表点の
配置図の一例であり、第16図は動きベクトル検出回路14
02の内部回路構成図である。第15図では水平6×垂直5
=30個の代表点が4領域に配置されている場合を示し
た。第16図において、1402は動きベクトル検出回路全
体、1601は代表点位置における信号を記憶する代表点信
号メモリ回路、1602は現フィールドの映像信号と1フィ
ールド前の代表点位置における映像信号である代表点信
号メモリ回路1602の出力信号との減算回路、1603は各領
域内の全ての代表点に対する代表点とその周囲信号との
減算信号を累積加算する演算信号累積メモリ回路、1604
は演算信号累積メモリ回路1603から必要な動きベクトル
を得るベクトル検出回路である。
号から動きベクトルを検出して手ぶれ補正を行ってい
る。
ル検出回路1402とから構成され、動きベクトルを検出
し、その検出した動きベクトルを用いて動きを考慮した
画像処理等を行う動き検出回路がある。
撮影しているときに、被写体が蛍光灯のように電源周波
数で点灯する光源によって照明されていて、かつテレビ
カメラの垂直同期周波数(以下fv)と、電源周波数(以
下fp)が異なる場合、例えば、fvが60Hzでfpが50Hzの場
合、撮影された映像は第17図に示すように20Hzのフリッ
カーが発生するので、2フィールドの映像信号から演算
により検出する動きベクトルは正しい動きベクトルでな
く、正確な動き検出および正確な手ぶれ補正ができない
という問題点を有していた。
映像信号においても正しい動きベクトルを検出し、正確
な動き検出が可能な動き検出回路および正確な手ぶれ補
正が可能な手ぶれ補正装置を提供することを目的とす
る。
リッカー補正回路と、フリッカー補正回路の出力を相対
比較して動きベクトルを得る動きベクトル検出回路とを
備えた動き検出回路および手ぶれ補正装置である。
動きベクトル検出回路に入力する映像信号のフリッカー
成分を減衰させ、フリッカーを生じる撮影状態およびフ
リッカー成分を有する映像信号でも正しい動きベクトル
を検出する。
置のブロック図を示すものである。101はアナログ−デ
ジタル変換回路(以下A/D回路)、102はメモリ回路、10
3はメモリ制御回路、104はフリッカー補正回路、105は
信号処理回路、106は補間回路、107は補間制御回路、10
8はデジタル−アナログ変換回路(以下D/A回路)、109
はメモリ回路102とメモリ制御回路103と補間回路106と
補間制御回路107とで構成される動き補正回路、110はフ
リッカー補正回路、111は動きベクトル検出回路、112は
上記の全ての回路を総合的に制御するシステムコントロ
ール回路である。
ついて、以下その動作を説明する。入力映像信号はA/D
回路101によってデジタル信号に変換されメモリ回路102
および動きベクトル検出用フリッカー補正回路110に入
力する。フリッカー補正回路110では入力信号内のフリ
ッカー成分を検出し減衰させ、次段の入力とする。動き
ベクトル検出回路111ではフリッカー成分が減衰した入
力信号から動きベクトルを検出する。検出された動きベ
クトルはシステムコントロール回路112によってメモリ
制御回路103、信号処理回路105、補間制御回路107をコ
ントロールするのに必要なデータとなる。
れるメモリ回路102では動きベクトル信号に応じてメモ
リ回路102内の映像信号の切り出し枠を変化させ、動き
成分を除去した信号を出力する。この出力信号はフリッ
カー補正回路104および信号処理回路105によってフリッ
カー成分が減衰されるとともに輝度信号と色信号との分
離等の信号処理が行われる。さらに、補間回路106では
補間制御回路107によって制御されて切り出し信号であ
る入力信号を補間,拡大処理して正規の映像信号とし、
D/A回路108でアナログ信号に変換される。
4および110を説明する。第2図(a)はフリッカー補正
回路のブロック図である。同図において、200は信号入
力端子、201は映像信号を1フィールド期間平均する平
均回路、202は平均回路201の出力信号からフリッカー成
分を除去するLPF、203は平均回路201の出力信号を遅延
させる遅延回路、204はLPF202の出力信号と遅延回路203
の出力信号との除算を行う除算回路、205は回路の利得
を制御する利得制御回路である。206は第1図のシステ
ムコントロール回路112からの信号を受ける制御端子で
あり、利得を1倍に固定して補正を行わないようにする
ことが可能である。
て、以下その動作を第2図(b)各部の信号図で説明す
る。同図において、横軸は時間でありフィールド番号を
示し、縦軸は信号レベルである。信号S201はフリッカー
のある映像信号であり、映像入力端子200より入力され
る。信号S201は、Kをフィールド番号とすると、 S201[K]=I[K]・SO[K] で表す。ここで、I[K]はフリッカー成分、SO[K]
は信号成分である。信号S201は、信号SOのレベルを中心
にして上下に変動したものであり、信号Iの平均値は1
になる。
直帰線に同期して出力する。S202は平均回路201の出力
信号である。(S201[K])を信号S201[K]を平均し
た信号とすると、 S202[K]=(S201[K−1]) =(I[K−1])・(SO[K−1]) の関係が成り立つ。ここで、(I[K]),(SO
[K])は信号I[K],SO[K]をそれぞれ1フィー
ルド期間平均した信号であるが、Iは1フィールドの間
で一定であるから、 S202[K]=I[K−1]・(SO[K−1]) となる。
を得るものである。LPF202の出力をS203[K]とする
と、 S203[K] ={S202[K−1]+S202[K−2]+S202[K−
3]}/3 ={I[K−2](SO[K−2])+I[K−3](SO
[K−3]) +I[K−4](SO[K−4])}/3ここで、隣接した
フィールドの変化は少ないから (SO[K−2])=(SO[K−3]) (SO[K−4])=(SO[K−3]) とすることができる。また、フリッカー成分は3フィー
ルド毎に繰り返し、かつ、信号Iの平均値は1であるか
ら、 I[K−2]+I[K−3]+I[K−4]=3 となる。したがって、 S203[K]=(SO[K−3])・{I[K−2]+I
[K−3]+I[K−4]}/3 =(SO[K−3]) となる。第2図S203に信号を示す。
ための遅延回路であり、信号S202を2フィールド遅らせ
る。遅延回路の203の出力をS204とすると、 S204[K]=S202[K−2] =I[K−3]・(SO[K−3]) となる。第2図S204に信号を示す。
をS205[K]とすると、 S205[K]=S203[K]/S204[K] =(SO
[K−3])/I[K−3] ・(SO[K−3]) =1/I[K−3] ここで、フリッカーの周期性より I[K]=I[K−3] したがって、 S205[K]=1/I[K] となる。
信号S205との乗算を行う。利得制御回路205の出力をS20
6[K]とすると、 S206[K]=S201[K]・S205[K] =I[K]・SO[K]/I[K] =SO[K] となり、フリッカー成分が除去できる。
にいれてもよい。例えば第1図ではフリッカー補正回路
104をメモリ回路102と補間回路106との間にいれた場合
を示したが、メモリ回路102の前あるいは補間回路106の
後でもよく、またD/A回路108後のアナログ信号処理系内
にいれてもよい。
号との分離処理等を行う場合を示したが、色分離処理は
A/D回路101とメモリ回路102との間、またはA/D回路101
前のアナログ処理系あるいはD/A回路108後のアナログ処
理系で行ってもよい。
動きベクトル検出回路111の前段に配置することによ
り、入力映像信号がフリッカー成分を有する場合でも正
しい動きベクトルを検出し、正確な手ぶれ補正を行うこ
とができる。
路105,D/A回路108,フリッカー補正回路110,動きベクト
ル検出回路111,システムコントロール回路112とから構
成される動き検出回路においても、フリッカー補正回路
110を動きベクトル検出回路111の前段に配置することに
より、入力映像信号がフリッカー成分を有する場合でも
正しい動きベクトルを検出し、正確な動き検出を行うこ
とができる。
順次走査変換、動き適応型3次元くし型フィルタ,動き
適応型ノイズリデューサ等で使用されていて、その応用
範囲は広い。
るので、以後の実施例の説明においては手ぶれ補正装置
の説明を行い、動き検出回路としての説明は省略するこ
ととする。
正装置のブロック図である。同図において、301〜312は
第1の実施例における第1図の101〜112と同様であり、
異なる点は313のFLT回路である。以下、第1の実施例と
異なる点を中心に説明する。
成分を抽出するための回路であり、その周波数特性を同
図(b)に示す。このFLT回路313ではノイズの影響を抑
圧するとともに画像のエッヂを引き延ばし、少数の代表
点でも画像の特徴をとらえ動きベクトル検出を可能とす
る。
る効果もある。このためフリッカー補正回路310がフリ
ッカー補正回路304に比べてそのフリッカー成分抑圧効
果が劣るものであっても、FLT回路313とフリッカー補正
回路310とで必要なフリッカー成分抑圧を行うことがで
きる。
きは、アナログ乗算器の直線性,ダイナミックレンジが
劣っていてもよく、またデジタル回路構成のときは、回
路のbit数が低くてもよいことになる。
このFLT回路313がベクトル検出に有効な成分を抽出する
周波数特性を持つことによって、フリッカー抑圧性能の
低いフリッカー補正回路310(回路規模の削減が可能)
でも入力映像信号から正しい動きベクトルを検出し、正
確な手ぶれ補正を行うことができる。
のブロック図である。同図において、401〜410は、第1
の実施例における第1図から104と110とを取り除き、共
通のフリッカー補正回路411を設けたものである。以
下、第1の実施例と異なる点を中心に説明する。同図に
おいて、フリッカー補正回路411はA/D回路401によって
デジタル信号化された映像信号からフリッカー成分を減
衰,抑圧する。以下、動きベクトル検出回路409は、こ
のフリッカー成分を減衰,抑圧された映像信号から、動
きベクトルを検出し、また動き補正回路408および信号
処理回路404もこのフリッカー成分を減衰,抑圧された
映像信号から、動き補正された映像信号を作成してい
く。このようにフリッカー補正回路411は動きベクトル
検出および信号処理に必要なフリッカー成分の減衰,抑
圧を行う。
411を設けることによって、動きベクトル検出および信
号処理の両方に必要なフリッカー成分の減衰,抑圧を行
うことができるので、少ない回路規模で入力映像信号が
フリッカー成分を有する場合でも正しい動きベクトルを
検出し、正確な手ぶれ補正を行うことができる。
ル回路構成の場合を示したが、A/D回路401の前に配置し
アナログ回路構成としてもよい。
装置のブロック図である。同図において、501は撮像素
子、502は撮像素子501を駆動する撮像素子駆動回路、50
3は撮像素子駆動回路502を制御する撮像素子駆動制御回
路、504は撮像素子501の出力信号をA/D変換するまでに
必要なアナログ信号処理回路、505はA/D回路、506はA/D
変換された映像信号のフリッカー成分を減衰,抑圧する
ためのフリッカー補正回路、507は信号処理回路、511は
動きベクトルを検出する動きベクトル検出回路、508は
撮像素子501の出力信号を補間するための補間回路、509
は補間回路508を制御する補間制御回路、510はD/A回
路、512は撮像素子501と撮像素子駆動回路502と撮像素
子駆動制御回路503と補間回路508と補間制御回路509と
から成る動き補正回路、513は上記全ての回路を総合的
にコントロールするシステムコントロール回路である。
置について、以下その動作を前述の実施例と異なる点を
中心に説明する。
念図である。同図において、撮像素子全領域は通常撮影
領域と等しく、検出された動きベクトルに応じて撮像素
子読み出し領域を変化させる。その後補間回路を用いて
撮像素子読み出し領域を補間,拡大して正規のTV信号を
得る。このように撮像素子駆動により動き補正を行う手
ぶれ補正装置においても、フリッカー補正回路506は入
力映像信号のフリッカー成分を減衰,抑圧する。その
後、動きベクトル検出回路511は正しい動きベクトルを
検出し、信号処理回路507および補間回路508はフリッカ
ー成分を減衰,抑圧した正規の映像信号を作成すること
ができる。
駆動により動き補正を行う手ぶれ補正撮像装置おいて
も、フリッカー補正回路506は入力映像信号のフリッカ
ー成分を減衰,抑圧するので、動きベクトル検出回路51
1は正しい動きベクトルを検出することができる。しか
も、フリッカー成分を減衰,抑圧した映像信号を得るこ
とができ有効な手ぶれ補正を行うことができる。
装置のブロック図である。同図において、704〜711は第
4の実施例の第5図の504〜507および510〜513と同様で
あり、異なるのは撮像素子701の大きさおよび動き補正
回路710である撮像素子701,撮像素子駆動回路702,撮像
素子駆動制御回路703である。以下、第4の実施例と異
なる点を中心に説明する。
念図である。同図において、撮像素子領域は通常撮影領
域よりも広い広域撮像素子であり、検出された動きベク
トルに応じて撮像素子読み出し領域を変化させる。この
読み出した撮像素子読み出し領域は、正規のTV映像領域
と等しくなっている。このように広域撮像素子駆動によ
り動き補正を行う手ぶれ補正撮像装置においても、フリ
ッカー補正回路706は入力映像信号のフリッカー成分を
減衰,抑圧する。その後、動きベクトル検出回路709は
正しい動きベクトルを検出し、信号処理回路707はフリ
ッカー成分を減衰,抑圧した正規の映像信号を作成する
ことができる。
706は入力映像信号のフリッカー成分を減衰,抑圧する
ので、動きベクトル検出回路709は正しい動きベクトル
を検出することができる。しかも、フリッカー成分を減
衰,抑圧した映像信号を得ることができ有効な手ぶれ補
正を行うことができる。
装置のブロック図である。同図において、901〜905およ
び907〜913は第4の実施例の第5図の501〜505および50
7〜513と同様であり、異なるのは906の電子シャッタ駆
動制御回路、914のセンサ、915のフリッカー検出センサ
回路、916の制御回路、917の撮像素子駆動回路902と電
子シャッタ駆動制御回路906とで構成されているフリッ
カー補正回路である。以下、第4の実施例と異なる点を
中心に説明する。第10図は、本実施例の電子シャッタ駆
動制御回路906による撮像素子901の駆動波形図である。
同図において、被写体が蛍光灯のように電源周波数で点
灯する光源によって照明されていて、かつテレビカメラ
の垂直同期周波数(以下fv)と、電源周波数(以下fp)
が異なる場合、例えば、fvが60Hzでfpが50Hzの場合、被
写体光量は第10図に示すように1/100(秒)の周期を持
つ。このため電荷蓄積時間が1/60(秒)の場合第17図に
示したように20Hzのフリッカー成分を持つ、そこで電荷
蓄積時間を1/100(秒)とすることによりフリッカー補
正を行うことができる。
リッカー成分を検出すると制御回路916は電子シャッタ
駆動制御回路906を制御して映像信号のフリッカー成分
を減衰,抑圧する。その後動きベクトル検出回路911は
正しい動きベクトルを検出し、信号処理回路907および
補間回路908はフリッカー成分を減衰,抑圧した正規の
映像信号を作成することができる。
駆動により動き補正を行う手ぶれ補正撮像装置おいて
も、フリッカー検出センサ回路915の検出信号により電
子シャッタ駆動制御回路906は入力映像信号のフリッカ
ー補正を行い、動きベクトル検出回路911は正しい動き
ベクトルを検出することができる。しかも、フリッカー
成分を減衰,抑圧した映像信号を得ることができ有効な
手ぶれ補正を行うことができる。
によるフリッカー補正と撮像素子駆動による動き補正と
を組み合わせた場合を示したが、撮像素子901の電子シ
ャッタ駆動によるフリッカー補正とメモリー制御方式に
よる動き補正とを組み合わせることもできる。但し、本
実施例の場合は撮像素子駆動によりフリッカー補正と動
き補正とを行うので、撮像素子駆動制御回路903と電子
シャッタ駆動制御回路906とを共用することにより回路
規模を削減することができる効果も有する。
検出信号を用いる場合を示したが、色温度検出を行う色
温度検出センサ回路の検出信号を用いることも可能であ
る。そしてこの場合、色温度検出とフリッカー検出を共
用でき、フリッカー検出のためだけに特別センサを必要
としないので回路の削減が可能という効果もある。
装置のブロック図である。同図において、1101〜1113は
第6の実施例の第9図の901〜913と同様であり、異なる
のは映像信号のフリッカー成分を検出するフリッカー検
出回路1114,フリッカー検出回路出力信号を保持する保
持回路1115,SW回路1116,SW回路1116がON時に保持回路11
15の内容をリセットする信号を出力するリセット回路11
17,電子シャッタ駆動制御回路1106を制御する制御回路1
118である。以下、第6の実施例と異なる点を中心に説
明する。
速度を1/100秒にしてフリッカー補正する方式では、電
子シャッタ速度を1/100秒にした状態で撮像信号からフ
リッカー成分を検出することはできないので、外部にフ
リッカー検出用のセンサを持つ必要があった。この課題
について以下説明する。
ー成分を検出するBPFを含む回路である。フリッカー検
出回路1114が映像信号からフリッカー成分を検出する
と、保持回路1115にフリッカー検出信号を出力する。保
持回路1115はフリッカー検出信号を受け取るとその検出
信号を保持するとともに、制御回路1118にフリッカー検
出信号を出力する。制御回路1118は電子シャッタ駆動制
御回路1106を制御して入力映像信号のフリッカー成分を
減衰,抑圧する。一方、リセット回路1117はSW回路1116
例えば電源SWがONされたときにリセット信号を出力し保
持回路1115の内容をリセットするので、電源ON後フリッ
カー成分が検出されるとその後リセットされるまで制御
回路1118はフリッカー補正を行うこととなる。このよう
にして動きベクトル検出回路1111はフリッカー成分が減
衰,抑圧した映像信号から正しい動きベクトルを検出
し、信号処理回路1107および補間回路1108はフリッカー
成分を減衰,抑圧した正規の映像信号を作成することが
できる。
動き補正を行う手ぶれ補正撮像装置おいて、特別にフリ
ッカー検出センサ回路を設けることなくフリッカー検出
回路1114の検出信号を保持回路1115が次のリセット時ま
で保持することにより電子シャッタ駆動制御回路1106は
入力映像信号のフリッカー補正を行い、動きベクトル検
出回路1111は正しい動きベクトルを検出することができ
る。しかも、フリッカー成分を減衰,抑圧した映像信号
を得ることができ有効な手ぶれ補正を行うことができ
る。
リセット回路1117はこのSWに同期してリセット信号を出
力してもよい。
装置のブロック図である。同図において、1201〜1219は
第7の実施例の第11図の1101〜1119と同様であり、異な
るのは映像信号から色温度を検出する色温度検出回路12
20である。以下、第7の実施例と異なる点を中心に説明
する。
色差信号(R−Y・B−Y)の比から色温度情報を得る
回路である。色温度検出回路1220は映像信号から色温度
情報を得、信号処理回路1207に対してホワイトバランス
処理の制御を行うとともに、保持回路1215に対してリセ
ット回路1217と同様色温度が所定の範囲を越えて変化し
た場合に、フリッカー検出信号をリセットする信号を発
生する。一般に、色温度が大きく変化する場合は、テレ
ビカメラを屋内から屋外に移動した場合のようにフリッ
カーの有無も変化することがある。したがって、色温度
の変化を受けて再度フリッカー検出,補正を行うことに
より適切なフリッカー補正ができる。このようにして動
きベクトル検出回路1211は正しい動きベクトルを検出
し、信号処理回路1207および補間回路1208はフリッカー
成分を減衰,抑圧した正規の映像信号を作成することが
できる。
動き補正を行う手ぶれ補正撮像装置おいて、色温度が変
化したときに再度フリッカー検出を行うので、撮影の途
中で、フリッカーの有無が変化した場合でも、電子シャ
ッタ駆動制御回路1206は入力映像信号のフリッカー補正
を行い、動きベクトル検出回路1211は正しい動きベクト
ルを検出することができる。しかも、フリッカー成分を
減衰,抑圧した映像信号を得ることができ、有効な手ぶ
れ補正を行うことができる。
センサを設けることで行ってもよい。また、色温度検出
回路はリセット回路を制御してリセット信号を発生さ
せ、保持回路をリセットする構成でもよい。
装置のブロック図である。同図において、1301〜1319は
第8の実施例の第12図の1201〜1219と同様であり、異な
るのは1320の絞り回路,1321の絞り位置検出回路,1322の
レンズ,1323のフリッカー補正回路である。以下、第8
の実施例と異なる点を中心に説明する。
20より絞り値、つまり等価的に被写体の明るさ情報を得
る。また、制御回路1318は動きベクトル検出回路1311と
保持回路1315および絞り位置検出回路1321からの信号を
用いて、電子シャッタ駆動制御回路1306とフリッカー補
正回路1323を制御する。
出信号を受け取ると、絞り位置検出回路1321からの明る
さ情報を用いて被写体が明るいときは電子シャッタ駆動
制御回路1306を制御して撮像素子駆動を1/100(秒)に
してフリッカー補正を行う。一方、被写体が暗いときは
感度低下を防ぐためにフリッカー補正回路1323を制御し
てフリッカー補正を行う。
いて、保持回路1315に対して、リセット回路1317と同様
に明るさが所定の範囲を越えて変化した場合、フリッカ
ー検出信号をリセットする信号を発生する。一般に、被
写体が暗い場合、フリッカーによる輝度変化が目立たな
いので、輝度情報を用いてフリッカー補正をON/OFFする
ことにより感度低下を防ぐ適切なフリッカー補正ができ
る。
動きベクトルを受け取ると、絞り位置検出回路1321から
の明るさ情報を用いて被写体が明るいときは電子シャッ
タ駆動制御回路1306を制御して撮像素子駆動を1/100
(秒)にする。これにより被写体の速い動きに対して動
き補正を行う場合に、残像が生じるという問題点を解決
するとともにフリッカーが発生してもフリッカー補正を
も行うことができる。しかも一般に、動きベクトルが発
生するのは屋外が多く、このときは被写体が明るいので
撮像素子駆動を1/100(秒)にしても感度低下の問題を
生じることは少ない。
きベクトルを検出し、信号処理回路1307および補間回路
1308はフリッカー成分を減衰,抑圧した正規の映像信号
を作成することができる。
を用いてフリッカー補正回路1319及び1323を制御するの
で被写体の明るさに応じたフリッカー補正ができ、動き
ベクトル検出回路1311は正しい動きベクトルを検出する
ことができる。しかも、フリッカー成分を減衰,抑圧し
た映像信号を得ることができ、有効な手ぶれ補正を行う
ことができる。
カー補正をする3方法が同時に含まれる構成を説明した
が、これらは単独で構成することも可能である。
と撮像素子駆動方式を示し、フリッカー補正として利得
制御方式と電子シャッタ方式を示したが、これらの方式
に限るわけでもなく、またその組み合せも限られるもの
でない。
チング法による信号処理方式単独の場合を示したが、信
号処理方式とセンサ方式とを併用する場合でもよい。
力,動きベクトル検出,動き補正,D/A回路出力という構
成の場合を説明したが、これらは撮影済みの再生信号に
対する動き補正回路として、またはビデオカメラ化して
動き補正撮像装置としても同様の効果を得ることができ
る。
数のブロックに分割して各ブロックで動きベクトルを検
出し、検出した動きベクトルを用いて各ブロックで画像
処理を行うことなども考えられる。
ィールドの映像信号を用いる場合を示したが、これに限
るものでなく3フィールド以上の映像信号を用いる方
法、フィールド間動きベクトル検出とフレーム間動きベ
クトル検出とを同時に行う方法もある。
回路が動きベクトル検出回路に入力する映像信号のフリ
ッカー成分を減衰させ、フリッカーを生じる撮影状態お
よびフリッカー成分を有する映像信号でも正しい動きベ
クトルを検出できるので、有効な動き検出および有効な
手ぶれ補正を行うことができ、その効果は大きい。
よび手ぶれ補正装置のブロック図、第2図は同実施例の
フリッカー補正回路の一構成例を示すブロック図とその
波形図、第3図は本発明における第2の実施例の手ぶれ
補正装置のブロック図とその特性図、第4図は本発明に
おける第3の実施例の手ぶれ補正装置のブロック図、第
5図は本発明における第4の実施例の手ぶれ補正撮像装
置のブロック図、第6図は同実施例の撮像素子駆動概念
図、第7図は本発明における第5の実施例の手ぶれ補正
撮像装置のブロック図、第8図は同実施例の撮像素子駆
動概念図、第9図は本発明における第6の実施例の手ぶ
れ補正撮像装置のブロック図、第10図は同実施例の電子
シャッタ駆動概念図、第11図は本発明における第7の実
施例の手ぶれ補正撮像装置のブロック図、第12図は本発
明における第8の実施例の手ぶれ補正撮像装置のブロッ
ク図、第13図は本発明における第9の実施例の手ぶれ補
正撮像装置のブロック図、第14図は従来の手ぶれ補正装
置のブロック図、第15図は代表点マッチング法による代
表点配置図、第16図は同従来例の動きベクトル検出回路
の一構成例を示すブロック図、第17図はフリッカーを伴
う撮影時の波形図である。 101……A/D変換回路、102……メモリ回路、103……メモ
リ制御回路、104,110……フリッカー補正回路、105……
信号処理回路、106……補間回路、107……補間制御回
路、108……D/A変換回路、109……動き補正回路、111…
…動きベクトル検出回路、112……システムコントロー
ル回路。
Claims (11)
- 【請求項1】映像信号のフリッカー成分を補正するフリ
ッカー補正回路と、 前記フリッカー補正回路の出力信号を相対比較して動き
ベクトルを検出する動きベクトル検出回路とを備え、 前記フリッカー補正回路は、動きベクトル検出用として
独立に備えていることを特徴とする動き検出回路。 - 【請求項2】動きベクトル検出用のフリッカー補正回路
は、映像信号処理用のフリッカー補正回路に対しフリッ
カー補正性能を低くしたことを特徴とする請求項1記載
の動き検出回路。 - 【請求項3】撮像素子の出力信号からフリッカー成分を
検出するフリッカー検出回路と、前記フリッカー検出回
路の信号を保持する保持回路と、この保持された信号に
より可変電子シャッタ機能を有する前記撮像素子を用い
てフリッカー成分を補正するフリッカー補正回路と、前
記フリッカー補正回路の出力信号を相対比較して動きベ
クトルを検出する動きベクトル検出回路とを備えた動き
検出回路。 - 【請求項4】保持回路は、この保持回路をリセットする
リセット回路により制御される構成とした請求項3記載
の動き検出回路。 - 【請求項5】リセット回路は、テレビカメラの電源ある
いは録画スイッチに同期して保持回路をリセットする請
求項4記載の動き検出回路。 - 【請求項6】色温度を検出する色温度検出回路の出力ま
たは被写体の明るさを検出する輝度検出回路の出力が所
定の範囲を越えて変化したときに、リセット回路は前記
保持回路をリセットする請求項4記載の動き検出回路。 - 【請求項7】撮像素子の出力信号からフリッカー成分を
検出するフリッカー検出回路と、前記フリッカー検出回
路の信号を保持する保持回路と、この保持された信号に
より可変電子シャッタ機能を有する前記撮像素子を用い
てフリッカー成分を補正するフリッカー補正回路と、前
記フリッカー補正回路の出力信号を相対比較して動きベ
クトルを検出する動きベクトル検出回路と、前記動きベ
クトル検出回路が得た動きベクトルに応じて動き成分を
除去する動き補正回路とを備えた手ぶれ補正装置。 - 【請求項8】動き補正回路は、被写体像を電気信号に変
換する撮像素子と、その撮像素子を駆動する撮像素子駆
動回路と、動きベクトルに応じて前記撮像素子駆動回路
を制御する撮像素子駆動制御回路とを備えた請求項7記
載の手ぶれ補正装置。 - 【請求項9】保持回路は、この保持回路をリセットする
リセット回路により制御される構成とした請求項7また
は8に記載の手ぶれ補正装置。 - 【請求項10】リセット回路は、テレビカメラの電源あ
るいは録画スイッチに同期して保持回路をリセットする
請求項9記載の手ぶれ補正装置。 - 【請求項11】色温度を検出する色温度検出回路の出力
または被写体の明るさを検出する輝度検出回路の出力が
所定の範囲を越えて変化したときに、リセット回路は保
持回路をリセットする請求項9記載の手ぶれ補正装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2103453A JP2687670B2 (ja) | 1990-04-19 | 1990-04-19 | 動き検出回路および手ぶれ補正装置 |
US07/685,796 US5204741A (en) | 1990-04-19 | 1991-04-16 | Motion detector and image stabilizing system |
KR1019910006316A KR950008700B1 (ko) | 1990-04-19 | 1991-04-19 | 손떨림보정장치 |
US07/987,874 US5384595A (en) | 1990-04-19 | 1992-12-09 | Motion detector and image stabilizing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2103453A JP2687670B2 (ja) | 1990-04-19 | 1990-04-19 | 動き検出回路および手ぶれ補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH042278A JPH042278A (ja) | 1992-01-07 |
JP2687670B2 true JP2687670B2 (ja) | 1997-12-08 |
Family
ID=14354446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2103453A Expired - Lifetime JP2687670B2 (ja) | 1990-04-19 | 1990-04-19 | 動き検出回路および手ぶれ補正装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US5204741A (ja) |
JP (1) | JP2687670B2 (ja) |
KR (1) | KR950008700B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10248222B2 (en) | 2016-08-01 | 2019-04-02 | Samsung Electronics Co., Ltd. | Method for processing event signal and event-based sensor performing the same |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5313277A (en) * | 1990-10-30 | 1994-05-17 | Canon Kabushiki Kaisha | Image pickup device having white balance control function |
US5990942A (en) * | 1991-05-01 | 1999-11-23 | Canon Kabushiki Kaisha | Photographing apparatus using image information for blurring correction |
JPH04373365A (ja) * | 1991-06-24 | 1992-12-25 | Hitachi Ltd | テレビカメラ |
JP3227173B2 (ja) * | 1991-06-24 | 2001-11-12 | キヤノン株式会社 | 撮像装置及びその方法 |
US5453800A (en) * | 1991-10-17 | 1995-09-26 | Sony Corporation | Apparatus for judging a hand movement of an image |
US5581309A (en) * | 1992-02-03 | 1996-12-03 | Sanyo Electric Co., Ltd. | Motion vector detecting circuit |
JP2725937B2 (ja) * | 1992-02-19 | 1998-03-11 | 三洋電機株式会社 | オートフォーカス装置 |
JPH066667A (ja) * | 1992-06-22 | 1994-01-14 | Canon Inc | ぶれ検出装置及びぶれ補正装置 |
US5648818A (en) * | 1992-10-09 | 1997-07-15 | Canon Kabushiki Kaisha | Image pickup apparatus having color separation matrix |
DE69426314T2 (de) * | 1993-02-12 | 2001-04-12 | Sony Corp | Elektronische Zoomkontrolle und Bildstabilisierung |
JP2885010B2 (ja) * | 1993-08-25 | 1999-04-19 | 松下電器産業株式会社 | 画像動き補正装置 |
US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
US6038364A (en) * | 1993-11-16 | 2000-03-14 | Canon Kabushiki Kaisha | Video system having mode changeover responsively to movement of object or movement in object image signal |
US5825415A (en) | 1993-12-17 | 1998-10-20 | Canon Kabushiki Kaisha | Electronic image-movement correcting device with a variable correction step feature |
JP3339191B2 (ja) * | 1994-08-08 | 2002-10-28 | ミノルタ株式会社 | ブレ補正機能付カメラ |
JP3494479B2 (ja) * | 1994-09-01 | 2004-02-09 | 株式会社リコー | フォーカス制御装置 |
KR0160711B1 (ko) * | 1995-07-20 | 1999-05-01 | 김광호 | 캠코더의 정지화면 재생장치 및 그 방법 |
US5758091A (en) * | 1995-08-10 | 1998-05-26 | Intel Corporation | Method and apparatus for adjusting video data to limit the effects of automatic gain control on motion estimation video coders |
US6683652B1 (en) * | 1995-08-29 | 2004-01-27 | Canon Kabushiki Kaisha | Interchangeable lens video camera system having improved focusing |
US5886744A (en) * | 1995-09-08 | 1999-03-23 | Intel Corporation | Method and apparatus for filtering jitter from motion estimation video data |
US5710602A (en) * | 1995-09-29 | 1998-01-20 | Intel Corporation | Gain correction for encoding video images |
US5706054A (en) * | 1995-12-01 | 1998-01-06 | Intel Corporation | Method and apparatus for adjusting video data to limit the effects of automatic focusing control on motion estimation video coders |
JPH09284629A (ja) * | 1996-04-15 | 1997-10-31 | Sony Corp | Ccdエリアセンサーの制御方法 |
JP3098448B2 (ja) * | 1997-04-18 | 2000-10-16 | 日本電気ロボットエンジニアリング株式会社 | 画像入力装置 |
US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
JPH11205658A (ja) * | 1998-01-20 | 1999-07-30 | Canon Inc | 撮像装置 |
JP3583618B2 (ja) * | 1998-06-15 | 2004-11-04 | 富士通株式会社 | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3892172B2 (ja) | 1998-07-24 | 2007-03-14 | 松下電器産業株式会社 | 固体撮像装置 |
US6421097B1 (en) * | 1998-07-31 | 2002-07-16 | Intel Corporation | Method and apparatus for reducing flicker in a video image sequence |
US6519002B1 (en) * | 1998-08-31 | 2003-02-11 | Intel Corporation | Method and apparatus to minimize flicker effects from a discharge light source during digital video capture |
JP2001045502A (ja) * | 1999-08-04 | 2001-02-16 | Sanyo Electric Co Ltd | カメラ |
US6271884B1 (en) * | 1999-09-28 | 2001-08-07 | Conexant Systems, Inc. | Image flicker reduction with fluorescent lighting |
EP1091571B1 (en) | 1999-10-08 | 2012-05-30 | Panasonic Corporation | Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency |
US20020012063A1 (en) * | 2000-03-10 | 2002-01-31 | Olympus Optical Co., Ltd. | Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus |
WO2001076234A1 (en) * | 2000-03-30 | 2001-10-11 | Koninklijke Philips Electronics N.V. | Camera with light modulation removing means |
JP4608766B2 (ja) * | 2000-11-27 | 2011-01-12 | ソニー株式会社 | 固体撮像素子の駆動方法、及びカメラ |
US6710819B2 (en) * | 2001-02-22 | 2004-03-23 | Ati Technologies, Inc. | Method and system for improved display filtering |
JP3931606B2 (ja) * | 2001-09-20 | 2007-06-20 | ソニー株式会社 | 撮像装置およびノイズ除去方法 |
JP3826904B2 (ja) * | 2003-07-08 | 2006-09-27 | ソニー株式会社 | 撮像装置およびフリッカ低減方法 |
US7394939B2 (en) * | 2003-12-17 | 2008-07-01 | Microsoft Corporation | Managing file stream generation |
US7705884B2 (en) * | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
US8289399B2 (en) * | 2004-08-09 | 2012-10-16 | Hewlett-Packard Development Company, L.P. | System and method for image capture device |
JP2007036843A (ja) * | 2005-07-28 | 2007-02-08 | Fujifilm Holdings Corp | 投影表示機能付き撮像装置及び携帯電子機器 |
JP4904749B2 (ja) * | 2005-09-08 | 2012-03-28 | ソニー株式会社 | フリッカ低減方法、フリッカ低減回路及び撮像装置 |
US7881552B1 (en) | 2006-05-16 | 2011-02-01 | Adobe Systems Incorporated | Anti-flicker filter |
US8300117B2 (en) * | 2008-03-28 | 2012-10-30 | Fuji Xerox Co., Ltd. | System and method for exposing video-taking heuristics at point of capture |
US8441551B2 (en) * | 2008-11-14 | 2013-05-14 | Ati Technologies Ulc | Flicker detection circuit for imaging sensors that employ rolling shutters |
US8330829B2 (en) * | 2009-12-31 | 2012-12-11 | Microsoft Corporation | Photographic flicker detection and compensation |
WO2012053978A1 (en) * | 2010-10-20 | 2012-04-26 | Agency For Science, Technology And Research | A method, an apparatus and a computer program product for deinterlacing an image having a plurality of pixels |
US9355435B2 (en) * | 2013-03-14 | 2016-05-31 | Drs Network & Imaging Systems, Llc | Method and system for adaptive pixel replacement |
US9165345B2 (en) * | 2013-03-14 | 2015-10-20 | Drs Network & Imaging Systems, Llc | Method and system for noise reduction in video systems |
JP6759089B2 (ja) * | 2016-12-21 | 2020-09-23 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法 |
CN110858895B (zh) | 2018-08-22 | 2023-01-24 | 虹软科技股份有限公司 | 一种图像处理方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4301471A (en) * | 1976-12-20 | 1981-11-17 | Hughes Aircraft Company | Moving target indicator system utilizing charge coupled device |
JPS5392682A (en) * | 1977-01-25 | 1978-08-14 | Fujitsu Ltd | Driving method for semiconductor sensitizing device |
JPS60117881A (ja) * | 1983-11-29 | 1985-06-25 | Toshiba Corp | 固体撮像装置 |
US4562475A (en) * | 1984-03-15 | 1985-12-31 | Rca Corporation | DC Restoration of synchronously detected CCD imager output signals |
US4879591A (en) * | 1986-01-31 | 1989-11-07 | Canon Kabushiki Kaisha | Image pickup apparatus compensating an image signal for variations in color temperature |
US4774570A (en) * | 1986-09-20 | 1988-09-27 | Sony Corporation | System for processing video signal for detecting changes in video data and security monitoring system utilizing the same |
JPH0810907B2 (ja) * | 1987-11-02 | 1996-01-31 | 株式会社日立製作所 | 信号処理装置 |
US5012270A (en) * | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
JP2638061B2 (ja) * | 1988-04-21 | 1997-08-06 | 松下電器産業株式会社 | 動き量検出装置 |
US4933757A (en) * | 1988-08-20 | 1990-06-12 | Olympus Optical Co., Ltd. | Electronic endoscope apparatus provided with a movement detecting means |
-
1990
- 1990-04-19 JP JP2103453A patent/JP2687670B2/ja not_active Expired - Lifetime
-
1991
- 1991-04-16 US US07/685,796 patent/US5204741A/en not_active Expired - Fee Related
- 1991-04-19 KR KR1019910006316A patent/KR950008700B1/ko not_active IP Right Cessation
-
1992
- 1992-12-09 US US07/987,874 patent/US5384595A/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10248222B2 (en) | 2016-08-01 | 2019-04-02 | Samsung Electronics Co., Ltd. | Method for processing event signal and event-based sensor performing the same |
Also Published As
Publication number | Publication date |
---|---|
JPH042278A (ja) | 1992-01-07 |
KR950008700B1 (ko) | 1995-08-04 |
US5384595A (en) | 1995-01-24 |
US5204741A (en) | 1993-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2687670B2 (ja) | 動き検出回路および手ぶれ補正装置 | |
US7656436B2 (en) | Flicker reduction method, image pickup device, and flicker reduction circuit | |
US7454131B2 (en) | Image sensing apparatus with camera shake correction function | |
KR100188116B1 (ko) | 손떨림 영상 안정화 회로 | |
US7509039B2 (en) | Image sensing apparatus with camera shake correction function | |
KR100316717B1 (ko) | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 | |
US6424372B1 (en) | Electronic image-movement correcting device with a variable correction step feature | |
US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US5767900A (en) | Digital apparatus for contour enhancement of video signal | |
JP3357718B2 (ja) | テレビカメラ装置 | |
JP3395186B2 (ja) | ビデオカメラおよびビデオカメラの画像の振動表示方法 | |
JP3230693B2 (ja) | 撮像装置 | |
JP3239051B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
JP2009253808A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2810814B2 (ja) | 動きベクトル検出装置及びカメラ一体型手振れ補正装置 | |
JPH08181910A (ja) | 画像処理装置 | |
JPH07177531A (ja) | 撮像装置 | |
JP2825377B2 (ja) | 動きベクトル検出装置及びカメラ一体型手振れ補正装置 | |
JP3263789B2 (ja) | 撮像装置 | |
JPH02306776A (ja) | 撮像装置における商用電源周波数フリツカ除去回路 | |
JP2923102B2 (ja) | 撮像装置 | |
JPH05292532A (ja) | 撮像装置 | |
KR100594973B1 (ko) | 플리커 현상 방지를 위한 영상기록재생장치 및영상기록재생방법 | |
JP3417576B2 (ja) | 撮像装置 | |
JP2000013667A (ja) | ビデオカメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070822 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100822 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100822 Year of fee payment: 13 |