JP3053101B2 - 撮像装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、撮影した映像あるいはその中の一部の像の
出力画面上での揺れを、補正もしくは防止する手段を有
するテレビカメラ等の撮像装置に関する。

〔従来の技術〕

現在テレビカメラの多機能化の検討が進められてお
り、その新規な機能の一つとして手ぶれ防止機能が提案
されている。

第６図はこの手ぶれによる画面の揺れを低減する機能
を有する従来の撮像装置のブロツク図（特開平１−1250
68）を模式的に示したものである。但し記録媒体への記
録部分は省略した。

光学レンズ１を通つた入射光は撮像素子２で電気信号
に変換する。そして撮像素子２の有効受光領域から得た
映像領域Esの映像信号は、映像信号処理回路３において
A/D変換等の信号処理を行なつた後、画像メモリ４に記
憶する。

第７図は手ぶれ等によつてカメラヘツド部（撮像素子
を持つ撮像部）が揺れた時、画像メモリ４内に記憶され
た映像領域Esの映像における、像の位置関係を模式的に
示したものである。図に示すように手ぶれ等によつてカ
メラヘツド部が揺れると、前フイールドに中央近傍の領
域Ec（−１）内に有つた一部の像領域は、現フイールド
では領域Eg′（０）内に移動してしまう。そのため現フ
イールドに於いても前フイールドと同じ中央近傍の領域
Ec（０）の映像信号をそのまま信号変換回路７でテレビ
信号に変換して出画すると、出力画面上での一部の像領
域の位置は前フイールドの位置から移動し、像が揺れて
見難くなる。

そこで第６図の撮像装置では、角速度センサー等の動
きセンサーを用いて構成される動き検出装置５で、カメ
ラヘツド部（撮像素子を持つ撮像部）の動き量、すなわ
ちｍフイールド目の１フイールド期間に動いた像領域の
動きベクトルＶ（ｍ）を検出する。そして画像メモリ制
御回路６において、このデータを基に領域Eg′（−１）
（第７図ではこの領域をEc（−１）に置いた）からＶ
（０）だけずれた領域Eg′（０）の位置Og′（０）（＝
Ｚ（０））を求める。そして画像メモリ４から位置Og′
（０）に有る領域Eg′（０）の映像信号を読み出して動
き補正信号として出力する。

これにより前フイールドに対する出力画面上での像位
置の動きは低減され、手ぶれ等の像の動きが補正された
映像を得ることができる。

〔発明が解決しようとする課題〕

ところで一般に画面や像の揺れを補正しようとする場
合、目的の映像領域の映像信号が常に得られるように、
出画する映像領域の大きさより受光領域の方が大きい撮
像素子を用いないと、出力画面の端に欠けが生じてかえ
つて見苦い画面に成る。これを防止するため、検出した
動きベクトルに応じて画像の拡大処理を行なう方法が提
案されている（特開昭63−166370）が、この様に検出し
た動きベクトルの大きさに応じて画像の拡大率を変える
と、手ぶれの大きさが変わる度に像が伸縮してかえつて
見難くなる。また安易に大きな拡大率を設定すると像の
解像度が取れなくなる等の欠点がある。

また、たとえ上記の様に受光領域が充分大きい撮像素
子を用いたり充分大きな拡大率を設定しておいても、手
ぶれ等による像の揺れがあまり大きくなると結局出力画
面全体の揺れ補正は不可能になり、出力画面の端に欠け
が生じてかえつて画面を見苦しくする欠点がある。

〔課題を解決するための手段〕

上記の課題を解決するために本発明においては、出力
画面に欠けを生じることなく揺れ補正を行ないたい揺れ
補正範囲を、撮影者が自分の技量や撮影条件に合わせて
前もつて設定しておくようにする。そしてこの揺れ補正
範囲を満たすためのほぼ最小の拡大率k₀を求め、撮像素
子から得られる映像信号を少なくともk₀倍して揺れ補正
するようにする。

またこの指定した揺れ補正範囲の限界を越え、そのま
ま揺れ補正を行なうと出力画面に欠けが生じるほど揺れ
量が大きい時、あるいはこの揺れ補正範囲の限界に近づ
くほどこの揺れ量が大きくなつた時、実際に揺れ補正す
る際に用いる補正量を、完全に揺れを補正するのに必要
な補正量より小さい補正量にする。

〔作用〕

本発明によれば揺れ補正に必要な拡大率k₀は、撮影者
の技量や撮影条件に合せて前もつて設定しておいた一定
の揺れ補正範囲に対して、ほぼ最適な値に設定される。
そのため手ぶれの大きさが変わつても出力画面の像の大
きさがその都度変わつて見難く成つたり、いたずらに大
きな拡大率を設定して像の解像度を落としてしまうこと
がなく、安定したしかも解像度の劣化の少ない良好な映
像を得ることができる。

また常に欠けの無い映像が出力されるため、手ぶれに
よる揺れの大きさがどんなに大きくなつても単に出力画
面上の像の揺れ量が増えるだけで、常に欠けの無い自然
な映像を得ることができる。

〔実施例〕

第１図は本発明の第１の実施例のブロツク構成を示す
図であり、主に拡大率演算回路13と補正限界演算回路14
及び出画位置修正回路15を新たに設けた点が、従来の撮
像装置と異なる。

この拡大率演算回路13は、前もつて設定する揺れ補正
範囲内において出力画面に欠けを生じることなく揺れ補
正を行なうのに必要な拡大率k₀、及び電子ズームも含め
た全拡大率k₂を求める回路である。

第２図は、この回路の更に詳しい内部回路のブロツク
図の一例を示したものである。揺れ補正範囲指定回路40
は、撮影者が自分の技量や撮影環境に合わせ、揺れを低
減あるいは補正したい範囲を指定し記憶するための回路
である。範囲の指定法は、撮像素子の受光面上での動き
幅等で与えても良い。しかし像の動きが問題になるのは
多くの場合出力画面上での動きである。そのため例えば
出力する映像領域Egのｘ方向（あるいはｙ方向）の幅
（あるいは画素数）に対する、補正したい揺れの映像幅
Hgのｘ成分ｘ方向（あるいはｙ方向の幅（あるいは画素
数）の比 β＝（Hgのｘあるいはｙ方向の幅）／（Egのｘあるいはｙ方向の幅） （揺れ補正しなかつた場合の出力画面上での揺れ幅を与
える値）等の、出力画面上での動き幅を表わす値で与え
るのが望ましい。補正用拡大率演算回路41では、この揺
れ補正範囲指定回路40で指定した揺れ補正範囲のデータ
を基に、この揺れ補正範囲を満たすのに必要な最適な
（ほぼ最小な）拡大率k₀を求める。すなわち例えば上記
のように揺れ補正範囲を比βで与える場合、この値βか
らまず次式 Es′＝（１＋２β）×Eg によつて、出力画面に欠けを生じることなく揺れ補正を
行なうのに必要な映像領域の大きさ（あるいは画素数）
を求める。そしてこの映像領域Es′の大きさ（あるいは
画素数）が、撮像素子からの信号の映像領域Esの大きさ
（あるいは有効画素数）より大きく周辺の映像信号が不
足する時、領域の大きさのｘ方向の値から求める値 k_0x′≧（Es′のｘ方向の幅）／（Esのｘ方向の幅） とｙ方向の値から求める値 k_0y′≧（Es′のｙ方向の幅）／（Esのｙ方向の幅） の内の最大値より大きい k₀≧Max（k₀x′,k₀y′） を満たす、最適な拡大率k₀を求める。そして全倍率演算
回路42において、既にズーム比指定回路43で指定してあ
る通常の電子ズーム処理で必要な拡大率k₁との積k₂（＝
k₀×k₁）を求めて出力する。

また第１図の補正限界演算回路14は、上記の拡大率演
算回路13で求めた拡大率k₂から、例えば次式 Wmax1≦（Es−Eg0/k₂） ただしEg0は拡大率１倍の時に出画する映像領域の大
きさを表わす。従つてEg0/k₂は実際に出画する映像領域
Egの大きさに等しい。によつて、出画する映像領域Egの
位置Ogが出力画面に欠けを生じることなく動き得るほぼ
最大の領域Wmax1の大きさとその位置を求めるための回
路である。

また第１図の出画位置修正回路15は、実際に出画すべ
き映像領域Egの位置Ogを求める回路である。すなわちま
ず像領域の揺れを補正するために出力すべき映像領域E
g′の位置Og′と、別に設定する領域W1の範囲を比較す
る。そしてこの位置Og′が領域W1内でしかもその境界か
ら充分はなれた位置に有る時は、この映像領域Eg′の位
置Og′を、出画すべき映像領域Eg（＝Eg′）の位置Og
（＝Og′）として出力する。これに対し位置Og′が領域
W1の境界に近づいたりこの領域W1の外に出る時は、別に
設定する映像領域Eg″の位置Og″を出画すべき映像領域
Eg（＝Eg″）の位置Og（＝Og″）として出力する。

第３図は、この回路の更に詳しい内部回路のブロツク
図の一例を示したものである。範囲指定回路44は領域W1
の範囲を指定する回路であり、ｘ方向とｙ方向のリミツ
タ回路45と45′のリミツト範囲は、それぞれこの領域W1
のｘ方向の範囲w_1xd〜w_1xuとｙ方向の範囲w_1yd〜w_1yuに
設定される。この出画位置修正回路15に入力された、像
領域の揺れを補正するために出力すべき映像領域Eg′の
位置Og′のｘ成分の値o_g′_ｘとｙ成分の値o_g′_ｙは、各
々このリミツタ回路45と45′に通され、第４図の実線で
示すように領域W1外ではその境界値w_1xd（あるいは
w_1xu）あるいはw_1yd（あるいはw_1yu）に固定された位置
座標o_g″_ｘあるいはo_g″_ｙを出力する。

なお出画領域の位置の設定法には、第３図の例に他の
各種の方法がある。以下、その例について述べる。

第４図の破線で示すように、位置Og′のｘ成分o_g′
_ｘ（あるいはｙ成分o_g′_ｙ）が、領域W1のｘ方向の範囲
w_1xd〜w_1xu（あるいはｙ方向の範囲w_1yd〜w_1yu）の境界
に近づくあるいは領域外に出る時、位置Og′のｘ成分o
_gx（あるいはｙ成分o_gy）の値が、範囲w_1xd〜w_1xu（あ
るいはw_1yd〜w_1yu）内であつて且つ位置Og′のｘ成分の
値o_g′_ｘと次式（w_1xd＋w_1xu）/2で求められる値（ある
いはｙ成分の値o_g′_ｙと次式（w_1yd＋w_1yu）/2で求めら
れる値）の間の値を持つOg″に移動する。

第５図に模式的に示すように、位置Og′が領域W1に
境界に近づくあるいはこの領域外に出る時、領域W1内に
あつて且つほぼ映像領域Esの中心Csと位置Og′の間に有
る位置Og″に移動する。

位置Og′が領域W1の外に出る時、再び位置Og′が領
域W1内に戻るまで、初めてこの領域から出た時の位置と
映像領域Esの中心Csを結ぶ線上に有る領域W1の境界の点
Og″に固定する。

等各種の方法が有る。

また範囲指定回路44で指定する領域W1の範囲は、外部
から任意に設定できる様にしてもよい。しかし出力画面
に欠けが生じないようにするためには、上記の補正限界
演算回路14で求めたほぼ最大の領域Wmax1に含まれる範
囲、特にこの最大の領域Wmax1に設定するのが望まし
い。

この様な機能を持つ回路を有する第１図の撮像装置に
おいて、撮像素子２の有効受光領域から得た映像領域Es
の映像信号は、従来同様映像信号処理回路３を通して画
像メモリ４に記憶する。

一方動き検出装置５で検出したカメラヘツド部のｍフ
イールド目の動き量Ｖ（ｍ）は累積加算回路９に送ら
れ、累積加算等の方法により揺れ補正した映像を得るた
めに必要な映像領域Eg′の位置Og′（＝Ｚ＝ΣＶ
（ｍ））を求める。そして出画位置修正回路15では、映
像領域Eg′の映像信号でそのまま補正すると出力画面に
欠けが生じてしまう場合、出画する映像領域Egの位置Og
を、この様な欠けが生じない適当な映像領域Eg″の位置
ベクトルOg″に変更し、この位置Ogのデータを画像メモ
リ制御回路６に入力する。画像メモリ制御回路６では、
この映像領域Egとその位置Og及び拡大率演算回路13で求
めた拡大率k₂の値を基に、出画すべき領域Egの映像信号
が記憶されている画像メモリ４内の番地と、Ｍ×Ｎマト
リツクス演算で画素ピツチ以下の移動点の映像信号レベ
ルを算出するための演算係数を算出する。そして番地デ
ータは画像メモリ４へ、また演算係数値は内挿補正回路
10に出力する。

この後画像メモリ４内に既に記憶されている映像領域
Esの映像信号の中から、画像メモリ制御回路６で指定す
る番地にある映像領域Egの映像信号を読みだす。この読
みだした映像領域Egの映像信号と画像メモリ制御回路６
で求めた演算係数を受けた内挿補正回路10では、これら
の値のＭ×Ｎマトリツクス演算を行い、画素ピツチ以下
の内挿補間値を求める。そしてこの揺れを補正され、内
挿補間された映像信号Eoutを信号変換回路７でテレビ信
号に変換して出力する。これにより手ぶれ等による像の
揺れは低減され、しかもその揺れが極端に大きくなつて
も出力画面に欠けの生じない自然で良好な画像を得るこ
とができる。

この様に本実施例では、揺れ補正に必要な拡大率k
₀は、撮影者の技量や撮影条件に合わせて前もつて設定
しておいた一定の揺れ補正範囲に対して、ほぼ最適な値
に設定される。そのため手ぶれの大きさが変わつても出
力画面の像の大きさがその都度変わつて見難く成つた
り、いたずらに大きな拡大率を設定して像の解像度を落
としてしまうことがなく、安定したしかも解像度の劣化
の少ない良好な映像を得ることができる。また常に欠け
の無い映像が出力されるため、カメラが大きく揺れる等
の像の大きな揺れが有つても、単に出力画面上の像の揺
れ量が増えるだけで、常に欠けの無い自然な映像を得る
ことができる。特に出画領域の位置の設定法として、例
えば第４図の破線で示すように境界に近づくにつれて補
正量を減らすようにすると、揺れがある程度大きくなつ
た時に突然像が大きく動き始めるような不自然の無い、
揺れ補正された良好な映像を得ることができる。

以上角速度センサー等を用いて像領域の動きベクトル
を検出する動き検出装置５で動き量を検出する場合につ
いて説明したが、これを羅針盤やジヤイロスコープ等を
用いて撮像素子の受光面上での像領域の位置が直接検出
する位置検出装置で置き換える、あるいは像領域の動き
ベクトルを映像信号から検出する、あるいは更にこの映
像信号自身から検出する方法とセンサーを用いる方法の
両方の検出回路と検出装置を併用しても良い。また動き
の検出精度を上げる意味からも併用するのが望ましい事
は明らかである。

また以上特に断わらなかつたが、位置Ｚにある注目す
る像領域の映像の、出力すべき映像領域Eg′内での位置
は、必ずしも中心に置く必要はなく、一般に出力すべき
映像領域Eg′の位置Og′に対する相対位置Z0の領域に来
るようにしても良い（実際には相対位置Z0の領域に来る
ように映像領域Eg′の位置Og′（＝Ｚ−Z0）を設定す
る）。

また、Og′,Og″,Og等の位置は、映像領域Eg′,Eg″,
Eg等の基準による点（原点）を表わすものであれば良
い。従つて上記の説明ではこれらの点が各映像領域の中
心に有ると仮定して説明してきたが、この各中心に対し
て任意の位置に設定し直しても良いのは明らかである。
但しこの場合、限界領域Wmax1の計算方法や、領域W1と
位置Ogの関係の判別方法、あるいは映像領域の位置の移
動先Og″を求める際には、この位置Og等の設定方法に合
わせた変更が必要である。

また以上一定範囲内では手ぶれ等の揺れ成分を止める
場合についてのみ説明したが、限界点近傍だけでなく全
ての領域で出力すべき映像領域Eg′の位置Og′を映像領
域Esの中心Osに近い点に移動し、揺れを止めるのではな
く低減するにとどめても良いのは言うまでもない。

またこの限界点近傍で揺れ補正を低減する処理は、別
に設けたスイツチ等によつて選択できるようにして置く
のが望ましい。

また以上手ぶれ等の揺れを信号処理によつて補正する
場合について述べたが、撮像素子とレンズの相対的な位
置関係を制御して手ぶれによるカメラの揺れを低減する
構造を有する撮像装置あるいは撮像素子から信号を読み
出す領域を変えるようにした撮像装置（例えば特開昭63
−261329）等に於いても、拡大率演算回路13と補正限界
演算回路14及び出画位置修正回路15と同様の働きをする
回路を設け、レンズによつて結像される像領域の位置が
撮像素子の受光領域から出ないようにレンズの動き等を
調整することによつて、上記の実施例と同様の効果を得
ることができる。またレンズの向きを制御して手ぶれに
よるカメラの揺れを低減する構造を有する撮像装置（例
えば特開昭63−254870）に於いても、調整限界で突然調
整を止める（実際には調整装置の端にぶつかつて止ま
る）のではなく、この調整限界に近づくにつれてその調
整量を徐々に減らすようにすることによつて、揺れがあ
る程度大きくなつた時に突然像が大きく動き始めるよう
な不自然の無い、揺れ補正された良好な映像を得ること
ができる。

また以上撮像装置の場合について説明したが、像領域
の動きを映像信号から検出する構成の回路を用いること
によつて、ビデオテープレコーダ等の映像信号処理装置
でも同様の効果が得られるのは明らかである。

〔発明の効果〕

以上本発明によれば手ぶれの大きさが変わつても、出
力画面の像の大きさがその都度変わつても見難く成つた
り、いたずらに大きな拡大率を設定して像の解像度を落
としてしまうことがなく、安定したしかも解像度の劣化
の少ない良好な映像を得ることができる。

またカメラが大きく揺れる等の像の大きな揺れが有つ
ても、単に出力画面上の像の揺れ量が増えるだけで、常
に欠けの無い自然な映像を得ることができる。

また揺れがある程度大きくなつた時に突然像が大きく
動き始めるような不自然の無い、揺れ補正された良好な
映像を得ることができる。

【図面の簡単な説明】

第１図〜第３図は本発明による第１の実施例のブロツク
図、第４図〜第５図は本発明の説明実施例の動作図、第
６図〜第７図は従来の回路のブロツク図とその説明図で
ある。 1,2……光学レンズと撮像素子、３……映像信号処理回
路、４……画像メモリ、５……動き検出装置、６……画
像メモリ制御回路、７……信号変換回路、９……累積加
算回路、10……内挿補正回路、13……拡大率演算回路、
14……補正限界演算回路、15……出画位置修正回路、40
……揺れ補正範囲指定回路、41……補正用拡大率演算回
路、42……全倍率演算回路、43……ズーム比指定回路。

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】光学レンズと該光学レンズを通った光を電
   気信号に変換する撮像素子の受光面上での一部の像領域
   の位置Ｚに関するデータを基に上記像領域における像の
   揺れを補正する回路を有する撮像装置において、上記像
   揺れ補正回路は、上記位置Ｚに関するデータに基づいて
   映像領域Eg′の位置Og′を求め、さらに上記位置Og′が
   上記像揺れ補正回路に設定された領域W1の境界に近づく
   あるいは該領域外に出るときは、該位置Og′、上記領域
   W1の境界の位置および上記領域W1の中心位置の相対的な
   位置関係から求まる上記領域W1内の位置Og″にある映像
   領域Eg″を出画すべき映像領域Egとし、その他のときは
   上記映像領域Eg′を出画すべき映像領域Egとするように
   働くことを特徴とする撮像装置。
2. 【請求項２】上記像領域における像の上記映像領域Eg′
   内の位置を、上記位置Og′に対する相対位置Z0で表した
   とき、上記位置Og′はＺ−Z0なる位置となることを特徴
   とする請求項１記載の撮像装置。
3. 【請求項３】上記領域W1の大きさは、上記出画すべき映
   像領域Egを上記出力画面に欠けを生じることなく動かし
   得る最大の領域Wmax1の大きさ以下に設定されているこ
   とを特徴とする請求項１又は２に記載の撮像装置。
4. 【請求項４】上記像揺れ補正回路による上記位置Og″の
   決定は、上記領域W1の境界に近づくあるいは該領域外に
   出る上記位置Og′のｘ成分またはｙ成分が、 （１）上記ｘ成分のみの場合は、ｘ軸に平行に上記位置
   Og′から上記領域W1の内部に向かって延ばした直線の上
   記領域W1の内部に存在する部分上で、かつ上記位置Og′
   と上記領域W1の中心線までの間の範囲の中から選ぶよう
   になされ、 （２）上記ｙ成分のみの場合は、ｙ軸に平行に上記位置
   Og′から上記領域W1の内部に向かって延ばした直線の上
   記領域W1の内部に存在する部分上で、かつ上記位置Og′
   と上記領域W1の中心線までの間の範囲の中から選ぶよう
   になされ、 （３）両成分の場合は、ｘ軸およびｙ軸に平行に上記位
   置Og′から上記領域W1の内部に向かって延ばした２本の
   直線と上記領域W1の直交中心線で囲まれる領域の内部
   で、かつ上記領域W1内の中から選ぶようになされること
   を特徴とする請求項１乃至３のいずれか一項に記載の撮
   像装置。
5. 【請求項５】上記像揺れ補正回路による上記位置Og″の
   決定は、上記位置Og′から上記領域W1の中心点に向かっ
   て延ばした直線の上記領域W1の内部に存在する部分上
   で、かつ上記位置Og′と上記領域W1の中心点までの間の
   範囲の中から選ぶようになされることを特徴とする請求
   項１乃至３のいずれか一項に記載の撮像装置。