JP4046842B2

JP4046842B2 - 撮像方法及び装置並びに記憶媒体

Info

Publication number: JP4046842B2
Application number: JP09266498A
Authority: JP
Inventors: 仁志保田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 2008-02-13
Anticipated expiration: 2018-03-20
Also published as: JPH11275451A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像方法及び装置並びにこの撮像装置を制御するための制御プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
近年、ビデオカメラは小型化及び軽量化が進み、また、レンズのズーム比率も高倍率化の傾向があり、手持ち撮影時には手振れによる画像振れが発生しやすくなっている。そのため手振れ防止機能が搭載された防止機能付きカメラが一般的となっている。
【０００３】
手振れ防止の方法としては、特開平６０−１４３３３０号公報に記載されている方法が一般的となっている。この方法は、回転ジャイロで撮像装置本体の振れを検出し、その検出結果に基づいて、レンズから撮像装置本体に至るまでの光学系を動かす光学式と、撮像素子の信号転送を高速転送と通常転送とに分けて、高速転送の転送個数を制御する電子式とがあるが、特に電子式には装置の小型化が可能であるという特長を有する。電子式防振は転送個数を制御するため、垂直隣接撮像画素を同時に読み出す撮像素子では、信号を通常転送する画素の領域を２画素ピッチでずらすことになり、これが防振の分解能になる。
【０００４】
防振の分解能を向上させる方法としては、特開平３−１３２１７３号公報に記載されている方法が知られている。この方法は、撮像素子の同時に読み出す垂直隣接２画素の組み合わせを、１画素ピッチで徐々にずらし、信号を通常転送する画素の領域を１画素ピッチで移動させることができるので、画素の動きはスムーズになる。
【０００５】
例えば、図６（ａ）のように読み出しを行う場合、これを移動する時、図６（ｂ）のように組み合わされた２がピッチで動かすのではなく、図６（ｃ）のように画素の組み合わせを変えれば、１画素ピッチで通常転送する画素の領域を移動させることができる。しかし、画素の組み合わせが異なるので、後の色処理で画素の組み合わせに応じた処理に色処理を変更する必要がある。
【０００６】
なお、図６において、Ｙは色フィルタが黄色、Ｃは色フィルタがシアン、Ｍは色フィルタがマゼンタ、Ｇは色フィルタが緑色である。
【０００７】
一方、今日では上下の映像信号を所定の割合で加算し、その比率を変えることで映像を移動させ、防振の分解能を向上させる画素ずらしという技術も実用化している。
【０００８】
ここで、画素ずらしについて図７を用いて説明する。
【０００９】
図７において、まず、１Ｈディレイメモリ７０１で１水平走査期間（Ｈ）分の映像信号を保持し、次に現在の入力映像信号を第１の乗算器７０２でＫＶ倍し、１Ｈディレイメモリ７０１からの出力を第２の乗算器７０２で（１−ＫＶ）倍して、それらの乗算値を加算器７０３で加算する。これにより、ＫＶが１のときには、現在の入力映像信号が、ＫＶが１／２のときには、現在の入力映像信号と１Ｈディレイメモリ７０１の中間の映像信号が出力され、ＫＶが０のときには、１Ｈディレイメモリ７０１の１Ｈ前の映像信号が出力される。これにより、映像信号の位置をずらすことができ、加算比率の変化を細かくすれば、それだけ防振の分解能を細かくすることができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来例にあっては、１画素ピッチで通常転送する画素の領域を移動して防振を行うと、防振の分解能が足りず、細かい防振が残ったり、かえって過振して揺れて見えてしまう場合がある。また、画素ずらしを使って防振を行うと、解像むらを生じ、画面がちらついて見えるという問題点があった。
【００１１】
ここで、解像むらという現象について説明する。
【００１２】
画素ずらしは、前記のように上下２つの映像信号を加算することから解像度が失われることがある。これをグラフで表わすと、図８のようになる。図８において、縦軸は映像の位置を、横軸は解像度をそれぞれ示す。また、図８において、８０１乃至８０５は映像信号をそれぞれ示す。
【００１３】
この図８で分かるように、画素ずらしを行っていないときが解像度が一番高く、２つの画素の中間の位置にずらしたときに解像度が一番低くなってしまう。このため、防振制御で任意の位置に画素ずらしを行うと、解像度が次々に変わるため、画面がちらちらして見えてしまう。これを解像度むらという。
【００１４】
本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたものであり、その目的とするところは、防振に必要な分解能を確保し、解像度むらを無くすことが可能な撮像方法及び装置並びに記憶媒体を提供しようとするものである。
【００１６】
【課題を解決するための手段】
上記目的を達成するために本発明の撮像方法は、１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置の撮像方法であって、被写体を撮像する撮像装置本体の揺れを検出する検出工程と、前記検出工程によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続ける揺動補正制御工程とを有することを特徴とする。
【００２５】
また、上記目的を達成するために本発明の撮像装置は、１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置であって、被写体を撮像する撮像装置本体の揺れを検出する検出手段と、前記検出手段によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続ける揺動補正制御手段とを有することを特徴とする。
【００３４】
また、上記目的を達成するために本発明の記憶媒体は、１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置を制御する制御プログラムを格納する記憶媒体であって、撮像装置本体の揺れを検出する検出手段によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続けることで、映像信号の解像度を一定に保つように制御するステップの制御モジュールを有する制御プログラムを格納したことを特徴とする。
【００４３】
【発明の実施の形態】
以下、本発明の一実施の形態を図１乃至図５に基づき説明する。
【００４４】
図１は、本発明の第１の実施の形態に係る撮像装置（ビデオカメラ）の構成を示すブロック図であり、同図において、１０１はレンズ群、１０２はＣＣＤ等の撮像素子、１０３は増幅器、１０４はカメラ信号処理回路、１０５は拡大・補間・画素ずらし回路、１０６はＣＣＤ駆動回路、１０７はピッチ角度センサ、１０８はヨウ角度センサ、１０９及び１１０は増幅器、１１１は防振制御マイコン（マイクロコンピュータ）、１１２はスイッチである。
【００４５】
図１において、被写体からの光は、レンズ群１０１を通って撮像素子１０２上に結像される。撮像素子１０２上の像は光電変換され、増幅器１０３で最適なレベルに増幅され、カメラ信号処理回路１０４へ入力されて標準テレビ信号に変換される。
【００４６】
図１に示す撮像装置は電子的な手振れ補正機能を備えており、防振のオン／オフはスイッチ１１２の状態を検出することで行っている。角速度センサ１０７，１０８で撮像装置の揺れ角速度を検出し、増幅器１０９，１１０でそれぞれ増幅後、防振制御マイコン１１１に取り込み、角速度信号を積分して角変位を算出する。この様にして得られた揺れ角θと光学系の焦点距離ｆに応じて、撮像素子１０２上の揺れによる画素移動分（ほぼｆ×ｔａｎθに相当）を、揺れによる移動方向とは逆方向に動かすことで揺れ補正を行う。
【００４７】
図２は、電子的な防振制御で抽出される画像領域を説明するための図である。同図の（ａ）において、２０１が撮像素子１０２の有効画素領域であり、その内の一部の領域２０２のみを抽出して揺れ補正を行うように、一部の領域２０２を有効画素領域２０１の範囲の中で、開始点（ｘ０，ｙ０）移動させることで防振を行い、一部の領域２０２のみをテレビやファインダー等のモニターに表示する。
【００４８】
そのための手法として、フィールドメモリを用いて有効画素領域２０１の画像を一旦記憶し、一部の領域２０２の画像のみを読み出しながら、図２の（ｂ）に示す領域２０３の大きさになるように拡大処理しつつ、水平・垂直走査線間を補間して領域２０３の表示を得る方法と、一部の領域２０２の抽出領域が予め標準テレビ信号に必要な走査線数を満足するように、撮像素子１０２を高密度の高画素タイプの大型ＣＣＤを用いる方法とがある。前者及び後者ともに高価なフィールドメモリや大型ＣＣＤを必要とするので、本実施の形態では、汎用のＰＡＬ用のＣＣＤを、ＮＴＳＣの撮像装置に用いる構成とする。
【００４９】
ＰＡＬ用のＣＣＤは、垂直方向の画素密度が高いので、垂直走査方向はタイミングジェネレータ等のＣＣＤ駆動回路１０６でそのまま抜き出せばよく、水平走査方向はラインメモリを用い、縦横比分だけ拡大処理を行えば、安価な揺れ補正装置が実現できる。
【００５０】
図１は、そのような補正系の構成になっており、垂直走査方向の画素移動は、ＣＣＤ駆動回路１０６に対して高速掃き出し制御を行わせることで、所望の走査領域の抽出を行い且つ１画素ピッチで移動させるため画素の組み合わせが変わるので、画素の組み合わせに応じた色処理を行うようにカメラ信号処理回路１０４を制御する。水平走査方向の画素移動は、カメラ信号処理回路１０４で処理された映像信号を取り込む、拡大・補間・画素ずらし回路１０５でメモリされた水平走査画像の読み出し位置を揺れ補正画素移動量に応じて可変にしながら且つ縦横比に見合うだけ拡大補間処理を行う。また、１画素ピッチ以下の小数部分の移動に関しては、拡大・補間・画素ずらし回路１０５により画素ずらしを行うことで移動させることができる。
【００５１】
次に本実施の形態に係る撮像装置の防振制御動作を図３及び図４のフローチャートに基づき説明する。
【００５２】
図３のフローチャートは、角速度センサ１０７，１０８で検出した角速度信号を積分することで、角変位を算出する処理である。本処理は防振制御マイコン１１１で実行される定周期割り込み処理であり、本実施の形態ではフィールド周波数の１０倍、つまりＮＴＳＣの場合６００Ｈｚの周波数で実行される。この周波数は、角速度信号のサンプリング周波数、角変位の算出周波数に相当する。防振制御マイコン１１１での割り込みの起動要因は、例えば、発振クロックの所定分周でアップ（もしくはダウン）カウントしているカウンタが、１／６００ｓｅｃに相当するデータと一致する毎に発生する。また、図１で説明したように、角速度信号を防振制御マイコン１１１のＡ／Ｄコンバータで取り込むが、本実施の形態では簡単にするため、Ａ／Ｄコンバータの動作モードはスキャンモードで何時でもＡ／Ｄ動作を繰り返しているものとする。
【００５３】
図３において、まず、ステップＳ３０１でＡ／Ｄサンプリングした角速度信号に対し、ハイパスフィルタ処理を施すことにより、ＤＣ成分の影響を除去する。次にステップＳ３０２で帯域制限された角速度信号を積分処理して角変位を算出する。算出された角変位が撮像装置本体に加わる揺れ角に相当する。次のステップＳ３０３からステップＳ３０５までの処理は、１フィールド間に１０回揺れ角算出が行われたか否かの処理ルーチンである。即ちステップＳ３０３で回数パラメータのＲＡＭである「ｍ」をインクリメントし、次のステップＳ３０４で「ｍ＝１０」か否かを判断し、「ｍ＝１０」である場合、即ち１０回割り込みがあった場合は、次のステップＳ３０５で「ｍ＝０」と次のフィールドの為に初期化を行った後、本処理動作を終了する。
【００５４】
一方、前記ステップＳ３０４において「ｍ＝１０」でない場合、即ち１０回割り込みがない場合は、前記ステップＳ３０５をスキップして本処理動作を終了する。
【００５５】
図４のフローは１フィールドに１回処理され、図３のフローが１０回実行されて、次の１回目が実行されるまでの間、つまり現フィールドの最後に処理が実行されることになる。
【００５６】
図４において、まず、ステップＳ４０１で「ｍ＝０」であるか否かを「ｍ＝０」になるまで判断する。そして、「ｍ＝０」になると、即ち現フィールドで１０回の割り込み処理が行われてｍが初期化されると、次のステップＳ４０２でスイッチ１１２の状態に基づいて防振がオンであるか否かを判断する。そして、スイッチ１１２がオン、即ち防振がオンならば、次のステップＳ４０３で切り出し位置の目標位値座標（Ｖ０，ＶＨ）を算出する処理を実行する。ここで目標位置は以下の式（１）、（２）で与えられる。
【００５７】

つまり、上記式（１）、（２）により振れ補正で移動させるべき画素数が得られる。
【００５８】
次にステップＳ４０４で前記画素数で表わされる目標位置座標データのうち、小数部から画素ずらしの比率データＫＶ，ＫＨを算出して決定する。実際には、画素ずらしデータは０から１まで設定可能であり、小数部が０のとき、画素ずらしデータが１となるように設定される。データ設定は、以下の式（３）により決定される。
【００５９】
画素ずらしデータ＝１−小数部値…（３）
次のステップＳ４０５が本発明の特徴となる処理であり、詳細は後述するが、このステップＳ４０５で補正量データを画面の解像度が一定となるように作り替える。次のステップＳ４０６で前記ステップＳ４０３において算出された目標位値座標（Ｖ０，ＶＨ）を切り出し位置として、ＣＣＤ駆動回路１０６及び拡大・補間・画素ずらし回路１０５に命令を出力する。また、切り出し位置の設定に応じてカメラ信号処理回路１０４の色処理の設定を変更する（カメラ信号処理回路１０４、拡大・補間・画素ずらし回路１０５及びＣＣＤ駆動回路１０６では、つぎのフィールドより命令通りの切り出し位置が出力されるように作動する）。そして、次のフィールドの処理のために前記ステップＳ４０１へ戻り、１０回の積分が行われるまで待機する。
【００６０】
一方、前記ステップＳ４０２において、スイッチ１１２がオフ、即ち防振がオフならば、ステップＳ４０７で画素ずらし設定値を１（画素ずらしを行わない）とし、次のステップＳ４０８で画面中央を切り出すように切り出し命令を、また、前記ステップＳ４０７において設定した画素ずらし設定値をそれぞれ出力する。
【００６１】
次に、前記図４のステップＳ４０５における補正量の作り替え処理について、図５を用いて説明する。図５において、縦軸は映像の位置を、横軸は解像度をそれぞれ示す。また、図５において、５０１乃至５０９は映像信号をそれぞれ示す。映像信号５０１，５０２に対し、通常転送する画素の領域を１画素移動して得られる映像信号が映像信号５０３乃至５０５である。当然、これらの２種類の映像信号は同時に得ることはできず、どちらか一方しか得ることができない。これらの映像から以下の式（４）、（５）、（６）、（７）に基づいて画素ずらしを行う。
【００６２】
映像信号５０６＝映像信号５０１×７／８＋映像信号５０２×１／８…（４）
映像信号５０７＝映像信号５０３×１／８＋映像信号５０４×７／８…（５）
映像信号５０８＝映像信号５０４×７／８＋映像信号５０５×１／８…（６）
映像信号５０９＝映像信号５０１×１／８＋映像信号５０２×７／８…（７）
これにより映像信号５０６乃至５０９を得ることができる。
【００６３】
図５における解像度のグラフを見ると分かるように、これら４つの映像信号５０６乃至５０９は一定で、通常転送する画素の領域を最小１画素ピッチで変化させた場合の分解能（映像信号５０３、５０１、５０４、５０２、５０５）に対して２倍の分解能が得られる。従って、防振で補正位置をこれらの映像信号５０６乃至５０９になるようにすれば解像度むらのない防振を行うことができ且つ防振に必要な分解能も確保できるので、防振性能も向上できる。
【００６４】
以上のことをまとめると、計算によって得られた移動量を２で割った余りを、０以上１／２未満、１／２以上１未満、１以上３／２未満、３／２以上２未満の４つの場合に分け、
０以上１／２未満のときは、通常転送する画素の領域を偶数画素移動し、ＫＶを７／８として映像信号５０１，５０２から映像信号５０６を生成する。
【００６５】
１／２以上１未満のときは、通常転送する画素の領域を奇数画素移動し、ＫＶを１／８として映像信号５０３，５０４から映像信号５０７を生成する。
【００６６】
１以上３／２未満のときは、通常転送する画素の領域を奇数画素移動し、ＫＶを７／８として映像信号５０４，５０５から映像信号５０８を生成する。
【００６７】
３／２以上２未満のときは、通常転送する画素の領域を偶数画素移動し、ＫＶを１／８として映像信号５０１，５０２から映像信号５０９を生成する。
【００６８】
このように、通常転送する画素の領域と画素ずらしのデータとを作り替えれば、図５に示すように解像度を一定の移動位置に選ぶことができる。また、画素ずらしを使用しないときより防振の分解能を細かくすることができ、防振性能を向上することができる。
【００６９】
【発明の効果】
以上詳述したように本発明の撮像方法及び装置によれば、防振時に１画素ピッチの通常転送する画素の領域の変更と、画素ずらしとを組み合わせ、それらを適切に制御し、予め決められた補正位置のみを使用することで、防振に必要な分解能を確保することができ、常に画面の解像度を一定に保つことができ、防振効果が高く、画面が安定し快適感を与えることができるという効果を奏する。
【００７０】
また、本発明の記憶媒体によれば、上述した撮像装置を円滑に制御することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る撮像装置において、電子的な防振制御で抽出される画像領域を説明するための図である。
【図３】本発明の第１の実施の形態に係る撮像装置の動作の流れを示すフローチャートである。
【図４】本発明の第１の実施の形態に係る撮像装置の動作の流れを示すフローチャートである。
【図５】本発明の第１の実施の形態に係る撮像装置の補正量の作り替え処理を説明するための図である。
【図６】従来の撮像装置における画素の移動を説明するための図である。
【図７】従来の撮像装置における画素ずらしを行う部分の構成を示すブロック図である。
【図８】従来の撮像装置における画素ずらしの映像の位置と解像度との関係を示す図である。
【符号の説明】
１０１レンズ群
１０２撮像素子（ＣＣＤ）
１０３増幅器
１０４カメラ信号処理回路
１０５拡大・補間・画素ずらし回路
１０６ＣＣＤ駆動回路
１０７ピッチ角度センサ
１０８ヨウ角度センサ
１０９増幅器
１１０増幅器
１１１防振制御マイコン（マイクロコンピュータ）
１１２スイッチ

Claims

１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置の撮像方法であって、
被写体を撮像する撮像装置本体の揺れを検出する検出工程と、
前記検出工程によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続ける揺動補正制御工程とを有することを特徴とする撮像方法。
前記揺動補正制御工程は、上下２つの映像信号の加算比率を１：７或いは７：１に固定し、補正ピッチを１／２画素ピッチとすることを特徴とする請求項１記載の撮像方法。
１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置であって、
被写体を撮像する撮像装置本体の揺れを検出する検出手段と、
前記検出手段によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続ける揺動補正制御手段とを有することを特徴とする撮像装置。
前記揺動補正制御手段は、上下２つの映像信号の加算比率を１：７或いは７：１に固定し、補正ピッチを１／２画素ピッチとすることを特徴とする請求項３記載の撮像装置。
１フィールド間に垂直方向に隣接する画素を同時に読み出し、映像信号として出力する撮像装置を制御する制御プログラムを格納する記憶媒体であって、
撮像装置本体の揺れを検出する検出手段によって検出された揺れに応じて、１フィールド間に読み出された垂直方向に隣接する映像信号を所定の比率で互いに加算することによって、画面内の解像度を一定にし続けることで、映像信号の解像度を一定に保つように制御するステップの制御モジュールを有する制御プログラムを格納したことを特徴とする記憶媒体。
撮像装置本体の揺動を補正するために、上下２つの映像信号の加算比率を１：７或いは７：１に固定し、補正ピッチを１／２画素ピッチとすることを特徴とする請求項５記載の記憶媒体。