JPH11187306A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 水平、垂直に標準ＴＶ信号に対応した画素数
以上の有効画素を持つＣＣＤ等の固体撮像素子を使った
撮像装置において、該有効画素を動画のぶれ補正に加
え、高解像度の静止画処理に使う撮像装置を提供する。 【解決手段】 ぶれ補正を伴う通常読出しと高解像度の
静止画像出力を伴う全ライン読出し両モードで動作す
る。水平、垂直角速度センサ５ａ、５ｂを使いマイコン
６で得たぶれ補正値により、垂直はＣＣＤを駆動するタ
イミング発生器４で高速転送パルス数を操作し信号を切
出し、水平は周波数変換部７ｇで周波数変換をし信号を
切出す。電子ズーム部７ｂでは、フィールド間データの
相関から動き検出を行いクリアフレーム処理し得た高解
像度のデジタル画像データから動画は垂直の縮小と周波
数変換部で水平の変換を行ってＶＴＲフォーマットで、
静止画は水平、垂直、高解像度のままスチルフォーマッ
トでＪＰＥＧ記録系に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤイメージセ
ンサーなどの固体撮像素子を使った撮像装置全般に適用
され、標準テレビジョン信号は当然として、それ以外の
出力、いわゆるデジタルスチルカメラのデータを出力す
ることも同時に要求される機器に使用される画像処理技
術に関する。

【０００２】

【従来の技術】従来の水平及び垂直共に標準テレビジョ
ン信号に対応した画素数以上の有効画素を持つＣＣＤイ
メージセンサーなどの固体撮像素子を使った撮像装置に
おいては、本来の目的である手ぶれの補正をするに標準
テレビジョン信号に対応した画素数以上の領域を使用し
ている。垂直方向の切り出しについては、ＣＣＤイメー
ジセンサーの場合、標準テレビジョン信号に対応した画
素数の読み出しパルスの前後にある垂直ブランキング中
に高速垂直転送期間を設け、転送にあたって、その転送
段数を垂直手ぶれ補正データによって制御することによ
って行われている。一方、水平方向の切り出しについて
は、ＣＣＤイメージセンサーの水平の高速転送で行う方
法も考えられているが、転送周波数が高くなるため電荷
転送効率の劣化などの問題があり、一般的ではないた
め、もっぱらラインメモリなどで構成された１Ｈ−ＤＬ
といった遅延線を使った読み出し領域の制御によって行
われている。

【０００３】また、静止画撮影の場合は、上記の手ぶれ
補正を行われた信号に対して、フィールドメモリを使っ
て任意の画像を取り込み、いわゆるデジタルスチルカメ
ラのフォーマットに変換されるブロックに転送される。
静止画には、１フィールドの信号を擬似フレーム変換さ
れた状態で取り込む方法の他、２フィールドの信号を１
フレームの静止画として取り込む方法や、更に動き検出
をして、適応的に補間の方法を変えながら１フレームの
静止画を取り込むいわゆるクリアフレームなどが行われ
ている。なお、一般的な動画（ムービー）ではなく、純
枠なデジタルカメラの場合の静止画の場合は、１フレー
ムの映像をノンインタレースで取り込むことができるい
わゆるプログレッシブスキャン（全画素読み出し）ＣＣ
Ｄイメージセンサーを使ったものが一般的である。

【０００４】

【発明が解決しようとする課題】これまでは、動画を中
心に考えていたため、静止画を取り込み、いわゆるデジ
タルスチルカメラのフォーマットに変換してもそれは動
画で有効に写すことができる範囲だけの映像のみで、た
とえばデジタルビデオフォーマットの場合、Ｈ（水平）
７２０×Ｖ（垂直）４８０という範囲が静止画として出
力されるだけであった。また、この場合、デジタルスチ
ルカメラで一般的な正方画素ではないため、アスペクト
変換が行われ、最終的にはＨ６４０×Ｖ４８０のいわゆ
るＶＧＡ（Variable Graphics Array）の画素数になっ
てしまっていた。

【０００５】本発明は、上記した従来技術における問題
点に鑑みてなされたもので、水平及び垂直共に、標準テ
レビジョン信号に対応した画素数以上の有効画素を持つ
ＣＣＤイメージセンサーなどの固体撮像素子を使った従
来の撮像装置において、撮像素子の標準テレビジョン信
号に対応した画素数以上の有効画素を従来の動画処理に
おける手ぶれ補正に用いることに加えて、さらに、高解
像度の静止画に用い得るようにするための処理手段を備
えた撮像装置を提供することをその解決すべき課題とす
る。

【０００６】

【課題を解決するための手段】請求項１の発明は、標準
テレビジョン信号に対応した画素領域以上の画素領域を
水平及び垂直共にぶれ補正用画素領域として持つ固体撮
像素子を用い、該固体撮像素子から画像信号を切り出
し、処理することにより画像データを出力する画像処理
部を備える撮像装置において、前記画像処理部は、通常
モードにおいて、垂直ぶれ補正データによって画像のセ
ンターから垂直方向にシフトした状態で標準テレビジョ
ン信号に対応した画素数だけを前記固体撮像素子から画
像信号として切り出し出力させる機能と、前記固体撮像
素子から取り込まれた画像信号を水平ぶれ補正データに
よって画像のセンターから水平方向にシフトした状態で
標準テレビジョン信号に対応した画素数だけを切り出し
出力させる機能とを有し、さらに、高解像度撮影モード
において、前記固体撮像素子のぶれ補正用画素領域も含
む最大有効画素領域の画素による画像信号を用いること
により高解像度のデジタル静止画データを出力する機能
を有することを特徴としたものである。

【０００７】請求項２の発明は、請求項１の発明におい
て、前記画像処理部は、高解像度撮影モードにおける前
記デジタル静止画データを得るのに、１フィールド分の
データを通常モード時の垂直周期のｎ倍（ｎ：２以上の
整数）の垂直周期で得、１フレーム分のデータを通常モ
ード時の垂直周期の２ｎ倍の垂直周期で得るようにし、
得られたフィールドデータ間で動き検出を行い検出した
動きに適応してフレーム補間とフィールド補間を切り替
えるクリアフレーム処理を前記有効画素に対して行い得
たデータを出力する機能をさらに付加したことを特徴し
たものである。

【０００８】請求項３の発明は、請求項２の発明におい
て、前記画像処理部は、高解像度撮影モードにおいて、
前記クリアフレーム処理を行い得た画像データに対し該
画像データの画角を標準テレビジョン信号に対応した表
示画像で確認するために、水平及び垂直方向の時間軸圧
縮を行い、垂直周期毎に１フィールド分の画像データを
出力する機能をさらに付加したことを特徴としたもので
ある。

【０００９】本発明により、動画撮影時は手ぶれなどの
ぶれ補正はそのまま使用し、静止画撮像時には、従来の
方法は当然として、それ以外に高解像度撮影ができるよ
うに固体撮像素子の全てまたはそれに近い有効画素を使
った全ライン読み出し（なお、本発明による方法をいわ
ゆる「全画素読み出し」と区別するため「全ライン読み
出し」と呼ぶ。）による静止画をいわゆるデジタルスチ
ルカメラのデータを出力するための手段を持つ撮像装置
が提供される。ここに、高解像度撮影時の静止画を得る
のに、通常時の複数倍、例えば、２倍の垂直周期で１フ
ィールド分のデータを、４倍の垂直周期で１フレーム分
のデータを得るようにし、得られたフィールドデータ間
で動き検出を行うための動き検出手段と適応的にフレー
ム補間とフィールド補間を切り替え、いわゆるクリアフ
レーム処理をその全画素に対して行ったデータを出力す
るための手段を持ち、さらに、高解像度撮影時の画角を
標準テレビジョン信号に対応したビューファインダーも
しくはモニターで確認するために、水平及び垂直方向の
時間軸圧縮（縮小）を行う手段と垂直周期毎に１フィー
ルド分の画像を出力するための手段を持つ。

【００１０】

【発明の実施の形態】本発明による実施の形態を添付図
にもとづき以下に説明する。図１に全ライン読み出しを
行う本発明による撮像装置の一実施形態のブロック図
を、図２および図３は、図１の撮像装置におけるそれぞ
れ異なる動作状態を説明するブロック図を、図４に画像
データの読み出し方法を説明するタイミング図を、図５
に利用する映像の有効範囲の説明図を示す。まず、通常
の読み出しについて、図１および図２に従って説明す
る。レンズ１を通った映像は、ＣＣＤイメージセンサー
２で光電変換され、ＣＤＳ／ＡＧＣ／ＡＤＣを１チップ
化したＩＣ３で信号成分がサンプリングされ、適度な振
幅に調整された信号がデジタル変換される。

【００１１】１チップに統合されたカメラ信号処理及び
電子ズーム処理を行うためのデジタル信号処理（ＣＡＭ
／ＺＯＯＭ）ＩＣ７は、カメラ信号処理部（ＣＡＭＥＲ
ＡＤＳＰ）７ａ、デジタルオート部（ＤＡＵＴＯ）７
ｃ、同期信号発生部（ＳＳＧ）７ｄ、マイコンインタフ
ェース部（ＭＰＵ ＩＦ）７ｅ、クロック発生部（ＰＬ
Ｌ）７ｆ、周波数変換部（ＳＲＣ）７ｇ、電子ズーム部
（ＺＯＯＭ ＤＳＰ）７ｂからなり、ＣＤＳ／ＡＧＣ／
ＡＤＣを１チップ化したＩＣ３でデジタル変換された映
像信号データは、カメラ信号処理部７ａでγ補正、輪郭
補償、色分離、ホワイトバランス、マトリクスなどカメ
ラ信号処理が施される。デジタルオート部７ｃでは、オ
ートフォーカス、オートアイリス、オートホワイトバラ
ンスなど自動調整機能を行うためのデータ抽出を行って
いる。デジタルオート部７ｃで得られたデータをもとに
して、マイコン（ＣＡＭＥＲＡ ＭＰＵ）６にて演算処
理を行い、自動調整データが７ａに戻される。

【００１２】同期信号発生部７ｄはタイミング発生器
（ＴＧ）４からＣＣＤイメージセンサー２へ送る画素ク
ロックと同じクロックを受け、同期信号を発生し、デジ
タル信号処理７の内部に供給するとともに、タイミング
発生器４に水平同期信号と垂直同期信号を戻す。タイミ
ング発生器４はそれを元にＣＣＤイメージセンサ２やＩ
Ｃ３に必要なタイミングパルスやクロックを発生する。
ＰＬＬ回路７ｆはＣＣＤイメージセンサー２へ送る画素
クロックと同一のクロックから画像データをデジタルＶ
ＴＲフォーマットで記録するためのクロックを発生する
ための回路で、分周回路、発振器、位相比較回路などか
らなる。

【００１３】手ぶれ検出は、角速度センサーとして水平
角速度センサー５ａ、垂直角速度センサー５ｂの２個を
使い、マイコン６にて積分演算等を行うことによって、
手ぶれ補正データを得る。垂直方向の手ぶれ補正はＣＣ
Ｄイメージセンサー２を駆動するタイミング発生器４
で、高速垂直転送パルス数を操作することによって、垂
直方向の任意の信号の切り出しを行う。また、水平方向
の手ぶれ補正は周波数変換部７ｇに内蔵されたデュアル
ポートのラインメモリを使って、周波数変換を行ないな
がら、水平方向の任意の信号の切り出しを行う。垂直方
向の電子ズームは外部のフィールドメモリ８ａ及び８ｂ
を使い、水平方向の電子ズームは電子ズーム部７ｂに内
蔵されたラインメモリを使って補間演算する。

【００１４】また、静止画記録時は２フィールド分のデ
ータの相関を演算することにより動き検出を行い、いわ
ゆるクリアフレーム処理を行う。出力としては、動画は
デジタルＶＴＲフォーマットでインターフェースし、デ
ジタルＶＴＲ記録系に出力し、静止画はデジタルスチル
フォーマットでインタフェースし、ＪＰＥＧ（Joint Ph
otographic coding Experts Group）記録系に出力す
る。通常の読み出しモードにおける手ぶれ補正時の信号
の流れを図２に示す。ここまでは、従来技術の処理過程
と基本的に変わりない。

【００１５】次に、全ライン読み出しについて説明す
る。図４は、画像データの読み出し方法を説明するため
のタイミングを示す図である。図４において、（ａ）は
時間を垂直周期で区切り１Ｖ，２Ｖ…と示し、（ｂ）は
フィールドインデックスで各フィールド区間内を定レベ
ル信号で示し、（ｃ）はフレームインデックスで各フレ
ーム区間内を定レベル信号で示し、（ｄ），（ｅ）は通
常読み出しにおけるＣＣＤ出力、ＴＧＶＤそれぞれを示
し、（ｆ），（ｇ）は全ライン読み出しにおけるＣＣＤ
出力、ＴＧＶＤをそれぞれ示し、（ｈ）は全ライン読み
出しによる動画出力を示し、（ｉ）は全ライン読み出し
による静止画出力を示す。

【００１６】図４に示すように、通常読み出しの場合
は、１Ｖ（垂直周期）に１フィールド分の任意のデータ
をＣＣＤイメージセンサー２から切り出して出力する
（図４（ｄ）参照）が、全ライン読み出しの場合は、Ｃ
ＣＤイメージセンサー２の垂直及び水平の転送スピード
を変えないで、通常読み出しの場合のぶれ補正領域とし
て使っている領域もすべて含んで出力する（図４（ｆ）
参照）。従って、１フィールド分のデータが１Ｖに収ま
りきらないため２Ｖ（１フレーム）で１フィールド目の
データ（図４（ｆ）ではＯＤＤ１）を取り出し、次の２
Ｖ（１フレーム）で２フィールド目のデータ（図４
（ｆ）ではＥＶＥＮ１）を取り出す。

【００１７】全ライン読み出しモードにおける信号の流
れを図３に示す。図３において、図２と異なるのは周波
数変換部７ｇの入る場所である。すなわち、カメラ信号
処理部７ａでは通常の読み出しモードと同じ処理を行う
が、図２と異なる点としてカメラ信号処理部７ａの出力
がそのまま電子ズーム部７ｂに入力される。電子ズーム
部７ｂでは、２フィールド分のデータの相関を演算する
ことにより動き検出を行い、いわゆるクリアフレーム処
理を行う。これらの処理を行うことにより、水平、垂直
ともに高解像度の映像を得ることができる。出力として
は、動画はこのままの解像度の信号をデジタルＶＴＲフ
ォーマットでインターフェースすることができないた
め、電子ズーム部７ｂで垂直方向の縮小を行った後、周
波変換部７ｇで水平方向の周波数変換を行ってデジタル
ＶＴＲフォーマットに変換する（図４（ｈ）参照）。ま
た、静止画は、クリアフレームを行った、水平、垂直と
もに高解像度の映像データのまま、デジタルスチルフォ
ーマットでインタフェースし、ＪＰＥＧ記録系に出力す
る（図４（ｉ）参照）。

【００１８】図５は、処理後の有効画素の範囲を示す。
図３に示すように、４：３（標準アスペクト）または１
６：９（ワイドテレビのアスペクト）で示される部分が
通常読み出しで手ぶれがない場合の表示範囲で、それ以
外の部分が手ぶれ補正範囲として使える領域である。全
ライン読み出しの場合は、ＣＣＤイメージセンサーの有
効画素全てまたはそれに近い範囲を取り出すことができ
る。ここで、有効画素の全ての領域と固定していない理
由は、必ずしも、使用したＣＣＤイメージセンサーの有
効画素数と、フィールドメモリのメモリ数が一致しない
ためである。たとえば、メモリ数が少ない場合は、その
全メモリ数の領域で制限されてしまうが、それでも、標
準の画素数よりも解像度の高い映像が得られる場合は全
て本発明の範囲に含まれる。

【００１９】

【発明の効果】本発明の撮像装置によると、動画撮影時
は手ぶれ補正はそのまま使用し、静止画撮影モード時に
は、従来の方法は当然実行可能とし、それ以外に固体撮
像素子全ての有効画素を使った静止画データ、例えば、
いわゆるデジタルスチルカメラの画像データを出力する
ための手段を持つことにより、例えば、Ｈ８００×Ｖ６
００などいわゆるＳＶＧＡ（Super Variable Graphics
Array）クラスの画素数を得ることが可能になる。ま
た、高解像度撮影モード時の静止画を得るにのに、通常
モード時の１垂直周期に得られる１フィールド分のデー
タを複数倍、例えば、２倍の垂直同期で得、従って、４
倍の垂直周期で１フレーム分のデータを得るようにし、
得られたフィールドデータ間で動き検出を行い、検出し
た動きに適応してフレーム補間とフィールド補間を切り
替え、いわゆるクリアフレーム処理をその全画素に対し
て行ったデータを出力することにより、擬似フレームで
はないリアルフレームの画像が得られるため、垂直解像
度の劣化が少ない静止画の映像が得られる。さらに、水
平及び垂直方向の時間軸圧縮（縮小）を行う手段と垂直
周期毎の１フィールド分の画像を出力するための手段を
持つことにより、高解像度撮影時の画角を標準テレビジ
ョン信号に対応したビューファインダーもしくはモニタ
ーで確認することができ、また、記録媒体に保持（録
画）することも可能になる。

【図面の簡単な説明】

【図１】全ライン読み出しを行う本発明による撮像装置
の一実施形態のブロック図である。

【図２】図１の撮像装置における通常モードの読み出し
動作状態を説明するブロック図である。

【図３】図１の撮像装置における全ライン読み出しモー
ドの動作状態を説明するブロック図である。

【図４】画像データの読み出し方法を説明するためのタ
イミング図である。

【図５】本発明により処理される映像の有効範囲の説明
図である。

【符号の説明】

１…レンズ、２…ＣＣＤイメージセンサー、３…ＣＤＳ
／ＡＧＣ／ＡＤＣ ＩＣ、４…タイミング発生器、５ａ
…水平角速度センサー、５ｂ…垂直角速度センサー、６
…マイコン（ＣＡＭＥＲＡ ＭＰＵ）、７…デジタル信
号処理（ＣＡＭ／２００Ｍ）ＩＣ、７ａ…カメラ信号処
理部、７ｂ…電子ズーム部、７ｃ…デジタルオート部、
７ｄ…同期信号発生部、７ｅ…マイコンインタフェース
部、７ｆ…クロック発生部、７ｇ…周波数変換部、８
ａ，８ｂ…フィールドメモリ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 標準テレビジョン信号に対応した画素領
   域以上の画素領域を水平及び垂直共にぶれ補正用画素領
   域として持つ固体撮像素子を用い、該固体撮像素子から
   画像信号を切り出し、処理することにより画像データを
   出力する画像処理部を備える撮像装置において、前記画
   像処理部は、通常モードにおいて、垂直ぶれ補正データ
   によって画像のセンターから垂直方向にシフトした状態
   で標準テレビジョン信号に対応した画素数だけを前記固
   体撮像素子から画像信号として切り出し出力させる機能
   と、前記固体撮像素子から取り込まれた画像信号を水平
   ぶれ補正データによって画像のセンターから水平方向に
   シフトした状態で標準テレビジョン信号に対応した画素
   数だけを切り出し出力させる機能とを有し、さらに、高
   解像度撮影モードにおいて、前記固体撮像素子のぶれ補
   正用画素領域も含む最大有効画素領域の画素による画像
   信号を用いることにより高解像度のデジタル静止画デー
   タを出力する機能を有することを特徴とする撮像装置。
2. 【請求項２】 前記画像処理部は、高解像度撮影モード
   における前記デジタル静止画データを得るのに、１フィ
   ールド分のデータを通常モード時の垂直周期のｎ倍
   （ｎ：２以上の整数）の垂直周期で得、１フレーム分の
   データを通常モード時の垂直周期の２ｎ倍の垂直周期で
   得るようにし、得られたフィールドデータ間で動き検出
   を行い検出した動きに適応してフレーム補間とフィール
   ド補間を切り替えるクリアフレーム処理を前記有効画素
   に対して行い得たデータを出力する機能をさらに付加し
   たことを特徴とする請求項１記載の撮像装置。
3. 【請求項３】 前記画像処理部は、高解像度撮影モード
   において、前記クリアフレーム処理を行い得た画像デー
   タに対し該画像データの画角を標準テレビジョン信号に
   対応した表示画像で確認するために、水平及び垂直方向
   の時間軸圧縮を行い、垂直周期毎に１フィールド分の画
   像データを出力する機能をさらに付加したことを特徴と
   する請求項２記載の撮像装置。