JP4940291B2 - 撮像装置、およびその制御方法 - Google Patents

Description

本発明は、撮像装置の光学ズームと電子ズームの制御技術に関する。

撮像装置としてのビデオカメラやデジタルカメラでは、望遠撮影を可能にするために高倍率ズームの機能搭載が求められている。この高倍率ズームを実現するために光学ズームレンズの性能を上げることで機能実現を試みている。しかし、一般的に光学ズームレンズの倍率が上がるにつれてレンズ系が大型化及び高重量化することになるし、ましてやコストアップにつながる傾向がある。そこで、レンズの光学性能を利用して光学的に被写体像を拡大したり縮小したりする光学ズームと、撮像素子から出力される画像信号を電子的に拡大、縮小処理を行う電子的方法を組み合わせて高倍率化を実現する方法が提案されている。

例えば、広角端側では電子ズームの拡大率を上げることにより望遠動作を行い、ある拡大率に達すると更に望遠動作を実現するために光学ズームを望遠側に動作させる方法が提案されている（特許文献１）。

特開２０００−１８４２５９号公報

しかしながら、一般的に、同じ画素数の画像を生成する場合、撮像素子から出力されたなるべく多くのライン数を使って画像を生成した方が画質が良い。ということを考慮すると、特許文献１の技術思想では、つまり、光学ズームを使って望遠する場合に撮像装置から切り出すライン数がモニタのライン数は満足しているものの切り出したライン数が少ないために画質が劣化してしまう課題が生じる。光学ズームを使って望遠するよりも優先的に電子ズームの拡大率を上げて望遠を行っているためである。

本願技術思想の一の側面は、光学像を光電変換する撮像手段と、撮影者のズーム操作に伴って光学的な変倍を行う光学ズーム手段と、および前記撮像手段からの出力された信号に対して電子的な変倍を行う電子ズーム手段とを有する撮像装置において、ワイド端と接する第１のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させ、前記第１のズーム領域よりもテレ側の第２のズーム領域では前記ズーム操作に伴って前記電子ズーム手段を動作させずに前記光学ズーム手段を動作させ、更に前記第２のズーム領域よりもテレ側の第３のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させる制御手段を有する。

本技術思想によれば、光学ズームと電子ズームを用いてより高倍率のズームを実現しつつ、さらに画質の劣化の防止も図ることができる。

本発明の実施例の構成を表すブロック図 本発明の実施例の動作を示す説明図 本発明の実施例の動作を表すフローチャート 本発明の実施例の動作を示す図 本発明の実施例の動作を示す図 本発明の実施例の動作を示す図

以下、本技術思想の実施例について図面を参照しながら説明する。なお、以下では、レンズの光学性能を利用して光学的に被写体像を拡大したり縮小したりすることを光学ズームともいう。また、撮像素子から出力される画像信号を電子的に拡大、縮小処理を行う電子的方法を電子ズームともいう。

図１は本技術思想の実施例の撮像装置を示すブロック図である。１は撮影レンズである光学ズームレンズ、２は光学ズームレンズ１による光学像を電気信号に変換（光電変換）する撮像素子としてのＣＣＤやＣＭＯＳである。３は撮像素子２から出力された信号を予め決められている映像規格に合うよう映像信号処理を行う映像信号処理回路である。４は映像信号に電子的に縮小処理を施す縮小処理回路、５は映像信号に縮小処理を行うときに一時的に映像信号データを退避させるためのＳＤＲＡＭである。６は出力端子（図示せず）から映像信号をモニタに出力するためのモニタ出力回路、１０は記録媒体へ記録する映像信号を出力するための記録画像出力回路である。９は撮像素子としてのＣＣＤ２の水平および垂直の駆動信号を発生させるＴＧ制御回路である。７は全体のシステムを制御するための制御手段としてのマイクロコンピューター（以下、マイコンともいう）である。８は光学ズームレンズ１などを使って光学的に変倍動作を制御（以下、光学ズームともいう）する光学ズーム制御回路である。

以下、上述のように構成された撮像装置を用いて光学ズームのズーム倍率に応じて電子ズームの倍率を変える動作について説明する。

光学ズームレンズ１を通過した被写体像は、ＣＣＤ２によって電気信号に変換され映像信号処理回路３に入力される。映像信号処理回路３では見た目の色あいを人間の記憶色に近い色に加工するためのホワイトバランス処理を施す。また、映像信号処理回路３はγ等の非線形信号処理、あるいは解像感を付加するためのアパーチャ処理等を施し縮小処理回路４へ映像信号を出力する。

ここでＴＧ制御回路７ではＣＣＤ２の全有効画素を読み出すため、例えば縦方向のライン数が２０４８本ものラインを読み出すよう構成されている。つまり、縮小処理回路４では２０４８本のライン数の映像信号からビデオ出力可能な４８０本のライン数を生成するようにメモリ切り出しを行いその後縮小処理を施しビデオ出力する。その後、モニタ出力回路６からアナログ信号に変換され出力される。

撮影者のズーム操作に伴って、モニタ出力回路４から出力される映像を望遠するようズーム処理するときには、マイコン７から光学ズーム制御回路５へ光学ズームレンズ１が望遠に動作するための制御信号を出力する。それと並行して、マイコン７で光学ズームレンズ１のズーム位置に応じて撮像装置からの切り出し範囲を決定し縮小処理回路４に縮小率を指示する。

具体的には、ＣＣＤ２の全有効画素２０４８本分の映像信号から１９２０本分の映像信号をメモリ切り出しを行った場合のイメージ図が図４である。図４からわかるように、ほぼＣＣＤ２の全有効画素から切り出しているため広角側にて撮像ができる。

次に、ＣＣＤの全有効画素２０４８本分の映像信号から９６０本分の映像信号をメモリ切り出しを行った場合のイメージ図が図５である。図５からわかるように、図４と比較してＣＣＤの全有効画素の内側から切り出している。

９６０本と設定している理由を以下に述べる。モニタ出力、あるいは記録媒体に記録される一フレーム画像のライン数４８０本に対して、９６０本は整数倍にあたる。すなわち、９６０本から４８０本を生成するといった１／２倍の縮小処理を行うことになる。この縮小率はちょうど整数倍の関係になって、一フレーム画像のライン数４８０本に対して割り切れるため画像を生成する際にライン間の補間処理が必要ない。よって、９６０本のライン数を使用すると画質劣化が少ない。したがって、９６０本と設定している。したがって、記録、または表示するフレーム画像のライン数Ｘに対して割り切れるためのライン数ということでｎＸ（ｎは整数）としている。

また、２０４８本に対して９６０本の切り出しにより、残りの領域を有効に活用することができる。具体的には、手振れなどによる画像揺れのモニタ出力、記録画像への影響を軽減する電子防振に応用できる。逆に、先ほど図４で説明した場合１９２０本分の映像信号の切り出しの場合には、電子防振として利用できる領域が９６０本分の映像信号の切出しの場合よりも少ない。この点、１９２０本分の映像信号の切り出しのような場合、９６０本分の映像信号の切り出しよりも広角に撮像できる。すなわち、広角（ワイド）側ではそれよりも望遠（テレ）側に比べて手振れの影響が画像に反映されにくい。したがって、広角（ワイド）側ではそれよりも望遠（テレ）側に対して電子防振として利用できる領域を少なくすることができる。

次に、ＣＣＤ２の全有効画素２０４８本分の映像信号から４８０本分の映像信号をメモリ切り出しを行った場合のイメージ図が図６である。図６からわかるように、図５と比較して更にＣＣＤ２の全有効画素の内側から切り出している。４８０本と設定している理由は、モニタ出力、あるいは記録媒体に記録されるライン数が４８０本となるため、画像の補間処理が必要とせず画質劣化が少ないためである。

また、上述したように望遠（テレ）側ではそれよりも広角（ワイド）側に対して電子防振として利用できる領域を多くすることができるからである。

上述のようにして電子的な変倍を行う電子ズームを行う。

図２は本発明の撮像装置の実施例の動作説明図である。図２の右側の縦軸は光学ズーム倍率であり、ここでは１倍から２０倍の光学ズーム倍率を図示している。左側の縦軸はメモリ切り出しライン数であり、ここでは４８０本から１９２０本のメモリ切り出しライン数を図示している。メモリ切り出しライン数とは、ＣＣＤ２から２０４８本分の信号が信号処理回路３に入力され信号処理回路３で４８０本の映像信号を生成するときにどれだけのライン数から４８０本のライン数を生成するかを決める数である。メモリ切り出しライン数が最大１９２０本であり最小が４８０本となっているため電子ズームの倍率は４倍となる。

横軸は電子ズームの倍率と光学ズームの倍率を合わせたトータルのズーム倍率を示している。光学ズームの倍率２０倍と電子ズームの倍率４倍とを掛け合わせて４０倍の倍率を実現している。図２において点線は光学ズームの倍率の動作推移を示す。実線はメモリ切り出しライン数の推移を示している。

次にマイコン７によってい制御されるズーム倍率の変化の様子について、図２を用いて説明する。ここでは、撮影者のズーム操作に伴って、簡単のため広角（ワイド）側から望遠（テレ）側への変化について説明するが、望遠（テレ）側から広角（ワイド）側への変化についても同様である。

まず、ズーム域Ｉの範囲では、光学ズーム倍率が広角端となるポイントＡから光学ズーム倍率を徐々に上げて望遠（テレ）側にする。並行して、メモリ切り出しライン数を１９２０本分となるポイントＥから徐々にメモリ切り出し本数を減少させる。これによりズーム領域Ｉにおいては、光学ズームと電子ズームとが並行して動作される。

ズーム域ＩＩの範囲では、光学ズーム倍率が予め決められた倍率のポイントＢからＣのように、メモリ切り出しライン数を９６０本に固定にする。これによりズーム領域ＩＩにおいては、電子ズームの動作を行わずに光学ズームが動作される。

このように９６０本で固定にする理由は上述した様である。すなわち、モニタへの出力ライン数４８０本であるためその整数倍（ここでは２倍）である９６０本を１／２に縮小すれば出力ライン数として４８０本分の画像を得ることができる。ちょうど１／２に縮小する場合は信号処理回路で映像信号への補間がないため画質劣化がないためである。また、９６０本分以外の領域を電子防振に適用できるためである。

ズーム域ＩＩＩの範囲では、光学ズーム倍率が予め決められた倍率ポイントＣからＤまでの範囲では光学ズーム倍率を徐々に上げて望遠（テレ側）にする。並行して、メモリ切り出しライン数を倍率ポイントＧでの９６０本から倍率ポイントＨでの４８０本に徐々に減少させる。これによりズーム領域ＩＩＩにおいては、電子ズームの動作を行わずに光学ズームが動作される。

なお、倍率ポイントＨで４８０本とする理由は、モニタへ出力、あるいは記録媒体に記録するライン数と等しいため画質劣化が少ないためである。また、４８０本分以外の領域を電子防振に適用できるためである。

なお、上述した並行とは、図２で説明した領域Ｉ、ＩＩ、およびＩＩＩという次元で捉えたときに、領域Ｉ、ＩＩＩでは並行して動作が行われることを意味する。すなわち、具体的制御次元で捉えた場合、光学ズーム動作と電子ズーム動作とが交互に行われる場合であっても、やはり並行して行われる場合であっても構わない。それは、マイコン７の負荷問題であったり光学ズーム制御回路８の負荷問題だったりするからである。

図３はマイコン７で実際の動作を説明したフローチャート図である。

光学ズームでのズーム位置を読み込み、読み込んだズーム位置をＺＭとする（Ｓ３０１）。次に、ＺＭが図２で図示したＡとＢの間に位置しているのかどうか比較する（Ｓ３０２）。ＹＥＳの場合は、ズーム位置ＺＭに応じたメモリの切り出しライン数の設定、およびメモリの切り出し位置の設定を行う（Ｓ３０３）。

ＮＯの場合は、ズーム位置ＺＭが図２で図示したＢとＣの間に位置しているのかどうか比較する（Ｓ３０４）。ＹＥＳの場合は、メモリの切り出しライン数を固定にしたまま、メモリの切り出し位置の設定を行う（Ｓ３０５）。ＮＯの場合は、ズーム位置に応じたメモリの切り出しライン数の設定、およびメモリの切り出し位置の設定を行う（Ｓ３０６）。

なお上述したメモリの切り出し位置設定は、電子防振を加味して決定される。

このように、本実施例では、撮影者のズーム操作に伴って、ズーム領域Ｉでは光学ズーム手段とともに電子ズーム手段とを動作させる。また、ズーム領域Ｉよりもテレ側のズーム領域ＩＩでは電子ズームを動作させずに光学ズームを動作させる。更に、ズーム領域ＩＩよりもテレ側のズーム領域ＩＩＩでは光学ズームとともに電子ズームとを動作させる。したがって、ズームの広角側は撮像手段が有効画素領域を有効に使った広角の撮像を実現できる。ズームの中間域は電子ズームの際のメモリ切り出しライン数を固定にし拡大倍率を画質が良い倍率で固定するため画質が良い。そして、ズームの望遠側はモニタに出力される画像や記録媒体へ記録される画像の劣化をなるべく防ぐことができる。

本実施例では、光学ズームを使って望遠する場合に撮像装置から切り出すライン数がモニタのライン数は満足しつつ、切り出したライン数が少ないことに起因する画質の劣化を軽減することができる。したがって、光学ズームと電子ズームを用いてより高倍率のズームを実現しつつ、さらに画質の劣化の防止も図ることができる。

以上説明では、４６０本のモニタ出力、記録媒体への記録を例に説明したが、１０８０本のモニタ出力、記録媒体への記録の場合においても応用できる技術思想である。

また、電子ズームの説明に際してメモリ切り出しライン数に着目して説明したが、図４から６のようにラインの中（水平方向）における信号処理についても同様のことがいえる。撮像素子２からの出力信号に対応する画素数、モニタへの出力の画素数または記録媒体への記録画素数とに適応できる。

また、上述では、マイコン７で光学ズームレンズ１のズーム位置に応じて撮像装置からの切り出し範囲を決定する系として説明した。この点、撮影者のズーム動作に応じて、マイコン７が光学ズームレンズ１のズーム位置の制御とテーブルデータに基づいて撮像装置からの切り出し範囲を決定するようにしてもよい。

１ レンズ
２ ＣＣＤ
３ 映像信号処理回路
４ 縮小処理回路
５ ＳＤＲＡＭ
６ モニタ出力回路
７ マイコン
８ 光学ズーム制御回路
９ ＴＧ制御回路

Claims (4)

1. 光学像を光電変換する撮像手段と、撮影者のズーム操作に伴って光学的な変倍を行う光学ズーム手段と、および前記撮像手段からの出力された信号に対して電子的な変倍を行う電子ズーム手段とを有する撮像装置において、
   ワイド端と接する第１のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させ、前記第１のズーム領域よりもテレ側の第２のズーム領域では前記ズーム操作に伴って前記電子ズーム手段を動作させずに前記光学ズーム手段を動作させ、更に前記第２のズーム領域よりもテレ側の第３のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させる制御手段を有することを特徴とする撮像装置。
2. 前記制御手段は、前記第１のズーム領域においては前記撮像手段からの信号に対応する画素数がモニタへの出力の画素数または記録媒体への記録画素数の少なくともいずれかより多くなるよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の領域における前記撮像手段からの信号に対応する画素数がモニタへの出力の画素数または記録媒体への記録画素数の少なくともいずれかの整数倍となることを特徴とする請求項１または２に記載の撮像装置。
4. 光学像を光電変換する撮像手段と、撮影者のズーム操作に伴って光学的な変倍を行う光学ズーム手段と、および前記撮像手段からの出力された信号に対して電子的な変倍を行う電子ズーム手段とを有する撮像装置の制御方法において、
   ワイド端と接する第１のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させ、前記第１のズーム領域よりもテレ側の第２のズーム領域では前記ズーム操作に伴って前記電子ズーム手段を動作させずに前記光学ズーム手段を動作させ、更に前記第２のズーム領域よりもテレ側の第３のズーム領域では前記ズーム操作に伴って前記光学ズーム手段とともに前記電子ズーム手段とを動作させることを特徴とする制御方法。

Images