JP3568974B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP3568974B2
JP3568974B2 JP25640493A JP25640493A JP3568974B2 JP 3568974 B2 JP3568974 B2 JP 3568974B2 JP 25640493 A JP25640493 A JP 25640493A JP 25640493 A JP25640493 A JP 25640493A JP 3568974 B2 JP3568974 B2 JP 3568974B2
Authority
JP
Japan
Prior art keywords
image
magnification
zoom
circuit
electronic zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25640493A
Other languages
Japanese (ja)
Other versions
JPH06339083A (en
Inventor
利弘 諸星
三夫 流石
祐二 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP25640493A priority Critical patent/JP3568974B2/en
Publication of JPH06339083A publication Critical patent/JPH06339083A/en
Application granted granted Critical
Publication of JP3568974B2 publication Critical patent/JP3568974B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【産業上の利用分野】
本発明は、撮像装置に関する。
【０００２】
【従来の技術】
（１）動画像を撮像するビデオカメラにおいては、ズーム機能が家庭用ビデオムービーカメラから業務用ビデオカメラまで広く利用されている。業務用ビデオカメラにおいては解像度の点から光学系によるズームが主な方法であるのに対し、家庭用ビデオムービーカメラにおいては、レンズによるものの他に、光学系ズームと撮像素子から出力された映像信号にデジタル信号処理を施す電子ズームとを併用するものがある。レンズズームでは、ズーム時に良好な画像が得られる反面、高倍率化に伴い大型のレンズが必要となり、装置の小型化が難しい。これに対して、電子的な処理による拡大はカメラレンズに手を加えることなく電子回路によって実現されるため、小型で軽量なビデオカメラ等の撮像装置が得られる。
【０００３】
電子的な画像の拡大処理では、撮像装置への入力画素は撮像素子において空間的に標本化されているため、拡大率に応じて標本画素と標本画素の間を補わなければならない。画素間の補間を実現するためには、撮像素子によって得られた標本画素データを用いて内挿処理によって補間画素データを作成する方法が一般的である。ビデオカメラでは、その画素補間処理をリアルタイムで行わなければならないため、２点内挿法のような回路規模が比較的小さく処理速度の速い方式が広く利用されている。しかしながら、この方式では画質に問題があるため、一般的には電子ズーム倍率の上限を２倍程度に制限している。
【０００４】
ここで、ビデオムービーカメラの機能として静止画記録や連写記録モードがある。これらは撮影者の操作によって静止画あるいは連写が選択されたとき、その時点における映像を一旦フレームメモリに記録し、これを映像信号として読み出して、ビデオテープなどの記録媒体に記録するものである。この機能において、さらにズーム機能を用いる場合、通常の動画入力時と同じ光学的、電子的、あるいは光学系と電子回路の併用のいずれかによってズーム処理されたものをビデオテープなどの記録媒体に記録しており、静止画入力のための特別な処理はされていない。
【０００５】
デジタル静止画撮像装置の一例としては、電子スチルカメラが上げられる。ズーム機能を持った電子スチルカメラとしては光学系によってズームを行うものが既に商品化されている。しかしながら、電子スチルカメラの小型化を図るのであれば、電子的なズームを用いることが有効と考えられる。また、このような小型の撮像装置においては、撮影者が選択したズーム倍率と連動して、光学系と電子ズーム機能との併用でまたは電子ズームのみでズームされた画像を撮影者に表示するビューファインダーやモニター内臓型も考えられる。
【０００６】
電子スチルカメラの基本性能である静止画の記録保存においては、静止画ゆえにすべての信号処理において高画質な処理が要求されており、電子ズーム処理においても同様である。この要求は高次補間や再帰型処理のような煩雑な処理により満たされるが、これらを用いてリアルタイム処理を実現するのは困難である。一方、電子ビューファインダーでは、リアルタイムで実行される電子ズーム処理が要求されるが、画角の確認に用いられるだけであり特に画質は問われない。
【０００７】
このように、電子的なズームを用いている撮像装置において、高画質モードとリアルタイム動作モードといった２つの処理モードを含んだ電子ズーム処理機能を有する撮像装置は今までになかった。
【０００８】
ここで、低解像度の撮像素子を用いながら高解像度な静止画を得るのに、相対的結像位置変更装置を用いて撮像素子における入力像の相対的位置をずらし、そのずらした位置ごとに画像を取り込み、この画像データにデジタル処理を施して空間的に合成する方法が考えられる。入力像の相対的位置をずらす方法としては、撮像素子を撮像素子の画素ピッチの半分の距離だけ移動させるような方法やレンズと撮像素子の間に光学フィルターを挿入し、これを駆動することにより入力像を移動させる方法等がある。
【０００９】
このような撮像機構を用いて高解像度の静止画を記録しようとする時、光学フィルターや撮像素子を機械的に駆動しているため、１枚のフレームまたはフィールド画を得るのに時間がかかる。このために、静止画撮影時に動画モードにてモニタリングしまたは動画記録するにはフレームメモリ等に一旦画像を蓄積し、補間処理によって必要とされる画素位置における補間画像を作り出すことになる。
【００１０】
このような撮像機構を備えた撮像装置において、高画質な静止画と低解像度の動画像を同時に得るというものは今までになく、また高解像度な静止画像を得るためにリアルタイム性が無視されているデジタル画像処理とリアルタイム性を損なっている相対的結像位置変更装置とを併用しているズーム機構も今までになかった。
【００１１】
また、電子ズームと相対的結像位置変更装置とを併用しているズーム機構も今までになかった。
【００１２】
（２）動画像を撮像するビデオカメラにおいては、ズーム機能が家庭用ビデオムービーカメラから業務用ビデオカメラまで広く利用されている。業務用ビデオカメラにおいては解像度の点から光学系によるズームが主な方法であるのに対し、家庭用ビデオムービーカメラにおいては、レンズによるものの他に、光学系ズームと撮像素子から出力された映像信号にデジタル信号処理を施す電子ズームとを併用するものがある。レンズズームでは、ズーム時に良好な画像が得られる反面、高倍率化に伴い大型のレンズが必要となり、装置の小型化が難しい。これに対して、電子的な処理による拡大はカメラレンズに手を加えることなく電子回路によって実現されるため、小型で軽量なビデオカメラ等の撮像装置が得られる。
【００１３】
電子的な画像の拡大処理では、撮像装置への入力画素は撮像素子において空間的に標本化されているため、拡大率に応じて標本画素と標本画素の間を補わなければならない。画素間の補間を実現するためには、撮像素子によって得られた標本画素データに対して内挿処理を行い、補間画素データを作成する方法が一般的である。ビデオカメラでは、その画素補間処理をリアルタイムで行わなければならないため、２点内挿法のような回路規模が比較的小さく処理速度の速い方式が広く利用されている。しかしながら、この方式では画質に問題があるため、一般的には電子ズーム倍率の上限を２倍程度に制限している。
【００１４】
ここで、ビデオムービーカメラの機能として静止画記録や連写記録モードがある。撮影者の操作によって静止画記録あるいは連写記録が選択されたとき、これらの機能は、その時点における映像を一旦フレームメモリに記録し、これを映像信号として読み出して、ビデオテープなどの記録媒体に記録するものである。これらの機能において、さらにズーム機能を用いる場合、通常の動画入力時と同じ光学的、電子的、あるいは光学系と電子回路の併用のいずれかによってズーム処理されたものをビデオテープなどの記録媒体に記録しており、静止画入力のための特別な処理はされていない。
【００１５】
デジタル静止画撮像装置の一例としては、電子スチルカメラが上げられる。ズーム機能を持った電子スチルカメラとしては光学系によってズームを行うものが既に商品化されている。しかしながら、電子スチルカメラの小型化を図るのであれば、電子的なズームを用いることが有効と考えられる。
【００１６】
また、このような小型の電子カメラにおいては、撮影者が選択したズーム倍率と連動する、光学系と電子ズーム併用型または電子ズームのみでズームされた画像を撮影者に表示する電子ビューファインダやモニター内蔵型も考えられる。
【００１７】
電子スチルカメラの基本性能である静止画の記録保存においては静止画ゆえにすべての信号処理において高画質な処理が要求されており、電子ズーム処理においても同様である。この要求は高次補間や再帰型処理のような煩雑な処理により満されるが、これをリアルタイムにて実現するには処理回路を高速化しなければならず、専用の高速プロセッサが必要となってしまう。一方、電子ビューファインダにおいては、リアルタイムで実行される電子ズーム処理を行わなければならないが、画角の確認に用いるだけであり特に画質は問われない。
【００１８】
このように、電子的なズームを用いている撮像装置において、非実時間型の高画質モードと実時間型の簡易動作モードといった２つの処理モードを持つ電子ズーム処理機能を持った撮像装置は今までになかった。
【００１９】
（３）近年、固体撮像素子を用いて画像を記録する画像入力装置は動画を記録するムービーカメラ、静止画を記録する電子スチルカメラ等、種々の機器が開発製品化されてきている。
【００２０】
このうちムービーカメラを主体とする動画記録を行う機器の光学系では撮影レンズとしてズームレンズを用い、電子ファインダで撮影画像を確認しながら記録する方式がとられている。この方式は記録される画像を直接確認できるため光学的な視差は全く発生せず、高倍率での撮影を実現しているが、撮影中ずっと電子ファインダを動作させることにより消費電力が大きく、また高倍率化により光学系も大型になっている。
【００２１】
一方、静止画を記録する電子スチルカメラ等では光学ファインダを採用した一眼レフタイプ、撮影レンズとファインダを別々に設けたコンパクトタイプがある。一眼レフタイプの構造は３５ミリフィルムカメラと同様であり、ズームレンズを搭載して高倍率化を図っている。これは視差もなくかつファインダでの電力消費もないが基本的に入射光を固体撮像素子とファインダに分岐する機構が必要なためどうしても大型となり、かつ高倍率化の為ズームレンズを装着した場合にはさらに光学系が大型化する。また、コンパクトタイプでは撮影レンズとファインダを別々にすることで簡単な構造となるが撮影距離によっては視差が大きくなるという問題がある。
【００２２】
（４）近年、固体撮像素子を用いて画像を記録する撮像装置はムービーカメラをはじめ種々の機器が開発、製品化されている。そして、これらの機器はその主要な機能としてズーム機能の搭載や小型軽量、低消費電力化等が要求されている。
【００２３】
ムービーカメラに代表される動画記録を行う機器の光学系では、撮影レンズにズームレンズを用い、電子ファインダで撮影画像を確認しながら記録する方式がとられている。図６６に従来のビデオムービーの構成例を示す。図のように、記録される画像を電子ビューファインダ１０２０で直接確認できるため光学的な視差は全く発生せず高倍率での撮影を実現しているが、撮影中ずっと電子ビューファインダ１０２０を動作させることにより消費電力が大きく、また高倍率化により光学系も大型になっている。
【００２４】
一方、静止画を記録する電子スチルカメラ等では銀塩フィルムカメラ同様の構成をとっており、ズーム機能は光学ズームレンズによって提供されている。電子スチルカメラには、光学ファインダを採用した一眼レフタイプと撮影レンズとファインダとを別々に設けたコンパクトタイプがある。図６７および図６８には従来の一眼レフ型の電子スチルカメラの構成例を、また図６９および図７０には従来のコンパクトタイプの電子スチルカメラの構成例を示す。一眼レフタイプでは３５ミリフィルムカメラと同様にズームレンズを搭載しており、このタイプは視差もなく光学ファインダ１００５での電力消費もないが、高倍率化のためには光学系が大型化するという問題点がある。一方、コンパクトタイプでは低倍率のズームレンズ１００１と光学式ファインダ１０３２とを独立に配置している。この構成は簡略化されていて小型軽量化、低消費電力化には適しているが、高倍率ズーム機能の実現が困難である。
【００２５】
【発明が解決しようとする課題】
（１）前述した従来の撮像装置は、電子的なズームによって高解像度なズーム画像を得るためには高次補間等の処理によってある程度は実現できるが、撮像素子によって得られた有限の情報を用いた処理であるために、拡大率が上がるにつれて画像の劣化度が大きくなってしまうという問題点があった。
【００２６】
本発明は、上記事情を考慮してなされたもので、電子ズーム処理を有する撮像装置であって、拡大率を上げても高解像度の画像が得られる撮像装置を提供することを目的とする。
【００３５】
【課題を解決するための手段】
前記課題を解決し目的を達成するために、以下のような手段を講じた。
【００３６】
本発明は、電子ズーム機能を有する撮像装置において、被写体像を対応する電気信号に変換するための固体撮像素子と、前記固体撮像素子に像を結ばせる光学系と、前記光学系によって結ばれる結像と前記固体撮像素子との相対的位置をずらす相対的結像位置変更手段と、前記電子ズーム機能に係る拡大倍率に基づき、該拡大倍率に適した前記相対的結像位置変更手段の相対的位置変更の方向及び各方向への相対的結像位置変更の回数を選択し、この選択結果に基づき、当該方向への当該回数の相対的結像位置変更を実行する相対的結像位置変更部と、前記相対的結像位置変更部により前記相対的位置をずらしながら前記固体撮像素子に像を結ばせることによって得られる複数の画像情報を合成して、前記固体撮像素子の本来の解像度よりも高解像度な１つの画像情報を生成する第１の生成手段と、この手段により生成された画像情報に含まれる画素情報をもとに、前記拡大倍率に応じた位置の画素情報をデジタル補間処理にて生成し、これら画素情報を用いて前記拡大倍率に係る画像情報を生成する第２の生成手段とを具備し、前記電子ズーム機能に係る拡大倍率が整数でない場合には、前記相対的結像位置変更部は、前記方向及び回数として、前記電子ズーム機能に係る拡大倍率を超える整数の拡大倍率を、デジタル補間処理なしに実現可能とする方向及び回数を選択し、前記第１の生成手段は、前記整数の拡大倍率を、デジタル補間処理なしに実現可能とする画像情報を生成し、前記第２の生成手段は、デジタル補間処理を用いて前記第１の生成手段により生成された画像情報から前記電子ズーム機能に係る拡大倍率に係る画像情報を生成することを特徴とする。
好ましくは、前記電子ズーム機能に係る拡大倍率が整数である場合には、前記相対的結像位置変更部は、前記方向及び回数として、当該整数の拡大倍率を、デジタル補間処理なしに実現可能とする方向及び回数を選択し、前記第１の生成手段は、当該整数の拡大倍率を、デジタル補間処理なしに実現可能とする画像情報を生成し、前記第２の生成手段は、デジタル補間処理なしに前記第１の生成手段により生成された画像情報から前記電子ズーム機能に係る拡大倍率に係る画像情報を生成するようにしてもよい。
【００６３】
【作用】
上記手段を講じた結果、次のような作用が生じる。
【００６４】
本発明では、選択されたズーム倍率に応じた相対的結像位置変動方法を選択する相対的結像位置変更部を設けた。これにより、ユーザーまたはシステム側によってある任意の拡大倍率が選択された時、この任意の倍率に適した相対的結像位置変更手段の駆動方法を相対的結像位置変更部において選択し、電子ズームへ擬似的に高密度な画像情報を渡すことができるため、高画質な補間処理画像を得ることができる。
【００７０】
【実施例】
以下、本発明の実施例を図面を参照しながら説明する。なお、対応する部分には同一番号を付して、詳細な説明は省略する。
【００７１】
（１）＜第１の実施例＞
図１は、本発明（請求項１）の第１の実施例に係る静止画をデジタル記録するいわゆる電子カメラシステムの概略構成を示すブロック図である。図のように、この電子カメラシステムは、撮像部１０１、アナログ信号処理部２、Ａ／Ｄ変換器３、デジタル信号処理部４、画像再構成部４１、電子ズーム処理部５、相対的結像位置変更部１３、画像圧縮部７、記録媒体８からなり、また撮像部１０１は、レンズ６，シャッター（図示せず）等を含む光学系とこの光学系によって結像された画像を光電変換する固体撮像素子１等の光電変換素子面との相対的な位置関係をずらすための相対的位置変更手段１１を有する。
【００７２】
まず、この構成における動作の概略について説明する。
【００７３】
撮像部１０１の固体撮像素子１から出力された画像信号はアナログ信号処理部２に渡され、γ補正やホワイトバランス調整などが施される。このアナログ信号処理部２の出力は、Ａ／Ｄ変換器３によってデジタル信号に変換されてデジタル信号処理部４に入力され、次に画像再構成部４１に入力され、所定の信号処理が施された後、電子ズーム処理部５に渡される。
【００７４】
相対的結像位置変更部１３は、相対的位置変更手段１１を後で述べるように所定の条件に基づいて所定回数だけ駆動する。そして、変更されたおのおのの結像位置において上記のように画像信号を入力する。入力された各結像位置での画像信号は合成されて、固体撮像素子１の本来の解像度よりも高解像度な１つの画像信号となる。
【００７５】
電子ズーム処理部５から出力された信号は、画像圧縮部７において画像圧縮され、記録媒体８に記録される。
【００７６】
次に、相対的位置変更手段１１の働きに関して詳しく説明する。相対的位置変更手段１１は低解像度な固体撮像素子１を用いて高解像度な画像を得るための装置であり、例えば固体撮像素子の持つ画素数の４倍の解像度を得るのであれば、図２に示すように入力像をなんらかの方法にて画素と画素の間にずらし、それぞれの位置においてシャッターを切り、こうして得られた４つの画像をデジタル処理を用いて空間的に合成することにより、４倍の解像度の画像を得ることができるというものである。
【００７７】
固体撮像素子１上における入力像の相対的な位置をずらす方法としては、図３のようにレンズ６と固体撮像素子１の間に光学フィルタ−１０３を平行に挿入し、この光学フィルター１０３を固体撮像素子１に対して傾けることにより光路をずらす方法や、図４のように固体撮像素子１自体を位置移動させることにより入力像の位置をずらす方法などがある。この方式は低解像度な固体撮像素子を用いて見かけ上高解像度な画像が得られるという利点もあるが、機械的に位置ずらしを行うために処理時間が掛かる欠点もある。
【００７８】
ズーム機能が選択された時、ズーム機能が電子ズームのみにより実現されているシステムではユーザーによって選択された任意の拡大倍率に適した相対的結像位置変更手段１１の駆動数を選択し、光学系と電子ズーム併用型であれば、システム側において選択された電子ズーム倍率に適した駆動数を選択する。例えば画素が構成する正方格子の辺の間に結像位置を移動させるような場合、つまり結像位置を水平・垂直にずらすような場合では、この駆動数の選択方法においてシステム等により選択されている倍率を整数に切り上げた回数を適した値とする。この時、倍率が１倍を越え２倍までの範囲であれば相対的結像位置変更手段１１の駆動回数をそれぞれ２回、２倍を越え３倍までの範囲ならば３回となる。このように駆動することによって得られる数倍密度の画像情報を元に、デジタル補間処理によって選択されている任意の倍率画像を作成する。このように、高密度な画素情報を用いての補間処理であるため高解像度なデジタル補間画像を得ることができる。
【００７９】
図５に倍率１．５倍の時のズーム画像を示す。１．５倍のときの駆動回数は２回に選択されたことにより図５のような画素情報が得られる。Ａは相対的結像位置変更手段１１を用いないときの画素位置であり、Ｂは相対的結像位置変更手段１１を用いることにより得られる画素情報の位置である。この４倍密度の画素を元にデジタル補間処理にて１．５倍にズームされた画像Ｃを作成することにより高解像度な画像を得ることができる。
【００８０】
ここで上げた例としては水平・垂直方向に同じ回数移動させたが、撮像素子の構造や単板撮像素子を用いた場合の色フィルターの配置あるいは撮影する対象の絵柄、撮影対象に対する要求、例えば斜め成分を高精度に撮影したい等により水平・垂直方向それぞれの移動回数の比を変えても良い。また、もちろん、結像位置の移動は水平・垂直方向に限られたものではなく、斜め方向に移動させても良い。
【００８１】
ここで、相対的結像位置変更手段１１を用いた画像入手方法は前述のように時間を要するため、撮影対象及び撮影装置が静止していることが必要とされる。そこで、例えば図６のように、撮影の前または最中に振動検出器１８０によって手振れのような外部からの振動が検出されたときには、検出信号が制御部４３に伝えられ、撮影前ならばモニター（図示せず）へ表示するかまたは警告音を鳴らす等して振動していることをユーザーに知らせ、撮影中に振動が検出されたときには、相対的結像位置変更１３に命令を出して相対的結像位置変更手段１１の駆動を中止すると共に、中止したことをモニター等に示したり、警告音を鳴らす等してユーザーに知らせるようにしても良い。
【００８２】
また、システムを簡単化するために、上記のような振動検出処理を行わずに、図７のように、撮像装置が三脚等に固定されているかどうかを検出するための検出手段１７０を設け、この検出手段１７０により固定されていることが検出された場合に、相対的結像位置変更手段１１を駆動するように構成しても良い。
【００８３】
一方の被写体については、相対的結像位置変更手段１１を用いた撮影中に被写体に動きがあったかどうかを画像再構成部４１において調べ、もし動きが認められたならば動きが起こった後のデータを補間処理に用いないようにしても良い。または、相対的結像位置変更手段１１によって得られた画像データを用いないようにしても良いし、あるいはユーザーに対して動きがあったことを警告した後にこの一連の処理によって得られた画像を廃棄するように構成しても良い。
【００８４】
この動きの検出については、相対的結像位置変更手段１１により変更された位置でのそれぞれの画素情報を用い、デジタル補間処理を施して実画素位置に補正した画像を作成し、相関法などにより実施すれば好ましい。
【００８５】
相対的結像位置変更手段１１の駆動回数については、Ｎ画素の撮影素子からＮ画素以上の画像を得たいとき、例えば５０万画素の撮像素子を用いて２００万画素の情報を得たいときに、さらに電子ズームを用いるならば相対的結像位置変更手段１１の駆動選択回数を電子ズームまたは高密度画像入手における回数より多くしなければならない。例えばＮ画素の撮像素子から４Ｎ画素相当の画像を得ようとするときに、電子ズームが併用されたならば、電子ズームのみの処理において選択された回数の２倍（（４ｎ／ｎ）１／２ ）にする。ただし、相対的結像位置変更手段１１の制御能力、ＣＣＤの画素形状等の構造により最大駆動回数は制限を受ける。
【００８６】
また、相対的結像位置変更手段１１はＣＣＤ画素ピッチの半分以下の非常に精密な駆動が要求されるが、前述したＣＣＤ駆動方法や光学フィルター駆動方法は共に機械的に動かすこともあり、外部からの振動などの影響を受けやすい。このため、図８（ａ）のように、実際の画素位置ｃに制御すべき相対的結像位置変更手段１１の駆動が画素位置ｂにずれてしまうことが考えられる。この位置ずれを起こした情報を用いたならば、再構成された画像の解像度は相対的結像位置変更手段１１によって得られるべき解像度と比べてかなり劣るものになってしまう。
【００８７】
そこで、例えば図９のように、実際の制御量を光センサー等を用いた検出手段１２により検出し、要求される制御量との差を求め、この位置ずれの補正を画像再構成部４１において電子ズーム機能を用いて行うことにより高解像度な画像を作成しても良い。
【００８８】
一方、電子ズームを併用するときには２通りの方法があり、補間方式により処理を選択する。線形一次補間のような補間する座標位置を囲む周辺４画素を用いる場合には、図８（ｂ）にように位置がずれている画素位置の情報をそのまま利用し、補間に用いる係数にこのずれを反映させて補間すれば良い。
【００８９】
２次以上の高次の補間や一般的なデジタル信号処理の手法を用いる補間においては、サンプリング間隔が一定という前提での処理であるため、上記のように標本点の座標位置をそのまま用いることができない。このため、まず標本点の座標位置の位置補正を行う必要がある。図８（ｂ）におけるｂの情報を用い、線形１次補間によりｃの位置での値を求め、位置補正を行う。この処理の後、高次な補間を行えば好ましい画像が得られる。
【００９０】
電子ズームを用いる場合のＣＣＤの読み出しについては、図１０のようにＣＣＤ上の画像領域の一部１５０１の情報を用いて行うのであり、それ以外の領域１５０２は不要である。そこで、この領域１５０２は高速に読み飛ばしてしまい、逆に領域１５０１を低速で読み出すことができる。このようにすると、より低い駆動周波数にて読み出すことができ、これにより読み出される信号の周波数帯域が狭くなるため、ＣＣＤ内のノイズであるＦＥＴの１／ｆノイズの影響が小さくなり低ノイズ化が図れる。上記の領域１５０１については、補間処理において２次以上の補間を用いる場合、必要とされる面積は図１０（ｂ）の領域１５０３ではなく領域１５０４になる。
【００９１】
以上説明したように、本発明によれば、相対的結像位置変更手段と高画質補間処理を併用し、高画質な静止画像記録を行える小型かつ高画質な撮像装置が実現できる。
【００９２】
＜第２の実施例＞
図１１は、本発明（請求項２）の第２の実施例に係る静止画をデジタル記録するいわゆる電子カメラシステムの概略構成を示すブロック図である。図のように、この電子カメラシステムは、撮像部１０１、アナログ信号処理部２、Ａ／Ｄ変換器３、第１デジタル信号処理部４、第１電子ズーム処理部５１、出画用ＩＦ部９、モニター１００、前記第１デジタル信号処理部４の後段の第２電子ズーム処理部５２、第２デジタル信号処理部５３、画像圧縮部７、記録媒体８からなり、また撮像部１０１は、レンズ６，シャッター（図示せず）等を含む光学系とこの光学系によって結像された画像を光電変換する固体撮像素子１等の光電変換素子面との相対的な位置関係をずらすための相対的位置変更手段１１を有する。ここで、第１電子ズーム処理部５１はリアルタイムに電子ズーム処理を行う回路であり、第２電子ズーム処理部５２は高画質な電子ズーム処理を行う回路である。
【００９３】
撮像部１０１のＣＣＤ１から出力された画像信号はアナログ信号処理部２に渡され、γ補正やホワイトバランス調整などが施される。このアナログ信号処理部２の出力は、Ａ／Ｄ変換器３によってデジタル信号に変換されてデジタル信号処理部４に入力される。そして第１電子ズーム処理部５１に与えられた信号は所定の処理が施されてモニター１００に出画し、一方第２電子ズーム処理部５２に与えられた信号は所定の処理が施されて記録媒体８に記録される。
【００９４】
ここで、相対的位置変更手段１１は固体撮像素子１の持つ画素数以上の画素情報を得るための装置である。例えば固体撮像素子の持つ画素数の４倍の解像度を得るのであれば、図２に示すような４つの位置に入力像をなんらかの方法にてずらし、それぞれの位置においてシャッターを切り、こうして得られた４つの画像をデジタル処理を用いて空間的に合成することにより、４倍の解像度の画像を得ることができるというものである。
【００９５】
上記の固体撮像素子１上における入力像の相対的な位置をずらす方法としては、図３及び図４を用いて前述したように、レンズと固体撮像素子の間に光学フィルタ−を平行に挿入し、この光学フィルターを固体撮像素子に対して傾けることにより光路をずらす方法や、固体撮像素子自体を位置移動させることにより入力像の位置をずらす方法などがある。この方式は低解像度な固体撮像素子を用いて見かけ上高解像度な画像が得ることができるが、複数の画像を入力するために機械的に位置ずらしを行うために処理に時間が掛かる。
【００９６】
ズーム倍率設定部１４０（図１２参照）の操作によってズーム機能が選択された時、図１２のような電子ズームのみによるズーム方式では、ユーザーによって選択されたズーム倍率の補間処理を、第１電子ズーム処理部５１で高速補間処理を用いてリアルタイムで行い、ファインダー１００または動画像記録部に出画する。撮影者によってある任意のズーム倍率時にシャッターボタン１３０により画像の記録が選択された場合、画像を一旦フレームメモリ１２０に入力する。高画質補間処理を行う第２電子ズーム処理部５２はこの時、高画質な画像を得るために高次補間等の補間処理を行い電子的に映像を拡大する。
【００９７】
また、図１３に示すような光学系ズームと電子ズーム併用型のズーム方式では、ズーム機能選択部１４１が光学系のズームのみを用いるか、光学系ズームと電子ズームを併用するかについて選択する。ズーム機能選択部１４１が後者を選択したとき、電子ズーム機能選択部１４１はさらに光学系ズームと電子ズームそれぞれの倍率を選択する。このような併用型では、ユーザーによって選択された倍率の振り分けをズーム機能選択部１４１で行い、ここで決定されたズーム倍率に相当する画角情報を高速補間処理を行う第１電子ズーム処理部５１へ送って電子ズームがリアルタイムで行われ、あるいは画角情報を第２電子ズーム処理部５２へ送って、前述のように高画質な電子ズームが行われる。
【００９８】
以上のようにして拡大された映像は画像圧縮部７に入力される。ここでカラー静止画用符号化によって高能率圧縮を行う。圧縮された映像は電子カメラ本体に脱着・交換可能に収納・接続されているメモリーパック、例えばＩＣカードなどのデジタル画像記録媒体８に記録される。
【００９９】
補間処理についてだが、ビデオムービーの補間処理においてはリアルタイム性が要求されるため、線形１次補間のような簡易な補間によって行われることが多い。しかしながら、この処理は低域通過型特性を持っており、ぼけの目立った画像となってしまう。また静止画であるため、このような簡単な処理では補間画像においてボケに加えてエッジにおけるギザギザもかなり目についてしまう。これを改善するため、例えば３次畳み込み内挿法のような高次補間方式が考えられる。３次畳み内挿法は標本化関数を多項式近似し、これを原データ系列に畳み込む方式であって、２次元画像において２次元３次畳み込み内挿を行うには１６点の標本点が必要である。一方の２次元の線形１次補間が４点の標本点を用いているのと比較すれば少なくとも４倍の演算量である。
【０１００】
また更に、補間画像におけるエッジのギザギザを補正するような処理を行うこともある。このような処理においては、再帰的な処理を用いることも考えられ、このとき演算量は膨大となりリアルタイム性が損なわれることになる。
【０１０１】
一方、撮影者がズーム画像の画角確認をするための電子ビューファインダにおいては、前出の相対的結像位置変更手段１１を用いた高解像度静止画撮影や高画質補間処理の有無に関わらず、リアルタイムにて動作する電子ズーム回路が必要となる。
【０１０２】
従って、本発明のように２つの処理モードを持つ電子ズームを用いることにより、電子ビューファインダにおいては相対的結像位置変更手段を用いた高解像度静止画撮影や高画質補間処理の有無に関わらず高速型の処理を提供でき、蓄積保存には高画質型の処理を提供することができる。
【０１０３】
＜第３の実施例＞
図１４は、本発明（請求項２）の第３の実施例に係るデジタルスチル記録モードを持ったいわゆるビデオムービーカメラの概略構成を示すブロック図である。
【０１０４】
図１４のように、このムービーカメラシステムは、レンズ６，固体撮像素子１及び相対的位置変更手段１１を含む撮像部、アナログ信号処理部２、Ａ／Ｄ変換器３、デジタル信号処理部４、切り替え装置１１０、この切り替え装置１１０に接続された第１電子ズーム処理部５１、出画用ＩＦ部９、モニター１００、前記切り替え装置１１０に接続されたフレームメモリ１２０、プリプロセス部９６、第２電子ズーム処理部５２、ポストプロセス部９８、前記第１電子ズーム処理部５１及び第２電子ズーム処理部５２から信号を入力するズーム静止画混合回路１５０、映像記録部８１、制御部４３、相対的結像位置変更部１３、シャッタボタン１３０、スチル／連写設定部１３１、ズーム機能選択部１４１、ズーム倍率設定部１４０からなる。ここで、第１電子ズーム処理部５１はリアルタイムに電子ズーム処理を行う回路であり、第２電子ズーム処理部５２は高画質な電子ズーム処理を行う回路である。
【０１０５】
撮像部のＣＣＤ１から出力された画像信号はアナログ信号処理部２に渡され、γ補正やホワイトバランス調整などが施される。このアナログ信号処理部２の出力は、Ａ／Ｄ変換器３によってデジタル信号に変換されてデジタル信号処理部４に入力され所定の処理が施される。
【０１０６】
撮影時に、撮影者のズーム倍率設定部１４０の操作によって拡大撮影モードが選択されたとき、ズーム機能選択部１４１は光学系ズームのみを用いるか、あるいは光学系ズームと電子ズームを併用するかを選択する。ズーム機能選択部が後者を選択した時、ズーム機能選択部はさらに光学系ズームと電子ズームそれぞれの倍率を選択する。
【０１０７】
電子ズームが選択された時、第１電子ズーム処理部５１はズーム機能選択部１４１によって選択された倍率の補間処理をリアルタイムにて行い、映像記録部８１および電子ビューファインダ１００へ補間画像を出力する。
【０１０８】
さらに電子ズームが動作している状態において、撮影者のスチル／連写設定部１３１の操作によって画像の静止画記録保存が選択された場合、画像を一旦フレームメモリ１２０に入力する。補間処理をする第２電子ズーム処理部５２は高画質な画像を得るため、高次補間等の補間処理を行い電子的に映像を拡大する。
【０１０９】
動画および静止画の保存は、図１４のようにズーム静止画混合回路１５０及び映像記録部８１を介して、ビデオムービーカメラに脱着・交換可能に収納・接続されているビデオテープ・ディジタルテープまたは光ディスクなどの映像記録媒体に動画及び静止画をシリアルに記録する方法が考えられる。
【０１１０】
また、図１５のように、動画は動画記録用ＩＦ１６０及び映像記録部８１を介してビデオテープ・ディジタルテープまたは光ディスクなどの映像記録媒体に記録し、静止画は静止画記録用ＩＦ１６１を介して動画像記録用ビデオテープとは別にＩＣカード８２のような画像記録媒体に記録するような構成を採用しても良い。
【０１１１】
静止画をＩＣカードのような別の画像記録媒体に記録する方法においては、相対的結像位置変更手段１１を駆動し高解像度な静止画像を得る。しかしながら、相対的結像位置変更手段１１は機械的な駆動であるため、１枚の静止画像を得るのに時間が掛かってしまう。この相対的結像位置変更手段１１を用いた撮影を行っている最中に映像記録媒体に動画像を記録するには、相対的結像位置変更手段１１のそれぞれの移動位置において画像をフレームメモリやラインメモリ等に蓄積し、それぞれの位置において動画モード用の高速型の電子ズームを用い、必要とされる画素位置における画像を生成することにより動画処理を続けることができる。
【０１１２】
図１６に１枚の静止画像を得るための処理の流れを示す。Ｔは相対的結像位置変更部の１動作期間、ＲはＣＣＤ及びフレームメモリからの読みだし期間、Ｍは相対的結像位置変更手段の移動期間、Ｗはフレームメモリへの書き込み期間、Ｐはそれぞれの処理部での処理期間、Ｏは画像出力期間になる。
【０１１３】
静止画処理部では、例えば画素が構成する正方格子の辺の間に相対的結像位置をずらす場合、この相対的位置を得るためには相対的結像位置変更手段１１を水平・垂直方向にずらせばよく、相対的結像位置変更部１３において始めに水平方向に移動して水平画素間のデータを得、その後に垂直方向に移動し垂直画素間のデータを得るように移動させる。このとき、Ｗ２の期間終了後に水平方向の処理を始めることができ、この処理の後もし既にＷ３の期間が終了しているならば続いて垂直方向の処理を行えば良い。もし、まだＷ３の期間が終了していないのであれば、これが終了するのを待って垂直方向の処理を行う。この後濃度変換、雑音除去あるいは特徴抽出、認識のような全体にわたる処理を行った後静止画を出画する。
【０１１４】
本処理においては相対的結像位置変更手段１１によって得られた静止画像を再構成するために、得られた複数枚の静止画を一旦フレームメモリにプールした後に非実時間処理を行う。このため、このとき電子ズームがさらに選択されたとしても、このフレームメモリ内にて処理を行えば良いので、高速処理を行う必要性がなく処理回路も簡単になる。
【０１１５】
また静止画記録をビデオプリンタなどでプリントする場合、従来のような記録方式では動画中に静止画部分が混入されているため、静止画部分の検索を行わなければならない。このように別媒体に記録することによりプリントしたい映像の検索が容易になると共にそれぞれ独立した画像ファイルとなっているので、他のメディアでの取扱いも容易となる。
【０１１６】
記録蓄積媒体を節約するために記録保存の前に画像圧縮を行うことも考えられる。記録保存において前述のようにビデオテープ等に動画・静止画をシリアルに記録するのであれば、圧縮の方式としては動画像用符号化を用い、動画・静止画を別々に記録するのであれば、動画および静止画それぞれにおいて符号化を行えばよい。
【０１１７】
（２）＜第４の実施例＞
図１７は、本発明（請求項３）の第４の実施例に係る静止画をデジタル記録するいわゆる電子カメラシステムの概略構成を示すブロック図である。図のように、この電子カメラシステムは、撮像部２０１、アナログ信号処理部２０２、Ａ／Ｄ変換器２０３、デジタル信号処理部２０４、切り替え装置２０９、この切り替え装置２０９に接続された簡易電子ズーム処理部２５１、映像表示回路２１６、ビューファインダ２０８、前記映像表示回路２１６の出力端子、前記切り替え装置２０９に接続されたフレームメモリ２１０、プリプロセス部２１４、高画質電子ズーム処理部２５２、ポストプロセス部２１５、画像圧縮部２０６、画像記録部２０７、シャッタボタン２１３、ズーム倍率選択部２１２からなり、前記撮像部２０１はレンズ，シャッター（図示せず）等を含む光学系とこの光学系によって結像された画像を光電変換するＣＣＤ等の光電変換素子を有する。
【０１１８】
撮像部２０１のＣＣＤから出力された画像信号はアナログ信号処理部２０２に渡され、γ補正やホワイトバランス調整などが行われる。このアナログ信号処理部２０２の出力は、次いでＡ／Ｄ変換器２０３によってアナログ−ディジタル変換されてディジタル信号処理部２０４に入力される。
【０１１９】
そして、ズーム倍率選択部２１２を用いて電子ズームが選択された時、図１７のような電子ズーム単独型では、ユーザーによって選択されたズーム倍率のズーム処理を簡易電子ズーム処理部２５１でリアルタイムで行い、ビューファインダ２０８に出画する。
【０１２０】
さらに、撮影者によってある任意のズーム倍率時にシャッターボタン２１３によって画像の記録が選択された場合、切り替え装置２０９を切り替えて、画像を一旦フレームメモリ２１０に入力し、高画質電子ズーム処理部２５２はこの時、高画質な画像を得るため高次補間等の電子ズーム処理を行い電子的に映像を拡大する。
【０１２１】
なお、図１８に示すような光学系ズームと電子ズーム併用型の電子スチルカメラにおいては、図１７の構成にさらにズーム機能選択部２１１を設け、このズーム機能選択部２１１が、光学系ズームのみを用いるか、あるいは光学系ズームと電子的ズームを併用するかを選択するように構成すれば良い。ズーム機能選択部２１１が後者を選択した時、ズーム機能選択部２１１はさらに光学系ズームと電子的ズームそれぞれの倍率を選択する。ユーザーによって選択された倍率の振り分けを行い、ここで決定されたズーム倍率に相当する画角情報が簡易電子ズーム処理部２５１からビューファインダ２０８に送られる。
【０１２２】
図１７（及び図１８）におけるプリプロセス部２１４は、電子ズーム処理を効果的にする処理であり、この処理の一例としては、補間処理の低域通過特性を補うために行う高域強調処理などがある。ポストプロセス部２１５は、電子ズーム処理の補助的処理で、一例としては、ズーム画像におけるエッジのギザギザをスムーズにする処理などがある。
【０１２３】
拡大された映像は画像圧縮部２０６に入力される。ここにてカラー静止画用符号化によって高能率圧縮を行う。圧縮された映像は電子カメラ本体に脱着・交換可能に収納・接続されているメモリーパック、例えばＩＣカードなどのディジタルな画像記録媒体２０７に記録される。
【０１２４】
ビデオムービーのズーム処理においてはリアルタイム性が要求されるため、線形１次補間のような簡易な補間によって行われることが多い。しかしながらこの処理は図１９（ｂ）のように低域通過型特性を持っており、ぼけの目立った画像となってしまう。また静止画であるため、このような簡単な処理ではズーム画像においてボケに加えてエッジにおけるギザギザもかなり目についてしまう。
【０１２５】
これを改善するため、例えば３次畳み込み内挿法のような高次補間方式が考えられる。３次畳み込み内挿法は標本化関数を多項式近似しこれを原データ系列に畳み込む方式であって、２次元画像において２次元３次畳み込み内挿を行うには１６点の標本点が必要である。一方、２次元の線形１次補間が４点の標本点を用いているのと比較すれば少なくとも４倍の演算量である。
【０１２６】
撮影者に対してズーム画像の画角確認を光学系を用いない電子ビューファインダにて提供するには、実時間にて動作する電子ズーム回路が必要となる。しかしながら高次補間のような演算量の多い処理にて電子ズームを行うには処理回路を高速化しなければならず、専用の高速プロセッサが必要となってしまう。しかし、処理を非実時間にて低速で行えば処理回路の構成も簡易となる。
【０１２７】
従って、本発明のように２つの電子ズーム処理機能を設けることにより、リアルタイム時には簡易型で高速な処理を、蓄積保存には非実時間で高画質型の処理を選択することによっていずれの要求をも満たした処理が行える。
【０１２８】
また図２０のように、図１７の簡易電子ズーム処理部２５１及び高画質電子ズーム処理部２５２の代わりにこれらを共有した電子ズーム回路２０５を設け、これを用いて上記２種類の処理を共有すれば、回路規模が大型化することを防げる。例えば、３次畳み込み内挿法を用いた場合では、電子ズーム処理部２０５として図２１のように４本のラインメモリ３０４〜３０６を使い、１６点のサンプル画素に第１及び第２の係数決定器３０８，３０９と乗算器及び加算器を用いて重みを掛けて補間値を決める。動画モードにおいてはこの４本のラインメモリの内の２本を用い、線形１次補間を行えば良い。
【０１２９】
電子スチルカメラにおいては従来のフィルム式のカメラと違い、フィルムの巻き上げといった機械的な動作が不要であるため高速な連写が可能である。この高速な連写においては電子ズームや電子ズームのプリ・ポストプロセスのような演算量が多く処理時間の掛かるデジタル信号処理が連写に対応できなくなる可能性がある。そこで、処理速度が追い付かない時、図２２のように内部メモリ２１７を用いて、あるいは図２３のようにＩＣカードのような脱着可能な画像記録媒体２０７または内部メモリと画像記録媒体の併用型のバッファメモリを用いて、これらバッファリングする方法が考えられる。
【０１３０】
また、図２４のようにフレームメモリ２１０の前段にバッファメモリ３１２を設け、連写モードが選択されたときはディジタル信号処理出力を一旦フレーム画像の形でバッファメモリ３１２の１ブロックに記憶しても良い。これらのブロックはシステムによって管理をされており、連写された画像はバッファメモリ３１２に画像ブロックを並べた連写シーケンスの形で記憶される。この連写シーケンスの先頭にある画像をフレームメモリ２１０にロードし、あるいは直接電子ズーム回路にデータを送り電子ズームなどの処理を行う。バッファメモリ３１２は画像ファイル毎にブロックに分かれており、画像をフレームメモリ２１０にロードした時点で空きフラグを立て、このブロックが空いていることをシステムに知らせる。これによりこのブロックが次回の連写シーケンスにおいて再び使用できるようになる。前回の連写シーケンスの処理が終わっておらず、バッファメモリ３１２に残っているときには、空きフラグの立っていないブロックをさけた領域をバッファメモリ３１２内にシステムが確保する。このときシステムはバッファメモリ３１２の残容量から連写シーケンス長を制限する。撮影者がこの制限を越えて連写しようとした時は、システムがシャッターボタン２１３をロックすることによって上書を防ぐ。
【０１３１】
ズーム画像を圧縮処理した後、ＩＣメモリカードのような記録媒体に保存される。画像ファイルの一例を図２５に示す。このように画像ファイルにヘッダを設け、この部分に画像のサイズ、日時、撮影状況などを記録すると共に、既に電子ズームによってズームされていることおよびその倍率を記録しておく。ユーザーが電子ズームを用いて撮影された画像に対して電子スチルカメラに内蔵されている電子ズーム機能をズームエンジンとして使用して、または外部画像処理装置の電子ズーム機能にて再度電子ズーム処理するときに、ユーザーに対して原画像が既に電子ズームによってズームされており、本処理によって画質が更に劣化することを警告すると共にヘッダに記録されている電子ズーム倍率とこれから行う電子ズーム倍率の積から出力される画質の劣化度についてもユーザーに警告を行う。
【０１３２】
＜第５の実施例＞
図２６は、本発明の第５の実施例に係るディジタルスチル記録モードを持ったいわゆるビデオムービーカメラの概略構成を示すブロック図である。この電子カメラシステムは、撮像部２０１、アナログ信号処理部２０２、Ａ／Ｄ変換器２０３、デジタル信号処理部２０４、第１切り替え装置２０９、この切り替え装置２０９に接続された簡易電子ズーム処理部２５１、映像表示回路２１６、ビューファインダ２０８、前記映像表示回路２１６の出力端子、前記映像表示回路２１６の後段のＤＬ２１９、前記第１切り替え装置２０９に接続されたフレームメモリ２１０、プリプロセス部２１４、高画質電子ズーム処理部２５２、ポストプロセス部２１５、ＤＬ２１９及びポストプロセス部２１５の出力を選択して伝える第２切り替え装置２２０、映像記録部２１８、シャッタボタン２１３、スチル／連写設定部３３２、ズーム機能選択部２１１、ズーム倍率設定部２１２からなる。
【０１３３】
撮像部２０１のＣＣＤから出力された画像信号はアナログ信号処理部２０２に渡され、γ補正やホワイトバランス調整などが行われる。このアナログ信号処理部２０２の出力は、次いでＡ／Ｄ変換器２０３によってアナログ−ディジタル変換されてディジタル信号処理部２０４に入力される。
【０１３４】
撮影時に、撮影者がズーム倍率設定部２１２を操作して拡大撮影モードを選択したとき、ズーム機能選択部２１１は光学系ズームのみを用いるか、光学系ズームと電子ズームを併用するかを選択する。ズーム機能選択部２１１が後者を選択した時、ズーム機能選択部２１１はさらに光学系ズームと電子ズームそれぞれの倍率を選択する。
【０１３５】
電子ズームが選択された時、簡易電子ズーム処理部２５１はズーム機能選択部２１１によって選択された倍率の電子ズーム処理をリアルタイムにて行い、映像記録部２１８および電子ビューファインダ２０８へズーム画像を出力する。
【０１３６】
電子ズームが動作している状態において、撮影者のシャッタボタン２１３の操作によって画像の静止画記録保存が選択された場合、画像を一旦フレームメモリ２１０に入力する。そして、高画質電子ズーム処理部２５２は高画質な画像を得るため、高次補間等の電子ズーム処理を行い電子的に映像を拡大する。
【０１３７】
動画および静止画の保存は、図２６のようにビデオムービーカメラに脱着・交換可能に収納・接続されているビデオテープ・ディジタルテープまたは光ディスクなどの映像記録媒体に動画および静止画をシリアルに記録する方法が考えられる。
【０１３８】
また、図２７のように静止画像は動画像記録用ビデオテープとは別にＩＣカードのような画像記録媒体２０７に記録する方法が考えられる。
【０１３９】
本処理においては静止画を一旦フレームメモリ２１０にプールした後に非実時間処理を行うので、高速処理を行う必要性がなく処理回路も簡易となる。動画像との間に時間的なズレは別の媒体に記録するため問題とならない。また従来静止画記録はビデオプリンタなどでプリントしていたが、従来のような記録方式では動画中に静止画部分が混入されているため、静止画部分の検索が困難であった。このように別媒体に記録することによりプリントしたい映像の検索が容易になると共にそれぞれが独立した画像ファイルとなっているので、他のメディアでの取扱いが容易となる。
【０１４０】
また、連写機能を持ったビデオカメラにおいて、電子ズームがズーム機能として選択された時には静止画用高画質電子ズームを用いる。この時に電子ズーム回路の処理速度が追いつかない時には前述の第４の実施例のように内部メモリやＩＣカードのような脱着可能な画像記録媒体または内部メモリとＩＣカードの併用型のバッファメモリにバッファリングし、高画質型の電子ズーム処理を行う。
【０１４１】
動画および静止画を別の媒体に保存する方式の静止画記録モードにおいて、動画記録媒体への記録方式として静止画記録モードと動画記録モードの２種類がある。静止画記録モードは動画記録媒体へも静止画記録を行うもので、電子ズーム倍率１倍を含む電子ズーム回路出力の映像を一旦フレームメモリに記憶し、動画記録媒体に静止画記録を行う。動画記緑モードは静止画記録保存処理が行われている時でも、簡易電子ズーム処理部２５１から平行して出力されている動画像を動画記録媒体に記録を行うものである。
【０１４２】
記録蓄積媒体を節約するために記録保存の前に画像圧縮を行うことも考えられる。記録保存において前述のようにビデオテープ等に動画・静止画をシリアルに記録するのであれば、圧縮の方式としては動画像用符号化を用い、動画・静止画を別々に記録するのであれば、動画および静止画それぞれにおいて符号化を行う。
【０１４３】
（３）＜第６の実施例＞
図２８に、本発明（請求項４）の第６の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ファインダ４０１、固体撮像素子４０３、この固体撮像素子４０３に光学像を結像させる撮影レンズ４０２、被写体距離を測定する測距回路４０７、被写体距離の測定結果に基づいて所定の信号処理を実施する信号処理回路４０４、記録回路４０５、記録媒体４０６により構成される。
【０１４４】
まず、この構成においては、光学ファインダ４０１と撮影レンズ４０２を独立に配置して光学系を簡略化しているが、構成上視差が発生する。従って、光学ファインダ４０１で設定した視野と固体撮像素子４０３から得られる画像とは一致しない。ここで図２９を用いて、視差の発生状況を説明する。この図において撮像装置４１３には、（ａ）のような位置関係で撮影レンズ４０２，光学ファインダ４０１が設けられているものとする。なお、これ以降の説明では、全てこの図に示すように撮影レンズと光学ファインダが水平方向に独立に配置され、被写体側から見て左側が撮影レンズ、右側が光学ファインダであるものとする。この配置によると、水平方向に視差が発生する。まず、この配置において（ｂ）に示すように、被写体距離ｌが撮影可能な最至近距離ｌ１で、被写体側から見て光学ファインダ４０１の右側の端と撮影レンズ４０２のそれとが一致するようにそれぞれの画角を設定する。この場合、被写体距離ｌが最至近距離ｌ１よりも十分大きい場合は撮影レンズの記録可能領域ｙ１とファインダの視野ｙ２は（ｃ）に示す様に殆ど一致する。ここで、領域４１７は撮影レンズの記録可能領域、領域４１８はファインダの視野が一致する固体撮像素子上の領域であり、いずれも被写体側から見た場合の見え方である。従って、視差は殆ど問題とならず、光学ファインダ４０１での視野はそのまま記録できる。これに対して被写体距離ｌが最至近距離ｌ１になったとき、あるいはその近傍では（ｄ）に示すように、撮影レンズの記録可能領域４１９に対してこれとファインダの視野４２０とが一致する領域（４２０）は著しく異なる。この現象は銀塩フィルムのコンパクトカメラと全く同じであり、コンパクトカメラの場合はファインダ内に近距離補正枠を設けて記録領域が制限されることを表示しているが、ファインダの視野には記録領域以外も表示されており、記録しようとする構図を確認しにくい。また、撮影しようとする被写体を不用意に逃してしまう等の問題が生じる。
【０１４５】
このような問題を解決するために、本発明では図２８のように、被写体距離を測定するための測距回路４０７を設け、撮影可能な至近距離における光学ファインダ４０１の視野と撮影レンズ４０２の記録領域の視差によるずれを補正するために、測距回路４０７により測定された被写体距離によって、撮影レンズ４０２で結像し固体撮像素子４０３から出力される電気信号の内からファインダ４０１の視野と一致する領域の信号のみをとりだし、拡大処理を信号処理回路４０４にて行う。例えば、図２９のような最至近距離における視差補正では、固体撮像素子上でファインダ視野と一致する領域４２０をｙ１／ｙ２倍に拡大すればよい。
【０１４６】
このように、電子的な視差補正によって従来視差が問題となった至近撮影距離においても、視差のない画像を記録することが出来る。
【０１４７】
図３０は、図２８と同一構成の装置にさらに再生回路４２７を内蔵した例である。この撮像装置では、前述したように至近距離においても視差のない画像を記録することができ、かつ再生回路を内蔵することで外部モニターを接続すれば即再生することが可能である。
【０１４８】
図３１は、図２８と同一構成の装置にさらに再生回路４２７と小型の再生モニタ４３８を内蔵した例である。これにより、撮影後すぐに記録画像の確認が可能であり、上述の例と同様視差のない画像記録が可能であると共に、加えて、撮影の失敗を軽減することができる。
【０１４９】
＜第７の実施例＞
図３２に、本発明の第７の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ４４１、撮影レンズ４０２、固体撮像素子４０３、倍率選択回路４４２、信号処理回路４０４ａ、記録回路４０５、記録媒体４０６、測距回路４０７により構成される。すなわち、基本的な構成は、図２８の撮像装置と同様であるが、この例では、光学ファインダにズームファインダ４４１を用いている点に特徴がある。
【０１５０】
この構成において、ズームファインダ４４１で設定したズーム倍率が倍率選択回路４４２に入力されると共に、測距手段４０７にて測定した被写体距離も倍率選択回路４４２に入力される。拡大制御をする倍率選択回路４４２では被写体距離から算出される拡大倍率とズーム倍率を比較して倍率の大きい方を選択し、信号処理回路４０４ａでファインダ４４１の視野と一致する領域の固体撮像素子４０３の出力を取り出し拡大する。信号処理回路４０４ａで拡大した画像信号は、記録回路４０５を経て記録媒体４０６に記録される。
【０１５１】
図３３に、この動作における各領域の関係について示す。ここで、領域４５１は固体撮像素子が記録可能な領域、領域４５２は固体撮像素子上で光学ファインダの視野と一致する領域、領域４５３はズーム動作によるズーム領域であり、領域４５４は固体撮像素子上で光学ファインダの視野と一致する領域４５２を記録領域（４５１）一杯に拡大した状態を示す。この例では、ズーム倍率が被写体距離によって決まる拡大倍率よりも大きい場合を示す。
【０１５２】
一方、ズーム倍率が視差補正のための拡大倍率よりも小さい場合には、図３３とは反対に視差補正の拡大倍率により固体撮像素子の画像信号は拡大される。
【０１５３】
ここで、視差補正とズーム動作を独立に行うとした場合には、測距回路による被写体距離によって視差補正のための拡大を行い、その後ズームファインダの倍率に対応して拡大動作を行うことになり２段階の処理が必要であり、その結果処理が複雑化して処理時間も増加することになる。これに対して、本発明によれば、拡大処理を行う前に二つの拡大倍率の高い倍率を選択することでそれによって指定される拡大領域を一回の拡大動作で視差補正とズーム動作をすることができ、処理の簡略化、処理時間の短縮化を実現できる。
【０１５４】
＜第８の実施例＞
図３４に、本発明の第８の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ４４１、撮影レンズ４０２、固体撮像素子４０３、倍率選択回路４４２、電子ズーム処理回路４６６、信号処理回路４６７、記録回路４０５、記録媒体４０６、測距回路４０７により構成される。すなわち、基本的な構成は、図３２の撮像装置と同様であるが、この例では、拡大処理として電子ズームを行う処理回路４６６を備えている。なお、信号処理回路４６７はその他の所定の信号処理を行う回路である。
【０１５５】
この構成では、光学ズームファインダ４４１の倍率に対応して固体撮像素子４０３の出力信号を電子的に拡大する電子ズーム処理回路４６６によりズームファインダ４４１の視野に等しい画像を得た後、記録回路４０５を経て記録媒体４０６に記録する。
【０１５６】
至近距離での撮影における視差補正を行うためには、測距手段４０７により被写体距離を測定し、それによる拡大倍率を倍率設定回路４４２にズームファインダ４４１のズーム倍率と共に入力する。倍率設定回路４４２ではズーム倍率と視差補正のための拡大倍率で電子ズーム処理を行う倍率を設定する。このような構成にすることで、ズーム動作による処理回路と視差補正のための処理回路を共有化することができ、回路を簡略化、消費電力の低減も図ることが出来る。
【０１５７】
＜第９の実施例＞
図３５に、本発明の第９の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ファインダ４０１、撮影レンズ４０２、固体撮像素子４０３、測距回路４０７、撮影警告回路４７８、信号処理回路４０４ｃ、記録回路４０５、記録媒体４０６により構成される。すなわち、基本的な構成は、図２８の撮像装置と同様であるが、この例では、撮影警告回路４７８を備えている点に特徴がある。
【０１５８】
この実施例では、測距手段４０７によって測定される被写体距離が撮影可能な最至近距離よりも短い場合には撮影警告回路４７８によって撮影不能の表示をする。これにより、撮影時の光学ファインダ視野と固体撮像素子４０３で記録される画像との著しい視差の発生及び撮影レンズの光学特性の劣化を未然に検知することができ、常に良好な撮影状況での撮影が可能である。
【０１５９】
＜第１０の実施例＞
図３６に、本発明の第１０の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ファインダ４０１、撮影レンズ４０２、固体撮像素子４８３、測距回路４０７、信号処理回路４０４ｄ、記録回路４０５、記録媒体４０６により構成される。すなわち、基本的な構成は、図２８の撮像装置と同様であるが、相違点は図２８の例では光学ファインダ４０１と同じアスペクト比を有する固体撮像素子４０３を用いていたが、ここではファインダ視野のアスペクト比よりも大きいアスペクト比を持つ固体撮像素子４８３を採用する点にある。
【０１６０】
基本的な動作としては、測距回路４０７により被写体距離を測定し、その距離により固体撮像素子４８３上で光学ファインダ４０１の視野に一致する領域を取り出し信号処理回路４０４ｄで拡大処理を行う。拡大された画像信号は記録回路４０５を経て記録媒体４０６に記録する。
【０１６１】
ここで、図３７に、ファインダの視野とそれと一致する固体撮像素子上の領域との関係を示す。（ａ）はファインダ視野とほぼ等しいアスペクト比を持つ固体撮像素子で撮影した場合、（ｂ）はファインダ視野より大きいアスペクト比を持つ固体撮像素子で撮影した場合である。まず、（ａ）を用いて説明する。図のように撮影レンズ４９１、光学ファインダ４９２、固体撮像素子の撮像面４９３が配置されているものとし、被写体が最至近距離ｌ１にある場合を仮定する。被写体の水平方向の長さをｙ１とすると、これに対応して撮像面上にｙ２の長さで結像する。これに対して被写体距離が最至距離に比べて十分大きい場合の撮像面上の長さｙ３とすると、最至近距離では固体撮像素子上でファインダ視野と一致する領域を取り出しｙ３／ｙ２倍拡大することになる。このとき、この拡大領域に割り当てられる画素数は総画素数にくらべ少なくなり、かつ拡大によって固体撮像素子の画素数が比較的少ない場合には著しく画像が劣化するという問題が生じる。
【０１６２】
本実施例ではこの問題を解決するためにファインダ視野よりもアスペクト比の大きい固体撮像素子を用いることでこの問題を解決する。（ｂ）でこれを説明する。撮影レンズ５０１、光学ファインダ５０２、固体撮像素子の撮像面５０３が図のように配置されているものとする。（ａ）と同様最至近距離をｌ１、被写体の水平の長さをｙ１、これに対応する撮像面上の長さをｙ２′、被写体距離が最至近距離に比べ十分大きい場合の撮像面の長さをｙ３′とする。固体撮像素子のアスペクト比を大きくすることは撮影レンズの画角を大きくすることになる。この画角を最至近距離においてもファインダ視野を十分包括するように設定すれば、撮影面上の長さｙ２′、ｙ３′をほぼ同じにすることが出来る。このことからこの領域に割り当てられる画素数も同じになる。
【０１６３】
図３８に、固体撮像素子のアスペクト比によってファインダの視野と一致する領域がどのように変化するかを示す。（ａ）はファインダの視野と固体撮像素子のアスペクト比が等しい場合、（ｂ）は固体撮像素子がファインダよりもアスペクト比が大きい場合である。図中、領域５１１，５１４は固体撮像素子で記録可能な領域、領域５１２，５１５は被写体距離が至近距離よりも十分大きい場合のファインダの視野と一致する領域、領域５１３，５１６は最至近距離においてのファインダの視野と一致する領域である。
【０１６４】
このように、被写体距離によって固体撮像素子上でファインダの視野と一致する領域を取り出しての拡大倍率ｙ３′／ｙ２′はほぼ１となり殆ど拡大処理をしないで記録撮影が可能であり、画質の劣化は生じない。
【０１６５】
＜第１１の実施例＞
図３９に、本発明の第１１の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ファインダ４２２、固体撮像素子４８３、撮影レンズ４０２、測距回路４０７、ワイド／標準切り換え回路４２１、信号処理回路４０４ｅ、記録回路４０５、記録媒体４０６により構成される。すなわち、基本的な構成は、図３６の撮像装置と同様であるが、ここでは光学ファインダに視野画角を切り替えられるものを用い、その切り替え制御をするワイド／標準切り換え回路４２１を備える点が異なる。
【０１６６】
この実施例においては、大きいアスペクト比を持つ固体撮像素子４８３を用いて画像を記録する。基本的な動作については被写体距離を測距回路４０７で測定し、それによって固体撮像素子４８３上の記録領域をファインダ４２２の視野に一致させることは同じであるが、視差が無視出来るような撮影距離においては固体撮像素子４８３上の撮影可能領域をすべて利用してワイドな画像の記録を可能にしたものである。ワイド画像を記録する場合は、撮影者によって光学ファインダの視野画角を、図３９のワイド／標準切り換え回路４２１によってワイドに合わせる。ここでは標準とはアスペクト比を小さくして画角を絞った場合を示す。この場合、記録は固体撮像素子の全面を用いるためファインダ視野との視差が無視出来るかを測距回路４０７で得られる被写体距離によって判別する。この結果、視差が無視出来る被写体距離である場合には、そのままワイド画像の記録が行うことが出来る。もし、ここで視差が無視出来ない被写体距離の場合には、光学ファインダ４２２の画角は標準に切り替わる。このときファインダ４２２の視野は遮光枠により制限される。そして被写体距離によって固体撮像面４８３上の記録領域をファインダの視野と一致するように取り出すことで画質劣化のない視差補正をした画像を記録することが出来る。また、標準画角における撮影は視差の無視できる被写体距離では撮影者の設定によっても記録が可能である。
【０１６７】
図４０に、撮影状態における固体撮像素子４８３上の記録領域とファインダ４２２の視野を示す。（ａ）はワイド画面撮影時の固体撮像素の撮像面上の記録領域５３２、（ｂ）ワイド画面撮影時のファインダ視野、（ｃ）はアスペクト比を小さくした時の撮像面上の記録領域、（ｄ）はアスペクト比を小さくした時のファインダ視野、（ｅ）は至近距離撮影での撮像面上の記録領域、（ｆ）は至近距離でのファインダ視野である。また、図中、領域５３１，５３３，５３５は撮像面の記録可能領域、領域５３７，５３９，５４３は視野枠、領域５３８，５４０，５４１，５４３はアスペクト比を小さくするため視野枠を制限する遮光枠である。
【０１６８】
このような機能を設けることにより、被写体に合わせた画角の選択及び至近距離の撮影に対しても、画質劣化のない視差補正ができ常に安定した画像の記録が可能である。
【０１６９】
（４）＜第１２の実施例＞
図４１に、本発明（請求項５）の第１２の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ６０１、固体撮像素子６０５、この固体撮像素子６０５に光学像を結像させる撮影レンズ６０４、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、記録媒体６０８により構成される。
【０１７０】
この構成において、撮影領域を決定する光学ズームファインダ６０１の撮影倍率を倍率検出手段６０２によって検出し、撮影レンズ６０４の倍率と電子ズーム処理回路６０６の倍率を乗じた値が光学ズームファインダ６０１の倍率と一致するように倍率制御手段６０３にて制御する。このときの倍率の設定は撮影レンズ６０４の倍率を優先し、電子ズーム倍率は光学ズームファインダの倍率を撮影レンズ倍率で割った値に設定する。このように設定することにより、撮影レンズ６０４より入射して固体撮像素子６０５によって光電変換された画像信号は電子ズーム処理回路６０６により拡大され、光学ズームファインダ６０１と等しい倍率の画像信号を得ることが出来る。この画像信号はこの後記録回路６０７を経て記録媒体６０８に記録される。
【０１７１】
従来はズーム倍率を高倍率にすると撮影光学系が大型化してしまうという問題が生じるが、本発明ではズーム倍率を撮影レンズの倍率と電子ズーム倍率とで分担することにより光学系を小型化し、最適な電子ズーム処理により高倍率においても画質劣化の少ない画質を記録することができる。また、光学ズームファインダで撮影領域を確認することにより電子ファインダを用いた場合に比べ消費電力も低減できる。
【０１７２】
図４２は、図４１の装置にさらに再生回路６１９を内蔵した例である。前述した図４１の撮像装置では、記録のみを行っていたことで構成が簡単になるため、小型化には適しているが、再生するには別に再生装置が必要である。このため記録した画像を撮影後に確認、再生するためには再生機も携帯する必要があり、煩雑になる。ここでは、再生回路６１９を撮像装置本体に内蔵することでこの使用上の煩雑さを解消し、外部モニタに再生出力を接続すれば記録した画像を即座に画像を再生することができる。
【０１７３】
図４３は、図４２の装置にさらにモニタ６３０を内蔵した構成例である。図４２の構成により撮像装置単体での再生は可能となるが、モニタが外部に必要となるため、モニタのある場所での再生か、モニタを別に用意する必要があり、撮影直後に撮影画像のチェックをする場合には不都合である。ここでは、この問題を解決するために撮像装置本体に小型のモニタ６３０を登載し、再生回路６１９による再生画像をこのモニタ６３０で再生する。ここで再生する画像は観賞するためのものではなく、撮影領域及び画像が正常に記録されているかどうかを確認するためのものである。従って、解像度等の特性はそれほど厳しくはなく、小型で低消費電力の液晶等のモニタを用いることで実現する。このような構成にすることで撮影直後の画像確認も容易となり、撮影の失敗等のトラブルを防ぐことができる。
【０１７４】
図４４は、図４３の撮像装置にさらに輝度信号再生回路６４０を付け加えて、画像信号の輝度信号のみを内臓モニタ６３０に再生して表示できるようにし、また、切り替え装置６４２を設けて、再生回路６１９と内蔵モニタ６３０を切り替えて使用できる構成にしたものである。
【０１７５】
すなわち、図４３の実施例により撮影画像の確認は容易になるが、内蔵モニタには通常の再生出力信号（輝度信号と色信号）を入力する構成である。従って撮像装置全体としては内蔵モニタがない場合に比べて消費電力は増加するため、バッテリー駆動時には問題である。ここでは通常の再生を行う再生回路６１９とは別に画像確認用に再生回路６１９よりも消費電力の小さい輝度信号再生回路６４０を設け、これを用いて内蔵モニタ６３０に表示する。ここで、輝度信号再生回路６４０と再生回路６１９は切換えスイッチ４２によって選択され、選択されない回路はその電源もオフにする。このようにすることで消費電力を軽減した撮像装置を実現することができる。
【０１７６】
＜第１３の実施例＞
図４５に、本発明の第１３の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ６０１、撮影レンズ６０４、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、磁気テープ６５８、再生回路６１９、モニタ６３０により構成される。すなわち、基本的な構成は、図４３の装置と同様であるが、ここでは記録媒体に磁気テープ６０８を用いて動画を記録できるように構成したものである。
【０１７７】
この装置では、光学ズームファインダ６０１で撮影領域を決めながらの撮影となるが、このとき光学ズームファインダ６０１の倍率は倍率検出手段６０２によって検出した後倍率制御手段６０３により撮影レンズ倍率と電子ズーム倍率を制御する。このときの倍率の設定は撮影レンズ倍率を優先的に決定する。すなわち、光学ズームファインダ６０１の倍率が撮影レンズ６０４の最大倍率以内のときは、電子ズーム倍率を１に固定して撮影レンズの倍率のみで制御する。これに対してズームフィンダ６０１の倍率が撮影レンズ６０４の倍率を越える場合には撮影レンズ倍率を最大として、不足分を電子ズーム倍率で補う。このようにして光学ズームファインダ６０１と等しい倍率に拡大された画像信号は記録回路６０７で磁気テープ６５８に記録可能な形態に変換された後、磁気テープ６５８に記録される。
【０１７８】
記録された画像は再生回路６１９で再生され、内蔵モニタ６３０あるいは外部モニタにて確認、観賞が可能である。
【０１７９】
本実施例では再生回路６１９と小型モニタ６３０を内蔵した構成を示したが、前述した図４１、図４２、図４４と同様の構成において記憶媒体に磁気テープを用いたいずれの構成においても動画記録は可能である。また本実施例では記録媒体として磁気テープを用いたが、磁気テープに限定されるものではなく、動画記録に使分されている光ディスク、磁気ディスク等によっても構成することができる。
【０１８０】
＜第１４の実施例＞
図４６に、本発明の第１４の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ６０１、撮影レンズ６０４、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、半導体メモリ６６８、再生回路６１９、モニタ６３０により構成される。すなわち、基本的な構成は、図４３の装置と同様であるが、ここでは記録媒体に半導体メモリ６６８を用いて静止画を記録できるように構成したものである。
【０１８１】
この実施例においても、光学ズームファインダ６０１の倍率を制御して撮影レンズ６０４の倍率と電子ズーム処理回路６０６の倍率を制御する動作は前述の動画記録の場合と同様であるが、本実施例では拡大処理をした画像は信号記録回路６０７を経て半導体メモリ６６８に記録される。そして半導体メモリ６６８に記録された画像は再生回路６１９で再生され、内蔵モニタ６３０あるいは外部モニタによって再生される。
【０１８２】
ここで、半導体メモリ６６８には画像信号はデジタルデータとして記録されるため反復再生、ダビングをしても画質劣化はなく、また記録再生時に機械的な機構を全く用いないため極めて安定した画像を得ることができる。
【０１８３】
本実施例では再生回路６１９と小型モニタ６３０を内蔵した構成を示したが、前述した図４１、図４２、図４４と同様の構成において記憶媒体に半導体メモリを用いたいずれの構成においても静止画記録は可能である。
【０１８４】
また、記録媒体として半導体メモリ以外のプロッピディスク、磁気テープ、光ディスク等の媒体を用いても静止画記録装置を構成することができる。
【０１８５】
＜第１５の実施例＞
図４７に、本発明の第１５の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ６０１、撮影レンズ６０４、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３ａ、動画処理用の電子ズーム処理回路１（６７６）、静止画用の電子ズーム処理回路２（６７７）、動画／静止画切り替え６７８、切り替え装置６７９、記録回路６０７、磁気テープ６５８、再生回路６１９、モニタ６３０により構成される。すなわち、基本的な構成は、図４３の装置と同様であるが、ここでは２つの電子ズーム処理回路６７６，６７７を設けて、電子ズームの信号処理を動画記録と静止画記録で切り換えて行い、磁気テープ６５８に動画及び静止画の両方を記録できるように構成したものである。
【０１８６】
光学ズームファインダ６０１の倍率を倍率検出手段６０２で検出し、倍率制御手段６０３によって撮影レンズ６０４の倍率と電子ズームの倍率を制御する。本実施例では電子ズーム手段は動画処理用の電子ズーム処理回路１（６７６）と静止画処理用の電子ズーム処理回路２（６７７）の２つから構成される。動画／静止画記録の切換えは動画／静止画切換え手段６７８と切換えスイッチ６７９によって行われ、その後記録回路６０７をへて磁気テープ６５８に記録される。そして再生回路６１９によって再生された画像はモニタに表示される。ここで、動画処理用の電子ズーム処理回路１（６７６）の処理は処理時間がフィールド周波数によって制限されるためその時間内での最適な処理が選ばれる。これに対して静止画の場合には処理時間に特に制限はないため、電子ズーム処理回路２（６７７）ではより高画質化を図りかなり複雑な処理が可能である。この２つのモード切換えにより動画、静止画のどちらにおいても最適なズーム処理が可能であり高画質な画像を得ることができる。
【０１８７】
＜第１６の実施例＞
図４８に、本発明の第１６の実施例に係る撮像装置の構成を示す。この固 体撮像装置は、ピント調節部６９８，ハーフミラー７００及び変倍部７０１を含む光学ズームファインダ６９９、ミラー６９１、変倍結像部６９２を含む撮影レンズ、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、記録媒体６０８、再生回路６１９、確認回路７０４により構成される。
【０１８８】
図４８において、光学ズームファインダ６９９と撮影レンズで共用したピント調節部６９８を透過した入射光はハーフミラー７００によって分岐され、光学ズームファインダ６９９の変倍部７０１とミラー６９１により撮影レンズの変倍結像部６９２へと導かれる。光学ズームファインダ６９９の変倍部７０１から得られる光学像は撮影領域の確認に用いられ、また撮影レンズによって固体撮像素子６０５上に結像した光学像は光電変換された後電子ズーム処理を行う。
【０１８９】
以降の動作については前述の実施例と同様であるので、簡略化のため説明は省略する。
【０１９０】
一般にビデオムービー、スチルカメラを含む光学系は被写体距離無限遠で最適になるように設計されている。これは通常の撮影においては光学系の像間距離に比して被写体距離が十分に大きく、事実上無限遠と仮定しても殆ど問題ないレベルであることに基づいている。ここで問題となる有限距離の場合には通常マクロレンズを使う等によりピントずれを含む特性の補正を行っている。被写体距離が有限の場合の特性劣化は画質劣化の大きな問題である。そこで本実施例では特性劣化のうちでとくに大きな要因であるピントずれを補正するために光学ズームファインダ６９９と撮影レンズの第一群を共用し、ピント調節機能を持たせることにより被写体距離によるピントずれを補正し、どんな状態でもファインダのピント撮影画像のピントを最適にすることができるように構成した。撮像装置では、固体撮影素子の画素数によって解像度が決まってしまい銀塩フィルムにくらべ解像度が不足しているため、文字を含む細かな情報を正確に記録するためにはスチルカメラに比べずっと近距離で撮影する必要がある。このため、本実施例で示すようにファインダと撮影光学系のピントを同時に調節することにより、あらゆる撮影状態においても高画質の画像を得ることができる。
【０１９１】
図４９に、本発明の第１６の実施例に係る撮像装置の他の構成例を示す。この撮像装置は、ピント調節部６９８、ハーフミラー７１６、変倍部７１２を含む光学ズームファインダ、ミラー６９１、変倍結像部６９２を含む撮影レンズ、測光回路７１８、ハーフミラー駆動手段７１７、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、記録媒体６０８、再生回路６１９、確認回路７０４により構成される。
【０１９２】
ピント調節部６９８を透過した入射光はハーフミラー７１６によって分岐されそれぞれ撮影レンズの変倍結像部６９２とミラー６９１により光学ズームファインダの変倍部７１２に導かれる。このため、撮影レンズを通して固体撮像素子６０５の撮像面に到達する光量は入射光量に比べかなり減少する。従って、撮影状況が暗くなった場合には撮像素子に到達する光量が不足することにより撮影した画像のＳ／Ｎが著しく劣化することが予想される。
【０１９３】
この問題を解決するために本実施例では、記録する以前に予め撮影状況の光量を測光回路７１８にて測光し、この光量がハーフミラーを通した後の撮像素子に到達する光量に換算して必要なＳ／Ｎ比を得ることができる場合には撮影領域設定時、記録時を問わずハーフミラーを固定する。これに対して、測光回路にて光量不足を検知した場合には撮影領域設定時にはハーフミラー７１６は通常の分光をおこない、記録時にはハーフミラー駆動回路７１７によってはね上げられる。はね上げ動作により入射光は減衰せずに撮影レンズを通って固体撮像素子６０５に到達するため記録画像のＳ／Ｎを向上させることができる。このような構成をとることで日中の屋外での撮影のような入射光量が十分な場合には全く可動部分がなくなり、被写体を確認しながらの記録が可能となる。また、暗い撮影条件においても従来と同程度の感度を維持することができる。もちろん、全実施例と同様に、ファインダと撮影光学系のピントを同時に調節することにより、あらゆる撮影状態においても高画質の画像を得ることができる。
【０１９４】
図５０に、本発明の第１６の実施例に係る撮像装置のさらに他の構成例を示す。この撮像装置は、ピント調節部６９８、ハーフミラー７３６、変倍部７１２を含む光学ズームファインダ、ミラー６９１、変倍結像部６９２を含む撮影レンズ、ミラーはね上げ機構７３７、固体撮像素子６９２、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、記録媒体６０８、再生回路６１９により構成される。
【０１９５】
図５０は図４８、図４９と同様な構成でハーフミラー７００，７１６をミラー７３６に置き換えた実施例である。この場合、撮影領域設定時にはミラー７３６によって光学ズームファインダの変倍部７１２に入射光を導き、記録時にはミラーはね上げ機構７３７によりミラー７３６をはね上げ入射光を撮影レンズの変倍結像部６９２に導き、固体撮像素子６０５にて撮像する。以下の動作は前述の実施例と同様であり、簡略化のために説明は省略する。
【０１９６】
このようにしても、感度の低下なしに、ファインダと撮影光学系のピントを同時に調節することにより、あらゆる撮影状態においても高画質の画像を得ることができる。
【０１９７】
＜第１７の実施例＞
図５１に、本発明の第１７の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ６０１、撮影レンズ６０４、固体撮像素子６０５、レンズ駆動手段１（７５２）、レンズ駆動手段２（７５３）、ズーム設定７５５、倍率検出手段７５９、半導体メモリ７５８、倍率制御手段６０３、電子ズーム処理回路６０６ｂ、記録回路６０７、記録媒体６０８、再生回路６１９により構成される。
【０１９８】
まず、ズーム機能を用いて撮影する場合はズーム設定手段７５５を操作することにより光学ズームファインダ６０１の変倍部を構成するレンズ群をレンズ駆動手段２（７５３）によって駆動し、希望のズーム比に設定する。そしてズーム比を設定するとそのズーム比は倍率検出手段７５９によって検出され、その結果は１５２のレンズ駆動手段１及び半導体メモリ７５８に送られる。レンズ駆動手段１（７５２）は倍率検出手段７５９によって得られた倍率により撮影レンズ６０４の変倍部のレンズ群を動かし倍率を設定する。設定方法としては、ズームファインダ６０１の倍率が撮影レンズの最大倍率以下の場合には撮影レンズ６０４の倍率はズームファインダ６０１の倍率と一致するように制御する。また、ズームファインダ６０１の倍率が撮影レンズ６０４の最大倍率より大きい場合は撮影レンズ６０１の倍率は最大に固定する。一方、電子ズームの倍率はメモリ７５８に記憶しておき記録時に電子ズーム処理回路６０６ｂに制御信号を送る。
【０１９９】
ここでメモリ７５８に記憶する倍率は次のように決定する。まず、光学ズームファインダ６０１の倍率が撮影レンズ６０４の最大倍率以下の場合には倍率１として記憶する。またこれとは逆にズームファインダ６０１の倍率が撮影レンズ６０４の最大倍率よりも大きい場合には、ズームファインダ倍率を撮影レンズの最大倍率で割った値を電子ズーム倍率としてメモリに記憶する。
【０２００】
このようにして撮影レンズ６０４の倍率を優先的に倍率設定に用いることにより、画質劣化の少ない記録を実現することができる。また、電子ズーム倍率はメモリ７５８に記憶させて記録時に電子ズーム処理回路６０６ｂに制御信号を送るため、撮影領域設定時には電子ズーム処理回路６０６ｂ以降の信号処理の電源をオフにできるため消費電力も低減できる。
【０２０１】
＜第１８の実施例＞
図５２に、本発明の第１８の実施例に係る撮像装置の構成を示す。この撮像装置は、ハーフミラー７７５、ミラー７７１、光学ズームファインダ６０１、撮影レンズ６０４、固体撮像素子６０５、倍率検出手段６０２、倍率制御手段６０３、電子ズーム処理回路６０６、記録回路６０７、記録媒体６０８、再生回路６１９により構成される。
【０２０２】
この撮像装置では、被写体からの入射光をハーフミラー７７５により２つに分岐した後、撮影レンズ６０４とミラー７７１を通して光学ズームファインダ６０１に光を導く。その後の動作は前述した実施例と同様に光学ズームファインダ６０１で設定した倍率を検出してその倍率に一致するように撮影レンズ倍率と電子ズーム倍率を制御する。
【０２０３】
この構成では被写体からの同一の入射光を分岐しているため一眼レフ型と同様視差が発生しない。また通常の一眼レフ型では撮影レンズ内に光を一度入射させた後、ミラーによってファインダに導くため撮影レンズのバックフォーカスは必ずミラーを置くスペース以上の間隔が必要となるが、この構成ではその制限はない。通常のレンズでは焦点距離よりもバックフォーカスが短いのが一般的である。
【０２０４】
固体撮像素子の場合には撮像面積が小さいため、銀塩フィルム並の画角を得るためには焦点距離がかなり短くなり（標準画角で６〜１０ｍｍ程度）、ミラーを置くのに十分なバックフォーカスをとるのはかなり難しい。このため焦点距離よりもバックフォーカスを長くするレンズタイプを限定して採用せざるを得ないが、十分な光学的特性が得られるとは限らない。本実施例では物理的なバックフォーカスの制限をなくすことにより、光学的に優れた多くのレンズタイプから撮影レンズを選択することにより高画質な画像を撮影することができる。
【０２０５】
＜第１９の実施例＞
次に、本発明（請求項６）の第１９の実施例に係る撮像装置について説明する。図５３に、本実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ９０１、この光学ズームファインダ９０１の倍率を検出する倍率検出回路９０２、２つの焦点距離を持つ２焦点撮影レンズ９０５、この撮影レンズ９０５の焦点距離を切り換える焦点距離切り換え回路９０３、検出されたファインダ倍率を電子ズーム倍率と撮影レンズの焦点距離に振り分ける倍率制御回路９０４、画像信号を取り出すための固体撮像素子９０６、この固体撮像素子９０６からの出力信号を処理する信号処理回路９０７、電子ズーム処理を行う電子ズーム回路９０９、電子ズームの拡大倍率を設定する倍率設定回路９０８、固体撮像素子９０６を駆動する駆動回路９１１、および記録回路９１０を備える。
【０２０６】
この構成において、光学ズームファインダ９０１で撮影領域を決定した後、倍率検出回路９０２により検出されたファインダ倍率は、倍率制御回路４に与えられる。倍率制御回路４では、該ファインダ倍率に従って、撮影レンズ５の焦点距離を選択するとともに、それに応じた電子ズーム倍率を算出する。すなわち、撮影レンズの焦点距離に対応する倍率と電子ズーム倍率とを乗じたものが光学ズームファインダ９０１の倍率に等しくなるようにする。決定された焦点距離および倍率は、それぞれ焦点距離切り換え回路９０３および倍率設定回路８に与えられ、撮像のための設定がなされる。
【０２０７】
このような設定をした後に、２焦点撮影レンズ９０５より入射し固体撮像素子９０６から得られた画像信号には、さらに電子ズーム回路９０９にて電子ズーム処理が施され、その結果、光学ズームファインダ９０１の倍率と等しい倍率の画像信号を得ることができる。この所望の撮影倍率で撮像した画像は、記録回路９１０を通して記録等する。
【０２０８】
このように、本実施例では、ズーム倍率を撮影レンズの焦点距離と電子ズーム倍率とに振り分けて光学系で担う倍率を低減させることに加えて、撮影レンズの焦点距離を異なる固定焦点距離とすることにより、光学ズームレンズに必要であるズーム動作に伴う焦点ずれの補償機構を不要とするとともに、レンズ枚数の削減、レンズ駆動系の縮小化を図ることによって、従来に比べて光学系を大幅に小型化することが可能となる。これによって、高倍率の小型撮像装置を実現することができる。加えて、ファインダには光学ズームファインダを用いるため、低消費電力化も実現できる。
【０２０９】
ここで、図５３では、記録回路９１０の後段に接続しうる各種装置は省いてあるが、例えば前述した第１２実施例の図４１のように所望の記録媒体を接続し、該記録媒体に画像を記録することができる。また、図４２のようにさらに再生回路を内蔵しても良いし、あるいは図４３のようにその上にモニタを内蔵しても良い。また、図４４のように再生回路とモニタを内蔵し、切り替えて使用するようにしても良い。また、第１３実施例の図４５のように記録媒体に磁気テープを用いて動画を記録できるようにしても良いし、図４６のように記録媒体に半導体メモリを用いて、同一の画像信号の記録再生を繰り返しても画質劣化のないようにしても良い。また、第１４実施例の図４７のように、動画記録用の高速処理型の電子ズーム回路と、静止画記録用の高画質型の電子ズーム回路とを備え、切り換えて使うようにしても効果的である。
【０２１０】
図５４の撮像装置は、図５３に示した撮像装置に２焦点撮影レンズ９０５の変倍レンズ（図示せず）の移動状態を検出する移動状態検出回路９１３を付加したものである。２焦点撮影レンズ９０５は、光学ズームファインダ９０１の倍率によっては焦点距離を切り換えるが、その切り換え中は、固体撮像素子９０６の撮像面に焦点が合っていないため、正常な画像を記録することができない。これを防止するために、移動状態検出回路９１３で撮影レンズの焦点距離の切り換えが終了したことを検出した後、記録スイッチ９１２をオンにすることにより安定に正常な画像を記録することができる。
【０２１１】
これにより、動画記録の場合は、焦点距離切り換え中のピントが合っていない画像を連続的に記録するのを未然に防ぐことができる。また、静止画記録の場合には、焦点距離切り換え中に記録ボタンを押すことによる撮影ミスを未然に防止することもできる。
【０２１２】
図５５の撮像装置は、図５４の装置にさらに、記録制御回路９１５、一画面を記録するフレームメモリ９１６を加え、記録スイッチ９１２を記録切り換えスイッチ９１４に替えたものである。ここでは、倍率制御回路９０４から出力される切り換え信号を、記録制御回路９１５にも入力する。この切り換え信号をもとに、記録制御回路９１５では記録切り換えスイッチ９１４を制御して、スイッチｓ１をＯＮ、スイッチｓ２をｔ４ 側に接続する。この動作により、焦点距離を切り換える直前の倍率の画像信号を一画面分フレームメモリ９１６に記憶して、切り換え動作が終了するまでフレームメモリ９１６の画像を記録回路９１０にて記録する。そして、焦点距離切り換え完了後は、スイッチｓ１をＯＦＦ、スイッチｓ２をｔ３ に接続して通常の記録状態に戻る。
【０２１３】
このように構成することによって、焦点距離切り換え中も途切れることなく、連続した画像の記録が可能である。この時、切り換える前後の拡大倍率が一致するように、切り換え期間中に記録制御回路９１５からの信号で切り換え後の電子ズーム倍率を設定すると好ましい。
【０２１４】
図５６の撮像装置は、図５３に示した装置に倍率表示回路９１７を付加したものである。２焦点撮影レンズ９０５の焦点距離切り換え時には、その構成上、倍率が一時的に不連続となるため、撮影倍率をモニタして切り換え点を避けて撮影する必要が生じる場合もある。また、撮影状況を把握する上でも撮影中の倍率が可変範囲のどの位置にあるかを絶えず把握しておくには重要である。ここでは、倍率検出回路９０２で検出された倍率を、倍率表示回路９１７によってリアルタイムで光学的あるいは電気的に光学ズームファインダ９０１内の撮影領域以外の部分に表示する。
【０２１５】
これにより、撮影者は常に撮影倍率をモニタすることができ、撮影状況によって倍率選択が容易になり、動画記録の場合には撮影レンズ切り換えによる不連続な記録部分を予め回避することが可能となる。
【０２１６】
＜第２０の実施例＞
本実施例は、前述した第１９の実施例における２焦点レンズ９０５について、図５７に示すように、撮影レンズを互いに共役間距離が等しい焦点距離に設定するものである。ここで示すレンズ構成は、一般的な２群ズームレンズである。図中の９２１，９２３は凹レンズ、９２２，９２４は凸レンズである。この場合、凹レンズに平行に入射する光はあたかも凹レンズの前側焦点（Ｐ′）から発せられた如くに発散する。発散光は凸レンズで集光してＰ点に倒立実像を結像する。ここで倍率（ｍ）は凸レンズの位置によって決まり、倍率は主点と共役点間距離（ｓ，ｓ′）の比ｍ＝ｓ′／ｓで与えられ、共役点間距離ｓ＋ｓ′を一定にすれば結像点を一定に保てる。このことから、図５７の（ａ）では、ｓ＝ａ、ｓ′＝ｂで、倍率はｍ＝ｂ／ａ、また共役点間距離はａ＋ｂ、一方、（ｂ）では共役点間距離（ａ＋ｂ）を一定とし、ｓ＝ｂ、ｓ′＝ａとして、倍率のみｍ＝ａ／ｂに変化させて、結像面を一定に保った場合である。
【０２１７】
ここで、共役点間距離が一定となるのはこの２点についてのみであり、その間の任意の点で結像点の位置を一定に保つためには、図５８に示すように凸レンズ（９２６，９２８，９３０）の変倍動作による焦点移動を凹レンズ（９２５，９２７，９２９）の移動で補償する必要がある。この機構は光学ズームレンズで用いられているが、構成的に変倍機構とは別に焦点の補償機構が必要である。また、各焦点距離での光学特性の補正のためにレンズ枚数が増加する等があり光学系が大型化する。これに比べ図５７では共役点間距離が等しくなるように２つの焦点距離を設定して、その間の任意の焦点距離は電子ズームにより行う。
【０２１８】
このようにすれば、光学系の小型化、低消費電力化を実現できる。本実施例では２群ズームレンズに関して説明したが、他のズーム構成についても同様である。
【０２１９】
＜第２１の実施例＞
図５９に、本発明の第２１の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ９０１、この光学ズームファインダ９０１の倍率を検出する倍率検出回路９０２、焦点距離が短い第１の固定焦点レンズ９３１、焦点距離が長い第２の固定焦点レンズ９３２、第１のミラー９３４、第２のミラー９３５、ミラー駆動部９３３、焦点距離切り換え回路９０３、検出されたファインダ倍率を電子ズーム倍率と撮影レンズの焦点距離に振り分ける倍率制御回路９０４、画像信号を取り出す固体撮像素子９０６、この固体撮像素子９０６からの出力信号を処理する信号処理回路９０７、電子ズームを行う電子ズーム回路９０９、電子ズームの拡大倍率を設定する倍率設定回路９０８、固体撮像素子９０６を駆動する駆動回路９１１、記録回路９１０から構成される。
【０２２０】
本実施例では、２焦点撮影レンズ９０１は、２つの異なる焦点距離を持つ固定焦点レンズ９３１，９３２からなり、図から分かるように焦点距離切り換え回路９０３からの信号に応じてミラー駆動部９３３が第１のミラー９３４を動かすことによって、第１の固定焦点ミラー９３１または第２の固定焦点ミラー９３２のいずれかを選択する。
【０２２１】
この方式では、それぞれの焦点距離での最適設計ができるため、より高画質な画像が記録できる。また、撮影レンズの光軸方向の長さをよりコンパクトにできる等の利点がある。
【０２２２】
図６０の撮像装置は、図５９の構成において、光学ズームファインダ９０１として一次結像式のファインダを用いたものである。ここでは、このファインダは、変倍部９４１、プリズムを用いた正立部９４２、および接眼部９４３から構成されるものとする。このタイプのファインダは、正立部９４２にプリズムを用いているため、光路を曲げることが可能であり、ファインダの光軸方向の長さを短くすることができる利点を有する。
【０２２３】
この構成において、第１のミラー９３４は、焦点距離の短いレンズ９３１が選択される場合には、図中のｐ１で示すようにレンズ９３１での結像に影響を及ぼさない位置に回避し、固体撮像素子９０６の結像面に短い焦点距離に相当した倍率の画像が生成される。一方、光学ズームファインダの倍率が高く設定されて焦点距離の長いレンズ９３２が選択される場合には、図中のｐ２で示すように第１のミラー９３４は固定焦点レンズ９３１の光路を遮る位置に設定される。そして、固定された第２のミラー９３５で焦点距離の長い固定焦点レンズ９３２からの光線を反射させてミラー９３４へと導き、そこで更に反射して固体撮像素子９０６上で結像する。
【０２２４】
ここで示すように、光学ズームファインダに一次結像式のファインダを用い、２焦点撮影レンズは２つの焦点距離の異なる固定焦点レンズを切り換えることで実現すれば光軸方向の長さをコンパクトにした薄型の撮像装置を実現できる。
【０２２５】
＜第２２の実施例＞
図６１に、本発明の第２２の実施例に係る撮像装置の構成を示す。この装置は、光学ズームファインダ９０１、この光学ズームファインダ９０１の倍率を検出する倍率検出回路９０２、２つの焦点距離を持つ撮影レンズ９０５、この撮影レンズ５の焦点距離を切り換える焦点距離切り換え回路９０３ｂ、倍率範囲制限回路９５１、画像信号を取り出す固体撮像素子９０６、この固体撮像素子９０６からの出力信号を処理する信号処理回路９０７、電子ズームを行う電子ズーム回路９０９、電子ズームの拡大倍率を設定する倍率設定回路９０８、固体撮像素子９０６を駆動する駆動回路９１１、記録回路９１０から構成される。
【０２２６】
以下、本実施例の撮像装置の動作について説明する。光学ズームファインダ９０１の最大倍率可変範囲は、２焦点撮影レンズ９０５の短い焦点距離と電子ズームの最低倍率によって決まる最低値から、２焦点撮影レンズ９０５の長い焦点距離と電子ズームの最高倍率によって決まる最高値までの範囲である。焦点距離切り換え回路９０３ｂによって２焦点撮影レンズ９０５のどちらかが撮影レンズの焦点距離として選択される。また、これと同時に倍率範囲制限回路９５１では、２焦点撮影レンズ９０５の焦点距離に対応して、光学ズームファインダ９０１の倍率範囲が制限される。これによって、制限された範囲内での任意の倍率は倍率検出回路９０２によって検出され、倍率設定回路９０８によって電子ズーム倍率が設定される。
【０２２７】
この方式では、ファインダの倍率を広範囲に連続的に変化させることはできないが、撮影者が意図的に倍率範囲を設定するため、切り換え動作を敏速に行うことができ、静止画記録の場合には特に有効である。また、各焦点距離に対して通常のズーム機能付きフィルム式のコンパクトカメラ並のズーム機能を電子ズーム機能で実現すれば、現状の２焦点カメラに比べてもズーム範囲が広がり使いやすさは格段に向上する。
【０２２８】
＜第２３の実施例＞
図６２に、本発明の第２３の実施例に係る撮像装置の構成を示す。この撮像装置は、光学ズームファインダ９０１、この光学ズームファインダ９０１の倍率を検出する倍率検出回路９０２、ズーム倍率設定回路９６４、この撮影レンズ５の焦点距離を切り換える焦点距離切り換え回路９０３、２つの焦点距離を持つ撮影レンズ９０５、画像信号を取り出す固体撮像素子９０６、この固体撮像素子９０６からの出力信号を処理する信号処理回路９０７、電子ズームを行う電子ズーム回路９０９、電子ズームの拡大倍率を設定する倍率設定回路９０８、固体撮像素子９０６を駆動する駆動回路９１１、記録回路９１０から構成される。
【０２２９】
本実施例では、光学ズームファインダ９０１内にズーム変倍部９６２とは別に撮影レンズ９０５の焦点距離切り換えに対応する倍率の定変倍部９６２を設けているのが大きな特徴である。
【０２３０】
以下、本実施例の撮像装置の動作について説明する。
ズーム倍率設定回路９６４で設定した倍率によって、ズーム変倍部９６１の倍率と定変倍部９６２の倍率を設定する。ここで設定されたズーム変倍部９６１の倍率は、倍率検出回路９０２と倍率設定回路９０８を経て電子ズーム倍率となる。一方、定変倍部９６２の倍率は、焦点距離切り換え回路９０３を経て２焦点撮影レンズ９０５の焦点切り換え信号となる。
【０２３１】
この定変倍動作は、図５７で説明した２焦点撮影レンズの変倍機構と同様に撮影レンズの２つの焦点距離の比に等しく共役点間距離が一定となるように設定する。このようにすれば、変倍動作による焦点ずれは全く発生しないし、全長も一定である。また、ズーム変倍部は電子ズームの倍率の可変範囲だけカバーすれば良くファインダ自体の小型化も実現することができる。
【０２３２】
図６３の撮像装置は、図６２の構成を若干変更し、撮影者が倍率の可変範囲を焦点距離切り換え回路９０３ｃにて設定するように構成したものである。焦点距離切り換え回路９０３ｃで２焦点撮影レンズ９０５の焦点距離を選択するとともに、光学ズームファインダ９０１の定変倍部９６２の倍率も連動して切り換える。一方、光学ズームファインダ９０１のズーム変倍部９６２の倍率は、倍率検出回路９０２および倍率設定回路９０８によって電子ズーム回路９０６に入力され電子ズーム倍率を決定する。この構成にすることで、光学ズームファインダ９０１のズーム変倍部９６１は電子ズームの倍率のみをカバーするだけでよく、倍率を低減できるため、ファインダ自体を小型化することができる。
【０２３３】
図６４の撮像装置は、光学ズームファインダ９０１を実像タイプの２次結像式のファインダ、撮影レンズ９０５は共役点距離が一定となるように設定した２焦点レンズを使用した実施例を示す。この例では、ファインダ９０１の正立部を定変倍部９６２とする。図中９７４，９７７は、それぞれ撮影レンズの長焦点側を選択した場合のズームファインダ９０１の変倍レンズの位置、撮影レンズ９０５の変倍レンズの位置を示す。また、９７５，９７８は、短焦点側を選択した場合のそれぞれの変倍レンズの位置を示す。ここで、ファインダの正立部９６２も撮影レンズの２焦点レンズ同様、共役点間距離を一定に保つような位置に変倍レンズ位置を設定すれば、切り換え動作に伴う焦点位置の移動は生じず、全長も一定のままでコンパクトに構成することができる。
【０２３４】
＜第２４の実施例＞
図６５は、上述した第１９〜第２３の実施例における光学ズームファインダ９０１の可変範囲と、２焦点撮影レンズ９０５および電子ズーム回路９０９によって設定される倍率可変範囲との関係について、２つの例を示す。図中、焦点距離１は、２つの焦点距離のうちの短い焦点距離、焦点距離２は長い方の焦点距離である。（ａ）は２つの焦点距離の差が比較的小さく焦点距離間の任意の焦点距離は電子ズームの倍率によって網羅できる場合、（ｂ）は焦点距離の差が大きい場合である。
【０２３５】
（ａ）では短い焦点距離に電子ズーム倍率を乗じた焦点距離が、長いほうの焦点距離よりも更に長い焦点距離までカバーする様に電子ズームによる画質劣化が許容できる範囲内で設定する。これにより撮影レンズの焦点距離切り換え付近の倍率範囲くまなくカバーすることができる。
【０２３６】
一方、（ｂ）の様に焦点距離差が大きい場合は、電子ズームによる画質劣化が許容できる範囲に光学ズームファインダの倍率可変範囲を制限する。こうすることで常に高画質な画像を記録することができる。
【０２３７】
本発明は上述した各実施例に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【０２３８】
【発明の効果】
本発明によれば下記のような効果が期待できる。
【０２３９】
本発明によれば、相対的結像位置変更手段と高画質補間処理を併用した高画質な静止画記録を行える小型かつ高画質な撮像装置が実現できる。
【図面の簡単な説明】
【図１】第１の実施例を示すブロック図
【図２】相対的位置の変更について説明するための図
【図３】入力像の相対的な位置をずらす１つの方法について説明するための図
【図４】入力像の相対的な位置をずらす他の方法について説明するための図
【図５】倍率１．５倍のときのズーム画像を示す図
【図６】第１の実施例の第１変形例を示すブロック図
【図７】第１の実施例の第２変形例を示すブロック図
【図８】外部からの振動などによる結像の位置ずれについて説明するための図
【図９】第１の実施例の第３変形例を示すブロック図
【図１０】電子ズームを用いる場合のＣＣＤの読み出し領域について説明するための図
【図１１】第２の実施例を示すブロック図
【図１２】第２の実施例の第１変形例を示すブロック図
【図１３】第２の実施例の第２変形例を示すブロック図
【図１４】第３の実施例を示すブロック図
【図１５】第３の実施例の変形例を示すブロック図
【図１６】動画像及び静止画像を得るための処理の流れを示す図
【図１７】第４の実施例を示すブロック図
【図１８】第４の実施例の第１変形例を示すブロック図
【図１９】映像信号帯域特性と２点内挿法によって得られた信号の帯域特性を示す図
【図２０】第４の実施例の第２変形例を示すブロック図
【図２１】動画モード及び静止画モードを共有した電子ズーム回路の構成を示す図
【図２２】第４の実施例の第３変形例を示すブロック図
【図２３】第４の実施例の第４変形例を示すブロック図
【図２４】連写用バッファメモリの構成を示す図
【図２５】画像ファイルの一例を示す図
【図２６】第５の実施例を示すブロック図
【図２７】第５の実施例の変形例を示すブロック図
【図２８】第６の実施例を示すブロック図
【図２９】視差の発生状況を説明するための図
【図３０】第６の実施例の第１変形例を示すブロック図
【図３１】第６の実施例の第２変形例を示すブロック図
【図３２】第７の実施例を示すブロック図
【図３３】拡大動作について説明するための図
【図３４】第８の実施例を示すブロック図
【図３５】第９の実施例を示すブロック図
【図３６】第１０の実施例を示すブロック図
【図３７】ファインダの視野とそれと一致する固体撮像素子上の領域との関係を示す図
【図３８】固体撮像素子のアスペクト比によってファインダの視野と一致する領域がどのように変化するかを示した図
【図３９】第１１の実施例を示すブロック図
【図４０】撮影状態における固体撮像素子上の記録領域とファインダの視野を示す図
【図４１】第１２の実施例を示すブロック図
【図４２】第１２の実施例の第１変形例を示すブロック図
【図４３】第１２の実施例の第２変形例を示すブロック図
【図４４】第１２の実施例の第３変形例を示すブロック図
【図４５】第１３の実施例を示すブロック図
【図４６】第１４の実施例を示すブロック図
【図４７】第１５の実施例を示すブロック図
【図４８】第１６の実施例を示すブロック図
【図４９】第１６の実施例の第１変形例を示すブロック図
【図５０】第１６の実施例の第２変形例を示すブロック図
【図５１】第１７の実施例を示すブロック図
【図５２】第１８の実施例を示すブロック図
【図５３】第１９の実施例を示すブロック図
【図５４】第１９の実施例の第１変形例を示すブロック図
【図５５】第１９の実施例の第２変形例を示すブロック図
【図５６】第１９の実施例の第３変形例を示すブロック図
【図５７】第２０の実施例を示すブロック図
【図５８】凸レンズの変倍動作による焦点移動を説明するための図
【図５９】第２１の実施例を示すブロック図
【図６０】図５９の光学ズームファインダとして、一次結像式のファインダを用いた実施例を示すブロック図
【図６１】第２２の実施例を示すブロック図
【図６２】第２３の実施例を示すブロック図
【図６３】第２３の実施例の第１変形例を示すブロック図
【図６４】第２３の実施例の第２変形例を示すブロック図
【図６５】第２４の実施例を示すブロック図
【図６６】従来のビデオムービーの構成例を示す図
【図６７】従来の一眼レフ型の電子スチルカメラの構成例を示す図
【図６８】従来の一眼レフ型の電子スチルカメラの他の構成例を示す図
【図６９】従来のコンパクトタイプの電子スチルカメラの構成例を示す図
【図７０】従来のコンパクトタイプの電子スチルカメラの他の構成例を示す図
【符号の説明】
１…ＣＣＤ ２…アナログ信号処理部
３…Ａ／Ｄ変換器 ４…デジタル信号処理部
５…電子ズーム部 ６…レンズ
７…画像圧縮部 ８…記録媒体
１１…相対的位置変更手段 １３…相対的位置変更部
１０１…撮像部 ２０１…撮像部
２０２…アナログ信号処理部 ２０３…Ａ／Ｄ変換器
２０４…デジタル信号処理部 ２０６…画像圧縮回路
２０７…画像記録手段 ２０８…ビューファインダ
２０９…切り替え装置 ２１０…フレームメモリ
２１３…シャッタボタン ２１４…プリプロセス
２１５…ポストプロセス ２１６…映像表示回路
２５１…簡易電子ズーム処理部 ２５２…高画質電子ズーム処理部
３１２…ズーム倍率選択 ４０１…光学ファインダ
４０２…撮影レンズ ４０３…ＣＣＤ
４０４…信号処理部 ４０５…記録回路
４０６…記録媒体 ４０７…測距回路
６０１…ズームファインダ ６０２…倍率検出部
６０３…倍率制御部 ６０４…撮影レンズ
６０５…固体撮像素子 ６０６…電子ズーム
６０７…記録回路 ６０８…記録媒体
９０１…光学ズームファインダ９０１ ９０２…倍率検出回路
９０３…焦点距離切り換え回路 ９０４…倍率制御回路
９０５…２焦点撮影レンズ ９０６…固体撮像素子
９０７…信号処理回路 ９０８…倍率設定回路
９０９…電子ズーム回路 ９１０…記録回路
９１１…駆動回路[0001]
[Industrial applications]
The present invention relates to an imaging device.
[0002]
[Prior art]
(1) In video cameras for capturing moving images, the zoom function is widely used from home video movie cameras to professional video cameras. In a professional video camera, zooming with an optical system is the main method in terms of resolution, whereas in a home video movie camera, in addition to using a lens, an optical zoom and a video signal output from an image sensor are used. Some of them use an electronic zoom that performs digital signal processing. In the lens zoom, a good image can be obtained at the time of zooming, but a large lens is required as the magnification increases, and it is difficult to reduce the size of the apparatus. On the other hand, since enlargement by electronic processing is realized by an electronic circuit without changing the camera lens, a small and lightweight imaging device such as a video camera can be obtained.
[0003]
In the electronic image enlargement processing, input pixels to the image pickup device are spatially sampled in the image pickup device. Therefore, it is necessary to supplement between sample pixels in accordance with an enlargement ratio. In order to realize interpolation between pixels, it is general to create interpolation pixel data by interpolation using sample pixel data obtained by an image sensor. In a video camera, since the pixel interpolation process must be performed in real time, a method having a relatively small circuit scale and a high processing speed, such as a two-point interpolation method, is widely used. However, since this method has a problem in image quality, the upper limit of the electronic zoom magnification is generally limited to about twice.
[0004]
Here, functions of the video movie camera include a still image recording mode and a continuous shooting recording mode. When a still image or continuous shooting is selected by a photographer's operation, these images are temporarily recorded in a frame memory, read out as a video signal, and recorded on a recording medium such as a video tape. . When using the zoom function in this function, the zoomed image is recorded on a recording medium such as a video tape by zooming either optically or electronically, or using a combination of an optical system and an electronic circuit. No special processing for still image input is performed.
[0005]
As an example of the digital still image pickup device, an electronic still camera is used. As an electronic still camera having a zoom function, one that performs zooming by an optical system has already been commercialized. However, to reduce the size of the electronic still camera, it is considered effective to use an electronic zoom. Further, in such a small-sized imaging device, a view in which an image zoomed by using the optical system and the electronic zoom function together or only by the electronic zoom only is displayed to the photographer in conjunction with the zoom magnification selected by the photographer. A viewfinder or a monitor built-in type is also conceivable.
[0006]
In recording and storing a still image, which is the basic performance of an electronic still camera, high-quality processing is required in all signal processing because of a still image, and the same applies to electronic zoom processing. This requirement is satisfied by complicated processing such as higher-order interpolation and recursive processing, but it is difficult to realize real-time processing using these. On the other hand, the electronic viewfinder requires electronic zoom processing that is performed in real time, but is used only for checking the angle of view, and the image quality is not particularly limited.
[0007]
As described above, in an imaging apparatus using an electronic zoom, an imaging apparatus having an electronic zoom processing function including two processing modes such as a high image quality mode and a real-time operation mode has not been available until now.
[0008]
Here, in order to obtain a high-resolution still image using a low-resolution image sensor, the relative position of an input image in the image sensor is shifted using a relative image position changing device, and an image is formed for each shifted position. And a method of spatially synthesizing the image data by performing digital processing on the image data. As a method of shifting the relative position of the input image, a method of moving the image sensor by half the pixel pitch of the image sensor or inserting an optical filter between the lens and the image sensor and driving this There is a method of moving the input image, and the like.
[0009]
When a high-resolution still image is to be recorded using such an imaging mechanism, it takes time to obtain one frame or field image because the optical filter and the image sensor are mechanically driven. For this reason, to monitor or record a moving image in the moving image mode when capturing a still image, an image is temporarily stored in a frame memory or the like, and an interpolation image at a pixel position required by interpolation processing is created.
[0010]
There has never been an imaging device having such an imaging mechanism that simultaneously obtains a high-quality still image and a low-resolution moving image, and the real-time property is ignored to obtain a high-resolution still image. There has not been a zoom mechanism using both digital image processing and a relative image position changing device that impairs real-time performance.
[0011]
In addition, there has not been a zoom mechanism using both an electronic zoom and a relative imaging position changing device.
[0012]
(2) In video cameras for capturing moving images, the zoom function is widely used from home video movie cameras to professional video cameras. In a professional video camera, zooming with an optical system is the main method in terms of resolution, whereas in a home video movie camera, in addition to using a lens, an optical zoom and a video signal output from an image sensor are used. Some of them use an electronic zoom that performs digital signal processing. In the lens zoom, a good image can be obtained at the time of zooming, but a large lens is required as the magnification increases, and it is difficult to reduce the size of the apparatus. On the other hand, since enlargement by electronic processing is realized by an electronic circuit without changing the camera lens, a small and lightweight imaging device such as a video camera can be obtained.
[0013]
In the electronic image enlargement processing, input pixels to the image pickup device are spatially sampled in the image pickup device. Therefore, it is necessary to supplement between sample pixels in accordance with an enlargement ratio. In order to realize interpolation between pixels, a general method is to perform interpolation processing on sample pixel data obtained by an image sensor to create interpolated pixel data. In a video camera, since the pixel interpolation process must be performed in real time, a method having a relatively small circuit scale and a high processing speed, such as a two-point interpolation method, is widely used. However, since this method has a problem in image quality, the upper limit of the electronic zoom magnification is generally limited to about twice.
[0014]
Here, functions of the video movie camera include a still image recording mode and a continuous shooting recording mode. When still image recording or continuous recording is selected by the photographer's operation, these functions temporarily record the video at that point in the frame memory, read it out as a video signal, and store it on a recording medium such as a video tape. It is to be recorded. In these functions, if a zoom function is used, the zoomed optical or electronic image, or a combination of an optical system and an electronic circuit, which is used for normal moving image input, is recorded on a recording medium such as a video tape. It is recorded, and no special processing is performed for still image input.
[0015]
As an example of the digital still image pickup device, an electronic still camera is used. As an electronic still camera having a zoom function, one that performs zooming by an optical system has already been commercialized. However, to reduce the size of the electronic still camera, it is considered effective to use an electronic zoom.
[0016]
Further, in such a small electronic camera, an electronic viewfinder or monitor that displays an image zoomed only by an optical system and an electronic zoom or an electronic zoom only to a photographer in conjunction with a zoom magnification selected by the photographer. A built-in type is also conceivable.
[0017]
In recording and storing a still image, which is the basic performance of an electronic still camera, high-quality processing is required in all signal processing because the image is a still image. The same applies to electronic zoom processing. This demand is satisfied by complicated processing such as higher-order interpolation and recursive processing, but in order to realize this in real time, the processing circuit must be accelerated, and a dedicated high-speed processor is required. I will. On the other hand, in the electronic view finder, electronic zoom processing must be performed in real time, but it is only used for checking the angle of view, and the image quality is not particularly limited.
[0018]
As described above, in an imaging apparatus using an electronic zoom, an imaging apparatus having an electronic zoom processing function having two processing modes, that is, a non-real time type high image quality mode and a real time type simple operation mode, is now available. Not until now.
[0019]
(3) In recent years, various devices such as a movie camera for recording a moving image and an electronic still camera for recording a still image have been developed and commercialized as an image input device for recording an image using a solid-state imaging device.
[0020]
Among these, in an optical system of a moving image recording apparatus mainly composed of a movie camera, a zoom lens is used as a photographing lens, and recording is performed while confirming a photographed image with an electronic finder. This method enables high-magnification shooting without any optical parallax because the recorded image can be checked directly, but it consumes a large amount of power by operating the electronic viewfinder during shooting. The optical system has become larger due to the higher magnification.
[0021]
On the other hand, electronic still cameras and the like that record a still image include a single-lens reflex type that employs an optical finder and a compact type that includes a photographic lens and a finder separately. The structure of the single-lens reflex camera is similar to that of a 35 mm film camera, and a zoom lens is mounted to increase the magnification. If this is not the power consumption in and viewfinder without parallax equipped with zoom lens for essentially mechanism for splitting the incident light to the solid-state imaging device and the viewfinder inevitably becomes large because it requires, and high magnification The size of the optical system is further increased. Further, in the compact type, a simple structure can be obtained by separately using the photographing lens and the finder, but there is a problem that the parallax increases depending on the photographing distance.
[0022]
(4) In recent years, various devices, such as a movie camera, have been developed and commercialized as an imaging device for recording an image using a solid-state imaging device. These devices are required to have a zoom function, small size, light weight, low power consumption, and the like as their main functions.
[0023]
2. Description of the Related Art In an optical system of a device for performing moving image recording represented by a movie camera, a system is employed in which a zoom lens is used as a photographing lens and a photographed image is confirmed while being confirmed by an electronic finder. FIG. 66 shows a configuration example of a conventional video movie. As shown in the figure, the image to be recorded can be directly confirmed by the electronic viewfinder 1020, so that optical parallax does not occur at all and photographing at a high magnification is realized, but the electronic viewfinder 1020 is operated during photographing. As a result, the power consumption is large, and the optical system becomes large due to the high magnification.
[0024]
On the other hand, an electronic still camera or the like that records a still image has the same configuration as a silver halide film camera, and the zoom function is provided by an optical zoom lens. Electronic still cameras include a single-lens reflex type that employs an optical viewfinder and a compact type in which a photographing lens and a viewfinder are separately provided. 67 and 68 show configuration examples of a conventional single-lens reflex electronic still camera, and FIGS. 69 and 70 show configuration examples of a conventional compact electronic still camera. A single-lens reflex camera has a zoom lens like a 35mm film camera, and this type has no parallax and no power consumption in the optical viewfinder 1005, but the optical system is enlarged for higher magnification. There is a problem. On the other hand, in the compact type, the low-magnification zoom lens 1001 and the optical finder 1032 are independently arranged. Although this configuration is simplified and suitable for reducing the size and weight and reducing power consumption, it is difficult to realize a high-magnification zoom function.
[0025]
[Problems to be solved by the invention]
(1) The above-described conventional imaging apparatus can be realized to some extent by high-order interpolation or the like in order to obtain a high-resolution zoom image by electronic zoom. However, finite information obtained by the imaging element is used. Therefore, there is a problem that the degree of image deterioration increases as the enlargement ratio increases.
[0026]
The present invention has been made in view of the above circumstances, and has as its object to provide an imaging device having an electronic zoom process, which can obtain a high-resolution image even when the magnification is increased.
[0035]
[Means for Solving the Problems]
In order to solve the above-mentioned problems and achieve the object, the following measures were taken.
[0036]
The present invention relates to an imaging device having an electronic zoom function, a solid-state imaging device for converting a subject image into a corresponding electric signal, an optical system for forming an image on the solid-state imaging device, and a connection formed by the optical system. A relative imaging position changing unit that shifts a relative position between an image and the solid-state imaging device; and a relative imaging position changing unit that is suitable for the magnification based on the magnification related to the electronic zoom function. A relative image position changing unit that selects a position change direction and the number of relative image position changes in each direction, and executes the relative image position change in the direction in the direction based on the selection result; And synthesizing a plurality of pieces of image information obtained by forming an image on the solid-state imaging device while shifting the relative position by the relative imaging position changing unit, so as to be higher than the original resolution of the solid-state imaging device. First generating means for generating one piece of image information having a resolution, and pixel information at a position corresponding to the enlargement magnification based on pixel information included in the image information generated by this means by digital interpolation processing. And a second generation unit for generating image information relating to the magnification using the pixel information, wherein when the magnification relating to the electronic zoom function is not an integer, the relative imaging position The changing unit selects, as the direction and the number of times, a direction and a number of times at which an integer magnification that exceeds the magnification related to the electronic zoom function can be realized without digital interpolation processing, and the first generation unit includes: Generating image information that enables the integer magnification factor to be realized without digital interpolation processing, wherein the second generation unit generates the image information generated by the first generation unit using digital interpolation processing; And generating the image information according to the magnification of the electronic zoom function from.
Preferably, when the enlargement magnification related to the electronic zoom function is an integer, the relative imaging position change unit can realize the enlargement magnification of the integer as the direction and the number without digital interpolation processing. The first generation means generates image information that enables the magnification of the integer to be realized without digital interpolation processing, and the second generation means performs no digital interpolation processing. The image information related to the enlargement magnification related to the electronic zoom function may be generated from the image information generated by the first generation unit.
[0063]
[Action]
As a result of taking the above-described measures, the following operation occurs.
[0064]
In the present invention, a relative image position changing unit for selecting a relative image position change method according to the selected zoom magnification is provided. Thus, when an arbitrary magnification is selected by the user or the system side, a driving method of the relative imaging position changing means suitable for the arbitrary magnification is selected in the relative imaging position changing unit, and the electronic zoom is performed. Since high-density image information can be passed to the simulated image, a high-quality interpolated image can be obtained.
[0070]
【Example】
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Corresponding parts are denoted by the same reference numerals, and detailed description is omitted.
[0071]
(1) <First embodiment>
FIG. 1 is a block diagram showing a schematic configuration of a so-called electronic camera system for digitally recording a still image according to a first embodiment of the present invention (claim 1). As shown in the figure, this electronic camera system includes an imaging unit 101, an analog signal processing unit 2, an A / D converter 3, a digital signal processing unit 4, an image reconstructing unit 41, an electronic zoom processing unit 5, a relative image formation. The imaging unit 101 includes a position changing unit 13, an image compression unit 7, and a recording medium 8. The imaging unit 101 photoelectrically converts an optical system including a lens 6, a shutter (not shown), and the like, and an image formed by the optical system. There is provided a relative position changing unit 11 for shifting a relative positional relationship with a photoelectric conversion element surface of the solid-state imaging device 1 or the like.
[0072]
First, an outline of the operation in this configuration will be described.
[0073]
An image signal output from the solid-state imaging device 1 of the imaging unit 101 is passed to the analog signal processing unit 2 and subjected to γ correction, white balance adjustment, and the like. The output of the analog signal processing unit 2 is converted into a digital signal by the A / D converter 3 and input to the digital signal processing unit 4 and then input to the image reconstructing unit 41, where predetermined signal processing is performed. After that, it is passed to the electronic zoom processing unit 5.
[0074]
The relative imaging position changing unit 13 drives the relative position changing unit 11 a predetermined number of times based on predetermined conditions, as described later. Then, an image signal is input as described above at each changed imaging position. The input image signals at the respective image forming positions are combined to form one image signal having a higher resolution than the original resolution of the solid-state imaging device 1.
[0075]
The signal output from the electronic zoom processing unit 5 is image-compressed by the image compression unit 7 and recorded on the recording medium 8.
[0076]
Next, the operation of the relative position changing means 11 will be described in detail. The relative position changing unit 11 is a device for obtaining a high-resolution image using the low-resolution solid-state imaging device 1. For example, if a resolution four times the number of pixels of the solid-state imaging device is obtained, FIG. As shown in (4), the input image is shifted between pixels by some method, the shutter is released at each position, and the four images thus obtained are spatially synthesized using digital processing, thereby quadrupling the image. That is, it is possible to obtain an image having a resolution of
[0077]
As a method of shifting the relative position of the input image on the solid-state image sensor 1, an optical filter 103 is inserted in parallel between the lens 6 and the solid-state image sensor 1 as shown in FIG. There are a method of shifting the optical path by tilting the image sensor 1 and a method of shifting the position of the input image by moving the position of the solid-state image sensor 1 itself as shown in FIG. This method has the advantage that an apparently high-resolution image can be obtained using a low-resolution solid-state imaging device, but has the disadvantage that it takes a long processing time to mechanically shift the position.
[0078]
When the zoom function is selected, in a system in which the zoom function is realized only by the electronic zoom, the number of drives of the relative imaging position changing unit 11 suitable for an arbitrary magnification selected by the user is selected, and the optical system is selected. If the electronic zoom is used together with the electronic zoom, the number of drives suitable for the electronic zoom magnification selected on the system side is selected. For example, in the case where the imaging position is moved between the sides of the square lattice formed by the pixels, that is, in the case where the imaging position is shifted horizontally and vertically, the driving number is selected by the system or the like in this selection method of the driving number. The number of times the given magnification is rounded up to an integer is taken as a suitable value. At this time, if the magnification is in the range from more than 1 to 2 times, the number of times of driving of the relative imaging position changing means 11 is 2 times, respectively, and if it is in the range from 2 to 3 times, it is 3. An arbitrary magnification image selected by digital interpolation processing is created based on image information of several times density obtained by driving in this manner. As described above, since the interpolation processing is performed using high-density pixel information, a high-resolution digital interpolation image can be obtained.
[0079]
FIG. 5 shows a zoom image when the magnification is 1.5 times. The pixel information as shown in FIG. 5 is obtained by selecting twice the number of times of driving at 1.5 times. A is a pixel position when the relative imaging position changing unit 11 is not used, and B is a position of pixel information obtained by using the relative imaging position changing unit 11. A high-resolution image can be obtained by creating an image C that has been zoomed 1.5 times by digital interpolation processing on the basis of the four-fold density pixels.
[0080]
As an example raised here, it is moved the same number of times in the horizontal and vertical directions, but the structure of the image sensor and the arrangement of color filters or the picture to be photographed when using a single-chip image sensor, the request for the photographing object, The ratio of the number of times of movement in each of the horizontal and vertical directions may be changed, for example, in order to photograph the oblique component with high accuracy. Further, of course, the movement of the image forming position is not limited to the horizontal and vertical directions, but may be moved in an oblique direction.
[0081]
Here, the image acquisition method using the relative imaging position changing unit 11 requires a long time as described above, and therefore, it is necessary that the imaging target and the imaging device are stationary. Therefore, as shown in FIG. 6, for example, when an external vibration such as a camera shake is detected by the vibration detector 180 before or during photographing, a detection signal is transmitted to the control unit 43. (Not shown) or informing the user of the vibration by sounding a warning sound or the like, and when the vibration is detected during the photographing, a command is issued to the relative imaging position change 13 to change the relative imaging position. The driving of the target imaging position changing unit 11 may be stopped, and the user may be notified of the stop by displaying the stop on a monitor or sounding a warning sound.
[0082]
Further, in order to simplify the system, a detection unit 170 for detecting whether the imaging device is fixed to a tripod or the like is provided as shown in FIG. The relative imaging position changing unit 11 may be configured to be driven when the detection unit 170 detects that it is fixed.
[0083]
For one subject, the image reconstructing unit 41 checks whether or not the subject has moved during photographing using the relative imaging position changing unit 11, and if a motion is recognized, the data after the motion has occurred. May not be used in the interpolation processing. Alternatively, the image data obtained by the relative imaging position changing means 11 may not be used, or the image obtained by this series of processing after warning the user that there has been movement may be used. You may comprise so that it may be discarded.
[0084]
For the detection of this motion, an image corrected to the actual pixel position by performing digital interpolation processing using the respective pixel information at the position changed by the relative imaging position changing means 11 is created, and the correlation method is used. It is preferable to carry out.
[0085]
Regarding the number of times of driving of the relative imaging position changing unit 11, when it is desired to obtain an image of N pixels or more from an imaging element of N pixels, for example, when obtaining information of 2,000,000 pixels using an imaging element of 500,000 pixels If the electronic zoom is used, the number of drive selections of the relative imaging position changing means 11 must be larger than the number of times of electronic zoom or high-density image acquisition. For example, when an image corresponding to 4N pixels is to be obtained from an image sensor having N pixels, if the electronic zoom is used together, the number of times selected in the processing of only the electronic zoom is twice ((4n / n)). 1/2 ). However, the maximum number of times of driving is limited by the control capability of the relative imaging position changing unit 11 and the structure of the CCD pixel.
[0086]
Further, the relative imaging position changing means 11 is required to drive very precisely, which is less than half the CCD pixel pitch. However, both the above-described CCD driving method and the optical filter driving method may be mechanically moved. It is susceptible to vibrations and the like. For this reason, as shown in FIG. 8A, it is conceivable that the driving of the relative imaging position changing means 11 to be controlled to the actual pixel position c is shifted to the pixel position b. If the information with the displacement is used, the resolution of the reconstructed image is considerably inferior to the resolution to be obtained by the relative imaging position changing means 11.
[0087]
Therefore, as shown in FIG. 9, for example, the actual control amount is detected by the detecting means 12 using an optical sensor or the like, a difference from the required control amount is obtained, and the correction of the positional deviation is performed by the image reconstruction unit 41. A high-resolution image may be created by using the electronic zoom function.
[0088]
On the other hand, when using the electronic zoom together, there are two methods, and the processing is selected by an interpolation method. When using four pixels surrounding the coordinate position to be interpolated, such as linear linear interpolation, the information of the pixel position whose position is shifted as shown in FIG. May be interpolated by reflecting the
[0089]
In interpolation using higher-order or higher-order interpolation or general digital signal processing, the processing is performed on the assumption that the sampling interval is constant. Therefore, it is necessary to use the coordinate position of the sample point as it is as described above. Can not. For this reason, it is first necessary to correct the coordinate position of the sample point. Using the information of b in FIG. 8B, the value at the position of c is obtained by linear linear interpolation, and the position is corrected. After this processing, a higher-order interpolation is performed to obtain a preferable image.
[0090]
The reading of the CCD in the case of using the electronic zoom is performed using information of a part 1501 of the image area on the CCD as shown in FIG. 10, and the other area 1502 is unnecessary. Therefore, the area 1502 is skipped at high speed, and conversely, the area 1501 can be read at low speed. By doing so, reading can be performed at a lower driving frequency, and the frequency band of the signal to be read is narrowed. Therefore, the effect of 1 / f noise of the FET, which is noise in the CCD, is reduced, and noise reduction is achieved. I can do it. In the case of using the second or higher order interpolation in the interpolation processing, the required area of the area 1501 is not the area 1503 of FIG. 10B but the area 1504.
[0091]
As described above, according to the present invention, it is possible to realize a small-sized and high-quality image pickup apparatus capable of recording a high-quality still image by using the relative image position changing means and the high-quality interpolation processing.
[0092]
<Second embodiment>
FIG. 11 is a block diagram showing a schematic configuration of a so-called electronic camera system for digitally recording a still image according to a second embodiment of the present invention (claim 2). As shown in the figure, the electronic camera system includes an imaging unit 101, an analog signal processing unit 2, an A / D converter 3, a first digital signal processing unit 4, a first electronic zoom processing unit 51, and an image output IF unit 9 , A monitor 100, a second electronic zoom processing unit 52, a second digital signal processing unit 53, an image compression unit 7, and a recording medium 8 subsequent to the first digital signal processing unit 4. , A shutter (not shown), etc., and a relative position for shifting a relative positional relationship between a photoelectric conversion element surface such as a solid-state imaging device 1 for photoelectrically converting an image formed by the optical system. It has a changing means 11. Here, the first electronic zoom processing unit 51 is a circuit that performs electronic zoom processing in real time, and the second electronic zoom processing unit 52 is a circuit that performs high quality electronic zoom processing.
[0093]
The image signal output from the CCD 1 of the imaging unit 101 is passed to the analog signal processing unit 2 and subjected to γ correction, white balance adjustment, and the like. The output of the analog signal processing unit 2 is converted into a digital signal by the A / D converter 3 and input to the digital signal processing unit 4. The signal applied to the first electronic zoom processing section 51 is subjected to predetermined processing and output to the monitor 100, while the signal applied to the second electronic zoom processing section 52 is subjected to predetermined processing and recorded. It is recorded on the medium 8.
[0094]
Here, the relative position changing unit 11 is a device for obtaining pixel information equal to or more than the number of pixels of the solid-state imaging device 1. For example, in order to obtain a resolution four times the number of pixels of the solid-state imaging device, the input image is shifted to four positions as shown in FIG. 2 by any method, and the shutter is released at each position. By spatially combining the four images using digital processing, it is possible to obtain an image with four times the resolution.
[0095]
As a method for shifting the relative position of the input image on the solid-state imaging device 1, as described above with reference to FIGS. 3 and 4, an optical filter is inserted in parallel between the lens and the solid-state imaging device. There are a method of shifting the optical path by tilting the optical filter with respect to the solid-state imaging device, and a method of shifting the position of the input image by moving the position of the solid-state imaging device itself. This method can obtain an apparently high-resolution image using a low-resolution solid-state imaging device, but it takes a long time to perform a mechanical displacement for inputting a plurality of images.
[0096]
When the zoom function is selected by operating the zoom magnification setting unit 140 (see FIG. 12), in the zoom method using only the electronic zoom as shown in FIG. 12, the interpolation processing of the zoom magnification selected by the user is performed by the first electronic zoom. The processing section 51 performs the processing in real time using high-speed interpolation processing, and outputs the image to the viewfinder 100 or the moving image recording section. When recording of an image is selected by the photographer using the shutter button 130 at an arbitrary zoom magnification, the image is temporarily input to the frame memory 120. At this time, the second electronic zoom processing unit 52 that performs the high-quality interpolation processing performs interpolation processing such as higher-order interpolation to obtain a high-quality image, and electronically enlarges the image.
[0097]
In the zoom system using both the optical zoom and the electronic zoom as shown in FIG. 13, the zoom function selecting unit 141 selects whether to use only the zoom of the optical system or to use both the optical zoom and the electronic zoom. When the zoom function selection unit 141 selects the latter, the electronic zoom function selection unit 141 further selects the respective magnifications of the optical system zoom and the electronic zoom. In such a combined type, the zoom function selection unit 141 sorts the magnification selected by the user, and performs a high-speed interpolation process on the angle-of-view information corresponding to the zoom magnification determined here. The electronic zoom is performed in real time, or the angle of view information is transmitted to the second electronic zoom processing unit 52, and the high-quality electronic zoom is performed as described above.
[0098]
The image enlarged as described above is input to the image compression unit 7. Here, high-efficiency compression is performed by color still image coding. The compressed video is recorded on a digital image recording medium 8 such as a memory pack, for example, an IC card, which is detachably stored and connected to the main body of the electronic camera in a detachable and replaceable manner.
[0099]
Regarding the interpolation processing, the interpolation processing of a video movie requires real-time processing, and is often performed by simple interpolation such as linear linear interpolation. However, this process has a low-pass characteristic, resulting in an image with a noticeable blur. In addition, since the image is a still image, in such a simple process, in addition to blurring in the interpolation image, jaggies at edges are considerably noticeable. In order to improve this, a higher-order interpolation method such as a cubic convolution interpolation method can be considered. The cubic convolution method is a method in which a sampling function is approximated by a polynomial and convolved with the original data sequence. In order to perform two-dimensional cubic convolution interpolation on a two-dimensional image, 16 sampling points are required. is there. The amount of calculation is at least four times as large as that of one two-dimensional linear primary interpolation using four sample points.
[0100]
Furthermore, processing for correcting jagged edges at the interpolation image may be performed. In such processing, recursive processing may be used. At this time, the amount of calculation is enormous, and the real-time property is impaired.
[0101]
On the other hand, in the electronic viewfinder for the photographer to confirm the angle of view of the zoom image, regardless of the presence or absence of high-resolution still image shooting and high-quality interpolation processing using the relative image position changing means 11 described above. Therefore, an electronic zoom circuit that operates in real time is required.
[0102]
Therefore, by using the electronic zoom having two processing modes as in the present invention, the electronic viewfinder can perform high-resolution still image shooting using the relative imaging position changing means and high-quality interpolation processing regardless of the presence or absence of the high-quality interpolation processing. High-speed processing can be provided, and high-quality processing can be provided for storage and storage.
[0103]
<Third embodiment>
FIG. 14 is a block diagram showing a schematic configuration of a so-called video movie camera having a digital still recording mode according to a third embodiment of the present invention (claim 2).
[0104]
As shown in FIG. 14, this movie camera system includes an imaging unit including a lens 6, a solid-state imaging device 1, and a relative position changing unit 11, an analog signal processing unit 2, an A / D converter 3, a digital signal processing unit 4, Switching device 110, first electronic zoom processing unit 51 connected to switching device 110, image output IF unit 9, monitor 100, frame memory 120 connected to switching device 110, pre-processing unit 96, second electronic zoom The zoom processing unit 52, the post-processing unit 98, the zoom still image mixing circuit 150 that inputs signals from the first electronic zoom processing unit 51 and the second electronic zoom processing unit 52, the video recording unit 81, the control unit 43, It comprises an image position changing unit 13, a shutter button 130, a still / continuous shooting setting unit 131, a zoom function selecting unit 141, and a zoom magnification setting unit 140. Here, the first electronic zoom processing unit 51 is a circuit that performs electronic zoom processing in real time, and the second electronic zoom processing unit 52 is a circuit that performs high quality electronic zoom processing.
[0105]
The image signal output from the CCD 1 of the imaging unit is passed to the analog signal processing unit 2 and subjected to γ correction, white balance adjustment, and the like. The output of the analog signal processing unit 2 is converted into a digital signal by an A / D converter 3 and input to a digital signal processing unit 4 where a predetermined process is performed.
[0106]
At the time of photographing, when the photographer selects the enlarged photographing mode by operating the zoom magnification setting unit 140, the zoom function selecting unit 141 selects whether to use only the optical system zoom or to use both the optical system zoom and the electronic zoom. I do. When the zoom function selecting unit selects the latter, the zoom function selecting unit further selects the respective magnifications of the optical system zoom and the electronic zoom.
[0107]
When the electronic zoom is selected, the first electronic zoom processing unit 51 performs interpolation processing of the magnification selected by the zoom function selection unit 141 in real time, and outputs an interpolated image to the video recording unit 81 and the electronic viewfinder 100. .
[0108]
Further, in a state where the electronic zoom is operating, if the user selects the still image recording / storing operation by operating the still / continuous shooting setting unit 131, the image is temporarily input to the frame memory 120. The second electronic zoom processing unit 52 that performs the interpolation process performs an interpolation process such as a higher-order interpolation to electronically enlarge the image in order to obtain a high-quality image.
[0109]
Moving pictures and still pictures are stored in a video tape / digital tape or optical disc detachably / exchangeably housed / connected to a video movie camera via a zoom / still picture mixing circuit 150 and a picture recording unit 81 as shown in FIG. For example, a method of serially recording a moving image and a still image on a video recording medium such as the above is conceivable.
[0110]
Also, as shown in FIG. 15, a moving image is recorded on a video recording medium such as a video tape, digital tape, or optical disk via a moving image recording IF 160 and a video recording unit 81, and a still image is recorded via a still image recording IF 161. It is also possible to adopt a configuration in which an image is recorded on an image recording medium such as an IC card 82 separately from the image recording video tape.
[0111]
In a method of recording a still image on another image recording medium such as an IC card, the relative image position changing unit 11 is driven to obtain a high-resolution still image. However, since the relative imaging position changing means 11 is a mechanical drive, it takes time to obtain one still image. In order to record a moving image on a video recording medium during photographing using the relative imaging position changing means 11, the image is stored in a frame memory at each moving position of the relative imaging position changing means 11. The moving image processing can be continued by generating an image at a required pixel position using a high-speed electronic zoom for a moving image mode at each position and generating an image at a required pixel position.
[0112]
FIG. 16 shows a flow of a process for obtaining one still image. T is one operation period of the relative imaging position changing unit, R is a reading period from the CCD and the frame memory, M is a moving period of the relative imaging position changing unit, W is a writing period to the frame memory, and P is a writing period. The processing period O in each processing unit is an image output period.
[0113]
In the still image processing unit, for example, when the relative imaging position is shifted between the sides of the square lattice formed by the pixels, in order to obtain this relative position, the relative imaging position changing unit 11 is moved in the horizontal and vertical directions. The relative imaging position changing unit 13 first moves in the horizontal direction to obtain data between horizontal pixels, and then moves in the vertical direction to obtain data between vertical pixels. At this time, the processing in the horizontal direction can be started after the end of the period of W2, and if the period of W3 has already ended after this processing, the processing in the vertical direction may be subsequently performed. If the period of W3 has not ended yet, the processing in the vertical direction is performed after the end of the period. Thereafter, after performing the entire processing such as density conversion, noise removal or feature extraction, and recognition, a still image is output.
[0114]
In this processing, in order to reconstruct a still image obtained by the relative imaging position changing means 11, a plurality of obtained still images are temporarily pooled in a frame memory and then subjected to non-real time processing. For this reason, even if the electronic zoom is further selected at this time, since the processing may be performed in this frame memory, there is no need to perform high-speed processing, and the processing circuit is simplified.
[0115]
When a still image record is printed by a video printer or the like, a still image portion must be searched for because a still image portion is mixed in a moving image in a conventional recording method. In this way, by recording on a separate medium, it is easy to search for a video to be printed, and since each image file is an independent image file, handling on other media is also easy.
[0116]
It is also conceivable to perform image compression before recording and saving in order to save the recording storage medium. In the recording and storage, if moving images and still images are recorded serially on a video tape or the like as described above, if the compression method is video coding, if moving images and still images are recorded separately, Encoding may be performed for each of the moving image and the still image.
[0117]
(2) <Fourth embodiment>
FIG. 17 is a block diagram showing a schematic configuration of a so-called electronic camera system for digitally recording a still image according to a fourth embodiment of the present invention (claim 3). As shown in the figure, the electronic camera system includes an imaging unit 201, an analog signal processing unit 202, an A / D converter 203, a digital signal processing unit 204, a switching device 209, and a simple electronic zoom process connected to the switching device 209. Unit 251, video display circuit 216, viewfinder 208, output terminal of the video display circuit 216, frame memory 210 connected to the switching device 209, pre-processing unit 214, high-quality electronic zoom processing unit 252, post-processing unit 215 , An image compression unit 206, an image recording unit 207, a shutter button 213, and a zoom magnification selection unit 212. The imaging unit 201 is imaged by an optical system including a lens, a shutter (not shown), and the like. It has a photoelectric conversion element such as a CCD for photoelectrically converting an image.
[0118]
The image signal output from the CCD of the imaging unit 201 is passed to the analog signal processing unit 202, where γ correction and white balance adjustment are performed. The output of the analog signal processing unit 202 is then subjected to analog-to-digital conversion by an A / D converter 203 and input to a digital signal processing unit 204.
[0119]
Then, when the electronic zoom is selected using the zoom magnification selection unit 212, in the electronic zoom alone type as shown in FIG. 17, the simple electronic zoom processing unit 251 performs the zoom processing of the zoom magnification selected by the user in real time. Is displayed on the viewfinder 208.
[0120]
Further, when recording of an image is selected by the photographer using the shutter button 213 at an arbitrary zoom magnification, the switching device 209 is switched to once input the image to the frame memory 210, and the high-quality electronic zoom processing unit 252 At this time, in order to obtain a high-quality image, electronic zoom processing such as higher-order interpolation is performed to electronically enlarge the image.
[0121]
Note that, in an electronic still camera using both optical zoom and electronic zoom as shown in FIG. 18, a zoom function selection unit 211 is further provided in the configuration of FIG. 17, and this zoom function selection unit 211 controls only the optical system zoom. What is necessary is just to select whether to use the optical system zoom or the electronic zoom together. When the zoom function selection unit 211 selects the latter, the zoom function selection unit 211 further selects the respective magnifications of the optical system zoom and the electronic zoom. The magnification selected by the user is sorted, and the angle of view information corresponding to the zoom magnification determined here is sent from the simple electronic zoom processing unit 251 to the viewfinder 208.
[0122]
The pre-processing unit 214 in FIG. 17 (and FIG. 18) is a process for making the electronic zoom process effective. An example of this process is a high-frequency emphasis process performed to supplement the low-pass characteristic of the interpolation process. There is. The post-processing unit 215 is an auxiliary process of the electronic zoom process. As an example, there is a process of smoothing jagged edges in a zoom image.
[0123]
The enlarged video is input to the image compression unit 206. Here, high-efficiency compression is performed by color still image coding. The compressed video is recorded on a digital image recording medium 207 such as a memory pack that is detachably housed and connected to the electronic camera body, for example, an IC card.
[0124]
Since real time performance is required in the zoom processing of a video movie, it is often performed by simple interpolation such as linear linear interpolation. However, this processing has a low-pass characteristic as shown in FIG. 19B, resulting in an image with noticeable blur. In addition, since the image is a still image, such a simple process causes not only blurring but also jaggedness at an edge in a zoomed image.
[0125]
In order to improve this, a higher-order interpolation method such as a cubic convolution interpolation method can be considered. The third-order convolution interpolation method is a method in which a sampling function is approximated by a polynomial and convolved with an original data sequence. To perform two-dimensional cubic convolution interpolation on a two-dimensional image, 16 sampling points are required. . On the other hand, the amount of calculation is at least four times as much as that of the two-dimensional linear primary interpolation using four sample points.
[0126]
In order to provide a photographer with confirmation of the angle of view of a zoom image using an electronic viewfinder that does not use an optical system, an electronic zoom circuit that operates in real time is required. However, in order to perform electronic zoom in a process with a large amount of calculation such as higher-order interpolation, the processing circuit must be speeded up, and a dedicated high-speed processor is required. However, if the processing is performed at a low speed in non-real time, the configuration of the processing circuit is simplified.
[0127]
Therefore, by providing two electronic zoom processing functions as in the present invention, either of the requirements can be selected by selecting simple and high-speed processing in real time and non-real-time and high-quality processing in storage and storage. Can be performed.
[0128]
Also, as shown in FIG. 20, an electronic zoom circuit 205 sharing these components is provided in place of the simple electronic zoom processing unit 251 and the high image quality electronic zoom processing unit 252 of FIG. 17, and the two types of processing are shared by using the electronic zoom circuit 205. This can prevent the circuit size from increasing. For example, when the third-order convolution interpolation method is used, four line memories 304 to 306 are used as the electronic zoom processing unit 205 as shown in FIG. 21, and the first and second coefficient determinations are performed on 16 sample pixels. The interpolation values are determined by multiplying weights using the multipliers 308 and 309 and the multipliers and adders. In the moving image mode, linear primary interpolation may be performed by using two of the four line memories.
[0129]
Unlike a conventional film-type camera, an electronic still camera does not require a mechanical operation such as winding of a film, so that high-speed continuous shooting is possible. In this high-speed continuous shooting, there is a possibility that digital signal processing that requires a large amount of calculation and takes a long processing time, such as the electronic zoom and the pre / post process of the electronic zoom, cannot support continuous shooting. Therefore, when the processing speed cannot keep up, the internal memory 217 as shown in FIG. 22 or the removable image recording medium 207 such as an IC card as shown in FIG. These buffering methods using a buffer memory can be considered.
[0130]
Further, as shown in FIG. 24, a buffer memory 312 is provided in a stage preceding the frame memory 210, and when the continuous shooting mode is selected, the digital signal processing output may be temporarily stored in one block of the buffer memory 312 in the form of a frame image. good. These blocks are managed by the system, and continuously shot images are stored in the buffer memory 312 in the form of a continuous shooting sequence in which image blocks are arranged. The image at the head of this continuous shooting sequence is loaded into the frame memory 210, or data is directly sent to the electronic zoom circuit to perform processing such as electronic zoom. The buffer memory 312 is divided into blocks for each image file, and when an image is loaded into the frame memory 210, an empty flag is set to notify the system that this block is empty. As a result, this block can be used again in the next continuous shooting sequence. If the processing of the previous continuous shooting sequence has not been completed and remains in the buffer memory 312, the system secures an area in the buffer memory 312 except for the block where no empty flag is set. At this time, the system limits the continuous shooting sequence length based on the remaining capacity of the buffer memory 312. If the photographer attempts to shoot continuously beyond this limit, the system will lock the shutter button 213 to prevent overwriting.
[0131]
After the zoom image is compressed, it is stored in a recording medium such as an IC memory card. FIG. 25 shows an example of the image file. As described above, the header is provided in the image file, and the size, date and time, shooting status, and the like of the image are recorded in this portion, and the fact that the electronic zoom has been performed by the electronic zoom and the magnification thereof are also recorded. When the user uses the electronic zoom function built into the electronic still camera as a zoom engine for an image captured using the electronic zoom, or performs electronic zoom processing again using the electronic zoom function of the external image processing apparatus. In addition, the user is warned that the original image has already been zoomed by the electronic zoom, and that the image quality will be further degraded by this processing, and output from the product of the electronic zoom magnification recorded in the header and the electronic zoom magnification to be performed. The user is also warned about the degree of image quality degradation to be performed.
[0132]
<Fifth embodiment>
FIG. 26 is a block diagram showing a schematic configuration of a so-called video movie camera having a digital still recording mode according to the fifth embodiment of the present invention. The electronic camera system includes an imaging unit 201, an analog signal processing unit 202, an A / D converter 203, a digital signal processing unit 204, a first switching device 209, a simple electronic zoom processing unit 251 connected to the switching device 209, A video display circuit 216, a viewfinder 208, an output terminal of the video display circuit 216, a DL 219 downstream of the video display circuit 216, a frame memory 210 connected to the first switching device 209, a preprocessing unit 214, A second switching device 220 for selecting and transmitting the outputs of the zoom processing unit 252, the post-processing unit 215, the DL 219, and the post-processing unit 215; a video recording unit 218; a shutter button 213; a still / continuous shooting setting unit 332; 211, a zoom magnification setting unit 212.
[0133]
The image signal output from the CCD of the imaging unit 201 is passed to the analog signal processing unit 202, where γ correction and white balance adjustment are performed. The output of the analog signal processing unit 202 is then subjected to analog-to-digital conversion by an A / D converter 203 and input to a digital signal processing unit 204.
[0134]
When the photographer operates the zoom magnification setting unit 212 to select the enlarged photographing mode during photographing, the zoom function selecting unit 211 selects whether to use only the optical system zoom or to use both the optical system zoom and the electronic zoom. . When the zoom function selection unit 211 selects the latter, the zoom function selection unit 211 further selects the respective magnifications of the optical system zoom and the electronic zoom.
[0135]
When the electronic zoom is selected, the simple electronic zoom processing unit 251 performs the electronic zoom processing of the magnification selected by the zoom function selection unit 211 in real time, and outputs a zoom image to the video recording unit 218 and the electronic viewfinder 208. .
[0136]
When the photographer operates the shutter button 213 to select a still image recording and saving operation while the electronic zoom is operating, the image is temporarily input to the frame memory 210. Then, in order to obtain a high-quality image, the high-quality electronic zoom processing unit 252 performs electronic zoom processing such as higher-order interpolation to electronically enlarge the image.
[0137]
For storing moving images and still images, as shown in FIG. 26, moving images and still images are serially recorded on a video recording medium such as a video tape, a digital tape or an optical disk which is detachably housed and connected to a video movie camera. There is a method.
[0138]
Further, as shown in FIG. 27, a method of recording a still image on an image recording medium 207 such as an IC card separately from a video tape for recording a moving image can be considered.
[0139]
In this processing, since the non-real-time processing is performed after the still images are once pooled in the frame memory 210, there is no need to perform high-speed processing, and the processing circuit is simplified. A time difference between the moving image and the moving image is not a problem because it is recorded on another medium. Conventionally, still image recording has been printed by a video printer or the like. However, in a conventional recording method, since a still image portion is mixed in a moving image, it is difficult to search for a still image portion. By recording on a different medium in this way, it is easy to search for a video to be printed, and since each is an independent image file, handling on other media is easy.
[0140]
In a video camera having a continuous shooting function, when the electronic zoom is selected as the zoom function, the still image high-quality electronic zoom is used. At this time, if the processing speed of the electronic zoom circuit cannot keep up, the buffer is stored in a removable image recording medium such as an internal memory or an IC card or a buffer memory of a combined type of the internal memory and the IC card as in the fourth embodiment. Ring and perform high quality electronic zoom processing.
[0141]
In a still image recording mode in which a moving image and a still image are stored in different media, there are two types of recording methods for a moving image recording medium, a still image recording mode and a moving image recording mode. In the still image recording mode, a still image is also recorded on a moving image recording medium. The image output from the electronic zoom circuit including the electronic zoom magnification of 1 is temporarily stored in a frame memory, and the still image is recorded on the moving image recording medium. The moving image recording green mode records a moving image output in parallel from the simple electronic zoom processing unit 251 on the moving image recording medium even when the still image recording / storing process is being performed.
[0142]
It is also conceivable to perform image compression before recording and saving in order to save the recording storage medium. In the recording and storage, if moving images and still images are recorded serially on a video tape or the like as described above, if the compression method is video coding, if moving images and still images are recorded separately, Encoding is performed on each of a moving image and a still image.
[0143]
(3) <Sixth embodiment>
FIG. 28 shows a configuration of an imaging apparatus according to a sixth embodiment of the present invention (claim 4). This imaging apparatus includes an optical finder 401, a solid-state imaging device 403, a photographing lens 402 for forming an optical image on the solid-state imaging device 403, a distance measurement circuit 407 for measuring a subject distance, and a predetermined measurement based on a measurement result of the subject distance. It comprises a signal processing circuit 404 that performs signal processing, a recording circuit 405, and a recording medium 406.
[0144]
First, in this configuration, the optical viewfinder 401 and the photographing lens 402 are independently arranged to simplify the optical system, but parallax occurs due to the configuration. Therefore, the field of view set by the optical viewfinder 401 does not match the image obtained from the solid-state imaging device 403. Here, the occurrence of parallax will be described with reference to FIG. In this figure, it is assumed that the imaging device 413 is provided with the taking lens 402 and the optical finder 401 in a positional relationship as shown in FIG. In the following description, it is assumed that the photographing lens and the optical finder are arranged independently in the horizontal direction as shown in this figure, and the photographing lens is on the left side and the optical finder is on the right side when viewed from the subject side. According to this arrangement, parallax occurs in the horizontal direction. First, in this arrangement, as shown in (b), the subject distance l is the closest possible distance l1, and the right end of the optical finder 401 as viewed from the subject side coincides with that of the photographing lens 402. Set the angle of view. In this case, when the subject distance l is sufficiently larger than the closest distance l1, the recordable area y1 of the photographing lens and the view field y2 of the finder almost match as shown in FIG. Here, a region 417 is a recordable region of the photographing lens, and a region 418 is a region on the solid-state imaging device where the view fields of the viewfinder coincide with each other, all of which are seen from the subject side. Therefore, parallax hardly causes a problem, and the visual field in the optical viewfinder 401 can be recorded as it is. On the other hand, when the object distance 1 becomes the closest distance 11 or in the vicinity thereof, as shown in (d), an area where the recordable area 419 of the taking lens coincides with the viewfinder 420 and the viewfinder 420. (420) is significantly different. This phenomenon is exactly the same as a silver halide film compact camera.In the case of a compact camera, a short-distance correction frame is set in the viewfinder to indicate that the recording area is limited, but the recording is limited in the viewfinder's field of view. Areas other than the area are also displayed, making it difficult to confirm the composition to be recorded. In addition, there is a problem that a subject to be photographed is inadvertently missed.
[0145]
In order to solve such a problem, according to the present invention, as shown in FIG. 28, a distance measuring circuit 407 for measuring the subject distance is provided, and the field of view of the optical finder 401 and the recording of the photographing lens 402 at a close distance at which photographing is possible. In order to correct the displacement due to the parallax of the area, the electric field output from the solid-state imaging device 403 matches the field of view of the finder 401 based on the subject distance measured by the distance measurement circuit 407 from among the electric signals output from the solid-state imaging device 403. Only the signal of the area is taken out, and enlargement processing is performed by the signal processing circuit 404. For example, in parallax correction at the shortest distance as shown in FIG. 29, the area 420 corresponding to the finder visual field on the solid-state imaging device may be enlarged by y1 / y2 times.
[0146]
In this way, an image without parallax can be recorded even at the closest shooting distance where parallax has conventionally become a problem due to electronic parallax correction.
[0147]
FIG. 30 shows an example in which a reproduction circuit 427 is further built in the device having the same configuration as that of FIG. As described above, this imaging device can record an image without parallax even at a short distance, and can reproduce immediately by connecting an external monitor by incorporating a reproduction circuit.
[0148]
FIG. 31 shows an example in which a reproduction circuit 427 and a small reproduction monitor 438 are further built in the device having the same configuration as that of FIG. As a result, the recorded image can be confirmed immediately after shooting, and image recording without parallax can be performed as in the above-described example, and in addition, failure in shooting can be reduced.
[0149]
<Seventh embodiment>
FIG. 32 shows the configuration of an imaging device according to the seventh embodiment of the present invention. This imaging device includes an optical zoom finder 441, a photographing lens 402, a solid-state imaging device 403, a magnification selection circuit 442, a signal processing circuit 404a, a recording circuit 405, a recording medium 406, and a distance measurement circuit 407. That is, the basic configuration is the same as that of the imaging apparatus in FIG. 28, but this embodiment is characterized in that the zoom finder 441 is used as the optical finder.
[0150]
In this configuration, the zoom magnification set by the zoom finder 441 is input to the magnification selection circuit 442, and the subject distance measured by the distance measuring means 407 is also input to the magnification selection circuit 442. A magnification selection circuit 442 that performs enlargement control compares the enlargement magnification calculated from the subject distance with the zoom magnification and selects the larger one, and the signal processing circuit 404a selects the solid-state imaging device 403 in an area that matches the field of view of the viewfinder 441. Take out the output of and expand it. The image signal enlarged by the signal processing circuit 404a is recorded on the recording medium 406 via the recording circuit 405.
[0151]
FIG. 33 shows the relationship between the regions in this operation. Here, a region 451 is a region where the solid-state imaging device can record, a region 452 is a region on the solid-state imaging device that matches the field of view of the optical finder, a region 453 is a zoom region by a zoom operation, and a region 454 is a region on the solid-state imaging device. 5 shows a state where the area 452 corresponding to the field of view of the optical finder is enlarged to the full recording area (451). In this example, a case where the zoom magnification is larger than the enlargement magnification determined by the subject distance is shown.
[0152]
On the other hand, when the zoom magnification is smaller than the magnification for parallax correction, the image signal of the solid-state imaging device is magnified by the magnification for parallax correction, contrary to FIG.
[0153]
Here, if the parallax correction and the zoom operation are performed independently, the enlargement for the parallax correction is performed based on the subject distance by the distance measurement circuit, and then the enlargement operation is performed according to the magnification of the zoom finder. Two-stage processing is required, and as a result, processing becomes complicated and processing time increases. On the other hand, according to the present invention, the parallax correction and the zoom operation are performed in a single enlarging operation by selecting one of the two higher enlarging magnifications before performing the enlarging process. And simplification of processing and reduction of processing time can be realized.
[0154]
<Eighth embodiment>
FIG. 34 shows a configuration of an imaging apparatus according to the eighth embodiment of the present invention. This imaging apparatus includes an optical zoom finder 441, a photographing lens 402, a solid-state imaging device 403, a magnification selection circuit 442, an electronic zoom processing circuit 466, a signal processing circuit 467, a recording circuit 405, a recording medium 406, and a distance measuring circuit 407. You. That is, the basic configuration is the same as that of the imaging apparatus in FIG. 32, but in this example, a processing circuit 466 for performing electronic zoom as enlargement processing is provided. Note that the signal processing circuit 467 is a circuit that performs other predetermined signal processing.
[0155]
In this configuration, an electronic zoom processing circuit 466 for electronically enlarging the output signal of the solid-state imaging device 403 in accordance with the magnification of the optical zoom finder 441 obtains an image equal to the field of view of the zoom finder 441, and then the recording circuit 405 After that, it is recorded on the recording medium 406.
[0156]
In order to perform parallax correction in shooting at a close distance, the subject distance is measured by the distance measuring unit 407, and the resulting magnification is input to the magnification setting circuit 442 together with the zoom magnification of the zoom finder 441. The magnification setting circuit 442 sets a magnification for performing the electronic zoom processing with a zoom magnification and an enlargement magnification for parallax correction. With such a configuration, the processing circuit for the zoom operation and the processing circuit for parallax correction can be shared, and the circuit can be simplified and the power consumption can be reduced.
[0157]
<Ninth embodiment>
FIG. 35 shows the configuration of the imaging apparatus according to the ninth embodiment of the present invention. This imaging device includes an optical finder 401, a photographing lens 402, a solid-state image sensor 403, a distance measuring circuit 407, a photographing warning circuit 478, a signal processing circuit 404c, a recording circuit 405, and a recording medium 406. That is, the basic configuration is the same as that of the imaging apparatus in FIG. 28, but this embodiment is characterized in that a shooting warning circuit 478 is provided.
[0158]
In this embodiment, when the subject distance measured by the distance measuring means 407 is shorter than the shortest possible distance for photographing, a photographing warning circuit 478 displays that photographing is impossible. This makes it possible to detect the occurrence of a significant parallax between the field of view of the optical viewfinder at the time of shooting and the image recorded by the solid-state imaging device 403 and the deterioration of the optical characteristics of the shooting lens, and to always perform shooting in good shooting conditions. Is possible.
[0159]
<Tenth embodiment>
FIG. 36 shows the configuration of the imaging apparatus according to the tenth embodiment of the present invention. This imaging device includes an optical finder 401, a photographing lens 402, a solid-state imaging device 483, a distance measurement circuit 407, a signal processing circuit 404d, a recording circuit 405, and a recording medium 406. That is, the basic configuration is the same as that of the imaging device of FIG. 28, except that the solid-state imaging device 403 having the same aspect ratio as the optical finder 401 is used in the example of FIG. The point is that a solid-state imaging device 483 having an aspect ratio larger than the aspect ratio is adopted.
[0160]
As a basic operation, an object distance is measured by the distance measuring circuit 407, an area corresponding to the field of view of the optical finder 401 is taken out on the solid-state image sensor 483 based on the distance, and the signal processing circuit 404d performs enlargement processing. The enlarged image signal is recorded on the recording medium 406 via the recording circuit 405.
[0161]
Here, FIG. 37 shows the relationship between the field of view of the finder and a region on the solid-state imaging device that coincides therewith. (A) shows a case where an image was taken with a solid-state image sensor having an aspect ratio substantially equal to the viewfinder visual field, and (b) shows a case where an image was taken with a solid-state image sensor having an aspect ratio larger than the viewfinder visual field. First, description will be made with reference to FIG. It is assumed that a photographing lens 491, an optical finder 492, and an imaging surface 493 of a solid-state imaging device are arranged as shown in the figure, and it is assumed that a subject is at a closest distance l1. Assuming that the length of the subject in the horizontal direction is y1, an image is formed on the imaging surface with a length of y2 correspondingly. On the other hand, assuming that the length y3 on the imaging surface when the subject distance is sufficiently larger than the maximum distance, an area corresponding to the finder field on the solid-state image sensor is taken out at the minimum distance and is expanded by y3 / y2 times. Will be. At this time, the number of pixels assigned to the enlarged area becomes smaller than the total number of pixels, and when the number of pixels of the solid-state imaging device is relatively small due to the enlargement, there is a problem that the image is significantly deteriorated.
[0162]
In the present embodiment, this problem is solved by using a solid-state imaging device having an aspect ratio larger than that of the viewfinder. This will be described in (b). It is assumed that a photographing lens 501, an optical finder 502, and an imaging surface 503 of a solid-state imaging device are arranged as illustrated. As in (a), the closest distance is 11, the horizontal length of the subject is y1, the corresponding length on the imaging surface is y2 ', and the length of the imaging surface when the subject distance is sufficiently larger than the minimum distance. Let y3 '. Increasing the aspect ratio of the solid-state image sensor increases the angle of view of the taking lens. If this angle of view is set to sufficiently cover the viewfinder field even at the shortest distance, the lengths y2 'and y3' on the photographing surface can be made substantially the same. From this, the number of pixels allocated to this area is also the same.
[0163]
FIG. 38 shows how a region that matches the field of view of the finder changes depending on the aspect ratio of the solid-state imaging device. (A) shows the case where the field of view of the finder is equal to the aspect ratio of the solid-state imaging device, and (b) shows the case where the solid-state imaging device has a larger aspect ratio than the finder. In the figure, areas 511 and 514 are areas recordable by the solid-state image sensor, areas 512 and 515 are areas that match the field of view of the finder when the object distance is sufficiently larger than the close distance, and areas 513 and 516 are areas at the closest distance. This is an area that matches the field of view of the viewfinder.
[0164]
As described above, the magnification y3 '/ y2' obtained by taking out the area that matches the field of view of the finder on the solid-state imaging device depending on the subject distance becomes almost 1, and recording and photographing can be performed with almost no enlargement processing. Does not occur.
[0165]
<Eleventh embodiment>
FIG. 39 shows the configuration of the imaging apparatus according to the eleventh embodiment of the present invention. This imaging device includes an optical finder 422, a solid-state imaging device 483, an imaging lens 402, a distance measurement circuit 407, a wide / standard switching circuit 421, a signal processing circuit 404e, a recording circuit 405, and a recording medium 406. That is, the basic configuration is the same as that of the image pickup apparatus of FIG. 36, except that an optical finder capable of switching the field angle of view is used and a wide / standard switching circuit 421 for controlling the switching is provided. .
[0166]
In this embodiment, an image is recorded using a solid-state image sensor 483 having a large aspect ratio. As for the basic operation, the object distance is measured by the distance measuring circuit 407, whereby the recording area on the solid-state image sensor 483 is matched with the field of view of the viewfinder 422, but the photographing distance is such that parallax can be ignored. , A wide image can be recorded by using all the photographable areas on the solid-state image sensor 483. When a wide image is recorded, the field angle of view of the optical finder is adjusted to be wide by the photographer by the wide / standard switching circuit 421 in FIG. Here, the standard indicates a case where the aspect ratio is reduced and the angle of view is narrowed. In this case, since recording is performed on the entire surface of the solid-state imaging device, whether the parallax from the finder field can be ignored is determined based on the subject distance obtained by the distance measuring circuit 407. As a result, if the parallax is at a negligible subject distance, a wide image can be recorded as it is. If the parallax is at a subject distance that cannot be ignored, the angle of view of the optical viewfinder 422 switches to the standard. At this time, the field of view of the viewfinder 422 is limited by the light shielding frame. Then, by taking out the recording area on the solid-state imaging surface 483 according to the subject distance so as to match the field of view of the finder, it is possible to record an image with parallax correction without image quality deterioration. In addition, shooting at a standard angle of view can be recorded at a subject distance where parallax can be ignored, depending on the setting of the photographer.
[0167]
FIG. 40 shows the recording area on the solid-state image sensor 483 and the field of view of the viewfinder 422 in the shooting state. (A) is a recording area 532 on the imaging surface of the solid-state imaging element at the time of wide-screen imaging, (b) is a viewfinder field of view at the time of wide-screen imaging, (c) is a recording area on the imaging surface when the aspect ratio is reduced, (D) is the viewfinder visual field when the aspect ratio is reduced, (e) is the recording area on the imaging surface in close-up photography, and (f) is the viewfinder visual field at close-up distance. In the figure, areas 531, 533 and 535 are recordable areas of the imaging surface, areas 537, 539 and 543 are viewing frames, and areas 538, 540, 541 and 543 are light-shielding for limiting the viewing frame to reduce the aspect ratio. It is a frame.
[0168]
By providing such a function, it is possible to perform parallax correction without image quality degradation and always record a stable image even when selecting an angle of view according to a subject and shooting at a close distance.
[0169]
(4) <Twelfth embodiment>
FIG. 41 shows a configuration of an imaging apparatus according to a twelfth embodiment of the present invention (claim 5). This imaging apparatus includes an optical zoom finder 601, a solid-state imaging device 605, a photographing lens 604 for forming an optical image on the solid-state imaging device 605, a magnification detection unit 602, a magnification control unit 603, an electronic zoom processing circuit 606, and a recording circuit 607. , And a recording medium 608.
[0170]
In this configuration, the magnification of the optical zoom finder 601 that determines the photographing area is detected by the magnification detector 602, and the value obtained by multiplying the magnification of the photographing lens 604 by the magnification of the electronic zoom processing circuit 606 is equal to the magnification of the optical zoom finder 601. Control is performed by the magnification control means 603 so that they match. At this time, the magnification is set by giving priority to the magnification of the photographing lens 604, and the electronic zoom magnification is set to a value obtained by dividing the magnification of the optical zoom finder by the magnification of the photographing lens. With this setting, the image signal incident from the photographing lens 604 and photoelectrically converted by the solid-state imaging device 605 is enlarged by the electronic zoom processing circuit 606, and an image signal having the same magnification as that of the optical zoom finder 601 can be obtained. I can do it. This image signal is thereafter recorded on the recording medium 608 via the recording circuit 607.
[0171]
Conventionally, when the zoom magnification is increased, a problem arises in that the photographing optical system becomes large.However, in the present invention, the optical system is miniaturized by sharing the zoom magnification between the magnification of the photographing lens and the electronic zoom magnification. The image quality with little image quality degradation can be recorded even at a high magnification by the electronic zoom processing. Further, by confirming the photographing area with the optical zoom finder, the power consumption can be reduced as compared with the case where the electronic finder is used.
[0172]
FIG. 42 shows an example in which a reproduction circuit 619 is further incorporated in the apparatus shown in FIG. The above-described imaging apparatus shown in FIG. 41 performs only recording, thereby simplifying the configuration. Therefore, the imaging apparatus is suitable for miniaturization, but requires a separate reproducing apparatus for reproduction. Therefore, in order to confirm and reproduce the recorded image after photographing, it is necessary to carry a reproducing device, which is complicated. Here, by incorporating the reproduction circuit 619 in the image pickup apparatus main body, the complexity in use is eliminated, and if a reproduction output is connected to an external monitor, the recorded image can be reproduced immediately.
[0173]
FIG. 43 shows an example of a configuration in which a monitor 630 is further incorporated in the apparatus shown in FIG. With the configuration of FIG. 42, it is possible to reproduce the imaging device alone, but since a monitor is required outside, it is necessary to reproduce the image at a place where the monitor is provided or to prepare a separate monitor. This is inconvenient when checking. Here, in order to solve this problem, a small monitor 630 is mounted on the imaging apparatus main body, and a reproduced image by the reproducing circuit 619 is reproduced on the monitor 630. The image reproduced here is not for viewing but for confirming whether or not the photographing area and the image are normally recorded. Therefore, characteristics such as resolution are not so strict, and are realized by using a monitor such as a liquid crystal which is small and consumes low power. With such a configuration, it is easy to confirm an image immediately after shooting, and trouble such as a failure in shooting can be prevented.
[0174]
FIG. 44 shows a configuration in which a luminance signal reproducing circuit 640 is further added to the image pickup apparatus of FIG. 43 so that only the luminance signal of the image signal can be reproduced and displayed on the built-in monitor 630. 619 and the built-in monitor 630 can be switched and used.
[0175]
That is, the embodiment shown in FIG. 43 makes it easy to confirm a photographed image, but has a configuration in which normal reproduction output signals (luminance signal and color signal) are input to the built-in monitor. Therefore, the power consumption of the imaging apparatus as a whole is increased as compared with the case where there is no built-in monitor. Here, a luminance signal reproducing circuit 640 having lower power consumption than the reproducing circuit 619 is provided for image confirmation separately from the reproducing circuit 619 for performing normal reproduction, and the image is displayed on the built-in monitor 630 using this. Here, the luminance signal reproducing circuit 640 and the reproducing circuit 619 are selected by the changeover switch 42, and the power supply of the unselected circuit is also turned off. By doing so, an imaging device with reduced power consumption can be realized.
[0176]
<Thirteenth embodiment>
FIG. 45 shows the configuration of the imaging apparatus according to the thirteenth embodiment of the present invention. This imaging apparatus includes an optical zoom finder 601, a photographic lens 604, a solid-state imaging device 605, a magnification detection unit 602, a magnification control unit 603, an electronic zoom processing circuit 606, a recording circuit 607, a magnetic tape 658, a reproduction circuit 619, and a monitor 630. Be composed. That is, the basic configuration is the same as that of the apparatus shown in FIG. 43, but here, it is configured so that a moving image can be recorded using a magnetic tape 608 as a recording medium.
[0177]
In this apparatus, the photographing is performed while the photographing area is determined by the optical zoom finder 601. At this time, the magnification of the optical zoom finder 601 is detected by the magnification detecting means 602 and then the photographing lens magnification and the electronic zoom magnification are determined by the magnification control means 603. Control. The magnification setting at this time determines the photographing lens magnification preferentially. That is, when the magnification of the optical zoom finder 601 is within the maximum magnification of the photographing lens 604, the electronic zoom magnification is fixed at 1 and control is performed only by the magnification of the photographing lens. On the other hand, when the magnification of the zoom finder 601 exceeds the magnification of the photographing lens 604, the photographing lens magnification is maximized, and the shortage is supplemented by the electronic zoom magnification. The image signal enlarged in the same manner as the optical zoom finder 601 is converted by the recording circuit 607 into a form recordable on the magnetic tape 658 and then recorded on the magnetic tape 658.
[0178]
The recorded image is reproduced by the reproduction circuit 619 and can be checked and viewed on the built-in monitor 630 or an external monitor.
[0179]
In this embodiment, the configuration in which the reproducing circuit 619 and the small monitor 630 are incorporated is shown. However, in any of the configurations similar to the above-described configurations shown in FIGS. Is possible. In this embodiment, a magnetic tape is used as a recording medium. However, the present invention is not limited to a magnetic tape, and may be an optical disk or a magnetic disk used for recording a moving image.
[0180]
<Fourteenth embodiment>
FIG. 46 shows the configuration of the imaging apparatus according to the fourteenth embodiment of the present invention. This imaging apparatus includes an optical zoom finder 601, a photographing lens 604, a solid-state imaging device 605, a magnification detection unit 602, a magnification control unit 603, an electronic zoom processing circuit 606, a recording circuit 607, a semiconductor memory 668, a reproduction circuit 619, and a monitor 630. Be composed. That is, the basic configuration is the same as that of the apparatus of FIG. 43, but here, the configuration is such that a still image can be recorded using the semiconductor memory 668 on the recording medium.
[0181]
Also in this embodiment, the operation of controlling the magnification of the optical zoom finder 601 to control the magnification of the photographing lens 604 and the magnification of the electronic zoom processing circuit 606 is the same as in the above-described moving image recording. The enlarged image is recorded in the semiconductor memory 668 via the signal recording circuit 607. Then, the image recorded in the semiconductor memory 668 is reproduced by the reproduction circuit 619 and reproduced by the built-in monitor 630 or the external monitor.
[0182]
Here, since the image signal is recorded as digital data in the semiconductor memory 668, there is no deterioration in the image quality even if repeated reproduction and dubbing are performed, and an extremely stable image is obtained because no mechanical mechanism is used at the time of recording and reproduction. be able to.
[0183]
In this embodiment, the configuration in which the reproduction circuit 619 and the small monitor 630 are incorporated is shown. However, in any of the configurations similar to the above-described FIGS. 41, 42, and 44 using a semiconductor memory as a storage medium, a still image Recording is possible.
[0184]
Further, the still image recording apparatus can be configured by using a medium other than a semiconductor memory such as a proppy disk, a magnetic tape, and an optical disk as a recording medium.
[0185]
<Fifteenth embodiment>
FIG. 47 shows the configuration of the imaging apparatus according to the fifteenth embodiment of the present invention. This image pickup apparatus includes an optical zoom finder 601, a photographing lens 604, a solid-state image sensor 605, a magnification detection unit 602, a magnification control unit 603a, an electronic zoom processing circuit 1 for moving image processing (676), and an electronic zoom processing circuit for still images. 2 (677), a moving image / still image switching 678, a switching device 679, a recording circuit 607, a magnetic tape 658, a reproducing circuit 619, and a monitor 630. That is, the basic configuration is the same as that of the apparatus in FIG. 43, but here, two electronic zoom processing circuits 676 and 677 are provided, and the electronic zoom signal processing is switched between moving image recording and still image recording. The configuration is such that both moving images and still images can be recorded on the magnetic tape 658.
[0186]
The magnification of the optical zoom finder 601 is detected by the magnification detection means 602, and the magnification of the photographing lens 604 and the magnification of the electronic zoom are controlled by the magnification control means 603. In this embodiment, the electronic zoom means includes two electronic zoom processing circuits 1 (676) for moving image processing and an electronic zoom processing circuit 2 (677) for still image processing. Switching between moving image / still image recording is performed by moving image / still image switching means 678 and a changeover switch 679, and then recorded on the magnetic tape 658 via the recording circuit 607. The image reproduced by the reproduction circuit 619 is displayed on a monitor. Here, since the processing time of the electronic zoom processing circuit 1 (676) for moving image processing is limited by the field frequency, the optimum processing within that time is selected. On the other hand, in the case of a still image, the processing time is not particularly limited, so that the electronic zoom processing circuit 2 (677) can achieve higher image quality and can perform considerably complicated processing. By switching between these two modes, optimal zoom processing can be performed for both moving images and still images, and high-quality images can be obtained.
[0187]
<Sixteenth embodiment>
FIG. 48 shows the configuration of the imaging apparatus according to the sixteenth embodiment of the present invention. The solid-state imaging device includes an optical zoom finder 699 including a focus adjustment unit 698, a half mirror 700, and a magnification unit 701, a photographing lens including a mirror 691, a magnification imaging unit 692, a solid-state imaging device 605, and a magnification detection unit 602. , A magnification control unit 603, an electronic zoom processing circuit 606, a recording circuit 607, a recording medium 608, a reproduction circuit 619, and a confirmation circuit 704.
[0188]
In FIG. 48, the incident light transmitted through the focus adjustment unit 698 shared by the optical zoom finder 699 and the photographing lens is split by the half mirror 700, and the magnification of the photographing lens is changed by the zooming unit 701 and the mirror 691 of the optical zoom finder 699. It is guided to the image unit 692. The optical image obtained from the zoom unit 701 of the optical zoom finder 699 is used for confirming a photographing area, and the optical image formed on the solid-state image sensor 605 by the photographing lens is subjected to electronic zoom processing after being photoelectrically converted.
[0189]
Subsequent operations are the same as those of the above-described embodiment, and therefore, description thereof will be omitted for simplification.
[0190]
Generally, an optical system including a video movie and a still camera is designed to be optimal at an infinite subject distance. This is based on the fact that in normal photographing, the subject distance is sufficiently large as compared with the inter-image distance of the optical system, and there is almost no problem even if it is assumed to be virtually infinity. In the case of a finite distance, which is a problem here, the characteristics including the defocus are corrected by using a macro lens or the like. Characteristic degradation when the subject distance is finite is a major problem of image quality degradation. Therefore, in the present embodiment, the optical zoom finder 699 and the first group of the photographing lens are shared to correct a focus shift which is a particularly significant factor in the characteristic deterioration, and the focus shift due to the subject distance is provided by providing a focus adjustment function. Was corrected to optimize the focus of the finder image in any state. In imaging devices, the resolution is determined by the number of pixels of the solid-state imaging device, and the resolution is insufficient compared to silver halide film.Therefore, in order to accurately record detailed information including characters, it is much closer than a still camera. You need to shoot at Therefore, by simultaneously adjusting the focus of the viewfinder and the photographing optical system as shown in the present embodiment, a high-quality image can be obtained in any photographing state.
[0191]
FIG. 49 shows another configuration example of the imaging apparatus according to the sixteenth embodiment of the present invention. This imaging apparatus includes a focus adjustment unit 698, a half mirror 716, an optical zoom finder including a magnification unit 712, a mirror 691, an imaging lens including a magnification imaging unit 692, a photometry circuit 718, a half mirror driving unit 717, and a solid-state imaging device. It comprises an element 605, a magnification detection means 602, a magnification control means 603, an electronic zoom processing circuit 606, a recording circuit 607, a recording medium 608, a reproduction circuit 619, and a confirmation circuit 704.
[0192]
The incident light transmitted through the focus adjustment unit 698 is split by the half mirror 716 and guided to the zoom unit 712 of the optical zoom finder by the zoom imaging unit 692 and the mirror 691 of the photographing lens. For this reason, the amount of light reaching the imaging surface of the solid-state imaging device 605 through the imaging lens is considerably reduced as compared with the amount of incident light. Therefore, when the shooting condition becomes dark, it is expected that the S / N of the shot image will be significantly degraded due to a shortage of light reaching the image sensor.
[0193]
In order to solve this problem, in the present embodiment, before recording, the light amount of the photographing situation is measured in advance by a light metering circuit 718, and this light amount is converted into the light amount reaching the image sensor after passing through a half mirror. When a required S / N ratio can be obtained, the half mirror is fixed regardless of whether a photographing area is set or recorded. On the other hand, when the light amount shortage is detected by the photometric circuit, the half mirror 716 performs normal spectroscopy at the time of setting the photographing area, and is flipped up by the half mirror driving circuit 717 at the time of recording. Since the incident light reaches the solid-state imaging device 605 through the taking lens without being attenuated by the flip-up operation, the S / N of the recorded image can be improved. With such a configuration, when the amount of incident light is sufficient, such as when shooting outdoors in the daytime, there is no movable part, and recording can be performed while confirming the subject. Further, the same level of sensitivity as in the related art can be maintained even in dark shooting conditions. Of course, as in all the embodiments, by adjusting the focus of the finder and the photographing optical system simultaneously, a high-quality image can be obtained in any photographing state.
[0194]
FIG. 50 shows still another configuration example of the imaging apparatus according to the sixteenth embodiment of the present invention. The image pickup apparatus includes a focus adjusting unit 698, a half mirror 736, an optical zoom finder including a zoom unit 712, a mirror 691, a photographing lens including a zoom image unit 692, a mirror flipping mechanism 737, a solid-state image sensor 692, and magnification detection. It comprises a unit 602, a magnification control unit 603, an electronic zoom processing circuit 606, a recording circuit 607, a recording medium 608, and a reproduction circuit 619.
[0195]
FIG. 50 shows an embodiment in which the half mirrors 700 and 716 are replaced with mirrors 736 in a configuration similar to that of FIGS. In this case, when setting a shooting area, the mirror 736 guides the incident light to the zoom unit 712 of the optical zoom finder, and during recording, the mirror flipping mechanism 737 flips the mirror 736 to guide the incident light to the zoom imaging unit 692 of the shooting lens. An image is captured by the solid-state image sensor 605. The following operation is the same as that of the above-described embodiment, and the description is omitted for simplification.
[0196]
Even in this case, by simultaneously adjusting the focus of the finder and the photographing optical system without lowering the sensitivity, a high-quality image can be obtained in any photographing state.
[0197]
<Seventeenth embodiment>
FIG. 51 shows the configuration of the imaging apparatus according to the seventeenth embodiment of the present invention. This imaging apparatus includes an optical zoom finder 601, a photographing lens 604, a solid-state imaging device 605, a lens driving unit 1 (752), a lens driving unit 2 (753), a zoom setting 755, a magnification detection unit 759, a semiconductor memory 758, a magnification control. It comprises a unit 603, an electronic zoom processing circuit 606b, a recording circuit 607, a recording medium 608, and a reproducing circuit 619.
[0198]
First, in the case of photographing using the zoom function, by operating the zoom setting unit 755, the lens group constituting the zooming unit of the optical zoom finder 601 is driven by the lens driving unit 2 (753) to obtain a desired zoom ratio. Set. When the zoom ratio is set, the zoom ratio is detected by the magnification detecting unit 759, and the result is sent to the lens driving unit 152 and the semiconductor memory 758. The lens driving unit 1 (752) sets the magnification by moving the lens group of the zoom unit of the photographing lens 604 based on the magnification obtained by the magnification detecting unit 759. As a setting method, when the magnification of the zoom finder 601 is equal to or less than the maximum magnification of the photographing lens, the magnification of the photographing lens 604 is controlled to match the magnification of the zoom finder 601. When the magnification of the zoom finder 601 is larger than the maximum magnification of the photographing lens 604, the magnification of the photographing lens 601 is fixed to the maximum. On the other hand, the magnification of the electronic zoom is stored in the memory 758, and a control signal is sent to the electronic zoom processing circuit 606b during recording.
[0199]
Here, the magnification stored in the memory 758 is determined as follows. First, when the magnification of the optical zoom finder 601 is equal to or smaller than the maximum magnification of the photographing lens 604, the magnification is stored as 1. Conversely, when the magnification of the zoom finder 601 is larger than the maximum magnification of the photographing lens 604, a value obtained by dividing the zoom finder magnification by the maximum magnification of the photographing lens is stored in the memory as an electronic zoom magnification.
[0200]
As described above, by using the magnification of the photographing lens 604 preferentially for the magnification setting, it is possible to realize recording with less image quality deterioration. In addition, since the electronic zoom magnification is stored in the memory 758 and a control signal is sent to the electronic zoom processing circuit 606b at the time of recording, the power of signal processing after the electronic zoom processing circuit 606b can be turned off at the time of setting a shooting area, so that power consumption is reduced. it can.
[0201]
<Eighteenth embodiment>
FIG. 52 shows the configuration of the imaging apparatus according to the eighteenth embodiment of the present invention. This imaging apparatus includes a half mirror 775, a mirror 771, an optical zoom finder 601, an imaging lens 604, a solid-state imaging device 605, a magnification detection unit 602, a magnification control unit 603, an electronic zoom processing circuit 606, a recording circuit 607, a recording medium 608, It is composed of a reproduction circuit 619.
[0202]
In this imaging device, after the incident light from the subject is split into two by a half mirror 775, the light is guided to an optical zoom finder 601 through a photographing lens 604 and a mirror 771. In the subsequent operation, the magnification set by the optical zoom finder 601 is detected in the same manner as in the above-described embodiment, and the magnification of the photographing lens and the electronic zoom are controlled so as to match the magnification.
[0203]
In this configuration, since the same incident light from the subject is branched, no parallax occurs as in the single-lens reflex type. Also, with a normal single-lens reflex type, after light is once incident on the taking lens, it is guided to the finder by the mirror, so the back focus of the taking lens must always be longer than the space where the mirror is placed, but this configuration has limitations There is no. In general, the back focus is shorter than the focal length in an ordinary lens.
[0204]
In the case of a solid-state imaging device, since the imaging area is small, the focal length becomes considerably short (about 6 to 10 mm at a standard angle of view) in order to obtain an angle of view comparable to that of a silver halide film, and there is sufficient backing for mounting a mirror. It's pretty hard to focus. For this reason, a lens type that makes the back focus longer than the focal length must be limited and adopted, but sufficient optical characteristics are not always obtained. In the present embodiment, by eliminating the physical back focus limitation, a high-quality image can be photographed by selecting a photographing lens from many optically excellent lens types.
[0205]
<19th embodiment>
Next, an imaging apparatus according to a nineteenth embodiment of the present invention (claim 6) will be described. FIG. 53 illustrates a configuration of an imaging device according to the present embodiment. This imaging apparatus includes an optical zoom finder 901, a magnification detecting circuit 902 for detecting the magnification of the optical zoom finder 901, a bifocal photographing lens 905 having two focal lengths, and a focal length switching circuit for switching the focal length of the photographing lens 905. 903, a magnification control circuit 904 for distributing the detected finder magnification to the electronic zoom magnification and the focal length of the photographing lens, a solid-state imaging device 906 for extracting an image signal, and a signal processing circuit for processing an output signal from the solid-state imaging device 906 907, an electronic zoom circuit 909 for performing an electronic zoom process, a magnification setting circuit 908 for setting an enlargement magnification of the electronic zoom, a drive circuit 911 for driving the solid-state imaging device 906, and a recording circuit 910.
[0206]
In this configuration, after the photographing area is determined by the optical zoom finder 901, the finder magnification detected by the magnification detection circuit 902 is given to the magnification control circuit 4. The magnification control circuit 4 selects the focal length of the photographing lens 5 according to the finder magnification, and calculates an electronic zoom magnification according to the focal length. That is, the product of the magnification corresponding to the focal length of the photographing lens and the electronic zoom magnification is made equal to the magnification of the optical zoom finder 901. The determined focal length and magnification are provided to a focal length switching circuit 903 and a magnification setting circuit 8, respectively, to perform setting for imaging.
[0207]
After such setting, the image signal incident from the bifocal imaging lens 905 and obtained from the solid-state imaging device 906 is further subjected to electronic zoom processing by the electronic zoom circuit 909, and as a result, the optical zoom finder 901 An image signal having a magnification equal to the magnification of the above can be obtained. The image captured at the desired photographing magnification is recorded through the recording circuit 910 or the like.
[0208]
As described above, in this embodiment, in addition to reducing the magnification carried by the optical system by dividing the zoom magnification into the focal length of the photographing lens and the electronic zoom magnification, the focal length of the photographing lens is set to a different fixed focal length. This eliminates the need for a compensating mechanism for defocus due to zoom operation, which is necessary for an optical zoom lens, and reduces the number of lenses and the size of the lens drive system. It is possible to reduce the size. As a result, a high-magnification small-sized imaging device can be realized. In addition, since an optical zoom finder is used as the finder, low power consumption can be realized.
[0209]
Here, in FIG. 53, various devices that can be connected to the subsequent stage of the recording circuit 910 are omitted. For example, as shown in FIG. 41 of the twelfth embodiment, a desired recording medium is connected, and an image is connected to the recording medium. Can be recorded. Further, a reproducing circuit may be further built in as shown in FIG. 42, or a monitor may be built therein as shown in FIG. Further, as shown in FIG. 44, a reproduction circuit and a monitor may be built in and used by switching. A moving image may be recorded on a recording medium using a magnetic tape as shown in FIG. 45 of the thirteenth embodiment, or the same image signal may be recorded using a semiconductor memory as a recording medium as shown in FIG. Even if recording and reproduction are repeated, the image quality may not be deteriorated. Further, as shown in FIG. 47 of the fourteenth embodiment, a high-speed processing type electronic zoom circuit for recording a moving image and a high image quality type electronic zoom circuit for recording a still image are provided. It is a target.
[0210]
The imaging device of FIG. 54 is obtained by adding a moving state detection circuit 913 for detecting the moving state of a variable power lens (not shown) of the bifocal imaging lens 905 to the imaging device of FIG. The bifocal imaging lens 905 switches the focal length depending on the magnification of the optical zoom finder 901. During the switching, a normal image cannot be recorded because the imaging surface of the solid-state imaging device 906 is out of focus. . In order to prevent this, a normal image can be stably recorded by turning on the recording switch 912 after detecting that the switching of the focal length of the photographing lens is completed by the moving state detection circuit 913.
[0211]
As a result, in the case of moving image recording, it is possible to prevent the continuous recording of an out-of-focus image during the focal length switching. Further, in the case of recording a still image, it is possible to prevent a shooting error caused by pressing the recording button during switching of the focal length.
[0212]
The imaging apparatus in FIG. 55 is obtained by adding a recording control circuit 915 and a frame memory 916 for recording one screen to the apparatus in FIG. 54, and replacing the recording switch 912 with a recording switch 914. Here, the switching signal output from the magnification control circuit 904 is also input to the recording control circuit 915. On the basis of this switching signal, the recording control circuit 915 controls the recording switch 914 so that the switch s1 is turned on and the switch s2 is turned on. 4 To the side. With this operation, the image signal of the magnification immediately before switching the focal length is stored in the frame memory 916 for one screen, and the image of the frame memory 916 is recorded by the recording circuit 910 until the switching operation is completed. After the focal length switching is completed, the switch s1 is turned off, and the switch s2 is set to t. 3 To return to the normal recording state.
[0213]
With this configuration, continuous image recording can be performed without interruption even during focal length switching. At this time, it is preferable that the electronic zoom magnification after the switching is set by a signal from the recording control circuit 915 during the switching period so that the magnifications before and after the switching match.
[0214]
The imaging device in FIG. 56 is obtained by adding a magnification display circuit 917 to the device shown in FIG. When the focal length of the bifocal photographing lens 905 is switched, the magnification is temporarily discontinuous due to its configuration. Therefore, it may be necessary to monitor the photographing magnification and avoid shooting at the switching point. It is also important to keep track of the position of the magnification during shooting in the variable range in order to grasp the shooting situation. Here, the magnification detected by the magnification detection circuit 902 is displayed in real time optically or electrically by the magnification display circuit 917 on a portion other than the photographing area in the optical zoom finder 901.
[0215]
Thereby, the photographer can always monitor the photographing magnification, the magnification can be easily selected depending on the photographing condition, and in the case of recording a moving image, it is possible to avoid a discontinuous recording portion by switching the photographing lens in advance. .
[0216]
<Twentieth embodiment>
In the present embodiment, as shown in FIG. 57, the bifocal lens 905 of the nineteenth embodiment is set such that the photographing lenses have the same conjugate distance, as shown in FIG. The lens configuration shown here is a general two-unit zoom lens. In the figure, 921 and 923 are concave lenses, and 922 and 924 are convex lenses. In this case, the light incident parallel to the concave lens diverges as if it were emitted from the front focal point (P ') of the concave lens. The divergent light is condensed by a convex lens and forms an inverted real image at point P. Here, the magnification (m) is determined by the position of the convex lens, and the magnification is given by the ratio m = s' / s of the distance between the principal point and the conjugate point (s, s'), and the distance s + s' between the conjugate points is kept constant. If this is the case, the imaging point can be kept constant. From this, in FIG. 57 (a), s = a, s' = b, the magnification is m = b / a, and the distance between conjugate points is a + b, while in FIG. 57 (b), the distance between conjugate points (a + b ) Is constant, s = b, s' = a, and only the magnification is changed to m = a / b, and the image plane is kept constant.
[0219]
Here, the distance between the conjugate points is constant only at these two points. To keep the position of the imaging point constant at an arbitrary point between them, as shown in FIG. 928, 930) must be compensated for by the movement of the concave lenses (925, 927, 929). This mechanism is used in an optical zoom lens, but requires a focus compensating mechanism in addition to the variable power mechanism. In addition, the number of lenses increases for correction of optical characteristics at each focal length, and the size of the optical system increases. In contrast, in FIG. 57, two focal lengths are set so that the distance between the conjugate points becomes equal, and an arbitrary focal length therebetween is performed by electronic zoom.
[0218]
In this way, it is possible to reduce the size of the optical system and reduce power consumption. In the present embodiment, the description has been given with respect to the two-unit zoom lens, but the same applies to other zoom configurations.
[0219]
<Twenty-first embodiment>
FIG. 59 shows the configuration of the imaging apparatus according to the twenty-first embodiment of the present invention. This imaging apparatus includes an optical zoom finder 901, a magnification detection circuit 902 for detecting the magnification of the optical zoom finder 90, a first fixed focal length lens 931 having a short focal length, a second fixed focal length lens 932 having a long focal length, A first mirror 934, a second mirror 935, a mirror driving unit 933, a focal length switching circuit 903, a magnification control circuit 904 for distributing a detected finder magnification to an electronic zoom magnification and a focal length of a photographing lens, and solid-state imaging for extracting an image signal An element 906, a signal processing circuit 907 for processing an output signal from the solid-state image sensor 906, an electronic zoom circuit 909 for performing electronic zoom, a magnification setting circuit 908 for setting an enlargement magnification of the electronic zoom, and a drive for driving the solid-state image sensor 906. It comprises a circuit 911 and a recording circuit 910.
[0220]
In the present embodiment, the bifocal photographing lens 901 includes fixed focal lenses 931 and 932 having two different focal lengths. As can be seen from FIG. By moving the first mirror 934, either the first fixed focus mirror 931 or the second fixed focus mirror 932 is selected.
[0221]
In this method, an optimal design can be made at each focal length, so that a higher quality image can be recorded. Further, there is an advantage that the length of the taking lens in the optical axis direction can be made more compact.
[0222]
The imaging device in FIG. 60 uses a primary imaging type finder as the optical zoom finder 901 in the configuration in FIG. Here, it is assumed that this finder includes a magnification section 941, an upright section 942 using a prism, and an eyepiece section 943. Since this type of finder uses a prism for the erect portion 942, the optical path can be bent and the length of the finder in the optical axis direction can be reduced.
[0223]
In this configuration, when the lens 931 having a short focal length is selected, the first mirror 934 is moved to a position that does not affect the image formation by the lens 931 as indicated by p1 in the drawing, and An image having a magnification corresponding to a short focal length is generated on the image forming surface of the image sensor 906. On the other hand, when the magnification of the optical zoom finder is set to be high and the lens 932 having a long focal length is selected, the first mirror 934 is located at a position blocking the optical path of the fixed focus lens 931 as indicated by p2 in the drawing. Is set. The fixed second mirror 935 reflects the light from the fixed focal length lens 932 having a long focal length, guides the light to the mirror 934, further reflects the light, and forms an image on the solid-state imaging device 906.
[0224]
As shown here, if the primary focus type finder is used as the optical zoom finder and the bifocal photographing lens is realized by switching between two fixed focal length lenses having different focal lengths, the length in the optical axis direction is made compact. A thin imaging device can be realized.
[0225]
<Twenty-second embodiment>
FIG. 61 shows the configuration of the imaging apparatus according to the twenty-second embodiment of the present invention. This apparatus includes an optical zoom finder 901, a magnification detecting circuit 902 for detecting the magnification of the optical zoom finder 901, a photographing lens 905 having two focal lengths, a focal length switching circuit 903b for switching the focal length of the photographing lens 5, and a magnification. A range limiting circuit 951, a solid-state imaging device 906 for extracting an image signal, a signal processing circuit 907 for processing an output signal from the solid-state imaging device 906, an electronic zoom circuit 909 for performing electronic zoom, and a magnification setting for setting an enlargement magnification of the electronic zoom. The circuit 908 includes a driving circuit 911 for driving the solid-state imaging device 906, and a recording circuit 910.
[0226]
Hereinafter, the operation of the imaging apparatus according to the present embodiment will be described. The maximum magnification variable range of the optical zoom finder 901 is from the minimum value determined by the short focal length of the bifocal imaging lens 905 and the minimum magnification of the electronic zoom to the maximum determined by the long focal length of the bifocal imaging lens 905 and the maximum magnification of the electronic zoom. Range up to value. One of the bifocal photographing lenses 905 is selected as a focal length of the photographing lens by the focal length switching circuit 903b. At the same time, the magnification range limiting circuit 951 limits the magnification range of the optical zoom finder 901 in accordance with the focal length of the bifocal photographing lens 905. Thus, an arbitrary magnification within the limited range is detected by the magnification detection circuit 902, and the electronic zoom magnification is set by the magnification setting circuit 908.
[0227]
In this method, the magnification of the finder cannot be changed continuously over a wide range, but since the photographer intentionally sets the magnification range, the switching operation can be performed promptly. Especially effective. In addition, if the electronic zoom function achieves the same zoom function as a film-type compact camera with a normal zoom function for each focal length, the zoom range will be wider than the current two-focus camera, making it much easier to use. improves.
[0228]
<Twenty-third embodiment>
FIG. 62 shows the configuration of the imaging apparatus according to the twenty-third embodiment of the present invention. This imaging apparatus includes an optical zoom finder 901, a magnification detection circuit 902 for detecting the magnification of the optical zoom finder 901, a zoom magnification setting circuit 964, a focal length switching circuit 903 for switching the focal length of the photographing lens 5, and two focal lengths. 905, a solid-state image sensor 906 for extracting an image signal, a signal processing circuit 907 for processing an output signal from the solid-state image sensor 906, an electronic zoom circuit 909 for performing electronic zoom, and a magnification for setting a magnification of the electronic zoom. It comprises a setting circuit 908, a driving circuit 911 for driving the solid-state imaging device 906, and a recording circuit 910.
[0229]
In this embodiment, the optical zoom finder 901 is provided with a constant magnification / reduction unit 962 having a magnification corresponding to switching of the focal length of the photographing lens 905, separately from the zoom magnification / reduction unit 962.
[0230]
Hereinafter, the operation of the imaging apparatus according to the present embodiment will be described.
The magnification of the zoom magnification unit 961 and the magnification of the constant magnification unit 962 are set according to the magnification set by the zoom magnification setting circuit 964. The magnification of the zoom magnification unit 961 set here becomes an electronic zoom magnification via a magnification detection circuit 902 and a magnification setting circuit 908. On the other hand, the magnification of the constant magnification unit 962 becomes a focus switching signal of the bifocal photographing lens 905 via the focal length switching circuit 903.
[0231]
This constant-magnification operation is set so that the distance between the conjugate points is equal to the ratio of the two focal lengths of the photographing lens, similarly to the magnification changing mechanism of the bifocal photographing lens described with reference to FIG. In this way, no defocusing occurs due to the zooming operation, and the entire length is constant. In addition, the zoom magnification section only needs to cover the variable range of the magnification of the electronic zoom, and the size of the finder itself can be reduced.
[0232]
The imaging apparatus of FIG. 63 is configured so that the photographer sets a variable range of the magnification by the focal length switching circuit 903c by slightly changing the configuration of FIG. The focal length of the bifocal photographing lens 905 is selected by the focal length switching circuit 903c, and the magnification of the constant magnification unit 962 of the optical zoom finder 901 is also switched in conjunction. On the other hand, the magnification of the zoom magnification unit 962 of the optical zoom finder 901 is input to the electronic zoom circuit 906 by the magnification detection circuit 902 and the magnification setting circuit 908 to determine the electronic zoom magnification. With this configuration, the zoom magnification unit 961 of the optical zoom finder 901 only needs to cover the magnification of the electronic zoom, and the magnification can be reduced, so that the finder itself can be downsized.
[0233]
The imaging apparatus shown in FIG. 64 shows an embodiment in which the optical zoom finder 901 uses a real image type secondary imaging type finder, and the taking lens 905 uses a bifocal lens in which the conjugate point distance is set to be constant. In this example, the erect portion of the finder 901 is a constant magnification portion 962. In the figure, reference numerals 974 and 977 denote the position of the zoom lens of the zoom finder 901 and the position of the zoom lens of the imaging lens 905, respectively, when the long focus side of the imaging lens is selected. Reference numerals 975 and 978 indicate the positions of the variable power lenses when the short focal length side is selected. Here, similarly to the bifocal lens of the photographing lens, if the variable magnification lens position is set at a position where the distance between conjugate points is kept constant, the focal position does not move due to the switching operation. , And can be made compact with the overall length kept constant.
[0234]
<24th embodiment>
FIG. 65 shows two examples of the relationship between the variable range of the optical zoom finder 901 and the variable magnification range set by the bifocal imaging lens 905 and the electronic zoom circuit 909 in the nineteenth to twenty-third embodiments described above. Show. In the figure, a focal length 1 is a shorter focal length of the two focal lengths, and a focal length 2 is a longer focal length. (A) shows the case where the difference between the two focal lengths is relatively small and an arbitrary focal length between the focal lengths can be covered by the magnification of the electronic zoom, and (b) shows the case where the difference between the focal lengths is large.
[0235]
In (a), the focal length obtained by multiplying the short focal length by the electronic zoom magnification is set within a range in which the image quality degradation due to the electronic zoom can be tolerated so as to cover a longer focal length than the longer focal length. As a result, it is possible to cover the entire magnification range near the focal length switching of the photographing lens.
[0236]
On the other hand, when the focal length difference is large as in (b), the variable magnification range of the optical zoom finder is limited to a range where image quality deterioration due to the electronic zoom is acceptable. By doing so, a high-quality image can always be recorded.
[0237]
The present invention is not limited to the above-described embodiments, and can be implemented with various modifications without departing from the scope of the invention.
[0238]
【The invention's effect】
According to the present invention, the following effects can be expected.
[0239]
According to the present invention, it is possible to realize a small and high-quality imaging apparatus capable of recording a high-quality still image using both the relative image position changing unit and the high-quality interpolation processing.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment.
FIG. 2 is a diagram illustrating a change in relative position.
FIG. 3 is a diagram for explaining one method of shifting a relative position of an input image.
FIG. 4 is a diagram for explaining another method of shifting the relative position of the input image.
FIG. 5 is a diagram showing a zoom image when the magnification is 1.5 times.
FIG. 6 is a block diagram showing a first modification of the first embodiment;
FIG. 7 is a block diagram showing a second modification of the first embodiment;
FIG. 8 is a diagram for explaining a positional shift of an image due to external vibration or the like;
FIG. 9 is a block diagram showing a third modification of the first embodiment;
FIG. 10 is a diagram for explaining a CCD readout area when electronic zoom is used.
FIG. 11 is a block diagram showing a second embodiment.
FIG. 12 is a block diagram showing a first modification of the second embodiment;
FIG. 13 is a block diagram showing a second modification of the second embodiment;
FIG. 14 is a block diagram showing a third embodiment.
FIG. 15 is a block diagram showing a modification of the third embodiment.
FIG. 16 is a diagram showing a flow of processing for obtaining a moving image and a still image.
FIG. 17 is a block diagram showing a fourth embodiment;
FIG. 18 is a block diagram showing a first modification of the fourth embodiment;
FIG. 19 is a diagram showing band characteristics of a video signal and band characteristics of a signal obtained by a two-point interpolation method.
FIG. 20 is a block diagram showing a second modification of the fourth embodiment;
FIG. 21 is a diagram showing a configuration of an electronic zoom circuit sharing a moving image mode and a still image mode.
FIG. 22 is a block diagram showing a third modification of the fourth embodiment;
FIG. 23 is a block diagram showing a fourth modification of the fourth embodiment;
FIG. 24 is a diagram showing a configuration of a continuous shooting buffer memory;
FIG. 25 shows an example of an image file.
FIG. 26 is a block diagram showing a fifth embodiment.
FIG. 27 is a block diagram showing a modification of the fifth embodiment.
FIG. 28 is a block diagram showing a sixth embodiment.
FIG. 29 is a view for explaining the state of occurrence of parallax.
FIG. 30 is a block diagram showing a first modification of the sixth embodiment;
FIG. 31 is a block diagram showing a second modification of the sixth embodiment;
FIG. 32 is a block diagram showing a seventh embodiment.
FIG. 33 is a diagram for explaining an enlargement operation;
FIG. 34 is a block diagram showing an eighth embodiment.
FIG. 35 is a block diagram showing a ninth embodiment;
FIG. 36 is a block diagram showing a tenth embodiment.
FIG. 37 is a view showing the relationship between the field of view of the finder and a region on the solid-state imaging device that matches the field of view.
FIG. 38 is a diagram illustrating how an area that matches a view field of a finder changes depending on an aspect ratio of a solid-state imaging device.
FIG. 39 is a block diagram showing an eleventh embodiment.
FIG. 40 is a diagram showing a recording area on a solid-state imaging device and a viewfinder view in a shooting state;
FIG. 41 is a block diagram showing a twelfth embodiment.
FIG. 42 is a block diagram showing a first modification of the twelfth embodiment;
FIG. 43 is a block diagram showing a second modification of the twelfth embodiment.
FIG. 44 is a block diagram showing a third modification of the twelfth embodiment;
FIG. 45 is a block diagram showing a thirteenth embodiment.
FIG. 46 is a block diagram showing a fourteenth embodiment.
FIG. 47 is a block diagram showing a fifteenth embodiment.
FIG. 48 is a block diagram showing a sixteenth embodiment.
FIG. 49 is a block diagram showing a first modification of the sixteenth embodiment.
FIG. 50 is a block diagram showing a second modification of the sixteenth embodiment.
FIG. 51 is a block diagram showing a seventeenth embodiment.
FIG. 52 is a block diagram showing an eighteenth embodiment.
FIG. 53 is a block diagram showing a nineteenth embodiment.
FIG. 54 is a block diagram showing a first modification of the nineteenth embodiment.
FIG. 55 is a block diagram showing a second modification of the nineteenth embodiment.
FIG. 56 is a block diagram showing a third modification of the nineteenth embodiment.
FIG. 57 is a block diagram showing a twentieth embodiment.
FIG. 58 is a view for explaining focal point movement by a variable power operation of the convex lens.
FIG. 59 is a block diagram showing a twenty-first embodiment.
60 is a block diagram showing an embodiment using a primary imaging type finder as the optical zoom finder of FIG. 59;
FIG. 61 is a block diagram showing a twenty-second embodiment.
FIG. 62 is a block diagram showing a twenty-third embodiment.
FIG. 63 is a block diagram showing a first modification of the twenty-third embodiment.
FIG. 64 is a block diagram showing a second modification of the twenty-third embodiment.
FIG. 65 is a block diagram showing a twenty-fourth embodiment.
FIG. 66 is a diagram showing a configuration example of a conventional video movie
FIG. 67 is a diagram illustrating a configuration example of a conventional single-lens reflex electronic still camera.
FIG. 68 is a diagram showing another configuration example of a conventional single-lens reflex electronic still camera.
FIG. 69 is a diagram showing a configuration example of a conventional compact electronic still camera.
FIG. 70 is a diagram showing another configuration example of a conventional compact electronic still camera.
[Explanation of symbols]
1. CCD 2. Analog signal processing unit
3. A / D converter 4. Digital signal processing unit
5 ... Electronic zoom unit 6 ... Lens
7: Image compression unit 8: Recording medium
11 ... relative position changing means 13 ... relative position changing unit
101: imaging unit 201: imaging unit
202: analog signal processing unit 203: A / D converter
204: digital signal processing unit 206: image compression circuit
207: Image recording means 208: Viewfinder
209: Switching device 210: Frame memory
213: shutter button 214: pre-process
215: Post process 216: Video display circuit
251: Simple electronic zoom processing unit 252: High quality electronic zoom processing unit
312: Zoom magnification selection 401: Optical finder
402: photographing lens 403: CCD
404: signal processing unit 405: recording circuit
406: Recording medium 407: Distance measuring circuit
601: Zoom finder 602: Magnification detector
603: magnification control unit 604: photographing lens
605: solid-state image sensor 606: electronic zoom
607: Recording circuit 608: Recording medium
901: Optical zoom finder 901 902: Magnification detection circuit
903: focal length switching circuit 904: magnification control circuit
905: bifocal photographing lens 906: solid-state image sensor
907: signal processing circuit 908: magnification setting circuit
909: electronic zoom circuit 910: recording circuit
911 ... Drive circuit

Claims (2)

電子ズーム機能を有する撮像装置において、
被写体像を対応する電気信号に変換するための固体撮像素子と、
前記固体撮像素子に像を結ばせる光学系と、
前記光学系によって結ばれる結像と前記固体撮像素子との相対的位置をずらす相対的結像位置変更手段と、
前記電子ズーム機能に係る拡大倍率に基づき、該拡大倍率に適した前記相対的結像位置変更手段の相対的位置変更の方向及び各方向への相対的結像位置変更の回数を選択し、この選択結果に基づき、当該方向への当該回数の相対的結像位置変更を実行する相対的結像位置変更部と、
前記相対的結像位置変更部により前記相対的位置をずらしながら前記固体撮像素子に像を結ばせることによって得られる複数の画像情報を合成して、前記固体撮像素子の本来の解像度よりも高解像度な１つの画像情報を生成する第１の生成手段と、
この手段により生成された画像情報に含まれる画素情報をもとに、前記拡大倍率に応じた位置の画素情報をデジタル補間処理にて生成し、これら画素情報を用いて前記拡大倍率に係る画像情報を生成する第２の生成手段とを具備し、
前記電子ズーム機能に係る拡大倍率が整数でない場合には、前記相対的結像位置変更部は、前記方向及び回数として、前記電子ズーム機能に係る拡大倍率を超える整数の拡大倍率を、デジタル補間処理なしに実現可能とする方向及び回数を選択し、前記第１の生成手段は、前記整数の拡大倍率を、デジタル補間処理なしに実現可能とする画像情報を生成し、前記第２の生成手段は、デジタル補間処理を用いて前記第１の生成手段により生成された画像情報から前記電子ズーム機能に係る拡大倍率に係る画像情報を生成することを特徴とする撮像装置。In an imaging device having an electronic zoom function,
A solid-state imaging device for converting a subject image into a corresponding electric signal;
An optical system that forms an image on the solid-state imaging device;
Relative imaging position changing means for shifting the relative position between the imaging formed by the optical system and the solid-state imaging device,
Based on the magnification related to the electronic zoom function, the direction of the relative position change of the relative image position changing means and the number of times of the relative image position change in each direction suitable for the magnification are selected. A relative imaging position changing unit that executes the relative number of relative imaging position changes in the direction based on the selection result;
By synthesizing a plurality of pieces of image information obtained by causing the solid-state imaging device to form an image while shifting the relative position by the relative imaging position changing unit, the resolution is higher than the original resolution of the solid-state imaging device. First generating means for generating one piece of image information;
Based on the pixel information included in the image information generated by this means, pixel information at a position corresponding to the magnification is generated by digital interpolation processing, and the image information related to the magnification is generated using the pixel information. Holders of Bei and second generating means for generating a,
When the enlargement magnification related to the electronic zoom function is not an integer, the relative imaging position changing unit may perform, as the direction and the number of times, an integral enlargement magnification exceeding the enlargement magnification related to the electronic zoom function, by digital interpolation processing. A direction and a number of times that can be realized without any of them, the first generation means generates image information that can realize the integer magnification without digital interpolation processing, and the second generation means the imaging apparatus according to claim that you generate image information according to the magnification of the electronic zooming function the image information generated by said first generating means using digital interpolation. 前記電子ズーム機能に係る拡大倍率が整数である場合には、前記相対的結像位置変更部は、前記方向及び回数として、当該整数の拡大倍率を、デジタル補間処理なしに実現可能とする方向及び回数を選択し、前記第１の生成手段は、当該整数の拡大倍率を、デジタル補間処理なしに実現可能とする画像情報を生成し、前記第２の生成手段は、デジタル補間処理なしに前記第１の生成手段により生成された画像情報から前記電子ズーム機能に係る拡大倍率に係る画像情報を生成することを特徴とする請求項１に記載の撮像装置。When the magnification related to the electronic zoom function is an integer, the relative imaging position changing unit sets the direction and the number of magnifications of the integer to be realizable without digital interpolation processing as the direction and the number of times. The number of times is selected, the first generation unit generates image information that enables the integer magnification factor to be realized without digital interpolation processing, and the second generation unit generates the image information without digital interpolation processing. 2. The imaging apparatus according to claim 1, wherein image information related to a magnification factor related to the electronic zoom function is generated from the image information generated by the first generation unit. 3.
JP25640493A 1993-03-31 1993-09-20 Imaging device Expired - Fee Related JP3568974B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25640493A JP3568974B2 (en) 1993-03-31 1993-09-20 Imaging device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-96816 1993-03-31
JP9681693 1993-03-31
JP25640493A JP3568974B2 (en) 1993-03-31 1993-09-20 Imaging device

Publications (2)

Publication Number Publication Date
JPH06339083A JPH06339083A (en) 1994-12-06
JP3568974B2 true JP3568974B2 (en) 2004-09-22

Family

ID=26437982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25640493A Expired - Fee Related JP3568974B2 (en) 1993-03-31 1993-09-20 Imaging device

Country Status (1)

Country Link
JP (1) JP3568974B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907729B2 (en) * 1996-02-05 2007-04-18 オリンパス株式会社 Still image pickup device
JP4624065B2 (en) 2004-10-13 2011-02-02 オリンパス株式会社 Imaging device
JP2006128780A (en) 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc Digital camera
JP3868446B2 (en) 2004-10-29 2007-01-17 オリンパス株式会社 Imaging device
JP2006129211A (en) 2004-10-29 2006-05-18 Olympus Corp Image pickup device
JP4654887B2 (en) * 2005-11-14 2011-03-23 株式会社ニコン Imaging device
JP5105844B2 (en) * 2006-12-05 2012-12-26 キヤノン株式会社 Imaging apparatus and method
JP5018828B2 (en) * 2009-05-27 2012-09-05 カシオ計算機株式会社 Image photographing apparatus and image photographing program
JP5320186B2 (en) * 2009-06-30 2013-10-23 日立コンシューマエレクトロニクス株式会社 Recording apparatus and reproducing apparatus
JP2016111652A (en) * 2014-12-10 2016-06-20 オリンパス株式会社 Imaging apparatus, imaging method and program
KR102514487B1 (en) * 2018-06-07 2023-03-27 엘지이노텍 주식회사 Camera module and depth map extraction method of the same

Also Published As

Publication number Publication date
JPH06339083A (en) 1994-12-06

Similar Documents

Publication Publication Date Title
US8488022B2 (en) Electronic camera
JP4473363B2 (en) Camera shake correction apparatus and correction method thereof
US8390717B2 (en) Imaging device, display control device, display device, printing control device, and printing device
JP4654887B2 (en) Imaging device
JP2004266774A (en) Signal processing apparatus and image data generating apparatus
JP2011199565A (en) Imaging device and program
JP2007043637A (en) Image pick-up apparatus, image pick-up program, and image processing program
JP4767838B2 (en) Imaging apparatus and imaging method
JP3568974B2 (en) Imaging device
US20080303936A1 (en) Camera system
JP2009225027A (en) Imaging apparatus, imaging control method, and program
US7787029B2 (en) Imaging apparatus
JP2002107787A (en) Camera body of digital camera and computer readable recording medium recorded with program for controlling camera body of digital camera
JP2000022998A (en) Digital camera
JP4299561B2 (en) Imaging device
JP3859459B2 (en) Imaging device
JP2005012423A (en) Image pickup device, and signal processing apparatus
JP3273326B2 (en) Imaging device
JP2006129211A (en) Image pickup device
JP5440626B2 (en) Imaging apparatus, composite image creation method, and program
JP4306341B2 (en) Image shooting device
JP5157116B2 (en) Imaging apparatus, composite image creation method, and program
JP2001136429A (en) Electronic camera
JP3725606B2 (en) Imaging device
JP4034409B2 (en) Automatic focus adjustment device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees