JP4624065B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関する。

ズームレンズ系を有するビデオカメラやデジタルカメラでは、ズームレンズを移動させてズーム比を変化させることによって、焦点位置を一定に保ちながら焦点距離を望遠側または広角側に変化させることにより被写体距離を変化させている。また光学ズームを補完する手法として電子的な変倍方式（電子ズーム）が広く用いられている。電子ズームを用いることによって、光学ズームに比べ少なからず画質の低下を招くものの、広い倍率変換をすべて光学系で実現する撮像装置に比べて小型化できるという大きな利点が得られる。

特開平６−３３９０８３号公報は、電子ズームによる変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる技術を開示している。特開２００３−２８３９１０号公報は、光学ファインダとステップズームの撮像レンズの駆動制御系を共通にして、光学ファインダと撮像系の画角をほぼ一致させるために、光学ファインダの倍率指定時にその倍率を超えない最も近い倍率のステップズームを選択し、電子ズームによって画角の調整を行なう技術を開示している。特開２００１−１３６４３６号公報は、撮影モード（静止画、動画）の変更に伴う画角の変動をキャンセルするための光学・電子変倍の技術を用いて変倍処理を行なう技術を開示している。

また、電子ズーム機能固有の技術としては、撮像デバイスの出力の画素数より小さい画素数の撮像信号を出力の画素数相当の映像信号に変換するようにして、ズームレンズを移動させることなく焦点距離を望遠側に変化させる拡大補間処理が主流である。このような電子ズーム機能を有するビデオカメラにおいては、撮像デバイスの受光画面サイズより大きいサイズの撮像信号を得ることはできないため、望遠側ヘズームさせることはできても、広角側ヘズームさせることはできない。これに対して、撮像デバイスの画素数と出力画像の画素数の差を利用して、レンズを固定しておき、実質的に広角側の画像を生成する装置・方法が提案されている。

このような電子ズームが可能な撮像装置として、例えば特開２０００−２９５５３０号公報は、二次元に配置された光電変換画素を有し、光電変換画素にランダムアクセスする固体撮像装置であって、任意に指定された画素を読み出す第一スキップ手段と、この第一スキップ手段で読み出された画像枠より小さい画像領域を読み出す第二スキップ手段とを備え、第一スキップ手段と第二スキップ手段が読み出す画素数を等しくした固体撮像装置を開示している。

また特開平１０−４２１８３号公報は、光学的に画像の画角を変化させる第一調節手段と、電子的に画像の画角を変化させる第二調節手段と、第一調節手段と第二調節手段を制御することにより画角を決定する制御手段とを備え、制御手段は、第二調節手段により使用者の所望の画角に調節し、画角を保持しながら画角の制御を第二調節手段から実質的に第一調節手段に移行させる撮像装置を開示している。この撮像装置は、具体的には、ＣＣＤ型撮像デバイスを用いており、電子ズームを行なう際に、ＣＣＤ型撮像デバイスから全画素を読み出していったんフレームメモリーなどに記憶させ、その後に全画角の一部エリアに含まれる少ない画素数に係る画素信号に基づいて電気的な補間処理を行ない、所望の画角の出力画像を作り出すものとなっている。

また、特開２００２−３１４８６８号公報においては、撮像デバイス上の光電変換信号をＸ−Ｙアドレス方式で読み出しと同一クロック数で間引きの読み出しを行なうことにより撮像デバイス上の読み出し位置と範囲が指定可能な撮像デバイスを用い、撮像位置と撮像画角の切り出し範囲となる切り出し画角を変化させる電子ズームを行なう電子ズーム手段と、光学ズームとを組み合わせて制御することにより、最終的に出力される画像信号に係る出力画角のズーム範囲が撮像画角の変化のみによりなし得る光学ズーム範囲と切り出し画角の変化のみによりなし得る電子ズーム範囲とのいずれよりも実質的に広くなるようにする撮像装置が提案されている。
特開平６−３３９０８３号公報 特開２００３−２８３９１０号公報 特開２００１−１３６４３６号公報 特開２０００−２９５５３０号公報 特開平１０−４２１８３号公報 特開２００２−３１４８６８号公報

これまでに述べたように、光学ズームと電子ズームの併用により広角側と望遠側に変倍の領域を広げる技術が多く提案されている。しかし、従来例のいずれにおいても、光学ズームが望遠端以外の状態で読み出し領域を変更し得る電子ズームを備えた撮像装置において光学ズームの構成の最適化がなされていない。

本発明は、このような実状を考慮して成されたものであり、その目的は、電子ズームと光学ズームの組み合わせによる変倍機能を有し、光学ズームが望遠端でない状態のときに電子ズームが動作する撮像装置であって、光学ズームの構成が最適化された撮像装置を提供することである。

本発明は、電子ズームと光学ズームの組み合わせによる変倍機能を有する撮像装置に向けられている。本発明の撮像装置は、光学的に像の倍率を変換する光学ズーム手段と、電気信号の処理によって画像の大きさを変更する電子ズーム手段とを有する。電子ズーム手段は、光学ズーム手段が望遠端の設定でない状態のときに少なくとも動作する。光学ズーム手段による変倍と電子ズーム手段による変倍とをもって総合変倍率とする。電子撮像デバイスの画素数ｓ１と、電子ズーム手段において使用する撮像デバイス上の画素を包含する矩形の画素数ｓ２と、出力の画素数ｓ３とが、ｓ１≧ｓ２＞ｓ３またはｓ１＞ｓ２≧ｓ３を満足している。光学ズーム手段の撮像面の対角長ｈと、望遠端における像面と射出瞳の光路長ｌと、最終レンズが結像に寄与する有効半径ｒと、結像面から最終レンズまでの光路長ｄとが、次式を満足している。

あるいは、光学ズーム手段の撮像面の対角長ｈと、望遠端における像面と射出瞳の光路長ｌと、最終レンズが結像に寄与する有効半径ｒと、結像面から最終レンズの後側主平面までの光路長ｄ’とが、次式を満足している。

本発明によれば、電子ズームと光学ズームの組み合わせによる変倍機能を有し、光学ズームが望遠端でない状態のときに電子ズームが動作する撮像装置であって、光学ズームの構成が最適化された撮像装置が提供される。

以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本発明の実施形態の撮像装置の構成を模式的に示している。

撮像装置は、被写体の光学像を形成する光学ズームの機能を持つ結像光学系１１０と、光学像を光電変換して電気的な画像信号を出力する撮像デバイス１２０と、撮像デバイス１２０から出力される画像信号に対して間引き読み出しの際のフィルター処理を行なうフィルター処理部１３０と、フィルター処理部１３０によって処理された画像信号を画像データとして記憶する画像メモリー１５０と、画像メモリー１５０に記憶された画像データに対して線形補間などの手法によって倍率変換処理を行なう変倍処理手段または変倍処理部１６０と、画像を表示したり記録したりする表示・記録部１７０とを有している。

この撮像装置では、結像光学系１１０によって撮像デバイス１２０上の結像倍率が変化される。撮像デバイス１２０により光電変換された画像信号は、フィルター処理部１３０によって、間引き読み出しを行なった場合のフィルター処理が行なわれる。処理された画像信号は画像データとして画像メモリー１５０に記憶される。画像メモリー１５０に記憶された画像データは、変倍処理部１６０によって倍率変換処理されたのち、表示・記録部１７０に伝送される。

図２は、撮像デバイス上の画素の様々な読み出し方式を示している。図２（Ａ）は二つの画素信号を混合して１クロックで読み出す画素混合読み出しを示している。この場合、読み出し領域は参照符号１２０ａで示される領域である。図２（Ｂ）は間引き読み出しによって画素を読み出す方式を示している。この場合、読み出し領域は参照符号１２０ｂで示される領域であり、領域１２０ａよりも狭い。図２（Ｃ）は画素混合や間引き読み出しを行なわずに撮像デバイス１２０上の所定の領域を読み出すブロック読み出しを示している。この場合、読み出し領域は参照符号１２０ｃで示される領域であり、領域１２０ｂよりも狭い。図２（Ａ）と図２（Ｂ）と図２（Ｃ）において、領域１２０ａと領域１２０ｂと領域１２０ｃを読み出す総クロック数は等しい。すなわち、同一の読み出しクロック数で読み出しつつ、読み出し領域の大きさを変えることによって、得られる画像信号の画角を変化させて、変倍処理と等価な処理を行なう。

図３は、本実施形態の撮像装置による変倍の動作を模式的に示している。図３には、光学系によって結像するイメージサークルの直径と、撮像デバイス上の領域と、メモリー上の領域と、出力画像の大きさとが表わされている。例として、撮像デバイスの画素数が約１．３Ｍピクセル（ＳＸＧＡ１２８０×９６０画素）、出力画素数が０．３Ｍピクセル（ＶＧＡ６４０×４８０画素）の場合を示している。広角端（ワイド端）においては、イメージサークルはＳＸＧＡの全面が含むような円である。図３（Ａ）は、広角端でレンズ配置を固定した状態における２画素混合読み出し、図３（Ｂ）は、広角端でレンズ配置を固定した状態における２画素混合読み出し＋拡大処理、図３（Ｃ）は、広角端でレンズ配置を固定した状態における間引き読み出し、図３（Ｄ）は、広角端でレンズ配置を固定した状態におけるＶＧＡ領域の全画素読み出し＋出力画素がＶＧＡになる変倍処理を示している。図３（Ｅ）は、さらに高倍率の像を得るため、光学倍率を上げた状態におけるＶＧＡ領域の全画素読み出し＋出力画素がＶＧＡになる変倍処理を示している。

図３の例は、取り込み画素数が常にＶＧＡになる動画像撮影向けの変倍方法を示している。ここで、撮像デバイス１２０の画素数ｓ１と、光学ズームが望遠端の設定でない状態のときに少なくとも動作する電子ズームにおいて使用する撮像デバイス上の画素を包含する矩形の画素数ｓ２と、出力の画素数ｓ３とが、

または

を満足している。

本実施形態においては、ｓ１＞ｓ３が常に成り立つように電子ズームを行なう。図３の例に対応させると、式（４）の等号は１．３Ｍを読み出し、０．３Ｍを出力することに対応し、式（５）の等号は１．３Ｍ中の０．３Ｍをブロック読み出し、０．３Ｍを出力することに対応している。

ここで、図３（Ａ）と図３（Ｂ）と図３（Ｃ）と図３（Ｄ）の電子ズーム（図３（Ａ）：画素加算、図３（Ｂ）：画素加算＋拡大処理、図３（Ｃ）：間引き読み出し、図３（Ｄ）：全画素読み出し）の様態は、光学倍率がワイド端の×１．０になるように光学系が配置されている。ここで、ワイド端のときの焦点距離をｆｗ、光学倍率×２．７のテレ端のときの焦点距離をｆｔとすると、電子ズーム処理がワイド端で使用しているので、電子ズーム使用時の焦点距離ｆ＝ｆｗとなっている。すなわち、

である。また、電子ズームを使用する焦点距離ｆは、ワイド端からテレ端までの焦点距離のいずれに設定してもよいので、

となる。

電子変倍（電子ズーム）には拡大処理と縮小処理とがあり、縮小処理を行なう場合、撮像デバイス上では出力する画像より多い画素数の領域を取り込み、補間処理などの変倍処理により出力画像を生成する。この場合は、撮像するエリアの大きさによって、取り込み画素の総クロック数が異なる。すなわち、変倍の倍率が広角側になるほど、多くのクロック数を必要とする。これに対して、間引き読み出し、画素混合による複数画素の同時読み出しを用いて、クロック数を変化させずに読み出し領域の広さだけを変化させることができる。

図４は本発明の実施形態の撮像装置のより具体的な構成を示している。

本実施形態の撮像装置１００は、被写体の光学像を結像する光学ズームの機能を持つ結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス１２０とを有している。つまり、撮像デバイス１２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。

撮像デバイス１２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子１２２と、光電変換素子１２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部１２４とを有している。

撮像装置１００はさらに、出力する画像の領域を設定する領域設定部１３２と、領域設定部１３２で設定された画像の領域に応じて光学系を制御する光学系制御部１３７と、読み出し制御部１２４の画素間引き読み出し規則を選択する読み出し規則選択部１３４と、撮像のフレームごとに光電変換素子１２２の画素配列中の読み出しのスタート位置を設定する読み出し位相制御部１３６と、撮像デバイス１２０から読み出された画像データの歪みを補正する歪み補正部１４０とを有している。

読み出し制御部１２４は、読み出し規則選択部１３４で選択された画素間引き読み出し規則と読み出し位相制御部１３６で設定された画素読み出しのスタート位置に基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画素データを読み出す。その結果、撮像デバイス１２０から間引きされた画像データが出力される。

歪み補正部１４０は、読み出し制御部１２４によって光電変換素子１２２から読み出されたデジタル画像データをフィルター処理するフィルター処理部１４２と、読み出し規則選択部１３４で選択された画素間引き読み出し規則に応じてフィルター処理部１４２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１４４とを有している。

フィルター係数設定部１４４は、複数のフィルター係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１４６と、ＬＵＴ記憶部１４６に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部１４８とを有している。

さらに、撮像装置１００は、読み出し制御部１２４でフレームごとに設定される読み出し範囲に基づいて、歪み補正部１４０で補正された画像データのすべてのフレームに共通する範囲を選択する画像範囲選択処理部１３８を有している。

読み出し位相制御部１３６が読み出し範囲の基準位置をフレームごとに変更し、画像範囲選択処理部１３８がすべてのフレームに共通する範囲を選択することに対応して、読み出し規則選択部１３４は、領域設定部１３２で設定された画像の領域よりも広い範囲に渡って読み出し制御部１２４が画像データを読み出すように、画素間引き読み出し規則を選択する。

撮像デバイス１２０内の読み出し制御部１２４は、読み出し規則選択部１３４で選択される読み出し規則と、読み出し位相制御部１３６で設定される読み出し範囲の基準位置とに基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画像データ（１フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス１２０は、時系列的に連続する複数のフレームの画像データで構成される動画信号を出力する。

撮像装置１００は、好ましくはさらに、複数のフレームの画像データを一時的に記憶する三つの巡回型フレームメモリー１５２と１５４と１５６と、フレームメモリー１５２と１５４と１５６に記憶された複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレーム間演算処理部１５８とを有している。

撮像装置１００はさらに、歪み補正部１４０から出力される歪み補正された画像信号に対して（フルカラー化処理や、ホワイトバランス調整、階調変換、エッジ強調などの）所定の処理を行なう画像信号処理部１６２と、画像信号処理部１６２から出力される画像信号に従って画像を表示する画像表示部１７４とを有している。加えて、撮像装置１００は、画像信号処理部１６２から出力される画像信号に従って画像を記録する画像記録部１７６を有している。

撮像装置１００は、領域設定部１３２で領域が設定されていない場合、光電変換素子１２２で取得された画像データをそのまま画像表示部１７４に表示する。つまり、画像データのすべての画素データを表示する。従って、画像表示部１７４には、結像光学系１１０で結像された光学像と同様の画像が表示される。

領域設定部１３２は、例えば、画像表示部１７４の画面に対するグラフィカルユーザーインターフェース（ＧＵＩ）で構成される。従って、ユーザーは、画像表示部１７４の画面に表示されている画像上において、ボタン、マウスなどの操作により、表示を希望する範囲を指定し得る。

撮像デバイス１２０は、間引き読み出し動作が可能である。間引き読み出し動作により、撮像デバイス１２０は、光電変換素子１２２上の特定の領域の画素を、全画素を読み出す場合よりも短い時間内で読み出すことができる。

例えば、光電変換素子１２２がＣＭＯＳを用いた撮像デバイスである場合、撮像デバイス１２０は、水平方向・垂直方向共にシフトレジスターを用いて読み出し位置を指定することができる。

また、光電変換素子１２２がＣＣＤである場合、ＣＣＤは水平方向に電荷をシフトしながら読み出すため、撮像デバイス１２０は、水平方向には全画素を読み出し、垂直方向では間引いて読み出すことができる。

歪み補正部１４０は、このように間引き読み出しされたデジタル画像データに対して、欠落している情報を補間すると共に倍率変換のフィルター処理を行なう。

以下、間引き読み出しの歪み補正処理の詳細について説明する。図５は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図５のような読み出し方を行なうと画像に段差ができてしまう。そこで、図６に示されるように、読み飛ばされる画素（Ｒ４とＧ５）をその近くの同色の画素（Ｒ２とＲ４とＧ３とＧ７）でそれぞれ線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図７に示されるように、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行なう。ここで、間引きを伴う１ラインの読み出しについて考える。図５の左上を基準とすると読み出した画素位置は、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_６、Ｇｉ_７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は

となる。

歪み補正のパイプライン処理は、図８に示した構成によって行なわれる。シフトレジスター１８２は、クロックに従う一回の動作ごとに、保持している画像データを右方向にひとつシフトする。セレクター１８４は、ｓ１の状態に従って、シフトレジスター１８２に保持されている隣接している五つの画素データのうちの一番目と三番目のいずれかを選択する。また、セレクター１８６は、ｓ２の状態に従って、シフトレジスター１８２に保持されている隣接している五つの画素データのうちの三番目と五番目のいずれかを選択する。

乗算器１９４は、セレクター１８４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１９６は、セレクター１８６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１９８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。

表１は、図８に示したフィルター処理部のパイプライン処理の動作（状態遷移）を表している。

シフトレジスター１８２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、ｃ１＝ｉ０、ｃ２＝ｉ１、ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作ごとに右方向にシフトしていく。これに伴い、セレクター１８４は、ｓ１が１のときはｃ１を選択し（従ってｄ１＝ｃ１となり）、ｓ１が０のときはｃ３を選択する（従ってｄ１＝ｃ３となる）。一方、セレクター１８６は、ｓ２が１のときはｃ３を選択し（従ってｄ２＝ｃ３となり）、ｓ２が０のときはｃ５を選択する（従ってｄ２＝ｃ５となる）。また、クロックに同期してフィルター係数設定部１４４内のメモリーから係数ｋ１が乗算器１９４に、係数ｋ２が乗算器１９６に供給される。加算器１９８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。

表１から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクターの切り換え、式（８）に示した間引き規則に応じた重み付け加算の係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクター切り換え）を含めたパイプライン処理が行なわれる。

本実施形態の撮像装置１００では、インターレース操作が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素データを補間する。

このため、読み出し位相制御部１３６は、読み出し制御部１２４が光電変換素子１２２から画素間引きして読み出す画素データの範囲（読み出し範囲）の基準位置をフレームごとに変更させる。より詳しくは、読み出し位相制御部１３６は、読み出し範囲の基準位置を、一定の規則に従って周期的に、フレームごとに変更させる。

例えば、読み出し位相制御部１３６は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部１２４が読み出す画素データの範囲の基準位置をシフトさせる。より好ましくは、読み出し位相制御部１３６は、連続する二つのフレームの画像データが共通に欠落した画素データを持たないように、読み出し範囲の基準位置をシフトさせる。シフト量は４〜８画素程度が好ましい。

その結果、特定のフレームの画像データにおいて間引き読み出しのために欠落した光電変換素子１２２内の特定の位置の画素データは、他のフレームの画像データに含まれるようになる。つまり、撮像デバイス１２０から出力される画像信号から、光電変換素子１２２の特定の位置の画素データが常に欠落することが避けられる。

さらに、フレーム間演算処理部１５８は、フレームメモリー１５２と１５４と１５６に記憶された連続するフレームの画像データに対して、欠落している画素データを補間する処理を行なう。例えば、連続する二つのフレームの画像データに対して１／２：１／２の加算を行なう。あるいは、連続する三つフレームの画像データに対して１／４：１／２：１／４の加算を行なってもよい。

図９と図１０は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子１２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。

図９と図１０に示されるように、光電変換素子１２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子１２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１０のフレームの読み出し範囲は、図９のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。

図９のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子１２２の左上の画素位置［０，０］に一致している。つまり、

である。また、読み出し終了位置（ｍ，ｎ）は、

である。一方、図１０のフレームでは、左上の読み出し開始位置は、

である。また、読み出しの終了位置は、

である。

画像範囲選択処理部１３８は、図９のフレームと図１０のフレームに共通する範囲を選択する。つまり、画像範囲選択処理部１３８は、図９のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１０のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部１３８で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。

また、予めクロップする領域を考慮すると、光電変換素子１２２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部１３８は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。

フレームメモリー１５２と１５４と１５６はＦＩＦＯ（First In First Out）のメモリーとなっており、フレーム間演算処理部１５８はそれらのフレームメモリー１５２と１５４と１５６の同一位置の画素を用いて出力画像を生成する。

例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、

である。ここで、ｉ，ｊは画素位置を表し、Ｉ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。

また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、

である。複数のフレーム間で異なる読み出し規則で読み出され、歪み補正のフィルター処理された画像データは、画像範囲選択処理部１３８でフレーム間の画像の位置ずれが補正される。画像データは、所定のフレーム分がフレームメモリー１５２と１５４と１５６に蓄積された、フレーム間演算処理部１５８によってフレーム間演算が行なわれたのち、画像信号処理部１６２を経て画像表示部１７４と画像記録部１７６に出力される。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによる高画質化の効果が得られる。

このような電子変倍や画素混合読み出しを使用することで、読み出し範囲の大きさによらず一定のクロック数で撮像デバイス１２０上の画素を読み出し画像を形成する。

次に、図３（Ａ）と図３（Ｄ）と図３（Ｅ）の状態に像倍率を変化させる変倍光学系の実施例について述べる。すなわち、結像光学系１１０の光学ズーム手段の具体的構成について説明する。

変倍光学系の第一実施例
図１１は、本発明の実施形態の撮像装置の結像光学系に含まれる変倍光学系の第一実施例の構成を示している。図１１には、広角端と標準と望遠端における状態の変倍光学系が描かれている。図１１に示されるように、本実施例による変倍光学系は、物体側より順に配置された、第一レンズ群Ｇ１と、第二レンズ群Ｇ２と、第三レンズ群Ｇ３とから構成されている。第二レンズ群Ｇ２は開口絞りＳを含んでいる。なお図１１において、参照符号Ｆは、近赤外カットフィルター、ローパスフィルター、電子撮像デバイスのカバーガラスなどの平行平面板群、Ｉは結像面を表わしている。

第一レンズ群Ｇ１は、負レンズで構成され、負の屈折力を有している。第二レンズ群Ｇ２は、正レンズと負レンズとで構成され、正の屈折力を有している。第三レンズ群Ｇ３は、物体側に凹面を向けた正メニスカスレンズで構成され、正の屈折力を有している。

図１２は、図１１の変倍光学系の広角端（１．３Ｍ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。図１３は、図１１の変倍光学系の広角端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。図１４は、図１１の変倍光学系の標準（ＶＧＡ結像）における球面収差と非点収差と倍率色と歪曲収差とを示している。図１５は、図１１の変倍光学系の望遠端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。ここで、図１２の広角端（１．３Ｍ結像）と図１３の広角端（ＶＧＡ結像）では、同じレンズ配置の収差図の拡大率を変えている（図１３は縦方向に図１２の二倍になっている）。広角端の収差図のうち、歪曲収差が負方向に大きいが、これは幾何変換で補正できる。例えば、取得した画像上の光学中心位置からの距離をｒとして、ｒとｒ^２の関数を使い画素位置の補正を行なえばよい。

図１１の変倍光学系のレンズはすべて樹脂材料で製作されている。図１１の変倍光学系を構成している光学部材の数値データを以下に示す。数値データにおいて、ｒ１、ｒ２、…は各レンズ面の曲率半径、ｄ１、ｄ２、…は各レンズの肉厚または空気間隔、ｎｄ１、ｎｄ２、…は各レンズのｄ線に対する屈折率、νｄ１、νｄ２、…は各レンズのアッベ数を表している。

非球面形状は、光軸から高さｙの非球面上の点と非球面頂点の接平面との間の距離をＺ、非球面頂点の曲率をＲ、円錐係数をＫ、非球面係数をＡ₄、Ａ₆、Ａ₈、Ａ₁₀としたとき、次の式で表される。

これらの記号は後述する第二実施例の変倍光学系の数値データにおいても共通である。

表２は、図１１の変倍光学系の光学部材の諸データを示している。

表３は、図１１の変倍光学系の光学部材の非球面係数ほかを示している。

表４は、図１１の変倍光学系のズームデータを示している。

変倍光学系の第二実施例
図１６は、本発明の実施形態の撮像装置の結像光学系に含まれる変倍光学系の第二実施例の構成を示している。図１６には、広角端と標準と望遠端における状態の変倍光学系が描かれている。図１６に示されるように、本実施例による変倍光学系は、物体側より順に配置された、第一レンズ群Ｇ１と、第二レンズ群Ｇ２と、第三レンズ群Ｇ３と、第四レンズ群Ｇ４とから構成されている。第二レンズ群Ｇ２は開口絞りＳを含んでいる。なお図１１において、参照符号Ｆは、近赤外カットフィルター、ローパスフィルター、電子撮像デバイスのカバーガラスなどの平行平面板群を表わしている。

第一レンズ群Ｇ１は、両凹負レンズで構成されており、負のパワーを有している。第二レンズ群Ｇ２は、両凸正レンズで構成されており、正のパワーを有している。第三レンズ群Ｇ３は、両凹負レンズで構成されており、負のパワーを有している。第四レンズ群Ｇ４は、両凸正レンズで構成されており、正のパワーを有している。

図１７は、図１６の変倍光学系の広角端（１．３Ｍ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。図１８は、図１６の変倍光学系の広角端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。図１９は、図１６の変倍光学系の標準（ＶＧＡ結像）における球面収差と非点収差と倍率色と歪曲収差とを示している。図２０は、図１６の変倍光学系の望遠端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。ここで、図１７の広角端（１．３Ｍ結像）と図１８の広角端（ＶＧＡ結像）では、同じレンズ配置の収差図の拡大率を変えている（図１７は縦方向に図１８の二倍になっている）。

図１６の変倍光学系のレンズはすべて樹脂材料で製作されている。図１６の変倍光学系を構成している光学部材の数値データを以下に示す。

表５は、図１１の変倍光学系の光学部材の諸データを示している。

表６は、図１６の変倍光学系の光学部材の非球面係数ほかを示している。

表７は、図１６の変倍光学系のズームデータを示している。

ここに述べた変倍光学系の実施例ではレンズはすべて樹脂材料で製作されているが、ガラスや有機無機複合材料で製作されても当然よい。

図３に示したように、広角端以外の状態では、撮像デバイス上の取り込み領域はＶＧＡサイズであるので、変倍光学系はこのサイズに結像するように設計すればよい。従って、本実施形態のレンズ構成においては、広角端の状態での最終レンズ面（面番９）における光線高は広角端で１．３Ｍの撮像デバイス全面に結像するための光線高よりも低くなる。また、最終レンズ面において周辺光量比（結像面において中心の光量に対する端の光量）２０％以上である領域を有効領域とした場合、望遠端の有効領域が広角端より小さくなる。

さらに、図１１と図１６の変倍光学系において、撮像面の対角長をｈと、望遠端における像面と射出瞳の距離ｌと、最終レンズが結像に寄与する有効半径ｒと、結像面から最終レンズ面までの光路長ｄとが、以下の関係を満足している。

ここで、最終レンズ面の代わりに最終レンズ（群）の主平面としてもよい。結像面から最終レンズ群の後側主平面までの光路長をｄ’とすると、

を満足している。
図１１の変倍光学系（３群４枚）では、式（１６）と式（１７）の左辺はそれぞれ

となる。一方、式（１６）と式（１７）の右辺は２ｒ＝３．４となるため、式（１６）と式（１７）はいずれも成立する。

また、変倍光学系の第２実施例（４群４枚）では、式（１６）と式（１７）の左辺はそれぞれ

となる。一方、式（１６）と式（１７）の右辺は２ｒ＝４．０となるため、式（１６）と式（１７）はいずれも成立する。

図１１、図１６の光学設計では、ワイド端に比べ、テレ端の射出瞳距離が長く射出角度が小さい。この場合に、テレ端において、像の周辺まで結像するためには、最終レンズに関しては、ワイド端よりもより大きい径のレンズを必要とする。しかしながら、図３に示しているように、本発明の構成によれば、テレ端においては、出力画像を得るのに必要な撮像面の範囲は光軸の回り部分領域であるので、図１１、図１６の設計のように、レンズ系を小さく設計できるため、式（１６）、式（１７）が成立している。またレンズ径を小さくすることで、最終レンズの厚みを小さくできる。通常のズームレンズの設計においては、ワイド端からテレ端まで全像高で良好な像を得るための設計を必要とする。特にテレ端において周辺領域まで考慮して設計するためには、コマ収差や像面湾曲の補正を考えなければならない。そのために補正のためのレンズ枚数や非球面の追加を必要とする。

このような光学設計を行なうことによって、レンズの群数の低減、最終レンズの厚みの削減、光学系全体の光路長の短縮ができる。

図２１は、本実施形態の撮像装置を適用した携帯電話を示している。図２１に示されるように、携帯電話３５０は、マイク３５１とスピーカー３５２とボタン３５３と表示装置３５４と撮像装置３５５とアンテナ３５６とが設けられている。撮像装置３５５は、結像光学系を微小にできる利点を生かして非常に小型に構成されているため、デッドスペースを利用して、大がかりな設計変更を必要とすることなく、携帯電話３５０に収められている。

本発明の実施形態の撮像装置の構成を模式的に示している。 撮像デバイス上の画素の様々な読み出し方式を示している。 本実施形態の撮像装置による変倍の動作を模式的に示している。 本発明の実施形態の撮像装置のより具体的な構成を示している。 水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。 図５に示された８画素から２画素を間引く読み出しにおいて、読み飛ばされる画素をその近くの画素で線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を模式的に示している。 図５に示された８画素から２画素を間引く読み出しにおいて、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を模式的に示している。 図７に示された歪み補正をパイプライン処理で行なう構成を示している。 ６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の左上の画素に合っているフレームの読み出し範囲を示している。 ６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の右下の画素に合っているフレームの読み出し範囲を示している。 本発明の実施形態の撮像装置の結像光学系に含まれる変倍光学系の第一実施例の構成を示している。 図１１の変倍光学系の広角端（１．３Ｍ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１１の変倍光学系の広角端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１１の変倍光学系の標準（ＶＧＡ結像）における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１１の変倍光学系の望遠端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 本発明の実施形態の撮像装置の結像光学系に含まれる変倍光学系の第二実施例の構成を示している。 図１６の変倍光学系の広角端（１．３Ｍ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１６の変倍光学系の広角端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１６の変倍光学系の標準（ＶＧＡ結像）における球面収差と非点収差と倍率色と歪曲収差とを示している。 図１６の変倍光学系の望遠端（ＶＧＡ結像）の状態における球面収差と非点収差と倍率色と歪曲収差とを示している。 本発明の実施形態の撮像装置を適用した携帯電話を示している。

符号の説明

１００…撮像装置、１１０…結像光学系、１２０…撮像デバイス、１２２…光電変換素子、１２４…読み出し制御部、１３０…フィルター処理部、１３２…領域設定部、１３４…読み出し規則選択部、１３６…読み出し位相制御部、１３８…画像範囲選択処理部、１４０…歪み補正部、１４２…フィルター処理部、１４４…フィルター係数設定部、１４６…ＬＵＴ記憶部、１４８…フィルター係数選択部、１５０…画像メモリー、１５２…フレームメモリー、１５４…フレームメモリー、１５６…フレームメモリー、１５８…フレーム間演算処理部、１６０…変倍処理部、１６２…画像信号処理部、１７０…表示・記録部、１７４…画像表示部、１７６…画像記録部、１８２…シフトレジスター、１８４…セレクター、１８６…セレクター、１９４…乗算器、１９６…乗算器、１９８…加算器、Ｇ１…第一レンズ群、Ｇ２…第二レンズ群、Ｇ３…第三レンズ群、Ｇ４…第四レンズ群。

Claims (16)

1. 光学的に結像した画像を電子撮像デバイスでサンプリングして画像データとして取得する撮像装置であって、光学的に像の倍率を変換する光学ズーム手段と、電気信号の処理によって画像の大きさを変更する電子ズーム手段とを有し、電子ズーム手段は、光学ズーム手段が望遠端の設定でない状態のときに少なくとも動作し、光学ズーム手段による変倍と電子ズーム手段による変倍とをもって総合変倍率とする撮像装置において、電子撮像デバイスの画素数ｓ１と、電子ズーム手段において使用する撮像デバイス上の画素を包含する矩形の画素数ｓ２と、出力の画素数ｓ３とが、ｓ１≧ｓ２＞ｓ３またはｓ１＞ｓ２≧ｓ３を満足し、光学ズーム手段の撮像面の対角長ｈと、望遠端における像面と射出瞳の光路長ｌと、最終レンズが結像に寄与する有効半径ｒと、結像面から最終レンズまでの光路長ｄとが、
   

   

   を満足している、撮像装置。
2. 光学的に結像した画像を電子撮像デバイスでサンプリングして画像データとして取得する撮像装置であって、光学的に像の倍率を変換する光学ズーム手段と、電気信号の処理によって画像の大きさを変更する電子ズーム手段とを有し、電子ズーム手段は、光学ズーム手段が望遠端の設定でない状態のときに少なくとも動作し、光学ズーム手段による変倍と電子ズーム手段による変倍とをもって総合変倍率とする撮像装置において、電子撮像デバイスの画素数ｓ１と、電子ズーム手段において使用する撮像デバイス上の画素を包含する矩形の画素数ｓ２と、出力の画素数ｓ３とが、ｓ１≧ｓ２＞ｓ３またはｓ１＞ｓ２≧ｓ３を満足し、光学ズーム手段の撮像面の対角長ｈと、望遠端における像面と射出瞳の光路長ｌと、最終レンズが結像に寄与する有効半径ｒと、結像面から最終レンズの後側主平面までの光路長ｄ’とが、
   

   

   を満足している、撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、光学ズームの望遠端（テレ端）の焦点距離ｆ_ｔと、広角端（ワイド端）の焦点距離ｆ_ｗと、電子ズームを使用している状態での焦点距離ｆとが、
   

   

   を満足している、撮像装置。
4. 請求項１〜請求項３のいずれかひとつに記載の撮像装置において、光学ズーム手段が広角端の状態での最終レンズ面での光線高が望遠端の状態での光線高に比べて大きくい光学系で構成されている、撮像装置。
5. 請求項１〜請求項４のいずれかひとつに記載の撮像装置において、撮像デバイス上の画素を読み出すクロック数が矩形の大きさによらず一定である、撮像装置。
6. 請求項１〜請求項５のいずれかひとつに記載の撮像装置において、光学ズーム手段が最終レンズ面において、周辺光量比が２０％以上の領域を有効領域とした場合、望遠端の有効領域が広角端よりも小さい、撮像装置。
7. 請求項１〜請求項６のいずれかひとつに記載の撮像装置において、光学ズーム手段は、物体側より順に配置された、負の屈折力を有する第一レンズ群と、正の屈折力を有する第二レンズ群と、正の屈折力を有する第三レンズ群とからなる光学系を有している、撮像装置。
8. 請求項７に記載の撮像装置において、第一レンズ群は負レンズで構成され、第二レンズ群は正レンズと負レンズとで構成され、第三レンズ群は物体側に凹面を向けた正メニスカスレンズで構成されている、撮像装置。
9. 請求項１〜請求項６のいずれかひとつに記載の撮像装置において、光学ズーム手段は、物体側より順に配置された、負の屈折力を有する第一レンズ群と、正の屈折力を有する第二レンズ群と、負の屈折力を有する第三レンズ群と、正の屈折力を有する第四レンズ群とからなる光学系を有している、撮像装置。
10. 請求項９に記載の撮像装置において、第一レンズ群は負レンズで構成され、第二レンズ群は正レンズで構成され、第三レンズ群は負レンズで構成され、第四レンズ群は正レンズで構成されている、撮像装置。
11. 請求項５に記載の撮像装置において、電子ズーム手段は、電子撮像デバイスの画素混合読み出しと画素間引き読み出しとの少なくとも一方を行なう、撮像装置。
12. 請求項１１に記載の撮像装置において、電子ズーム手段は、読み出した画像データの全部または一部を使用して、さらに変倍処理を行なう、撮像装置。
13. 請求項１１に記載の撮像装置において、電子ズーム手段は、電子撮像デバイスの間引き読み出しを行なった後に、間引き読み出しによる歪みの補正処理を行なう、撮像装置。
14. 請求項１３に記載の撮像装置において、歪みの補正処理が同一フレーム内の画素演算処理である、撮像装置。
15. 請求項１３に記載の撮像装置において、撮像装置は複数のフレームを撮像し、歪みの補正処理が異なるフレーム間の画素演算処理である、撮像装置。
16. 請求項１５に記載の撮像装置において、間引き読み出しの読み出し規則が隣接するフレームで異なる、撮像装置。

Images