JP6021574B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

一般に、デジタルスチルカメラやビデオカメラなど、動画を撮影することができる撮像装置においては、光学ズームや電子ズームなどのズーム機能を備えている。ズーム機能を用いることによって、広角（以下、「ワイド側」という）から望遠（以下、「テレ側」という）まで、様々な画角で被写体を撮影することができる。

しかし、例えば、運動会の徒競走のように、大きく動いている被写体を撮影する場合、ズームの倍率を上げてテレ側で撮影しようとすると、撮影者（ユーザ）が被写体を見失う、すなわち、被写体を画像の中に収めるのが難しくなる。逆に、ワイド側で撮影すると、被写体を見失うことは少なくなるが、画像の中に収まっている被写体が小さくなってしまう、という問題がある。

このような問題を解決するため、例えば、特許文献１のような、ワイド側の画像（以下、「ワイド側画像」という）とテレ側の画像（以下、「テレ側画像」という）とを同時に撮影する機能を備えた撮像装置の技術が開示されている。特許文献１で開示された技術では、撮影した画像のデータをトリミングすることによって、画角の異なる複数の画像（例えば、撮影した元のワイド側画像と、トリミングしたテレ側画像との２つの画像）を１枚の合成画像として記録している。

また、例えば、特許文献２で開示された技術では、撮影した領域全体を縮小した画像と、一部の領域を拡大した画像とを同時に表示する表示装置の技術が開示されている。

特許文献１や特許文献２で開示された技術を用いることによって、ワイド側画像とテレ側画像とのように、画角の異なる複数の画像を同時に撮影することや、同時に表示して確認することができるようになり、上述したような問題を回避することができる。

特許第４６９７０７８号公報 特開２００４−１５５１７号公報

ところで、撮影した画像に対して様々な処理を行う画像処理は、処理する画像の大きさが大きくなる、つまり、画像処理を行う画素数が多くなると、画像処理を行う際の負荷が増大し、処理時間が長くなる。ここで、ワイド側画像とテレ側画像と同時に得るために行われる画像処理の処理時間について説明する。図９は、ワイド側画像から切り出す（トリミングする）テレ側画像の大きさの一例を説明する図である。図９（ａ）には、主要被写体が小さく写っているワイド側画像からテレ側画像を切り出す領域の一例を示し、図９（ｂ）には、主要被写体が大きく写っているワイド側画像からテレ側画像を切り出す領域の一例を示している。

撮影したワイド側画像から切り出すテレ側画像の画角の大きさ（サイズ）は、主要被写体の大きさに応じて決定することが望ましい。より具体的には、図９（ａ）に示したように、主要被写体が小さく写っているワイド側画像Ｗ１から切り出すテレ側画像Ｔ１の領域は小さく、図９（ｂ）に示したように、主要被写体が大きく写っているワイド側画像Ｗ２から切り出すテレ側画像Ｔ２の領域は大きいことが望ましい。これにより、テレ側画像に写る主要被写体は、同様の大きさになる。

図９に示したようにそれぞれのテレ側画像を切り出したとき、テレ側画像Ｔ２の領域はテレ側画像Ｔ１よりも大きな領域となり、画像処理を行う画素数は、テレ側画像Ｔ２の方がテレ側画像Ｔ１よりも多くなる。このため、同じテレ側画像を処理するにもかかわらず、画像処理の負荷はテレ側画像Ｔ２の方が大きくなり、結果としてより多くの処理時間を要してしまう。その結果、撮像装置では、連続して撮影する際の撮影間隔、いわゆる、連写間隔の低下や、動画撮影におけるコマ落ちや、消費電力の増大などの問題が発生してしまう。

しかしながら、特許文献１および特許文献２で開示された技術には、画像処理の負荷や処理時間に関して特に開示がされておらず、切り出すテレ側画像の大きさに伴って延びてしまう撮像装置の処理時間の問題を解決することができない。

本発明は、上記の課題認識に基づいてなされたものであり、撮影される主要被写体の大きさが異なる場合でも、処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができる撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、二次元の行列状に配置された複数の画素を有し、少なくとも２つ以上の駆動モードで、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、前記固体撮像装置がいずれか１つの駆動モードに応じて出力した前記画素信号に対して、前記固体撮像装置が他の駆動モードに応じて前記画素信号を出力する際に行う第１の処理と同等の処理を行う第１の処理部と、前記第１の処理部が前記第１の処理と同等の処理を行った前記画素信号、または前記固体撮像装置が前記他の駆動モードに応じて前記第１の処理を行った前記画素信号のいずれか一方の画素信号を選択する画素信号選択部と、前記画素信号選択部によって選択された前記画素信号に対して第２の処理を行う第２の処理部と、を備えることを特徴とする。

また、本発明の撮像装置において、前記第１の処理は、前記固体撮像装置が有するそれぞれの前記画素が出力するそれぞれの前記画素信号を、該画素信号毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らす処理であり、前記第２の処理は、前記第１の処理が行われた前記画素信号によって表される、前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理である、ことを特徴とする。

また、本発明の撮像装置は、前記第１の処理部と、前記画素信号選択部と、前記第２の処理部とを有し、前記固体撮像装置に配置された全ての前記画素の内、予め定められた第１の画角内に配置された前記画素から出力された前記画素信号に対して、該第１の画角に含まれる前記画素の数を予め定めた数に変換する第１の変換処理を行い、該第１の変換処理を行った結果の第１の画像データを出力する第１の変換部と、前記固体撮像装置に配置された全ての前記画素の内、前記第１の画角よりも小さい予め定められた第２の画角内に配置された前記画素から出力された前記画素信号に対して、該第２の画角に含まれる前記画素の数を予め定めた数に変換する第２の変換処理を行い、該第２の変換処理を行った結果の第２の画像データを出力する第２の変換部と、変換前の前記第２の画角に含まれる前記画素の数に応じて、前記固体撮像装置の駆動モードを変更する駆動モード変更部と、をさらに備えることを特徴とする。

また、本発明の撮像装置において、前記第２の画角は、前記第１の画角内に含まれる主要被写体の大きさに基づいて決定され、前記駆動モード変更部は、前記第２の画角に含まれる前記画素の数が、予め定めた閾値よりも少ない場合には、前記固体撮像装置を、該固体撮像装置が有する全ての前記画素の前記画素信号を出力する第１の駆動モードで駆動させ、前記第２の画角に含まれる前記画素の数が、前記閾値以上である場合には、前記固体撮像装置を、前記第１の駆動モードによって出力する前記画素信号よりも少ない数の前記画素信号にする前記第１の処理を行って出力する第２の駆動モードで駆動させる、ことを特徴とする。

また、本発明の前記画素信号選択部は、前記固体撮像装置が、前記第１の駆動モードで駆動されているときに、該固体撮像装置が該第１の駆動モードに応じて出力した前記画素信号に対して、前記第１の処理部が前記第１の処理と同等の処理を行った前記画素信号を選択し、前記固体撮像装置が、前記第２の駆動モードで駆動されているときに、該固体撮像装置が該第２の駆動モードに応じて前記第１の処理を行って出力した前記画素信号を選択する、ことを特徴とする。

また、本発明の撮像装置において、前記第１の変換処理は、前記第１の処理と前記第２の処理とによって、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする、ことを特徴とする。

また、本発明の撮像装置において、前記第２の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理である、ことを特徴とする。

本発明によれば、撮影される主要被写体の大きさが異なる場合でも、処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができるという効果が得られる。

本発明の実施形態における撮像装置の概略構成を示したブロック図である。 本実施形態の撮像装置において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。 本実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本実施形態の撮像装置に備えた撮像ＩＦ部内の第１の転送部の概略構成を示したブロック図である。 本実施形態の撮像装置に備えた撮像ＩＦ部内の第１の転送部における画像データの処理経路を説明する図である。 本実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 ワイド側画像から切り出すテレ側画像の大きさの一例を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における撮像装置の概略構成を示したブロック図である。図１において、撮像装置１０は、イメージセンサ１００と、撮像ＩＦ（インターフェース）部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ（インターフェース）部５００と、記録媒体５０１と、ＤＲＡＭコントローラ６００と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０１と、ＣＰＵ７００と、被写体検出部８００と、を備えている。

撮像装置１０内の撮像ＩＦ部２００、画像処理部３００、表示処理部４００、カードＩＦ部５００、ＤＲＡＭコントローラ６００、ＣＰＵ７００、および被写体検出部８００は、データバス９００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。

撮像装置１０は、１回の撮影で異なる画角の２つの画像を同時に撮影することができる。以下の説明においては、撮像装置１０が撮影する２つの異なる画角の画像が、ズームレンズを広角側（ワイド側）にしたのと同様の状態で撮影されるワイド側の画像（以下、「ワイド側画像」という）と、ズームレンズを望遠側（テレ側）にしたのと同様の状態で撮影されるテレ側の画像（以下、「テレ側画像」という）とを、同時に撮影するものとする。

イメージセンサ１００は、図示しないズームレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、被写体光に応じた画素信号を、入力画像データとして撮像ＩＦ部２００に出力する。

イメージセンサ１００は、全ての画素信号を出力する駆動モード（以下、「スチルモード」という）や、画素信号を加算して出力する駆動モード（以下、「画素加算モード」という）など、複数の駆動モードで駆動することができる。イメージセンサ１００内には、イメージセンサ１００の駆動モードの設定を行うレジスタ１０１を備えている。イメージセンサ１００の駆動は、ＣＰＵ７００がレジスタ１０１に対して駆動モードを設定することによって変更することができる。

なお、イメージセンサ１００の駆動モードを変更する構成は、図１に示したレジスタ１０１を使用する構成のみに限定されるものではなく、例えば、イメージセンサ１００の入力端子の状態に応じて駆動モードを変更するなど、様々な構成が考えられる。

撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データを取り込み、前処理、リサイズ処理、切り出し処理などの処理を施し、処理した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。撮像ＩＦ部２００は、前処理部２０１と、第１の転送部２０２と、第２の転送部２０３と、を備えている。撮像ＩＦ部２００に備えた第１の転送部２０２と第２の転送部２０３とによって、異なる画角の２つの画像を生成するためのそれぞれの画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

前処理部２０１は、イメージセンサ１００から入力された入力画像データに、キズ補正やシェーディング補正などの前処理を施し、前処理した結果の画像データ（以下、「前処理画像データ」という）を、第１の転送部２０２および第２の転送部２０３のそれぞれに出力する。

第１の転送部２０２および第２の転送部２０３のそれぞれは、前処理部２０１から入力された前処理画像データに対して、リサイズ処理や切り出し処理などの画角を変更する処理を施し、処理した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際、第１の転送部２０２が前処理画像データに対して画角を変更する処理を行って、ワイド側の画角に変更した画像データ（以下、「ワイド側画像データ」という）を、ＤＲＡＭ６０１に転送する（書き込む）。また、第２の転送部２０３が前処理画像データに対して画角を変更する処理を行って、テレ側の画角に変更した画像データ（以下、「テレ側画像データ」という）を、ＤＲＡＭ６０１に転送する（書き込む）。なお、第１の転送部２０２および第２の転送部２０３が行う画角を変更する処理に関する詳細な説明は、後述する。

なお、第１の転送部２０２および第２の転送部２０３のそれぞれ（特に、第２の転送部２０３）が、画角を変更する処理を行う際には、後述する被写体検出部８００が検出した主要被写体の位置や大きさの情報を利用して、適切な位置で適切な大きさの画角に変更することもできる。

また、撮像装置１０において通常の撮影を行う際には、第１の転送部２０２が前処理画像データに対して処理を行った画像データを、ＤＲＡＭ６０１に転送する（書き込む）。なお、撮像装置１０における通常の撮影動作は、従来の撮像装置と変わらないため説明は省略する。

画像処理部３００は、ＤＲＡＭ６０１に記録されているワイド側画像データおよびテレ側画像データを取得し（読み出し）、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。また、画像処理部３００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。また、画像処理部３００は、生成した表示用の画像データおよび記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

画像処理部３００内には、画像処理回路３０１と画像処理回路３０２との２つの画像処理回路を備えている。撮像装置１０において通常の撮影を行う際には、画像処理回路３０１が画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

また、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際には、画像処理回路３０１が、ワイド側画像データに対して画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。また、画像処理回路３０２がテレ側画像データに対して画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。なお、画像処理回路３０１および画像処理回路３０２が行う画像処理に関する詳細な説明は、後述する。

表示処理部４００は、ＤＲＡＭ６０１に記録されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１に出力する。

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスであり、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。

なお、表示デバイス４０１は、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１０に着脱可能な構成であってもよい。

カードＩＦ部５００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、記録媒体５０１に記録させる。また、カードＩＦ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

記録媒体５０１は、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、カードＩＦ部５００から出力された記録用の画像データを記録する。また、カードＩＦ部５００によって記録している画像データが読み出される。なお、図１においては、記録媒体５０１も撮像装置１０の構成要素としているが、記録媒体５０１は、撮像装置１０に着脱可能な構成である。

ＤＲＡＭコントローラ６００は、データバス９００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ６０１へのアクセス要求、例えば、ＤＭＡアクセス要求に応じて、接続されているＤＲＡＭ６０１へのデータの転送（書き込み）、およびＤＲＡＭ６０１からのデータの取得（読み出し）を行う。

ＤＲＡＭ６０１は、ＤＲＡＭコントローラ６００によってアクセス制御されるメモリである。ＤＲＡＭ６０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。

ＣＰＵ７００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。また、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００に備えたレジスタ１０１に対して、イメージセンサ１００の駆動モードを設定する。また、例えば、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、図示しないズームレンズを広角側（ワイド側）や望遠側（テレ側）、またはその中間の状態に制御する。

被写体検出部８００は、撮影された主要被写体の位置や大きさを検出する。被写体検出部８００は、画像の中の特徴点を検出する機能（顔検出や器官（目や鼻など）検出等）や、一旦検出した注目部分を追尾する機能（ブロックマッチングに代表される動きベクトル検出や、色成分の追尾等）を備え、これらの機能によって主要被写体の位置や大きさを検出する。被写体検出部８００は、検出した主要被写体の位置や大きさの情報を、ＤＲＡＭ６０１に転送する（書き込む）。

なお、被写体検出部８００が検出した主要被写体の位置や大きさの情報を、直接、ＣＰＵ７００に出力する構成や、撮像ＩＦ部２００内の第１の転送部２０２および第２の転送部２０３のそれぞれに出力する構成であってもよい。

このような構成によって撮像装置１０は、異なる画角の２つの画像（ワイド側画像とテレ側画像）を同時に撮影する。

次に、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する動作について説明する。図２は、本実施形態の撮像装置１０において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。図２には、図１に示した撮像装置１０の構成要素の内、ワイド側画像とテレ側画像とを同時に撮影する動作に関わる、イメージセンサ１００と、撮像ＩＦ部２００と、画像処理部３００と、データバス９００とのみを示している。

図２に示したように、撮像装置１０では、撮像ＩＦ部２００に備えた第１の転送部２０２が、画角を変更する処理の機能として「水平垂直リサイズ処理機能」を備え、第２の転送部２０３が、画角を変更する処理の機能として「切り出し処理機能」を備えている。以下の説明においては、撮像装置１０が動画を撮影する場合について説明する。撮像装置１０における動画の撮影は、以下の手順で行われる。

（手順１）：まず、ズームレンズを広角側（ワイド側）にした状態で、被写体の光学像をイメージセンサ１００に結像する。イメージセンサ１００は、結像した被写体光に応じた画素信号（入力画像データ）を撮像ＩＦ部２００に出力する。

（手順２）：撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データに対して、まず、前処理部２０１が前処理を施し、前処理画像データを第１の転送部２０２および第２の転送部２０３のそれぞれに出力する。その後、第１の転送部２０２は、前処理部２０１から入力された前処理画像データに対して水平垂直リサイズ処理を施し、ワイド側画像データをＤＲＡＭ６０１に記録する（書き込む）。また、第２の転送部２０３は、前処理部２０１から入力された前処理画像データに対して切り出し処理を施し、テレ側画像データをＤＲＡＭ６０１に記録する（書き込む）。

（手順３）：画像処理部３００は、ＤＲＡＭ６０１に記録されているワイド側画像データおよびテレ側画像データに対してＨ．２６４の動画圧縮処理を施したワイド側およびテレ側の表示用の画像データ（以下、「表示動画データ」という）と記録用の画像データ（以下、「記録動画データ」という）とを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。

なお、画像処理部３００が動画圧縮処理を行う際、上述したように、画像処理回路３０１および画像処理回路３０２のそれぞれは、ワイド側画像データまたはテレ側画像データのいずれか一方の画像データに対してのみ動画圧縮処理を行い、表示動画データと記録動画データとをそれぞれ生成するが、以下の説明において表示動画データと記録動画データとを区別せずに表す場合には、単に「動画データ」という。

その後、表示処理部４００が、ＤＲＡＭ６０１に記録されている表示動画データを表示デバイス４０１に表示させる。このとき、表示処理部４００は、ワイド側またはテレ側のいずれか一方の表示動画データのみを表示デバイス４０１の全面に表示させることができる。また、表示処理部４００は、ワイド側およびテレ側の２つの表示動画データを同時に、例えば、表示デバイス４０１の左右に分割して表示させることもできる。

また、カードＩＦ部５００が、ＤＲＡＭ６０１に記録されている記録動画データを記録媒体５０１に記録させる。このとき、カードＩＦ部５００は、ワイド側およびテレ側の２つの記録動画データを、それぞれ関連した別のファイルとして記録媒体５０１に記録させることができる。また、カードＩＦ部５００は、ワイド側およびテレ側の２つの記録動画データを結合（マージ）して１つのファイルとして記録媒体５０１に記録させることもできる。また、カードＩＦ部５００は、ワイド側またはテレ側のいずれか一方の記録動画データのみを記録媒体５０１に記録させることもできる。

このような手順によって、撮像装置１０では、ズームレンズを広角側（ワイド側）にした状態で撮影した入力画像データから、ワイド側画像データとテレ側画像データとの２つの画角の画像データを生成し、画像処理部３００で２つの画像データに対してそれぞれ動画圧縮処理を行うことによって、ワイド側の動画データとテレ側の動画データとを生成する。そして、ワイド側とテレ側との２つの表示動画データを表示デバイス４０１に表示しながら、ワイド側とテレ側との２つの記録動画データを記録媒体５０１に記録（保存）する。これにより、被写体が大きく動いている場合でも、撮影者（ユーザ）が被写体を見失うことなく撮影することができる。

ここで、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際の各構成要素の動作について、それぞれの構成要素が処理する画像の大きさ（サイズ）、すなわち、処理する画像データの画素数に着目して説明する。撮像装置１０に備えた各構成要素の動作は、主要被写体の大きさに応じたテレ側画像の画角の大きさ（サイズ）、すなわち、ワイド側画像から切り出すテレ側画像の画角に含まれる画像データの画素数の違いによって異なる。

図３〜図５は、本実施形態の撮像装置１０において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。図３〜図５のそれぞれには、テレ側画像の画角の大きさによって異なる各構成要素の動作の違いを示している。なお、図３〜図５は、イメージセンサ１００の有効画素数が１８００万画素（１８Ｍｐｉｘｅｌ）である場合において、撮像装置１０が、イメージセンサ１００の入力画像データから２００万画素（２Ｍｐｉｘｅｌ）のワイド側の動画データおよびテレ側の動画データを生成する一例である。

最初に、図３を参照して、テレ側画像として切り出すテレ側画像データの画素数と、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）とが同じ画素数である場合における、各処理段階の画像データの画素数の関係を説明する。まず、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

撮像装置１０によるワイド側の動画データの生成では、イメージセンサ１００を、全ての画素信号を出力するスチルモードで駆動して、図３（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図３（ｂ）参照）。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（１８Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（１８Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図３（ｃ）に示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第１の転送部２０２が、１８Ｍｐｉｘｅｌの前処理画像データの水平方向を１／３に縮小し、垂直方向を１／３に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が水平垂直リサイズ処理したワイド側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図３（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図３（ａ）に示したように、例えば、中心部分の２Ｍｐｉｘｅｌを切り出した領域Ｂの入力画像データを処理する。

撮像ＩＦ部２００では、前処理部２０１が前処理を施した領域Ａに対応した１８Ｍｐｉｘｅｌの前処理画像データが第２の転送部２０３にも出力される。そして、第２の転送部２０３は、前処理画像データに対して切り出し処理を行って、図３（ｃ）に示したように、領域Ｂに対応したテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分を切り出して２Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図３（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

次に、図４を参照して、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数である場合、すなわち、ワイド側画像に写っている主要被写体が小さい場合における、各処理段階の画像データの画素数の関係を説明する。

なお、ワイド側画像に写っている主要被写体が小さい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係は、図３に示した関係と同様である。従って、図４を参照した撮像装置１０によるワイド側の動画データの生成に関する説明は省略する。

続いて、ワイド側画像に写っている主要被写体が小さい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が小さい場合における撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図４（ａ）に示したように、例えば、中心部分の１Ｍｐｉｘｅｌを切り出した領域Ｃの入力画像データを処理する。このとき、第２の転送部２０３は、前処理部２０１が前処理を施した領域Ａに対応した１８Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理を行って、図４（ｃ）に示したように、領域Ｃに対応したテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分を切り出して１Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（１Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への拡大処理を行いながら動画圧縮処理を施して、図４（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した１Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する拡大処理を行う。そして、画像処理回路３０２は、拡大処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

次に、図５を参照して、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも多い画素数である場合、すなわち、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるワイド側の動画データの生成では、図５（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を撮像ＩＦ部２００に出力する際に、イメージセンサ１００を、画素信号を加算して出力する画素加算モードで駆動する。なお、イメージセンサ１００の駆動モードの画素加算モードへの変更（設定）は、イメージセンサ１００が入力画像データを出力する前に、ＣＰＵ７００が行う。これにより、イメージセンサ１００は、図５（ｂ）に示したように、画素加算を行うことによって１８Ｍｐｉｘｅｌから画素数を減らした入力画像データを、撮像ＩＦ部２００に出力する。より具体的には、イメージセンサ１００が、１８Ｍｐｉｘｅｌの入力画像データの水平方向を１／２に縮小し、垂直方向を１／２に縮小する画素加算を行って、４．５Ｍｐｉｘｅｌに変更した入力画像データを、撮像ＩＦ部２００に出力する。なお、この場合においても、イメージセンサ１００が撮像した画角は変わらない。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（４．５Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（４．５Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図５（ｃ）に示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第１の転送部２０２が、４．５Ｍｐｉｘｅｌの前処理画像データの水平方向を１／１．５に縮小し、垂直方向を１／１．５に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が水平垂直リサイズ処理したワイド側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図５（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図５（ａ）に示したように、例えば、中心部分の６Ｍｐｉｘｅｌを切り出した領域Ｄの入力画像データを処理する。なお、撮像ＩＦ部２００には、イメージセンサ１００が画素加算を行うことによって４．５Ｍｐｉｘｅｌに画素数を減らした入力画像データが入力されるため、撮像ＩＦ部２００は、イメージセンサ１００から切り出す６Ｍｐｉｘｅｌの領域Ｄに対応する、画素加算後の領域の入力画像データに対して処理を行う。従って、第２の転送部２０３は、前処理部２０１が前処理を施した領域Ａに対応した４．５Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理を行って、図５（ｃ）に示したように、領域Ｄに対応した１．５Ｍｐｉｘｅｌのテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、４．５Ｍｐｉｘｅｌの前処理画像データの中心部分から、領域Ｄを水平方向におよび垂直方向にそれぞれ１／２に縮小した領域に対応した領域を切り出して１．５Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（１．５Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への拡大処理を行いながら動画圧縮処理を施して、図５（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した１．５Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する拡大処理を行う。そして、画像処理回路３０２は、拡大処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

このように、撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数に応じて、イメージセンサ１００の駆動モードを変更する。これにより、ワイド側画像に写っている主要被写体が大きい、すなわち、テレ側画像として切り出すテレ側画像データの画素数が多い場合でも、実際に画像処理を行う画素数を減らすことができる。

なお、テレ側画像として切り出すテレ側画像データの画素数に関わらず、常にイメージセンサ１００の駆動モードを変更する、つまり、常に画素加算モードでイメージセンサ１００を駆動することも考えられる。しかし、この場合には、テレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数であっても、つまり、ワイド側画像に写っている主要被写体が小さくても、入力画像データの画素数がイメージセンサ１００によって減らされることになる。このため、テレ側の動画データは、画素数が減らされた入力画像データから切り出したテレ側画像データに基づいて生成されることになり、テレ側画像の画質が低下してしまう。このことから、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数とが同じまたは少ない場合には、イメージセンサ１００の駆動モードを変更しない方が、画質の観点で有利である。

なお、ワイド側画像に写っている主要被写体が大きい場合においては、図３に示したテレ側画像データの画素数がテレ側の動画データの画素数と同じ画素数である場合や、図４に示したテレ側画像データの画素数がテレ側の動画データの画素数よりも少ない画素数である場合と同様に、イメージセンサ１００を駆動することもできる。つまり、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数よりも多い画素数である場合においても、イメージセンサ１００の駆動モードを変更せずにスチルモードで駆動し、イメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）から、テレ側の動画データを生成することもできる。

しかし、ワイド側画像に写っている主要被写体が大きい場合においては、上述したように、イメージセンサ１００の駆動モードを画素加算モードに変更してテレ側の動画データを生成する方が望ましい。これは、第２の転送部２０３が備えている画角を変更する処理の機能が切り出し処理機能のみであるため、第２の転送部２０３が切り出し処理を行ってＤＲＡＭ６０１に記録する（書き込む）テレ側画像データの画素数が多くなってしまい、次に画像処理を行う画像処理回路３０２の処理負荷が増大してしまうからである。このため、イメージセンサ１００の駆動モードを画素加算モードに変更して、図５（ｂ）に示したように、第２の転送部２０３が切り出し処理を行ってＤＲＡＭ６０１に記録する（書き込む）テレ側画像データの画素数を少なくした方が、画像処理を行う際の負荷が増大せず、画像処理回路３０２の処理負荷の観点で有利である。

ここで、仮に、ワイド側画像に写っている主要被写体が大きい場合において、イメージセンサ１００の駆動モードを変更せずに、すなわち、イメージセンサ１００をスチルモードで駆動した場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるワイド側の動画データの生成において、イメージセンサ１００を、全ての画素信号を出力するスチルモードで駆動して、図５（ｅ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図５（ｆ）参照）。なお、図５（ｅ）に示したイメージセンサ１００における領域Ａは、図５（ａ）に示したイメージセンサ１００における領域Ａと同じである。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（１８Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（１８Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が、１８Ｍｐｉｘｅｌの前処理画像データの水平方向を１／３に縮小し、垂直方向を１／３に縮小する水平垂直リサイズ処理を行って、図５（ｇ）に示したように、画素数を変更した２Ｍｐｉｘｅｌのワイド側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図５（ｈ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。撮像装置１０によるテレ側の動画データの生成においても、図５（ａ）に示した領域Ｄと同じ、例えば、中心部分の６Ｍｐｉｘｅｌを切り出した領域Ｄの入力画像データを処理する。

撮像ＩＦ部２００においては、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分の切り出し処理を行って、図５（ｇ）に示したように、領域Ｄに対応した６Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（６Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への縮小処理を行いながら動画圧縮処理を施して、図５（ｈ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した６Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する縮小処理を行う。そして、画像処理回路３０２は、縮小処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

このように、撮像装置１０では、イメージセンサ１００の駆動モードを画素加算モードに変更することによって、イメージセンサ１００で入力画像データを縮小する代わりに、画像処理回路３０２が縮小処理を行うことによって、同様のテレ側の動画データ（２Ｍｐｉｘｅｌ）を生成することができる。

しかし、図５（ｃ）と図５（ｇ）とを比べてわかるように、画像処理回路３０２が画像処理するテレ側画像データの画素数は、図５（ｇ）の方、つまり、イメージセンサ１００の駆動モードを変更せずにテレ側の動画データを生成する方が多くなる。これは、画像処理回路３０２の処理負荷が増大するばかりではなく、撮像装置１０のデータバス９００を介したＤＭＡアクセスによってＤＲＡＭ６０１に転送されるテレ側画像データの量が多いことを表している。より具体的には、第２の転送部２０３がＤＲＡＭ６０１に記録する（書き込む）テレ側画像データ（１．５Ｍｐｉｘｅｌ）と、画像処理回路３０２がＤＲＡＭ６０１から取得する（読み出す）テレ側画像データ（１．５Ｍｐｉｘｅｌ）とを合わせると、イメージセンサ１００の駆動モードを変更した場合は３Ｍｐｉｘｅｌであるのに対して、イメージセンサ１００の駆動モードを変更しない場合は、６Ｍｐｉｘｅｌ＋６Ｍｐｉｘｅｌの１２Ｍｐｉｘｅｌとなる。このように、テレ側画像データの量が多いと、撮像装置１０における連写間隔の低下や、動画撮影のコマ落ちや、消費電力の増大などの問題となってしまう可能性がある。従って、ワイド側画像に写っている主要被写体が大きい場合には、イメージセンサ１００の駆動モードを変更しないでテレ側の動画データを生成する図５（ｅ）〜図５（ｈ）に示した関係の処理よりも、イメージセンサ１００の駆動モードを変更してテレ側の動画データを生成する図５（ａ）〜図５（ｄ）に示した関係の処理の方が、画像処理回路３０２の処理負荷の観点や、撮像装置１０の性能の観点で有利である。すなわち、イメージセンサ１００の駆動モードを変更してテレ側の動画データを生成することによって、撮像装置１０における連写間隔の低下や、動画撮影のコマ落ちや、消費電力の増大などの撮像装置１０の性能の低下を抑えることができる。

このように、撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数が多い場合には、イメージセンサ１００の駆動モードを変更することによって、画像処理回路３０２の処理負荷の観点や、撮像装置１０の性能の観点で有利な状態で、テレ側画像を生成することができる。ただし、上述したように、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数とが同じまたは少ない場合を考えた場合、イメージセンサ１００の駆動モードを画素加算モードに変更すると、画質の観点では不利になってしまう可能性がある。このことから、本実施形態の撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数よりも多い画素数である場合に、イメージセンサ１００の駆動モードを画素加算モードに変更する一例を説明したが、イメージセンサ１００の駆動モードを変更すると判断するためのテレ側画像データの画素数の閾値は、処理負荷の観点、性能の観点、および画質の観点を考慮して決定することが望ましい。従って、撮像装置１０は、今回説明した判断基準を適用した構成のみに限定されるものではなく、例えば、テレ側画像として切り出すテレ側画像データの画素数が、予め定めた画素数以上である場合に、イメージセンサ１００の駆動モードを画素加算モードに変更すると判断する構成であってもよい。

なお、上記の説明では、テレ側画像を生成する際の処理を中心に説明してきた。つまり、テレ側画像データを生成する際の処理では、テレ側画像として切り出すテレ側画像データの画素数が多い場合にイメージセンサ１００の駆動モードを変更してテレ側画像データを生成し、ワイド側画像を生成する際の処理では、単に第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って２Ｍｐｉｘｅｌのワイド側画像データを生成するものとして説明してきた。しかし、図３（ｂ）と図５（ｂ）とを比べてわかるように、テレ側画像データを生成するためにイメージセンサ１００の駆動モードを変更すると、イメージセンサ１００から出力される入力画像データの画素数が異なる。このため、ワイド側画像データを生成するために行うリサイズ処理の全体で考えると、処理の方法が異なっていることになる。

より具体的には、イメージセンサ１００をスチルモードで駆動しているときには、１８Ｍｐｉｘｅｌの入力画像データに対して前処理を施した１８Ｍｐｉｘｅｌの前処理画像データを、水平垂直リサイズ処理して２Ｍｐｉｘｅｌのワイド側画像データに変更している。これに対して、イメージセンサ１００を画素加算モードで駆動しているときには、イメージセンサ１００で画素加算を行って４．５Ｍｐｉｘｅｌの入力画像データに変更し、変更された４．５Ｍｐｉｘｅｌの入力画像データに対して前処理を施した４．５Ｍｐｉｘｅｌの前処理画像データを、水平垂直リサイズ処理して２Ｍｐｉｘｅｌのワイド側画像データに変更している。すなわち、イメージセンサ１００をスチルモードで駆動しているときには、入力画像データを直接リサイズ処理しているのに対し、イメージセンサ１００を画素加算モードで駆動しているときには、入力画像データの画素数を一旦減らしてからリサイズ処理を行っている。

一般的に、リサイズ処理の方法が異なると、例えば、画像の解像感や偽色の発生など、画質に関わる特性が異なることが知られている。このため、撮像装置１０においても、全体で考えたときのリサイズ処理の方法の違いによって、生成されたワイド側の動画データの画像の解像感や発生する偽色などが異なってしまうことが考えられる。例えば、生成されたワイド側の動画データのみを表示した場合に、撮影者（ユーザ）に違和感を与えてしまう可能性がある。

撮像装置１０では、撮像ＩＦ部２００内の第１の転送部２０２が、イメージセンサ１００の駆動モードを変更した場合でも、リサイズ処理の方法を同等にするための構成を備えている。図６は、本実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の第１の転送部２０２の概略構成を示したブロック図である。図６に示した第１の転送部２０２は、画素加算部２０２１と、セレクタ２０２２と、水平垂直リサイズ部２０２３と、を備えている。

画素加算部２０２１は、前処理部２０１から入力された前処理画像データに対して、イメージセンサ１００が行う画素加算と同等の画素加算を行って前処理画像データの画素数を減らす処理を施し、画素加算後の画像データを出力する。

セレクタ２０２２は、イメージセンサ１００の駆動モードに応じて、イメージセンサ１００から入力された入力画像データまたは画素加算部２０２１から入力された画素加算後の画像データのいずれか一方の画像データを選択し、選択した画像データを水平垂直リサイズ部２０２３に出力する。より具体的には、セレクタ２０２２は、イメージセンサ１００をスチルモードで駆動しているときには、画素加算部２０２１から入力された画素加算後の画像データを選択し、イメージセンサ１００を画素加算モードで駆動しているときには、イメージセンサ１００から入力された入力画像データを選択して、水平垂直リサイズ部２０２３に出力する。これにより、水平垂直リサイズ部２０２３には、イメージセンサ１００または画素加算部２０２１のいずれかによって画素加算が行われた画像データが、水平垂直リサイズ部２０２３に入力されることになる。

水平垂直リサイズ部２０２３は、セレクタ２０２２から入力されたイメージセンサ１００からの入力画像データまたは画素加算部２０２１からの画素加算後の画像データに対して水平垂直リサイズ処理を施したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。

このような構成によって、第１の転送部２０２は、イメージセンサ１００の駆動モードが異なる場合でも、同等のリサイズ処理の方法で処理したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）ことができる。

ここで、第１の転送部２０２に入力画像データが入力されてから、ワイド側画像データが出力されるまでの画像データの処理経路について説明する。図７は、本実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の第１の転送部２０２における画像データの処理経路を説明する図である。図７（ａ）には、イメージセンサ１００をスチルモードで駆動しているとき、すなわち、イメージセンサ１００内で画素加算を行っていない入力画像データが入力されたときの画像データの処理経路を示している。また、図７（ｂ）には、イメージセンサ１００を画素加算モードで駆動しているとき、すなわち、イメージセンサ１００内で画素加算を行った入力画像データが入力されたときの画像データの処理経路を示している。

まず、図７（ａ）を参照して、イメージセンサ１００をスチルモードで駆動しているときの画像データの処理経路について説明する。イメージセンサ１００をスチルモードで駆動すると、イメージセンサ１００からは、有効画素の全体の領域の入力画像データに対応した前処理画像データ（フルデータ）が、第１の転送部２０２に入力される。第１の転送部２０２では、画素加算部２０２１が、入力されたフルデータに対して画素加算を行って、フルデータの画素数を減らす。そして、セレクタ２０２２は、画素加算部２０２１が出力した画素加算後のフルデータを選択し、水平垂直リサイズ部２０２３に出力する。そして、水平垂直リサイズ部２０２３は、入力された画素加算後のフルデータに対して水平垂直リサイズ処理を行って画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。

続いて、図７（ｂ）を参照して、イメージセンサ１００を画素加算モードで駆動しているときの画像データの処理経路について説明する。イメージセンサ１００を画素加算モードで駆動すると、イメージセンサ１００からは、イメージセンサ１００内で画素数を減らした入力画像データに対応した前処理画像データ（画素加算データ）が、第１の転送部２０２に入力される。第１の転送部２０２では、画素加算部２０２１による入力された画素加算データに対する画素加算を行わない。そして、セレクタ２０２２は、入力された画素加算データを選択し、水平垂直リサイズ部２０２３に出力する。そして、水平垂直リサイズ部２０２３は、入力された画素加算データに対して水平垂直リサイズ処理を行って画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。

このように、第１の転送部２０２は、イメージセンサ１００の駆動モードに応じて、水平垂直リサイズ部２０２３が水平垂直リサイズ処理を行う画像データを選択することによって、イメージセンサ１００の駆動モードに関わらず、同等のリサイズ処理を行ったワイド側画像データを生成する。

ここで、第１の転送部２０２の動作を含め、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際の各構成要素の動作について、それぞれの構成要素が処理する画像の大きさ（サイズ）、すなわち、処理する画像データの画素数に着目して説明する。図８は、本実施形態の撮像装置１０において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。なお、図８は、イメージセンサ１００の有効画素数が１８００万画素（１８Ｍｐｉｘｅｌ）である場合において、撮像装置１０が、イメージセンサ１００の入力画像データから２００万画素（２Ｍｐｉｘｅｌ）のワイド側の動画データおよびテレ側の動画データを生成する一例である。

最初に、テレ側画像として切り出すテレ側画像データの画素数と、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）とが同じ画素数である場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

撮像装置１０によるワイド側の動画データの生成では、イメージセンサ１００をスチルモードで駆動して、図８（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図８（ｂ）参照）。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（１８Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（１８Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２では、まず、画素加算部２０２１が、前処理画像データに対して画素加算を行って、図８（ｃ）の領域Ｅに示したように、４．５Ｍｐｉｘｅｌに画素数を減らす。そして、セレクタ２０２２が、画素加算部２０２１が出力した４．５Ｍｐｉｘｅｌの前処理画像データを選択し、水平垂直リサイズ部２０２３に出力する。そして、水平垂直リサイズ部２０２３が、画素数を減らした前処理画像データ（４．５Ｍｐｉｘｅｌ）に対して水平垂直リサイズ処理を行って、図８（ｃ）の領域Ｆに示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画素加算部２０２１が、１８Ｍｐｉｘｅｌの前処理画像データの水平方向を１／２に縮小し、垂直方向を１／２に縮小する画素加算を行って、４．５Ｍｐｉｘｅｌに画素数を減らす。なお、この場合においても、イメージセンサ１００が撮像した画角は変わらない。また、水平垂直リサイズ部２０２３が、４．５Ｍｐｉｘｅｌの前処理画像データの水平方向を１／１．５に縮小し、垂直方向を１／１．５に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図８（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

なお、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係は、図３に示した関係と同様であるため、説明は省略する。また、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数である場合、すなわち、ワイド側画像に写っている主要被写体が小さい場合における、各処理段階の画像データの画素数の関係も、図８（ａ）〜図８（ｄ）に示した関係と同様に考えることができるため、説明は省略する。

次に、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも多い画素数である場合、すなわち、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるワイド側の動画データの生成では、図８（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を撮像ＩＦ部２００に出力させる際に、イメージセンサ１００を画素加算モードで駆動し、画素加算によって画素数を減らした入力画像データ（４．５Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図８（ｂ）参照）。なお、図８（ｅ）に示したイメージセンサ１００における領域Ａは、図８（ａ）に示したイメージセンサ１００における領域Ａと同じである。また、イメージセンサ１００が撮像した画角は変わらない。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（４．５Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（４．５Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２では、そして、セレクタ２０２２が、前処理部２０１から入力された４．５Ｍｐｉｘｅｌの前処理画像データを選択し、水平垂直リサイズ部２０２３に出力する。そして、水平垂直リサイズ部２０２３が、前処理部２０１から入力された前処理画像データ（４．５Ｍｐｉｘｅｌ）に対して水平垂直リサイズ処理を行って、図８（ｃ）の領域Ｇに示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、水平垂直リサイズ部２０２３が、４．５Ｍｐｉｘｅｌの前処理画像データの水平方向を１／１．５に縮小し、垂直方向を１／１．５に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図８（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

なお、図８（ｅ）〜図８（ｈ）に示したワイド側画像に写っている主要被写体が大きい場合におけるテレ側の動画データの生成は、第１の転送部２０２内のセレクタ２０２２が、前処理部２０１から入力された４．５Ｍｐｉｘｅｌの前処理画像データを選択しているため、図５（ａ）〜図５（ｄ）に示した関係と同様である。

なお、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係は、図５（ａ）〜図５（ｄ）に示した関係と同様であるため、説明は省略する。

このようにして、撮像装置１０では、イメージセンサ１００または第１の転送部２０２内の画素加算部２０２１のいずれかが画素加算を行って画素数を減らし、水平垂直リサイズ部２０２３が、画素加算後の画像データに対して水平垂直リサイズ処理を行ってワイド側画像データを生成する。これにより、撮像装置１０では、イメージセンサ１００の駆動モードに関わらず、同等のリサイズ処理を行ったワイド側画像データを生成することができる。このことにより、撮像装置１０では、イメージセンサ１００の駆動モードの変更による画像の解像感や発生する偽色などの画質に関わる特性の差を少なくし、撮影者（ユーザ）に違和感を与える可能性が低い、ワイド側の動画データを生成することができる。

上記に述べたとおり、本実施形態の撮像装置１０では、ワイド側画像とテレ側画像とを同時に撮影する際に、ワイド側画像に写っている主要被写体の大きさに応じて、イメージセンサ１００から入力画像データを読み出すための駆動モードを変更する。より具体的には、ワイド側画像に写っている主要被写体が大きい場合には、イメージセンサ１００の駆動モードを、スチルモードから画素加算モードに変更する。これにより、従来の撮像装置では、主要被写体の大きさに依存して、特に、ワイド側画像に写っている主要被写体が大きいと、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数が増大し、画像データの転送や画像処理の負荷が大きくなってしまっていたが、本実施形態の撮像装置１０では、ワイド側画像に写っている主要被写体が大きい場合であっても、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数の増大を抑えることができ、画像データの転送や画像処理の負荷を低減することができる。このことにより、本実施形態の撮像装置１０では、画像処理の処理時間が延びることなく、ワイド側画像とテレ側画像とを同時に撮影することができる。

また、本実施形態の撮像装置１０では、ワイド側画像の生成に用いるワイド側画像データを生成する第１の転送部２０２内に、イメージセンサ１００が行う画素加算と同等の画素加算を行う画素加算部２０２１を備え、イメージセンサ１００の駆動モードに応じて、ワイド側画像データを生成するために行うリサイズ処理の方法を切り替える。これにより、本実施形態の撮像装置１０では、ワイド側画像から切り出して画像処理を行うテレ側画像に基づいて変更されるイメージセンサ１００の駆動モードに関わらず、同等のリサイズ処理を行ったワイド側画像データを生成することができる。すなわち、ワイド側画像から切り出して画像処理を行うテレ側画像に影響されずに、ワイド側画像の生成に用いるワイド側画像データを生成することができる。

上記に述べたとおり、本発明を実施するための形態によれば、画角の異なる複数の画像（実施形態においては、ワイド側画像とテレ側画像との２つの画像）を同時に撮影する際に、ズームレンズを広角側（ワイド側）にした状態で、被写体の光学像をイメージセンサに結像させる。そして、本発明を実施するための形態によれば、広角側（ワイド側）の画像に撮影される主要被写体の大きさに応じて、イメージセンサが結像した被写体光に応じた画素信号を読み出すためのイメージセンサの駆動モードを変更する。これにより、本発明を実施するための形態では、特に、ワイド側の画像に写っている主要被写体が大きいときに、テレ側の画像を生成するために切り出す画像データの画素数が増大し、画像データの転送や画像処理の負荷が大きくなってしまうことを回避することができる。このことにより、本発明を実施するための形態では、ワイド側の画像に写っている主要被写体の大きさに関わらず、テレ側の画像を生成するための画像処理の処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができる。これにより、例えば、運動会の徒競走やＦ１（Ｆｏｒｍｕｌａ Ｏｎｅ）などの自動車レースのように、大きく動いている被写体を撮影する場合でも、撮影者（ユーザ）が被写体を見失うことなく撮影することができ、被写体が大きく写った画像を得ることができる。また、本発明を実施するための形態では、画像データの転送負荷や画像処理の処理負荷の増大によって発生する連写間隔の低下や、動画撮影におけるコマ落ちや、消費電力の増大などの性能の低下を抑えることができる。

また、本発明を実施するための形態によれば、ワイド側の画像を生成する際に用いる画像データを生成する構成要素内に、イメージセンサが行うリサイズ処理と同等の処理を行う機能を備える。これにより、本発明を実施するための形態では、ワイド側の画像から切り出して画像処理を行うテレ側の画像に基づいて変更されるイメージセンサの駆動モードに応じて、ワイド側の画像の生成に用いる画像データを生成するために行うリサイズ処理の方法を切り替えることができ、イメージセンサの駆動モードに関わらず、同等のリサイズ処理を行うことができる。このことにより、本発明を実施するための形態では、生成するワイド側の画像の解像感や発生する偽色などの画質に関わる特性を同等にし、撮影者（ユーザ）に違和感を与える可能性が低い、ワイド側の画像を生成することができる。

なお、本実施形態において説明したイメージセンサ１００の有効画素数、撮像ＩＦ部２００内の第１の転送部２０２および第２の転送部２０３が生成するワイド側の動画データおよびテレ側の動画データの画素数やリサイズ率、画像処理部３００が生成するワイド側の動画データおよびテレ側の動画データの画素数は、一例を示すものであり、本発明の趣旨を逸脱しない範囲であれは、いかなる画素数やリサイズ率であっても同様に、本発明の考え方を適用することができる。また、本実施形態において説明したワイド側の領域の位置（例えば、イメージセンサ１００の有効画素の全体）や、テレ側の領域（例えば、中心部分）も、一例を示すものであり、本発明の趣旨を逸脱しない範囲であれは、いかなる領域や位置であっても同様に、本発明の考え方を適用することができる。

また、本実施形態においては、イメージセンサ１００が画素加算を行って入力画像データの画素数を減らす構成である場合について説明したが、イメージセンサ１００が出力する入力画像データの画素数を減らす方法は、本発明を実施するための形態に示した構成のみに限定されるものではない。例えば、イメージセンサ１００に、画素信号をライン毎に加算または間引いて出力する駆動モードを備えている場合で合っても同様に、本発明の考え方を適用することができる。この場合、画素加算部２０２１の代わりに、イメージセンサ１００が画素信号をライン毎に加算または間引いて出力する駆動モードによって行う処理と同等の処理を行う構成要素を、第１の転送部２０２内に備えることになる。

また、本実施形態においては、異なる画角の２つの動画を同時に撮影する場合について説明したが、撮像装置が異なる画角の２つの静止画を同時に撮影する場合においても、各処理段階の画素数が異なるのみで、同様に考えることができる。例えば、撮像装置１０では、撮像ＩＦ部２００内の第１の転送部２０２と第２の転送部２０３とのそれぞれが出力するワイド側画像データおよびテレ側画像データの画素数や、画像処理部３００内の画像処理回路３０１と画像処理回路３０２とのそれぞれが静止画用の画像処理を施して出力する表示用のワイド側画像およびテレ側画像と、記録用のワイド側画像およびテレ側画像との画素数を、それぞれ静止画に対応した画素数とすることによって、上述した動画を撮影するときの動作と同様に考えることができる。また、複数の動画や静止画を撮影する場合のみではなく、１つの動画や静止画を撮影する場合に、第１の転送部２０２の考え方を適用してもよい。

また、本実施形態においては、撮像装置に備えた画像処理部３００内に２つの画像処理回路（画像処理回路３０１および画像処理回路３０２）を備え、それぞれの画像処理回路が、ワイド側画像データまたはテレ側画像データに対して画像処理を行う構成について説明した。しかし、画像処理部３００内に備える画像処理回路の構成や数は、本発明を実施するための形態に示した構成のみに限定されるものではない。例えば、画像処理部３００内に１つの画像処理回路を備え、時分割で画像処理を行うことによって、ワイド側画像データおよびテレ側画像データのそれぞれに対応した表示用の画像データや記録用の画像データを生成する構成であってもよい。

また、本実施形態においては、撮像装置に被写体検出部８００を備え、被写体検出部８００が撮影された主要被写体の位置や大きさを検出し、第１の転送部および第２の転送部のそれぞれ（特に、第２の転送部２０３）が、被写体検出部８００が検出した主要被写体の位置や大きさの情報を利用して、適切な位置で適切な大きさの画角に変更する構成について説明した。しかし、第１の転送部および第２の転送部のそれぞれ（特に、第２の転送部２０３）が画角を変更するための構成は、本発明を実施するための形態の構成に限定されるものではない。例えば、表示デバイス４０１がタッチパネルである場合、ワイド側画像を表示デバイス４０１に表示した状態で、撮影者（ユーザ）がワイド側画像から切り出すテレ側画像の画角を指定する構成であってもよい。

なお、本実施形態における水平方向と垂直方向とを逆に考えた場合であっても同様に、本発明の考え方を適用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
１０１・・・レジスタ（駆動モード変更部）
２００・・・撮像ＩＦ部（第１の変換部，第２の変換部）
２０１・・・前処理部
２０２・・・第１の転送部（第１の処理部，画素信号選択部，第２の処理部，第１の変換部）
２０２１・・・画素加算部（第１の処理部）
２０２２・・・セレクタ（画素信号選択部）
２０２３・・・水平垂直リサイズ部（第２の処理部）
２０３・・・第２の転送部（第２の変換部）
３００・・・画像処理部
３０１，３０２・・・画像処理回路
４００・・・表示処理部
４０１・・・表示デバイス
５００・・・カードＩＦ部
５０１・・・記録媒体
６００・・・ＤＲＡＭコントローラ
６０１・・・ＤＲＡＭ
７００・・・ＣＰＵ（駆動モード変更部）
８００・・・被写体検出部
９００・・・データバス

Claims (7)

1. 二次元の行列状に配置された複数の画素を有し、少なくとも２つ以上の駆動モードで、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、
   前記固体撮像装置がいずれか１つの駆動モードに応じて出力した前記画素信号に対して、前記固体撮像装置が他の駆動モードに応じて前記画素信号を出力する際に行う第１の処理と同等の処理を行う第１の処理部と、
   前記第１の処理部が前記第１の処理と同等の処理を行った前記画素信号、または前記固体撮像装置が前記他の駆動モードに応じて前記第１の処理を行った前記画素信号のいずれか一方の画素信号を選択する画素信号選択部と、
   前記画素信号選択部によって選択された前記画素信号に対して第２の処理を行う第２の処理部と、
   を備えることを特徴とする撮像装置。
2. 前記第１の処理は、
   前記固体撮像装置が有するそれぞれの前記画素が出力するそれぞれの前記画素信号を、該画素信号毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らす処理であり、
   前記第２の処理は、
   前記第１の処理が行われた前記画素信号によって表される、前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理である、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の処理部と、前記画素信号選択部と、前記第２の処理部とを有し、前記固体撮像装置に配置された全ての前記画素の内、予め定められた第１の画角内に配置された前記画素から出力された前記画素信号に対して、該第１の画角に含まれる前記画素の数を予め定めた数に変換する第１の変換処理を行い、該第１の変換処理を行った結果の第１の画像データを出力する第１の変換部と、
   前記固体撮像装置に配置された全ての前記画素の内、前記第１の画角よりも小さい予め定められた第２の画角内に配置された前記画素から出力された前記画素信号に対して、該第２の画角に含まれる前記画素の数を予め定めた数に変換する第２の変換処理を行い、該第２の変換処理を行った結果の第２の画像データを出力する第２の変換部と、
   変換前の前記第２の画角に含まれる前記画素の数に応じて、前記固体撮像装置の駆動モードを変更する駆動モード変更部と、
   をさらに備えることを特徴とする請求項２に記載の撮像装置。
4. 前記第２の画角は、
   前記第１の画角内に含まれる主要被写体の大きさに基づいて決定され、
   前記駆動モード変更部は、
   前記第２の画角に含まれる前記画素の数が、予め定めた閾値よりも少ない場合には、前記固体撮像装置を、該固体撮像装置が有する全ての前記画素の前記画素信号を出力する第１の駆動モードで駆動させ、
   前記第２の画角に含まれる前記画素の数が、前記閾値以上である場合には、前記固体撮像装置を、前記第１の駆動モードによって出力する前記画素信号よりも少ない数の前記画素信号にする前記第１の処理を行って出力する第２の駆動モードで駆動させる、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記画素信号選択部は、
   前記固体撮像装置が、前記第１の駆動モードで駆動されているときに、該固体撮像装置が該第１の駆動モードに応じて出力した前記画素信号に対して、前記第１の処理部が前記第１の処理と同等の処理を行った前記画素信号を選択し、
   前記固体撮像装置が、前記第２の駆動モードで駆動されているときに、該固体撮像装置が該第２の駆動モードに応じて前記第１の処理を行って出力した前記画素信号を選択する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の変換処理は、
   前記第１の処理と前記第２の処理とによって、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第２の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理である、
   ことを特徴とする請求項６に記載の撮像装置。

Images