JP6021573B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

一般に、デジタルスチルカメラやビデオカメラなど、動画を撮影することができる撮像装置においては、光学ズームや電子ズームなどのズーム機能を備えている。ズーム機能を用いることによって、広角（以下、「ワイド側」という）から望遠（以下、「テレ側」という）まで、様々な画角で被写体を撮影することができる。

しかし、例えば、運動会の徒競走のように、大きく動いている被写体を撮影する場合、ズームの倍率を上げてテレ側で撮影しようとすると、撮影者（ユーザ）が被写体を見失う、すなわち、被写体を画像の中に収めるのが難しくなる。逆に、ワイド側で撮影すると、被写体を見失うことは少なくなるが、画像の中に収まっている被写体が小さくなってしまう、という問題がある。

このような問題を解決するため、例えば、特許文献１のような、ワイド側の画像（以下、「ワイド側画像」という）とテレ側の画像（以下、「テレ側画像」という）とを同時に撮影する機能を備えた撮像装置の技術が開示されている。特許文献１で開示された技術では、撮影した画像のデータをトリミングすることによって、画角の異なる複数の画像（例えば、撮影した元のワイド側画像と、トリミングしたテレ側画像との２つの画像）を１枚の合成画像として記録している。

また、例えば、特許文献２で開示された技術では、撮影した領域全体を縮小した画像と、一部の領域を拡大した画像とを同時に表示する表示装置の技術が開示されている。

特許文献１や特許文献２で開示された技術を用いることによって、ワイド側画像とテレ側画像とのように、画角の異なる複数の画像を同時に撮影することや、同時に表示して確認することができるようになり、上述したような問題を回避することができる。

特許第４６９７０７８号公報 特開２００４−１５５１７号公報

ところで、撮影した画像に対して様々な処理を行う画像処理は、処理する画像の大きさが大きくなる、つまり、画像処理を行う画素数が多くなると、画像処理を行う際の負荷が増大し、処理時間が長くなる。ここで、ワイド側画像とテレ側画像と同時に得るために行われる画像処理の処理時間について説明する。図１０は、ワイド側画像から切り出す（トリミングする）テレ側画像の大きさの一例を説明する図である。図１０（ａ）には、主要被写体が小さく写っているワイド側画像からテレ側画像を切り出す領域の一例を示し、図１０（ｂ）には、主要被写体が大きく写っているワイド側画像からテレ側画像を切り出す領域の一例を示している。

撮影したワイド側画像から切り出すテレ側画像の画角の大きさ（サイズ）は、主要被写体の大きさに応じて決定することが望ましい。より具体的には、図１０（ａ）に示したように、主要被写体が小さく写っているワイド側画像Ｗ１から切り出すテレ側画像Ｔ１の領域は小さく、図１０（ｂ）に示したように、主要被写体が大きく写っているワイド側画像Ｗ２から切り出すテレ側画像Ｔ２の領域は大きいことが望ましい。これにより、テレ側画像に写る主要被写体は、同様の大きさになる。

図１０に示したようにそれぞれのテレ側画像を切り出したとき、テレ側画像Ｔ２の領域はテレ側画像Ｔ１よりも大きな領域となり、画像処理を行う画素数は、テレ側画像Ｔ２の方がテレ側画像Ｔ１よりも多くなる。このため、同じテレ側画像を処理するにもかかわらず、画像処理の負荷はテレ側画像Ｔ２の方が大きくなり、結果としてより多くの処理時間を要してしまう。その結果、撮像装置では、連続して撮影する際の撮影間隔、いわゆる、連写間隔の低下や、動画撮影におけるコマ落ちや、消費電力の増大などの問題が発生してしまう。

しかしながら、特許文献１および特許文献２で開示された技術には、画像処理の負荷や処理時間に関して特に開示がされておらず、切り出すテレ側画像の大きさに伴って延びてしまう撮像装置の処理時間の問題を解決することができない。

本発明は、上記の課題認識に基づいてなされたものであり、撮影される主要被写体の大きさが異なる場合でも、処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができる撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、二次元の行列状に配置された複数の画素を有し、少なくとも２つ以上の駆動モードで、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、前記固体撮像装置に配置された全ての前記画素の内、予め定められた第１の画角内に配置された前記画素から出力された前記画素信号に対して、該第１の画角に含まれる前記画素の数を予め定めた数に変換する第１の変換処理を行い、該第１の変換処理を行った結果の第１の画像データを出力する第１の変換部と、前記固体撮像装置に配置された全ての前記画素の内、前記第１の画角よりも小さい予め定められた第２の画角内に配置された前記画素から出力された前記画素信号に対して、該第２の画角に含まれる前記画素の数を予め定めた数に変換する第２の変換処理を行い、該第２の変換処理を行った結果の第２の画像データを出力する第２の変換部と、変換前の前記第２の画角に含まれる前記画素の数に応じて、前記固体撮像装置の駆動モードを変更する駆動モード変更部と、を備えることを特徴とする。

また、本発明の撮像装置において、前記第２の画角は、前記第１の画角内に含まれる主要被写体の大きさに基づいて決定され、前記駆動モード変更部は、前記第２の画角に含まれる前記画素の数が、予め定めた閾値よりも少ない場合には、前記固体撮像装置を、該固体撮像装置が有する全ての前記画素の前記画素信号を出力する第１の駆動モードで駆動させ、前記第２の画角に含まれる前記画素の数が、前記閾値以上である場合には、前記固体撮像装置を、前記第１の駆動モードによって出力する前記画素信号よりも少ない数の前記画素信号を出力する第２の駆動モードで駆動させる、ことを特徴とする。

また、本発明の撮像装置において、前記第２の駆動モードは、前記固体撮像装置が有する全ての前記画素が出力するそれぞれの前記画素信号を、該画素信号毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らすモードである、ことを特徴とする。

また、本発明の撮像装置において、前記第１の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、前記第２の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理である、ことを特徴とする。

また、本発明の撮像装置において、前記第２の駆動モードは、前記固体撮像装置が有する全ての前記画素が出力するそれぞれの前記画素信号を、該固体撮像装置に配置された複数の前記画素の行毎または列毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らすモードである、ことを特徴とする。

また、本発明の撮像装置において、前記第１の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、前記第２の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理と、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向または列方向に予め定めた数にリサイズする処理とであり、前記第２の変換部は、前記固体撮像装置が、前記第２の駆動モードによって前記画素信号を列方向に減らした場合には、前記第２の画角に含まれる前記画素を切り出す処理を行い、さらに、行方向にリサイズする処理を行い、前記固体撮像装置が、前記第２の駆動モードによって、前記画素信号を行方向に減らした場合には、前記第２の画角に含まれる前記画素を切り出す処理を行い、さらに、列方向にリサイズする処理を行う、ことを特徴とする。

また、本発明の撮像装置において、前記第１の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、前記第２の変換処理は、前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理と、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理とであり、前記第２の変換部は、前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる画素を切り出す処理を行い、さらに、行方向および列方向にリサイズする処理を行う、ことを特徴とする。

本発明によれば、撮影される主要被写体の大きさが異なる場合でも、処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができるという効果が得られる。

本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。 本第１の実施形態の撮像装置において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。 本第１の実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本第１の実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本第１の実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本発明の第２の実施形態の撮像装置において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。 本第２の実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 本発明の第３の実施形態の撮像装置において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。 本第３の実施形態の撮像装置において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。 ワイド側画像から切り出すテレ側画像の大きさの一例を説明する図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１において、撮像装置１０は、イメージセンサ１００と、撮像ＩＦ（インターフェース）部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ（インターフェース）部５００と、記録媒体５０１と、ＤＲＡＭコントローラ６００と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０１と、ＣＰＵ７００と、被写体検出部８００と、を備えている。

撮像装置１０内の撮像ＩＦ部２００、画像処理部３００、表示処理部４００、カードＩＦ部５００、ＤＲＡＭコントローラ６００、ＣＰＵ７００、および被写体検出部８００は、データバス９００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。

撮像装置１０は、１回の撮影で異なる画角の２つの画像を同時に撮影することができる。以下の説明においては、撮像装置１０が撮影する２つの異なる画角の画像が、ズームレンズを広角側（ワイド側）にしたのと同様の状態で撮影されるワイド側の画像（以下、「ワイド側画像」という）と、ズームレンズを望遠側（テレ側）にしたのと同様の状態で撮影されるテレ側の画像（以下、「テレ側画像」という）とを、同時に撮影するものとする。

イメージセンサ１００は、図示しないズームレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、被写体光に応じた画素信号を、入力画像データとして撮像ＩＦ部２００に出力する。

イメージセンサ１００は、全ての画素信号を出力する駆動モード（以下、「スチルモード」という）や、画素信号を加算して出力する駆動モード（以下、「画素加算モード」という）など、複数の駆動モードで駆動することができる。イメージセンサ１００内には、イメージセンサ１００の駆動モードの設定を行うレジスタ１０１を備えている。イメージセンサ１００の駆動は、ＣＰＵ７００がレジスタ１０１に対して駆動モードを設定することによって変更することができる。

なお、イメージセンサ１００の駆動モードを変更する構成は、図１に示したレジスタ１０１を使用する構成のみに限定されるものではなく、例えば、イメージセンサ１００の入力端子の状態に応じて駆動モードを変更するなど、様々な構成が考えられる。

撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データを取り込み、前処理、リサイズ処理、切り出し処理などの処理を施し、処理した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。撮像ＩＦ部２００は、前処理部２０１と、第１の転送部２０２と、第２の転送部２０３と、を備えている。撮像ＩＦ部２００に備えた第１の転送部２０２と第２の転送部２０３とによって、異なる画角の２つの画像を生成するためのそれぞれの画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

前処理部２０１は、イメージセンサ１００から入力された入力画像データに、キズ補正やシェーディング補正などの前処理を施し、前処理した結果の画像データ（以下、「前処理画像データ」という）を、第１の転送部２０２および第２の転送部２０３のそれぞれに出力する。

第１の転送部２０２および第２の転送部２０３のそれぞれは、前処理部２０１から入力された前処理画像データに対して、リサイズ処理や切り出し処理などの画角を変更する処理を施し、処理した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際、第１の転送部２０２が前処理画像データに対して画角を変更する処理を行って、ワイド側の画角に変更した画像データ（以下、「ワイド側画像データ」という）を、ＤＲＡＭ６０１に転送する（書き込む）。また、第２の転送部２０３が前処理画像データに対して画角を変更する処理を行って、テレ側の画角に変更した画像データ（以下、「テレ側画像データ」という）を、ＤＲＡＭ６０１に転送する（書き込む）。なお、第１の転送部２０２および第２の転送部２０３が行う画角を変更する処理に関する詳細な説明は、後述する。

なお、第１の転送部２０２および第２の転送部２０３のそれぞれ（特に、第２の転送部２０３）が、画角を変更する処理を行う際には、後述する被写体検出部８００が検出した主要被写体の位置や大きさの情報を利用して、適切な位置で適切な大きさの画角に変更することもできる。

また、撮像装置１０において通常の撮影を行う際には、第１の転送部２０２が前処理画像データに対して処理を行った画像データを、ＤＲＡＭ６０１に転送する（書き込む）。なお、撮像装置１０における通常の撮影動作は、従来の撮像装置と変わらないため説明は省略する。

画像処理部３００は、ＤＲＡＭ６０１に記録されているワイド側画像データおよびテレ側画像データを取得し（読み出し）、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。また、画像処理部３００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。また、画像処理部３００は、生成した表示用の画像データおよび記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

画像処理部３００内には、画像処理回路３０１と画像処理回路３０２との２つの画像処理回路を備えている。撮像装置１０において通常の撮影を行う際には、画像処理回路３０１が画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

また、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際には、画像処理回路３０１が、ワイド側画像データに対して画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。また、画像処理回路３０２がテレ側画像データに対して画像処理を行って生成した表示用の画像データや記録用の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。なお、画像処理回路３０１および画像処理回路３０２が行う画像処理に関する詳細な説明は、後述する。

表示処理部４００は、ＤＲＡＭ６０１に記録されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１に出力する。

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスであり、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。

なお、表示デバイス４０１は、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１０に着脱可能な構成であってもよい。

カードＩＦ部５００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、記録媒体５０１に記録させる。また、カードＩＦ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

記録媒体５０１は、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、カードＩＦ部５００から出力された記録用の画像データを記録する。また、カードＩＦ部５００によって記録している画像データが読み出される。なお、図１においては、記録媒体５０１も撮像装置１０の構成要素としているが、記録媒体５０１は、撮像装置１０に着脱可能な構成である。

ＤＲＡＭコントローラ６００は、データバス９００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ６０１へのアクセス要求、例えば、ＤＭＡアクセス要求に応じて、接続されているＤＲＡＭ６０１へのデータの転送（書き込み）、およびＤＲＡＭ６０１からのデータの取得（読み出し）を行う。

ＤＲＡＭ６０１は、ＤＲＡＭコントローラ６００によってアクセス制御されるメモリである。ＤＲＡＭ６０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。

ＣＰＵ７００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。また、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００に備えたレジスタ１０１に対して、イメージセンサ１００の駆動モードを設定する。また、例えば、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、図示しないズームレンズを広角側（ワイド側）や望遠側（テレ側）、またはその中間の状態に制御する。

被写体検出部８００は、撮影された主要被写体の位置や大きさを検出する。被写体検出部８００は、画像の中の特徴点を検出する機能（顔検出や器官（目や鼻など）検出等）や、一旦検出した注目部分を追尾する機能（ブロックマッチングに代表される動きベクトル検出や、色成分の追尾等）を備え、これらの機能によって主要被写体の位置や大きさを検出する。被写体検出部８００は、検出した主要被写体の位置や大きさの情報を、ＤＲＡＭ６０１に転送する（書き込む）。

なお、被写体検出部８００が検出した主要被写体の位置や大きさの情報を、直接、ＣＰＵ７００に出力する構成や、撮像ＩＦ部２００内の第１の転送部２０２および第２の転送部２０３のそれぞれに出力する構成であってもよい。

このような構成によって撮像装置１０は、異なる画角の２つの画像（ワイド側画像とテレ側画像）を同時に撮影する。

次に、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する動作について説明する。図２は、本第１の実施形態の撮像装置１０において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。図２には、図１に示した撮像装置１０の構成要素の内、ワイド側画像とテレ側画像とを同時に撮影する動作に関わる、イメージセンサ１００と、撮像ＩＦ部２００と、画像処理部３００と、データバス９００とのみを示している。

図２に示したように、撮像装置１０では、撮像ＩＦ部２００に備えた第１の転送部２０２が、画角を変更する処理の機能として「水平垂直リサイズ処理機能」を備え、第２の転送部２０３が、画角を変更する処理の機能として「切り出し処理機能」を備えている。以下の説明においては、撮像装置１０が動画を撮影する場合について説明する。撮像装置１０における動画の撮影は、以下の手順で行われる。

（手順１）：まず、ズームレンズを広角側（ワイド側）にした状態で、被写体の光学像をイメージセンサ１００に結像する。イメージセンサ１００は、結像した被写体光に応じた画素信号（入力画像データ）を撮像ＩＦ部２００に出力する。

（手順２）：撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データに対して、まず、前処理部２０１が前処理を施し、前処理画像データを第１の転送部２０２および第２の転送部２０３のそれぞれに出力する。その後、第１の転送部２０２は、前処理部２０１から入力された前処理画像データに対して水平垂直リサイズ処理を施し、ワイド側画像データをＤＲＡＭ６０１に記録する（書き込む）。また、第２の転送部２０３は、前処理部２０１から入力された前処理画像データに対して切り出し処理を施し、テレ側画像データをＤＲＡＭ６０１に記録する（書き込む）。

（手順３）：画像処理部３００は、ＤＲＡＭ６０１に記録されているワイド側画像データおよびテレ側画像データに対してＨ．２６４の動画圧縮処理を施したワイド側およびテレ側の表示用の画像データ（以下、「表示動画データ」という）と記録用の画像データ（以下、「記録動画データ」という）とを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。

なお、画像処理部３００が動画圧縮処理を行う際、上述したように、画像処理回路３０１および画像処理回路３０２のそれぞれは、ワイド側画像データまたはテレ側画像データのいずれか一方の画像データに対してのみ動画圧縮処理を行い、表示動画データと記録動画データとをそれぞれ生成するが、以下の説明において表示動画データと記録動画データとを区別せずに表す場合には、単に「動画データ」という。

その後、表示処理部４００が、ＤＲＡＭ６０１に記録されている表示動画データを表示デバイス４０１に表示させる。このとき、表示処理部４００は、ワイド側またはテレ側のいずれか一方の表示動画データのみを表示デバイス４０１の全面に表示させることができる。また、表示処理部４００は、ワイド側およびテレ側の２つの表示動画データを同時に、例えば、表示デバイス４０１の左右に分割して表示させることもできる。

また、カードＩＦ部５００が、ＤＲＡＭ６０１に記録されている記録動画データを記録媒体５０１に記録させる。このとき、カードＩＦ部５００は、ワイド側およびテレ側の２つの記録動画データを、それぞれ関連した別のファイルとして記録媒体５０１に記録させることができる。また、カードＩＦ部５００は、ワイド側およびテレ側の２つの記録動画データを結合（マージ）して１つのファイルとして記録媒体５０１に記録させることもできる。また、カードＩＦ部５００は、ワイド側またはテレ側のいずれか一方の記録動画データのみを記録媒体５０１に記録させることもできる。

このような手順によって、撮像装置１０では、ズームレンズを広角側（ワイド側）にした状態で撮影した入力画像データから、ワイド側画像データとテレ側画像データとの２つの画角の画像データを生成し、画像処理部３００で２つの画像データに対してそれぞれ動画圧縮処理を行うことによって、ワイド側の動画データとテレ側の動画データとを生成する。そして、ワイド側とテレ側との２つの表示動画データを表示デバイス４０１に表示しながら、ワイド側とテレ側との２つの記録動画データを記録媒体５０１に記録（保存）する。これにより、被写体が大きく動いている場合でも、撮影者（ユーザ）が被写体を見失うことなく撮影することができる。

ここで、撮像装置１０においてワイド側画像とテレ側画像とを同時に撮影する際の各構成要素の動作について、それぞれの構成要素が処理する画像の大きさ（サイズ）、すなわち、処理する画像データの画素数に着目して説明する。撮像装置１０に備えた各構成要素の動作は、主要被写体の大きさに応じたテレ側画像の画角の大きさ（サイズ）、すなわち、ワイド側画像から切り出すテレ側画像の画角に含まれる画像データの画素数の違いによって異なる。

図３〜図５は、本第１の実施形態の撮像装置１０において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。図３〜図５のそれぞれには、テレ側画像の画角の大きさによって異なる各構成要素の動作の違いを示している。なお、図３〜図５は、イメージセンサ１００の有効画素数が１８００万画素（１８Ｍｐｉｘｅｌ）である場合において、撮像装置１０が、イメージセンサ１００の入力画像データから２００万画素（２Ｍｐｉｘｅｌ）のワイド側の動画データおよびテレ側の動画データを生成する一例である。

最初に、図３を参照して、テレ側画像として切り出すテレ側画像データの画素数と、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）とが同じ画素数である場合における、各処理段階の画像データの画素数の関係を説明する。まず、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

撮像装置１０によるワイド側の動画データの生成では、イメージセンサ１００を、全ての画素信号を出力するスチルモードで駆動して、図３（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図３（ｂ）参照）。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（１８Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（１８Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図３（ｃ）に示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第１の転送部２０２が、１８Ｍｐｉｘｅｌの前処理画像データの水平方向を１／３に縮小し、垂直方向を１／３に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が水平垂直リサイズ処理したワイド側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図３（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図３（ａ）に示したように、例えば、中心部分の２Ｍｐｉｘｅｌを切り出した領域Ｂの入力画像データを処理する。

撮像ＩＦ部２００では、前処理部２０１が前処理を施した領域Ａに対応した１８Ｍｐｉｘｅｌの前処理画像データが第２の転送部２０３にも出力される。そして、第２の転送部２０３は、前処理画像データに対して切り出し処理を行って、図３（ｃ）に示したように、領域Ｂに対応したテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分を切り出して２Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図３（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

次に、図４を参照して、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数である場合、すなわち、ワイド側画像に写っている主要被写体が小さい場合における、各処理段階の画像データの画素数の関係を説明する。

なお、ワイド側画像に写っている主要被写体が小さい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係は、図３に示した関係と同様である。従って、図４を参照した撮像装置１０によるワイド側の動画データの生成に関する説明は省略する。

続いて、ワイド側画像に写っている主要被写体が小さい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が小さい場合における撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図４（ａ）に示したように、例えば、中心部分の１Ｍｐｉｘｅｌを切り出した領域Ｃの入力画像データを処理する。このとき、第２の転送部２０３は、前処理部２０１が前処理を施した領域Ａに対応した１８Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理を行って、図４（ｃ）に示したように、領域Ｃに対応したテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分を切り出して１Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（１Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への拡大処理を行いながら動画圧縮処理を施して、図４（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した１Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する拡大処理を行う。そして、画像処理回路３０２は、拡大処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

次に、図５を参照して、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも多い画素数である場合、すなわち、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるワイド側の動画データの生成では、図５（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を撮像ＩＦ部２００に出力する際に、イメージセンサ１００を、画素信号を加算して出力する画素加算モードで駆動する。なお、イメージセンサ１００の駆動モードの画素加算モードへの変更（設定）は、イメージセンサ１００が入力画像データを出力する前に、ＣＰＵ７００が行う。これにより、イメージセンサ１００は、図５（ｂ）に示したように、画素加算を行うことによって１８Ｍｐｉｘｅｌから画素数を減らした入力画像データを、撮像ＩＦ部２００に出力する。より具体的には、イメージセンサ１００が、１８Ｍｐｉｘｅｌの入力画像データの水平方向を１／２に縮小し、垂直方向を１／２に縮小する画素加算を行って、４．５Ｍｐｉｘｅｌに変更した入力画像データを、撮像ＩＦ部２００に出力する。なお、この場合においても、イメージセンサ１００が撮像した画角は変わらない。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（４．５Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（４．５Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図５（ｃ）に示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第１の転送部２０２が、４．５Ｍｐｉｘｅｌの前処理画像データの水平方向を１／１．５に縮小し、垂直方向を１／１．５に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が水平垂直リサイズ処理したワイド側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図５（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ａから、図５（ａ）に示したように、例えば、中心部分の６Ｍｐｉｘｅｌを切り出した領域Ｄの入力画像データを処理する。なお、撮像ＩＦ部２００には、イメージセンサ１００が画素加算を行うことによって４．５Ｍｐｉｘｅｌに画素数を減らした入力画像データが入力されるため、撮像ＩＦ部２００は、イメージセンサ１００から切り出す６Ｍｐｉｘｅｌの領域Ｄに対応する、画素加算後の領域の入力画像データに対して処理を行う。従って、第２の転送部２０３は、前処理部２０１が前処理を施した領域Ａに対応した４．５Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理を行って、図５（ｃ）に示したように、領域Ｄに対応した１．５Ｍｐｉｘｅｌのテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２０３が、４．５Ｍｐｉｘｅｌの前処理画像データの中心部分から、領域Ｄを水平方向におよび垂直方向にそれぞれ１／２に縮小した領域に対応した領域を切り出して１．５Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（１．５Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への拡大処理を行いながら動画圧縮処理を施して、図５（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した１．５Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する拡大処理を行う。そして、画像処理回路３０２は、拡大処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

このように、撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数に応じて、イメージセンサ１００の駆動モードを変更する。これにより、ワイド側画像に写っている主要被写体が大きい、すなわち、テレ側画像として切り出すテレ側画像データの画素数が多い場合でも、実際に画像処理を行う画素数を減らすことができる。

なお、テレ側画像として切り出すテレ側画像データの画素数に関わらず、常にイメージセンサ１００の駆動モードを変更する、つまり、常に画素加算モードでイメージセンサ１００を駆動することも考えられる。しかし、この場合には、テレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数であっても、つまり、ワイド側画像に写っている主要被写体が小さくても、入力画像データの画素数がイメージセンサ１００によって減らされることになる。このため、テレ側の動画データは、画素数が減らされた入力画像データから切り出したテレ側画像データに基づいて生成されることになり、テレ側画像の画質が低下してしまう。このことから、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数とが同じまたは少ない場合には、イメージセンサ１００の駆動モードを変更しない方が、画質の観点で有利である。

なお、ワイド側画像に写っている主要被写体が大きい場合においては、図３に示したテレ側画像データの画素数がテレ側の動画データの画素数と同じ画素数である場合や、図４に示したテレ側画像データの画素数がテレ側の動画データの画素数よりも少ない画素数である場合と同様に、イメージセンサ１００を駆動することもできる。つまり、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数よりも多い画素数である場合においても、イメージセンサ１００の駆動モードを変更せずにスチルモードで駆動し、イメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）から、テレ側の動画データを生成することもできる。

しかし、ワイド側画像に写っている主要被写体が大きい場合においては、上述したように、イメージセンサ１００の駆動モードを画素加算モードに変更してテレ側の動画データを生成する方が望ましい。これは、第２の転送部２０３が備えている画角を変更する処理の機能が切り出し処理機能のみであるため、第２の転送部２０３が切り出し処理を行ってＤＲＡＭ６０１に記録する（書き込む）テレ側画像データの画素数が多くなってしまい、次に画像処理を行う画像処理回路３０２の処理負荷が増大してしまうからである。このため、イメージセンサ１００の駆動モードを画素加算モードに変更して、図５（ｂ）に示したように、第２の転送部２０３が切り出し処理を行ってＤＲＡＭ６０１に記録する（書き込む）テレ側画像データの画素数を少なくした方が、画像処理を行う際の負荷が増大せず、画像処理回路３０２の処理負荷の観点で有利である。

ここで、仮に、ワイド側画像に写っている主要被写体が大きい場合において、イメージセンサ１００の駆動モードを変更せずに、すなわち、イメージセンサ１００をスチルモードで駆動した場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置１０によるワイド側の動画データの生成において、イメージセンサ１００を、全ての画素信号を出力するスチルモードで駆動して、図５（ｅ）に示したイメージセンサ１００の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を、撮像ＩＦ部２００に出力させる（図５（ｆ）参照）。なお、図５（ｅ）に示したイメージセンサ１００における領域Ａは、図５（ａ）に示したイメージセンサ１００における領域Ａと同じである。

その後、撮像ＩＦ部２００は、イメージセンサ１００から入力された入力画像データ（１８Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（１８Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が、１８Ｍｐｉｘｅｌの前処理画像データの水平方向を１／３に縮小し、垂直方向を１／３に縮小する水平垂直リサイズ処理を行って、図５（ｇ）に示したように、画素数を変更した２Ｍｐｉｘｅｌのワイド側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図５（ｈ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置１０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。撮像装置１０によるテレ側の動画データの生成においても、図５（ａ）に示した領域Ｄと同じ、例えば、中心部分の６Ｍｐｉｘｅｌを切り出した領域Ｄの入力画像データを処理する。

撮像ＩＦ部２００においては、第２の転送部２０３が、１８Ｍｐｉｘｅｌの前処理画像データの中心部分の切り出し処理を行って、図５（ｇ）に示したように、領域Ｄに対応した６Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２００が切り出し処理したテレ側画像データ（６Ｍｐｉｘｅｌ）に対して、撮像装置１０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への縮小処理を行いながら動画圧縮処理を施して、図５（ｈ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２０３が切り出し処理した６Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する縮小処理を行う。そして、画像処理回路３０２は、縮小処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

このように、撮像装置１０では、イメージセンサ１００の駆動モードを画素加算モードに変更することによって、イメージセンサ１００で入力画像データを縮小する代わりに、画像処理回路３０２が縮小処理を行うことによって、同様のテレ側の動画データ（２Ｍｐｉｘｅｌ）を生成することができる。

しかし、図５（ｃ）と図５（ｇ）とを比べてわかるように、画像処理回路３０２が画像処理するテレ側画像データの画素数は、図５（ｇ）の方、つまり、イメージセンサ１００の駆動モードを変更せずにテレ側の動画データを生成する方が多くなる。これは、画像処理回路３０２の処理負荷が増大するばかりではなく、撮像装置１０のデータバス９００を介したＤＭＡアクセスによってＤＲＡＭ６０１に転送されるテレ側画像データの量が多いことを表している。より具体的には、第２の転送部２０３がＤＲＡＭ６０１に記録する（書き込む）テレ側画像データ（１．５Ｍｐｉｘｅｌ）と、画像処理回路３０２がＤＲＡＭ６０１から取得する（読み出す）テレ側画像データ（１．５Ｍｐｉｘｅｌ）とを合わせると、イメージセンサ１００の駆動モードを変更した場合は３Ｍｐｉｘｅｌであるのに対して、イメージセンサ１００の駆動モードを変更しない場合は、６Ｍｐｉｘｅｌ＋６Ｍｐｉｘｅｌの１２Ｍｐｉｘｅｌとなる。このように、テレ側画像データの量が多いと、撮像装置１０における連写間隔の低下や、動画撮影のコマ落ちや、消費電力の増大などの問題となってしまう可能性がある。従って、ワイド側画像に写っている主要被写体が大きい場合には、イメージセンサ１００の駆動モードを変更しないでテレ側の動画データを生成する図５（ｅ）〜図５（ｈ）に示した関係の処理よりも、イメージセンサ１００の駆動モードを変更してテレ側の動画データを生成する図５（ａ）〜図５（ｄ）に示した関係の処理の方が、画像処理回路３０２の処理負荷の観点や、撮像装置１０の性能の観点で有利である。すなわち、イメージセンサ１００の駆動モードを変更してテレ側の動画データを生成することによって、撮像装置１０における連写間隔の低下や、動画撮影のコマ落ちや、消費電力の増大などの撮像装置１０の性能の低下を抑えることができる。

このように、撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数が多い場合には、イメージセンサ１００の駆動モードを変更することによって、画像処理回路３０２の処理負荷の観点や、撮像装置１０の性能の観点で有利な状態で、テレ側画像を生成することができる。ただし、上述したように、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数とが同じまたは少ない場合を考えた場合、イメージセンサ１００の駆動モードを画素加算モードに変更すると、画質の観点では不利になってしまう可能性がある。このことから、本第１の実施形態の撮像装置１０では、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置１０が生成するテレ側の動画データの画素数よりも多い画素数である場合に、イメージセンサ１００の駆動モードを画素加算モードに変更する一例を説明したが、イメージセンサ１００の駆動モードを変更すると判断するためのテレ側画像データの画素数の閾値は、処理負荷の観点、性能の観点、および画質の観点を考慮して決定することが望ましい。従って、撮像装置１０は、今回説明した判断基準を適用した構成のみに限定されるものではなく、例えば、テレ側画像として切り出すテレ側画像データの画素数が、予め定めた画素数以上である場合に、イメージセンサ１００の駆動モードを画素加算モードに変更すると判断する構成であってもよい。

上記に述べたとおり、本第１の実施形態の撮像装置１０では、ワイド側画像とテレ側画像とを同時に撮影する際に、ワイド側画像に写っている主要被写体の大きさに応じて、イメージセンサ１００から入力画像データを読み出すための駆動モードを変更する。より具体的には、ワイド側画像に写っている主要被写体が大きい場合には、イメージセンサ１００の駆動モードを、スチルモードから画素加算モードに変更する。これにより、従来の撮像装置では、主要被写体の大きさに依存して、特に、ワイド側画像に写っている主要被写体が大きいと、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数が増大し、画像データの転送や画像処理の負荷が大きくなってしまっていたが、本第１の実施形態の撮像装置１０では、ワイド側画像に写っている主要被写体が大きい場合であっても、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数の増大を抑えることができ、画像データの転送や画像処理の負荷を低減することができる。このことにより、本第１の実施形態の撮像装置１０では、画像処理の処理時間が延びることなく、ワイド側画像とテレ側画像とを同時に撮影することができる。

＜第２の実施形態＞
次に、第２の実施形態の撮像装置について説明する。本第２の実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置１０に備えたイメージセンサ１００と撮像ＩＦ部２００のみが異なる。従って、本第２の実施形態の撮像装置の説明においては、第１の実施形態の撮像装置１０と異なる構成要素および動作のみを説明し、第１の実施形態の撮像装置１０と同様の構成要素および動作に関する詳細な説明は省略する。なお、以下の説明においては、本第２の実施形態の撮像装置を撮像装置２０とし、第１の実施形態の撮像装置１０に備えたイメージセンサ１００と異なるイメージセンサをイメージセンサ１１０とし、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と異なる撮像ＩＦ部を撮像ＩＦ部２１０として説明する。また、撮像装置２０に備えた第１の実施形態の撮像装置１０と同様の構成要素には、同一の符号を付加して説明する。

ここで、撮像装置２０において、第１の実施形態の撮像装置１０と同様に、ワイド側画像とテレ側画像との同時撮影に関わる構成について説明する。図６は、本第２の実施形態の撮像装置２０において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。図６には、撮像装置２０においてワイド側画像とテレ側画像とを同時に撮影する動作に関わる、イメージセンサ１１０、撮像ＩＦ部２１０、および画像処理部３００の各構成要素と、データバス９００とを示している。

イメージセンサ１１０は、第１の実施形態の撮像装置１０に備えたイメージセンサ１００と同様に、図示しないズームレンズによって結像された被写体の光学像を光電変換し、被写体光に応じた画素信号を、入力画像データとして撮像ＩＦ部２１０に出力する。

イメージセンサ１１０は、イメージセンサ１１０内に備えたレジスタ１１１を設定することによって、全ての画素信号を出力するスチルモードや、画素信号をライン毎に加算または間引いて出力する駆動モード（以下、「ライン加算モード」という）など、複数の駆動モードで駆動することができる。イメージセンサ１１０の駆動モードは、第１の実施形態の撮像装置１０に備えたイメージセンサ１００と同様に、ＣＰＵ７００がレジスタ１１１に対して駆動モードを設定することによって変更することができる。

なお、イメージセンサ１１０の駆動モードを変更する構成は、図６に示したレジスタ１１１を使用する構成のみに限定されるものではなく、例えば、イメージセンサ１１０の入力端子の状態に応じて駆動モードを変更するなど、様々な構成が考えられる。また、イメージセンサ１１０は、第１の実施形態の撮像装置１０に備えたイメージセンサ１００と同様に、画素信号を画素毎に加算して出力する画素加算モードで駆動することができるものであってもよい。

撮像ＩＦ部２１０は、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と同様に、イメージセンサ１１０から入力された入力画像データを取り込み、前処理、リサイズ処理、切り出し処理などの処理を施した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。撮像ＩＦ部２１０は、前処理部２０１と、第１の転送部２０２と、第２の転送部２１３と、を備えている。

前処理部２０１および第１の転送部２０２のそれぞれは、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の前処理部２０１および第１の転送部２０２のそれぞれと同じであるため、説明は省略する。

第２の転送部２１３は、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の第２の転送部２０３と同様に、前処理部２０１から入力された前処理画像データに対して、リサイズ処理や切り出し処理などの画角を変更する処理を施した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。図６に示したように、第２の転送部２１３は、画角を変更する処理の機能として「切り出し処理機能」と「水平リサイズ処理機能」とを備えている。

なお、撮像ＩＦ部２１０においても、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と同様に、撮像装置２０においてワイド側画像とテレ側画像とを同時に撮影する際、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行ったワイド側画像データと、第２の転送部２１３が前処理画像データに対して水平リサイズ処理を行ったテレ側画像データとを、それぞれＤＲＡＭ６０１に転送する（書き込む）。なお、第１の転送部２０２および第２の転送部２１３が行う画角を変更する処理に関する詳細な説明は、後述する。

次に、撮像装置２０においてワイド側画像とテレ側画像とを同時に撮影する動作について説明する。なお、撮像装置２０において動画を撮影する手順は、第１の実施形態の撮像装置１０で動画を撮影する手順において、対応するそれぞれの構成要素の動作を置き換えることで同様に考えることができるため、説明は省略する。

ここで、撮像装置２０においてワイド側画像とテレ側画像とを同時に撮影する際の各構成要素の動作について、それぞれの構成要素が処理する画像データの画素数に着目して説明する。撮像装置２０に備えた各構成要素の動作は、第１の実施形態の撮像装置１０に備えた各構成要素の動作と同様に、主要被写体の大きさに応じたテレ側画像の画角の大きさ（サイズ）、すなわち、ワイド側画像から切り出すテレ側画像の画角に含まれる画像データの画素数の違いによって異なる。

図７は、本第２の実施形態の撮像装置２０において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。図７は、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置２０が生成するテレ側の動画データの画素数よりも多い画素数である場合、すなわち、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を示している。なお、図７は、イメージセンサ１１０の有効画素数が１８００万画素（１８Ｍｐｉｘｅｌ）である場合において、撮像装置２０が、イメージセンサ１１０の入力画像データから２００万画素（２Ｍｐｉｘｅｌ）のワイド側の動画データおよびテレ側の動画データを生成する一例である。

なお、テレ側画像データの画素数が、撮像装置２０が生成するテレ側の動画データの画素数と同じ画素数（２Ｍｐｉｘｅｌ）である場合や、撮像装置２０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数である場合における各処理段階の画像データの画素数の関係は、図３や図４に示した第１の実施形態の撮像装置１０における各処理段階の画像データの画素数の関係と同様であるため、説明は省略する。

図７を参照して、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置２０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置２０によるワイド側の動画データの生成では、図７（ａ）に示したイメージセンサ１１０の有効画素の全体の領域Ａの入力画像データ（１８Ｍｐｉｘｅｌ）を撮像ＩＦ部２１０に出力する際に、イメージセンサ１１０を、画素信号をライン毎に加算または間引いて出力するライン加算モードで駆動する。なお、イメージセンサ１１０の駆動モードのライン加算モードへの変更（設定）は、第１の実施形態の撮像装置１０と同様に、イメージセンサ１１０が入力画像データを出力する前に、ＣＰＵ７００が行う。これにより、イメージセンサ１１０は、図７（ｂ）に示したように、ライン加算またはライン間引きを行うことによって１８Ｍｐｉｘｅｌから画素数を減らした入力画像データを、撮像ＩＦ部２１０に出力する。より具体的には、イメージセンサ１１０が、１８Ｍｐｉｘｅｌの入力画像データの垂直方向を１／２に縮小するライン加算またはライン間引きを行って、９Ｍｐｉｘｅｌに変更した入力画像データを、撮像ＩＦ部２１０に出力する。なお、この場合においても、イメージセンサ１１０が撮像した画角は変わらない。

その後、撮像ＩＦ部２１０は、イメージセンサ１１０から入力された入力画像データ（９Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（９Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図７（ｃ）に示したように、画素数を変更したワイド側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第１の転送部２０２が、９Ｍｐｉｘｅｌの前処理画像データの水平方向を１／３に縮小し、垂直方向を１／１．５に縮小する水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのワイド側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２１０が水平垂直リサイズ処理したワイド側画像データ（２Ｍｐｉｘｅｌ）に対して動画圧縮処理を施して、図７（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置２０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置２０によるテレ側の動画データの生成では、イメージセンサ１１０の有効画素の全体の領域Ａから、図７（ａ）に示したように、例えば、中心部分の６Ｍｐｉｘｅｌを切り出した領域Ｄの入力画像データを処理する。なお、撮像ＩＦ部２１０には、イメージセンサ１１０がライン加算またはライン間引きを行うことによって９Ｍｐｉｘｅｌに画素数を減らした入力画像データが入力されるため、撮像ＩＦ部２１０は、イメージセンサ１１０から切り出す６Ｍｐｉｘｅｌの領域Ｄに対応する、ライン加算またはライン間引き後の領域の入力画像データに対して処理を行う。従って、第２の転送部２１３は、前処理部２０１が前処理を施した領域Ａに対応した９Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理および水平リサイズ処理を行って、図７（ｃ）に示したように、領域Ｄに対応した１．８Ｍｐｉｘｅｌのテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２１３が、９Ｍｐｉｘｅｌの前処理画像データの中心部分から、領域Ｄをライン加算またはライン間引きして垂直方向を１／２に縮小した３Ｍｐｉｘｅｌの領域を切り出して、さらに水平方向のみ３／５に縮小する水平リサイズ処理を行って、１．８Ｍｐｉｘｅｌのテレ側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００は、撮像ＩＦ部２１０が水平リサイズ処理したテレ側画像データ（１．８Ｍｐｉｘｅｌ）に対して、撮像装置２０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）への拡大処理を行いながら動画圧縮処理を施して、図７（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成し、再度、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、画像処理回路３０２が、第２の転送部２１３が水平リサイズ処理した１．８Ｍｐｉｘｅｌのテレ側画像データを２Ｍｐｉｘｅｌのテレ側画像データに変換する拡大処理を行う。そして、画像処理回路３０２は、拡大処理後の２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

上記に述べたとおり、本第２の実施形態の撮像装置２０でも、第１の実施形態の撮像装置１０と同様に、ワイド側画像とテレ側画像とを同時に撮影する際に、ワイド側画像に写っている主要被写体の大きさに応じて、イメージセンサ１１０から入力画像データを読み出すための駆動モードを変更する。より具体的には、ワイド側画像に写っている主要被写体が大きい場合には、イメージセンサ１１０の駆動モードを、スチルモードからライン加算モードに変更する。これにより、本第２の実施形態の撮像装置２０でも、第１の実施形態の撮像装置１０と同様に、ワイド側画像に写っている主要被写体が大きい場合であっても、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数の増大を抑えることができ、画像データの転送や画像処理の負荷を低減することができる。このことにより、本第２の実施形態の撮像装置２０では、画像処理の処理時間が延びることなく、ワイド側画像とテレ側画像とを同時に撮影することができる。

また、本第２の実施形態の撮像装置２０では、撮像ＩＦ部２１０内の第２の転送部２１３に水平リサイズ処理機能を備えている。そして、第１の実施形態の撮像装置１０では、イメージセンサ１００を画素加算モードで駆動して入力画像データを水平方向および垂直方向に縮小していたのに対し、本第２の実施形態の撮像装置２０では、イメージセンサ１１０で入力画像データを垂直方向に縮小し、撮像ＩＦ部２１０内の第２の転送部２１３で水平方向に縮小することによって、ワイド側画像データとテレ側画像データとを生成する。これにより、本第２の実施形態の撮像装置２０では、第１の実施形態の撮像装置１０と同様の効果を得つつ、同時に撮影するワイド側画像とテレ側画像との水平方向の画質を向上させることができる。

なお、本第２の実施形態の撮像装置２０では、イメージセンサ１１０で入力画像データを垂直方向に縮小し、撮像ＩＦ部２１０内の第２の転送部２１３で水平方向に縮小する構成について説明したが、イメージセンサ１１０で入力画像データを水平方向に縮小し、撮像ＩＦ部２１０内の第２の転送部２１３で垂直方向に縮小する構成にすることもできる。ただし、一般的に、水平方向のリサイズ回路は、垂直方向のリサイズ回路よりも回路規模が小さい。このため、本第２の実施形態の撮像装置２０のように、イメージセンサ１１０で入力画像データを垂直方向に縮小し、撮像ＩＦ部２１０内の第２の転送部２１３で水平方向に縮小する構成の方が、ワイド側画像とテレ側画像との水平方向の画質を向上した上で、撮像ＩＦ部２１０の回路規模の増大を抑えることができる。

＜第３の実施形態＞
次に、第３の実施形態の撮像装置について説明する。本第３の実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００のみが異なる。従って、本第３の実施形態の撮像装置の説明においては、第１の実施形態の撮像装置１０と異なる構成要素および動作のみを説明し、第１の実施形態の撮像装置１０と同様の構成要素および動作に関する詳細な説明は省略する。なお、以下の説明においては、本第３の実施形態の撮像装置を撮像装置３０とし、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と異なる撮像ＩＦ部を撮像ＩＦ部２２０として説明する。また、撮像装置３０に備えた第１の実施形態の撮像装置１０と同様の構成要素には、同一の符号を付加して説明する。

ここで、撮像装置３０において、第１の実施形態の撮像装置１０と同様に、ワイド側画像とテレ側画像との同時撮影に関わる構成について説明する。図８は、本第３の実施形態の撮像装置３０において異なる画角の画像の生成に関わる構成要素の概略構成を示したブロック図である。図８には、撮像装置３０においてワイド側画像とテレ側画像とを同時に撮影する動作に関わる、イメージセンサ１００、撮像ＩＦ部２２０、および画像処理部３００の各構成要素と、データバス９００とを示している。

撮像ＩＦ部２２０は、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と同様に、イメージセンサ１００から入力された入力画像データを取り込み、前処理、リサイズ処理、切り出し処理などの処理を施した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。撮像ＩＦ部２２０は、前処理部２０１と、第１の転送部２０２と、第２の転送部２２３と、を備えている。

前処理部２０１および第１の転送部２０２のそれぞれは、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の前処理部２０１および第１の転送部２０２のそれぞれと同じであるため、説明は省略する。

第２の転送部２２３は、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００内の第２の転送部２０３と同様に、前処理部２０１から入力された前処理画像データに対して、リサイズ処理や切り出し処理などの画角を変更する処理を施した結果の画像データを、ＤＲＡＭ６０１に転送する（書き込む）。図８に示したように、第２の転送部２２３は、画角を変更する処理の機能として「切り出し処理機能」と「水平垂直リサイズ処理機能」とを備えている。なお、水平垂直リサイズ処理機能は、第１の転送部２０２の水平垂直リサイズ処理機能と同様である。

なお、撮像ＩＦ部２２０においても、第１の実施形態の撮像装置１０に備えた撮像ＩＦ部２００と同様に、撮像装置３０においてワイド側画像とテレ側画像とを同時に撮影する際、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行ったワイド側画像データと、第２の転送部２２３が前処理画像データに対して水平垂直リサイズ処理を行ったテレ側画像データとを、それぞれＤＲＡＭ６０１に転送する（書き込む）。なお、第１の転送部２０２および第２の転送部２２３が行う画角を変更する処理に関する詳細な説明は、後述する。

次に、撮像装置３０においてワイド側画像とテレ側画像とを同時に撮影する動作について説明する。なお、撮像装置３０において動画を撮影する手順は、第１の実施形態の撮像装置１０で動画を撮影する手順において、対応するそれぞれの構成要素の動作を置き換えることで同様に考えることができるため、説明は省略する。

ここで、撮像装置３０においてワイド側画像とテレ側画像とを同時に撮影する際の各構成要素の動作について、それぞれの構成要素が処理する画像データの画素数に着目して説明する。撮像装置３０に備えた各構成要素の動作は、第１の実施形態の撮像装置１０に備えた各構成要素の動作と同様に、主要被写体の大きさに応じたテレ側画像の画角の大きさ（サイズ）、すなわち、ワイド側画像から切り出すテレ側画像の画角に含まれる画像データの画素数の違いによって異なる。

図９は、本第３の実施形態の撮像装置３０において異なる画角の画像を生成する各処理段階の画素数の関係の一例を説明する図である。図９は、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置３０が生成するテレ側の動画データの画素数よりも多い画素数である場合、すなわち、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を示している。なお、図９は、イメージセンサ１００の有効画素数が２４００万画素（２４Ｍｐｉｘｅｌ）である場合において、撮像装置３０が、イメージセンサ１００の入力画像データから２００万画素（２Ｍｐｉｘｅｌ）のワイド側の動画データおよびテレ側の動画データを生成する一例である。

なお、テレ側画像データの画素数が、撮像装置３０が生成するテレ側の動画データの画素数と同じ画素数（２Ｍｐｉｘｅｌ）である場合や、撮像装置３０が生成するテレ側の動画データの画素数（２Ｍｐｉｘｅｌ）よりも少ない画素数である場合における各処理段階の画像データの画素数の関係は、図３や図４に示した第１の実施形態の撮像装置１０における各処理段階の画像データの画素数の関係と同様であるため、説明は省略する。

図９を参照して、ワイド側画像に写っている主要被写体が大きい場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置３０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置３０によるワイド側の動画データの生成では、図９（ａ）に示したイメージセンサ１００の有効画素の全体の領域Ｅの入力画像データ（２４Ｍｐｉｘｅｌ）を撮像ＩＦ部２２０に出力する際に、イメージセンサ１００を、画素信号を加算して出力する画素加算モードで駆動する。なお、イメージセンサ１００の駆動モードの画素加算モードへの変更（設定）は、第１の実施形態の撮像装置１０と同様に、イメージセンサ１００が入力画像データを出力する前に、ＣＰＵ７００が行う。これにより、イメージセンサ１００は、図９（ｂ）に示したように、画素加算を行うことによって２４Ｍｐｉｘｅｌから画素数を減らした入力画像データを、撮像ＩＦ部２２０に出力する。より具体的には、イメージセンサ１００が、２４Ｍｐｉｘｅｌの入力画像データの水平方向を１／２に縮小し、垂直方向を１／２に縮小する画素加算を行って、６Ｍｐｉｘｅｌに変更した入力画像データを、撮像ＩＦ部２２０に出力する。なお、この場合においても、イメージセンサ１００が撮像した画角は変わらない。

その後、撮像ＩＦ部２２０は、イメージセンサ１００から入力された入力画像データ（６Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（６Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が前処理画像データに対して水平垂直リサイズ処理を行って、図９（ｃ）に示したように、画素数を変更した２Ｍｐｉｘｅｌのワイド側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図９（ｄ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのワイド側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置３０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置３０によるテレ側の動画データの生成では、イメージセンサ１００の有効画素の全体の領域Ｅから、図９（ａ）に示したように、例えば、中心部分の９Ｍｐｉｘｅｌを切り出した領域Ｆの入力画像データを処理する。なお、撮像ＩＦ部２２０には、イメージセンサ１００が画素加算を行うことによって６Ｍｐｉｘｅｌに画素数を減らした入力画像データが入力されるため、撮像ＩＦ部２２０は、イメージセンサ１００から切り出す９Ｍｐｉｘｅｌの領域Ｆに対応する、画素加算後の領域の入力画像データに対して処理を行う。従って、第２の転送部２２３は、前処理部２０１が前処理を施した領域Ｅに対応した６Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理および水平垂直リサイズ処理を行って、図９（ｃ）に示したように、領域Ｆに対応した２Ｍｐｉｘｅｌのテレ側画像データを、ＤＲＡＭ６０１に記録する（書き込む）。より具体的には、第２の転送部２２３が、６Ｍｐｉｘｅｌの前処理画像データの中心部分から、領域Ｆを水平方向におよび垂直方向にそれぞれ１／２に縮小した２．２５Ｍｐｉｘｅｌの領域を切り出して、さらに水平垂直リサイズ処理を行って、２Ｍｐｉｘｅｌのテレ側画像データに変更して、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０２が、第２の転送部２２３が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、図９（ｄ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。ここで生成された２Ｍｐｉｘｅｌのテレ側の動画データが、その後、表示デバイス４０１に表示されたり、記録媒体５０１に記録（保存）されたりする。

なお、本第３の実施形態の撮像装置３０に備えた撮像ＩＦ部２２０内の第２の転送部２２３は、上述したように、画角を変更する処理の機能として「水平垂直リサイズ処理機能」を備えている。このため、本第３の実施形態の撮像装置３０においては、ワイド側画像に写っている主要被写体が大きい場合に、テレ側画像データの画素数がテレ側の動画データの画素数と同じ画素数である場合や、テレ側画像データの画素数がテレ側の動画データの画素数よりも少ない画素数である場合と同様に、イメージセンサ１００を駆動することもできる。つまり、テレ側画像として切り出すテレ側画像データの画素数が、撮像装置３０が生成するテレ側の動画データの画素数よりも多い画素数である場合においても、イメージセンサ１００の駆動モードを変更せずにスチルモードで駆動し、イメージセンサ１００の有効画素の全体の領域Ｅの入力画像データ（２４Ｍｐｉｘｅｌ）から、テレ側の動画データを生成することもできる。

これにより、本第３の実施形態の撮像装置３０では、イメージセンサ１００の画素加算モードで縮小した入力画像データに基づいて生成したワイド側画像およびテレ側画像よりも、ワイド側画像とテレ側画像とのそれぞれの画質を向上させることができる。

ここで、ワイド側画像に写っている主要被写体が大きい場合において、イメージセンサ１００の駆動モードを変更せずに、すなわち、イメージセンサ１００をスチルモードで駆動して動画データを生成する場合における、各処理段階の画像データの画素数の関係を説明する。まず、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置３０がワイド側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。

ワイド側画像に写っている主要被写体が大きい場合における撮像装置３０によるワイド側の動画データの生成において、イメージセンサ１００を、全ての画素信号を出力するスチルモードで駆動して、図９（ｅ）に示したイメージセンサ１００の有効画素の全体の領域Ｅの入力画像データ（２４Ｍｐｉｘｅｌ）を、撮像ＩＦ部２２０に出力させる（図９（ｆ）参照）。なお、図９（ｅ）に示したイメージセンサ１００における領域Ｅは、図９（ａ）に示したイメージセンサ１００における領域Ｅと同じである。

その後、撮像ＩＦ部２２０は、イメージセンサ１００から入力された入力画像データ（２４Ｍｐｉｘｅｌ）に対して前処理部２０１によって前処理を施し、前処理画像データ（２４Ｍｐｉｘｅｌ）を第１の転送部２０２に出力する。そして、第１の転送部２０２が、２４Ｍｐｉｘｅｌの前処理画像データに対して水平垂直リサイズ処理を行って、図９（ｇ）に示したように、画素数を変更した２Ｍｐｉｘｅｌのワイド側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０１が、第１の転送部２０２が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのワイド側画像データに対してＨ．２６４の動画圧縮処理を施し、図９（ｈ）に示したような２Ｍｐｉｘｅｌのワイド側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

続いて、ワイド側画像に写っている主要被写体が大きい場合において、撮像装置３０がテレ側の動画データを生成する際に各構成要素が処理する画像データの画素数の関係について説明する。撮像装置３０によるテレ側の動画データの生成においても、図９（ａ）に示した領域Ｆと同じ、例えば、中心部分の９Ｍｐｉｘｅｌを切り出した領域Ｆの入力画像データを処理する。

撮像ＩＦ部２２０においては、第２の転送部２２３が、２４Ｍｐｉｘｅｌの前処理画像データに対して切り出し処理および水平垂直リサイズ処理を行って、図９（ｇ）に示したように、領域Ｆに対応した２Ｍｐｉｘｅｌのテレ側画像データを生成し、ＤＲＡＭ６０１に記録する（書き込む）。

その後、画像処理部３００において、画像処理回路３０２が、第２の転送部２２３が水平垂直リサイズ処理した２Ｍｐｉｘｅｌのテレ側画像データに対してＨ．２６４の動画圧縮処理を施し、図９（ｈ）に示したような２Ｍｐｉｘｅｌのテレ側の動画データを生成して、再度、ＤＲＡＭ６０１に記録する（書き込む）。

このように、撮像装置３０では、イメージセンサ１００の駆動モードを画素加算モードに変更することによって、イメージセンサ１００で入力画像データを縮小する代わりに、第２の転送部２２３が水平垂直リサイズ処理を行うことによって、同様のテレ側画像データを生成することができる。

しかも、図９（ｃ）と図９（ｇ）とを比べてわかるように、画像処理回路３０２が画像処理するテレ側画像データの画素数は、イメージセンサ１００の駆動モードに関わらず同じである。従って、本第３の実施形態の撮像装置３０では、イメージセンサ１００の駆動モードに関わらず、画像処理回路３０２が画像処理を行う際の処理負荷は変わらない。

上記に述べたとおり、本第３の実施形態の撮像装置３０では、撮像ＩＦ部２２０内の第２の転送部２２３に水平垂直リサイズ処理機能を備えている。これにより、第１の実施形態の撮像装置１０では、入力画像データを水平方向および垂直方向に縮小する際に、イメージセンサ１００を画素加算モードで駆動することのみで対応していたのに対し、本第３の実施形態の撮像装置３０では、イメージセンサ１００の駆動モードを変更しなくても、撮像ＩＦ部２２０内の第２の転送部２２３で水平方向および垂直方向に縮小して、ワイド側画像データとテレ側画像データとを生成することができる。これにより、本第３の実施形態の撮像装置３０では、ワイド側画像に写っている主要被写体が大きい場合であっても、イメージセンサ１００の駆動モードに関わらず、ワイド側画像から切り出して画像処理を行うテレ側画像の画素数の増大を抑えることができ、画像データの転送や画像処理の負荷を低減することができる。このことにより、本第３の実施形態の撮像装置３０では、画像処理の処理時間が延びることなく、ワイド側画像とテレ側画像とを同時に撮影することができる。

また、本第３の実施形態の撮像装置３０では、イメージセンサ１００の駆動モードを変更せずにスチルモードで駆動することによって、イメージセンサ１００を画素加算モードで駆動して生成したワイド側画像およびテレ側画像よりも、ワイド側画像とテレ側画像とのそれぞれの画質を向上させることができる。

なお、本第３の実施形態の撮像装置３０では、イメージセンサ１００を画素加算モードで駆動した方が、撮像装置３０の消費電力の観点では有利であると考えられる。これは、イメージセンサ１００を画素加算モードで駆動すると、イメージセンサ１００で入力画像データを水平方向および垂直方向に縮小することができるため、イメージセンサ１００が出力する入力画像データの量が少なくなり、イメージセンサ１００と撮像ＩＦ部２２０内の前処理部２０１との間の処理負荷を軽減させることができると考えられるからである。そして、イメージセンサ１００と前処理部２０１との間の処理負荷が軽減したことを利用して、撮像装置３０の消費電力を低減することができると考えられるからである。例えば、撮像装置３０が一定の周期でワイド側画像およびテレ側画像と生成する場合では、イメージセンサ１００の出力ポートであるＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）ポートの内、一部のポートをＯＦＦすることによって、イメージセンサ１００と前処理部２０１との間の信号の変化を少なくしたり、一定の周期を満たす範囲内で撮像ＩＦ部２２０内のクロックレートを落としたりすることによって、撮像装置３０の消費電力を低減することができると考えられる。

従って、本第３の実施形態の撮像装置３０では、生成するワイド側画像とテレ側画像とのそれぞれの画質を優先するか、撮像装置３０の消費電力の低減を優先するかによって、イメージセンサ１００の駆動モードを選択することができる。

上記に述べたとおり、本発明を実施するための形態によれば、画角の異なる複数の画像（実施形態においては、ワイド側画像とテレ側画像との２つの画像）を同時に撮影する際に、ズームレンズを広角側（ワイド側）にした状態で、被写体の光学像をイメージセンサに結像させる。そして、本発明を実施するための形態によれば、広角側（ワイド側）の画像に撮影される主要被写体の大きさに応じて、イメージセンサが結像した被写体光に応じた画素信号を読み出すためのイメージセンサの駆動モードを変更する。これにより、本発明を実施するための形態では、特に、ワイド側の画像に写っている主要被写体が大きいときに、テレ側の画像を生成するために切り出す画像データの画素数が増大し、画像データの転送や画像処理の負荷が大きくなってしまうことを回避することができる。このことにより、本発明を実施するための形態では、ワイド側の画像に写っている主要被写体の大きさに関わらず、テレ側の画像を生成するための画像処理の処理時間が延びることなく、画角の異なる複数の画像を同時に撮影することができる。これにより、例えば、運動会の徒競走やＦ１（Ｆｏｒｍｕｌａ Ｏｎｅ）などの自動車レースのように、大きく動いている被写体を撮影する場合でも、撮影者（ユーザ）が被写体を見失うことなく撮影することができ、被写体が大きく写った画像を得ることができる。また、本発明を実施するための形態では、画像データの転送負荷や画像処理の処理負荷の増大によって発生する連写間隔の低下や、動画撮影におけるコマ落ちや、消費電力の増大などの性能の低下を抑えることができる。

また、本発明を実施するための形態によれば、イメージセンサが結像した被写体光に応じた画素信号を読み出すためのイメージセンサの駆動モードを変更することによって、生成する画角の異なる複数の画像のそれぞれの画質を優先するか、撮像装置の消費電力の低減を優先するかを選択することができる。

なお、本実施形態において説明したイメージセンサ１００の有効画素数、撮像ＩＦ部２００内の第１の転送部２０２および第２の転送部２０３が生成するワイド側の動画データおよびテレ側の動画データの画素数やリサイズ率、画像処理部３００が生成するワイド側の動画データおよびテレ側の動画データの画素数は、一例を示すものであり、本発明の趣旨を逸脱しない範囲であれは、いかなる画素数やリサイズ率であっても同様に、本発明の考え方を適用することができる。また、本実施形態において説明したワイド側の領域の位置（例えば、イメージセンサ１００の有効画素の全体）や、テレ側の領域（例えば、中心部分）も、一例を示すものであり、本発明の趣旨を逸脱しない範囲であれは、いかなる領域や位置であっても同様に、本発明の考え方を適用することができる。

また、本実施形態においては、異なる画角の２つの動画を同時に撮影する場合について説明したが、撮像装置が異なる画角の２つの静止画を同時に撮影する場合においても、各処理段階の画素数が異なるのみで、同様に考えることができる。例えば、撮像装置１０では、撮像ＩＦ部２００内の第１の転送部２０２と第２の転送部２０３とのそれぞれが出力するワイド側画像データおよびテレ側画像データの画素数や、画像処理部３００内の画像処理回路３０１と画像処理回路３０２とのそれぞれが静止画用の画像処理を施して出力する表示用のワイド側画像およびテレ側画像と、記録用のワイド側画像およびテレ側画像との画素数を、それぞれ静止画に対応した画素数とすることによって、上述した動画を撮影するときの動作と同様に考えることができる。

また、本実施形態においては、撮像装置に備えた画像処理部３００内に２つの画像処理回路（画像処理回路３０１および画像処理回路３０２）を備え、それぞれの画像処理回路が、ワイド側画像データまたはテレ側画像データに対して画像処理を行う構成について説明した。しかし、画像処理部３００内に備える画像処理回路の構成や数は、本発明を実施するための形態に示した構成のみに限定されるものではない。例えば、画像処理部３００内に１つの画像処理回路を備え、時分割で画像処理を行うことによって、ワイド側画像データおよびテレ側画像データのそれぞれに対応した表示用の画像データや記録用の画像データを生成する構成であってもよい。

また、本実施形態においては、撮像装置に被写体検出部８００を備え、被写体検出部８００が撮影された主要被写体の位置や大きさを検出し、第１の転送部および第２の転送部のそれぞれ（特に、第２の転送部２０３）が、被写体検出部８００が検出した主要被写体の位置や大きさの情報を利用して、適切な位置で適切な大きさの画角に変更する構成について説明した。しかし、第１の転送部および第２の転送部のそれぞれ（特に、第２の転送部２０３）が画角を変更するための構成は、本発明を実施するための形態の構成に限定されるものではない。例えば、表示デバイス４０１がタッチパネルである場合、ワイド側画像を表示デバイス４０１に表示した状態で、撮影者（ユーザ）がワイド側画像から切り出すテレ側画像の画角を指定する構成であってもよい。

なお、本実施形態における水平方向と垂直方向とを逆に考えた場合であっても同様に、本発明の考え方を適用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１００，１１０・・・イメージセンサ（固体撮像装置）
１０１，１１１・・・レジスタ（駆動モード変更部）
２００，２１０，２２０・・・撮像ＩＦ部（第１の変換部，第２の変換部）
２０１・・・前処理部
２０２・・・第１の転送部（第１の変換部）
２０３，２１３，２２３・・・第２の転送部（第２の変換部）
３００・・・画像処理部
３０１，３０２・・・画像処理回路
４００・・・表示処理部
４０１・・・表示デバイス
５００・・・カードＩＦ部
５０１・・・記録媒体
６００・・・ＤＲＡＭコントローラ
６０１・・・ＤＲＡＭ
７００・・・ＣＰＵ（駆動モード変更部）
８００・・・被写体検出部
９００・・・データバス

Claims (7)

1. 二次元の行列状に配置された複数の画素を有し、少なくとも２つ以上の駆動モードで、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、
   前記固体撮像装置に配置された全ての前記画素の内、予め定められた第１の画角内に配置された前記画素から出力された前記画素信号に対して、該第１の画角に含まれる前記画素の数を予め定めた数に変換する第１の変換処理を行い、該第１の変換処理を行った結果の第１の画像データを出力する第１の変換部と、
   前記固体撮像装置に配置された全ての前記画素の内、前記第１の画角よりも小さい予め定められた第２の画角内に配置された前記画素から出力された前記画素信号に対して、該第２の画角に含まれる前記画素の数を予め定めた数に変換する第２の変換処理を行い、該第２の変換処理を行った結果の第２の画像データを出力する第２の変換部と、
   変換前の前記第２の画角に含まれる前記画素の数に応じて、前記固体撮像装置の駆動モードを変更する駆動モード変更部と、
   を備えることを特徴とする撮像装置。
2. 前記第２の画角は、
   前記第１の画角内に含まれる主要被写体の大きさに基づいて決定され、
   前記駆動モード変更部は、
   前記第２の画角に含まれる前記画素の数が、予め定めた閾値よりも少ない場合には、前記固体撮像装置を、該固体撮像装置が有する全ての前記画素の前記画素信号を出力する第１の駆動モードで駆動させ、
   前記第２の画角に含まれる前記画素の数が、前記閾値以上である場合には、前記固体撮像装置を、前記第１の駆動モードによって出力する前記画素信号よりも少ない数の前記画素信号を出力する第２の駆動モードで駆動させる、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の駆動モードは、
   前記固体撮像装置が有する全ての前記画素が出力するそれぞれの前記画素信号を、該画素信号毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らすモードである、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、
   前記第２の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理である、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記第２の駆動モードは、
   前記固体撮像装置が有する全ての前記画素が出力するそれぞれの前記画素信号を、該固体撮像装置に配置された複数の前記画素の行毎または列毎に予め定めた数だけ加算または間引きすることによって、出力する前記画素信号を減らすモードである、
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記第１の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、
   前記第２の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理と、
   前記第２の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向または列方向に予め定めた数にリサイズする処理とであり、
   前記第２の変換部は、
   前記固体撮像装置が、前記第２の駆動モードによって前記画素信号を列方向に減らした場合には、前記第２の画角に含まれる前記画素を切り出す処理を行い、さらに、行方向にリサイズする処理を行い、
   前記固体撮像装置が、前記第２の駆動モードによって、前記画素信号を行方向に減らした場合には、前記第２の画角に含まれる前記画素を切り出す処理を行い、さらに、列方向にリサイズする処理を行う、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第１の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理であり、
   前記第２の変換処理は、
   前記第１の画角に含まれる前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる前記固体撮像装置に配置された前記画素を切り出す処理と、
   前記第２の画角に含まれる前記固体撮像装置に配置された前記画素の数を、行方向および列方向に予め定めた数にリサイズする処理とであり、
   前記第２の変換部は、
   前記固体撮像装置に配置された前記画素から、前記第２の画角に含まれる画素を切り出す処理を行い、さらに、行方向および列方向にリサイズする処理を行う、
   ことを特徴とする請求項３に記載の撮像装置。

Images