JP5100606B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルビデオカメラ等の撮像装置に関する。

複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理が提案されている（例えば、特許文献１参照）。この高解像度化処理は超解像処理とも呼ばれる。低解像度画像の画素数に対する高解像度画像の画素数の比率は、超解像処理による画素数の拡大倍率を表している。高解像度画像の生成に用いる低解像度画像の枚数を適切な枚数に設定すれば、原理的に、拡大倍率を幾らでも高めることができる。

しかしながら、高解像度画像の生成に用いる低解像度画像の枚数の増大は、超解像処理の演算負荷の増大を招くと共に演算に使用する回路規模の増大を招く。また、実際には、拡大倍率が或る一定の倍率に達すると、それ以上に拡大倍率を高めても実質的な解像度（画像にて表現可能な最大空間周波数）は殆ど向上しなくなる。従って、撮像装置に組み込まれた高解像度化処理部（超解像処理部）による画素数の拡大倍率には、所定の上限が定められる。

高解像度化処理部は、拡大倍率を上限拡大倍率以下に設定した上で超解像処理を行うことができるが、超解像処理による高解像度化の効果は、超解像処理による画素数の拡大倍率を上限拡大倍率にまで高めた時に、最大限に発揮される（例えば、上限拡大倍率が４である時に実際の拡大倍率を１．０１に設定しても、殆ど解像度の向上効果が得られないため）。故に、超解像処理を行う場合、低解像度画像の画素数に対する高解像度画像の比率を上限拡大倍率と一致させることが望ましい。

一方、指定した注目被写体を画像処理によって検出し、切り出し処理によって注目被写体に適した構図の画像を撮影画像から切り出す方法が開示されている（下記非特許文献１参照）。

この方法を用いれば、注目被写体が大きく映し出された切り出し画像をユーザに提供することが可能となるが、切り出し処理を行う分、画質が劣化する。例えば、撮影画像の水平及び垂直方向の画素数が（１２８０×７２０）であって、且つ、その撮影画像から（６４０×３６０）の画素数の切り出し画像を切り出すとすれば、ユーザに提供される画像の画素数が撮影画像のそれの１／４になる。

特開２００７−０００２０５号公報 カシオ、エクシリム総合カタログ、"オートフレーミング機能（ページ３の右下）"、［ｏｎｌｉｎｅ］、平成１９年１１月、［平成２０年１月２５日検索］、インターネット＜URL：http://ftp.casio.co.jp/pub/exilim/jp/exilim.pdf＞

このような切り出し処理に伴う画質劣化を超解像処理によって補償することも考えられる。但し、上述したように、超解像処理による画素数の拡大倍率には上限が存在すると共に高解像度化の効果が最大化される拡大倍率には最適値が存在するため、切り出し画像の画素数に対して何ら配慮をせずに切り出し処理を行うと、良好な画質を有する画像をユーザに提供することができない。

そこで本発明は、特定被写体に適した構図を有する高精細な画像の画質最適化に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、順次撮影によって原画像を順次取得する撮像素子と、光学ズームによって前記原画像上の被写体像の大きさを変化させる光学ズーム制御部と、各原画像の画像データに基づき、各原画像上の特定被写体の位置及び大きさを検出する特定被写体検出部と、前記特定被写体検出部の検出結果に基づき、前記原画像ごとに前記特定被写体を含む狭角画像を前記原画像内に設定し、画像上における狭角画像の位置及び大きさを設定する狭角画像抽出部と、各原画像より、前記狭角画像を内包し且つ前記狭角画像よりも画角の大きい広角画像を抽出する広角画像抽出部と、前記狭角画像抽出部の設定内容に従って、時間的に連続する複数の広角画像より複数の狭角画像を切り出し、前記複数の狭角画像から、前記狭角画像の画素数よりも大きな画素数を有する狭角高解像度画像を生成する高解像度化処理部と、各広角画像の画像データを記録する記録手段と、を備えた撮像装置であって、前記狭角画像の画素数に対する前記狭角高解像度画像の画素数の拡大倍率には所定の上限拡大倍率が定められていて、前記高解像度化処理部は、前記拡大倍率を前記上限拡大倍率まで高めることが可能に形成され、前記記録手段に記録される各広角画像の画素数が所定の基準画素数と一致すべきことが予め定められており、前記光学ズーム制御部は、前記狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率に向かうように、前記光学ズームの倍率を制御することを特徴とする。

これにより、特定被写体に適した構図を有し且つ高精細な画像（狭角高解像度画像）を生成することが可能となる。この際、狭角画像の画素数に対する基準画素数の比率を上限拡大倍率に近づけることで、高解像度化処理部による高解像度化処理の効果が最大化され、所定の画素数を有する狭角高解像度画像の画質を最適なものに近づけることができる。

具体的には例えば、第１及び第２時刻にて撮影された原画像に基づく狭角画像を夫々第１及び第２狭角画像と呼び、前記第２時刻は第１時刻よりも後の時刻であり、前記光学ズーム制御部は、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも大きい場合、第１及び第２時刻間で前記光学ズームの倍率を増大させることにより、前記第１狭角画像の画素数に対する前記基準画素数の比率に比べて前記第２狭角画像の画素数に対する前記基準画素数の比率を前記上限拡大倍率に近づける。

更に例えば、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも大きい場合において、第前記１時刻における前記光学ズームの倍率が所定の上限倍率に達しているとき、前記広角画像抽出部は、前記第１狭角画像の画素数に前記上限拡大倍率を乗じた画素数を有し且つ前記第１狭角画像を内包する画像を前記第１時刻の原画像から抽出し、抽出した画像の画素数を解像度変換によって前記基準画素数まで増大させて得た画像を前記第１時刻の原画像から抽出されるべき広角画像として生成してもよい。

また具体的には例えば、第１及び第２時刻にて撮影された原画像に基づく狭角画像を夫々第１及び第２狭角画像と呼び、前記第２時刻は第１時刻よりも後の時刻であり、前記光学ズーム制御部は、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも小さい場合、第１及び第２時刻間で前記光学ズームの倍率を減少させることにより、前記第１狭角画像の画素数に対する前記基準画素数の比率に比べて前記第２狭角画像の画素数に対する前記基準画素数の比率を前記上限拡大倍率に近づける。

更に例えば、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも小さい場合において、第前記１時刻における前記光学ズームの倍率が所定の下限倍率に達しているとき、前記広角画像抽出部は、前記基準画素数よりも大きな画素数を有し且つ前記第１狭角画像を内包する画像を前記第１時刻の原画像から抽出し、抽出した画像の画素数を解像度変換によって前記基準画素数まで減少させて得た画像を前記第１時刻の原画像から抽出されるべき広角画像として生成してもよい。

本発明によれば、特定被写体に適した構図を有する高精細な画像の画質最適化に寄与する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。

撮像装置１は、符号１０〜２７によって参照される各部位を備えている。光学系１０は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズと絞り３２によって形成される。ズームレンズ３０及びフォーカスレンズ３１は、光学系１０の光軸方向に沿って移動可能に光学系１０に配置される。尚、本実施形態では、表示部２３が撮像装置１内に設けられていると想定しているが、表示部２３は、撮像装置１の外部の表示装置であてもよい。

撮像素子１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子である。撮像素子１１は、光学系１０内の各レンズ（レンズ３０及び３１を含む）及び絞り３２を介して入射した被写体を表す光学像（被写体像）を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子１１は、マトリクス状に二次元配列された複数の受光画素を備え、各画像の撮影において、各受光画素は露光時間の長さに応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。

ＡＦＥ（Analog Front End）１２は、撮像素子１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから補正処理部１３に出力する。補正処理部１３は、ＡＦＥ１２の出力信号に対して各種の必要な処理を実行し、その処理後の信号を出力する。例えば、補正処理部１３は、ＡＦＥ１２の出力信号に対して、光学系１０のレンズ特性に応じた所定のレンズ歪補正や、撮像素子１１に含まれうる受光画素の欠陥に応じた画素欠陥補正を行う。補正処理部１３の出力信号をＲＡＷデータとも呼ぶ。

撮像素子１１は、いわゆる単板方式のイメージセンサであり、撮像素子１１としての１枚のイメージセンサにおける各受光画素の前面には、光の赤成分のみを透過させる赤フィルタ、光の緑成分のみを透過させる緑フィルタ、及び、光の青成分のみを透過させる青フィルタの何れかが配置されている。赤フィルタ、緑フィルタ及び青フィルタの配列は、ベイヤ配列である。従って、ＲＡＷデータによって表される二次元画像には、赤の色信号がベイヤ配列に従ってモザイク状に配置されている（緑及び青についても同様）。

デモザイキング処理部１４は、ＲＡＷデータに対して周知のデモザイキング処理を実行することにより、ＲＧＢ形式の画像データ又はＹＵＶ形式の画像データを生成する。デモザイキング処理部１４が生成した画像データによって表される二次元画像を、以下、原画像と呼ぶ。原画像を形成する１つ１つの画素には、画素の赤、緑及び青の強度を表すＲ、Ｇ及びＢ信号の全てが割り当てられている、或いは、Ｙ並びにＵ及びＶ信号の全てが割り当てられている。或る画素についてのＲ、Ｇ及びＢ信号は、夫々、その画素の赤、緑及び青の強度を表す色信号である。また、Ｙ信号は輝度信号であり、Ｕ及びＶ信号は色差信号である。

主要被写体検出部１５は、原画像の画像データに基づいて、原画像上における主要被写体の位置及び大きさを検出する。本実施形態では、顔検出機能を用いて主要被写体を設定する。具体的には、主要被写体検出部１５は、原画像の画像データに基づいて原画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。これを実現する処理を顔検出処理という。画像中に含まれる顔を検出する手法として様々な手法が知られており、主要被写体検出部１５は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように原画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

主要被写体検出部１５は、原画像から顔領域を抽出した後、その顔領域に対応する人物の胴体部分を含む領域である胴体領域を原画像から抽出する。胴体領域は、顔領域の下方側（眉間から口に向かう方向側）に、顔領域に隣接して存在する領域とされる。胴体領域の大きさは、顔領域の大きさに依存して決定される。その後、顔領域及び胴体領域を含む矩形領域を主要被写体領域として設定する。尚、１枚の原画像から複数の顔領域が検出された場合は、原画像の中心に最も近い位置に中心位置が存在する顔領域を選択し、選択した顔領域と選択した顔領域に対応する胴体領域を含む矩形領域を主要被写体領域として設定する。

図２の画像３００は、原画像の一例を表している。図２において、符号３０１が付された人物は、原画像３００上における主要被写体である。破線矩形領域３０２は、主要被写体３０１の顔領域であり、顔領域３０２の下方に隣接する破線矩形領域３０３は、主要被写体３０１の胴体領域である。顔領域３０２と胴体領域３０３の合成領域に相当する実線矩形領域３０４が、原画像３００の主要被写体領域である。

主要被写体検出部１５は、例えば、主要被写体領域３０４の中心位置を原画像３００上における主要被写体の位置として検出し、主要被写体領域３０４の大きさを原画像３００上における主要被写体の大きさとして検出する。主要被写体検出部１５にて、主要被写体領域の中心位置及び大きさを表す主要被写体情報が生成される。

狭角切出し制御部１６は、主要被写体情報に基づいて、主要被写体領域を含む狭角切出し領域を原画像の全体画像領域内に設定する。そして、原画像上における狭角切出し領域の位置及び大きさを表す狭角切出し情報を生成する。広角切出し制御部１７は、狭角切出し情報に基づいて狭角切出し領域を含む広角切出し領域を原画像の全体画像領域内に設定し、原画像から広角切出し領域内の画像を切り出す（抽出する）。

図２において、破線矩形領域３０５は、原画像３００に対して設定される狭角切出し領域である。例えば、原画像３００上における狭角切出し領域３０５の中心位置は、主要被写体領域３０４の中心位置と同じに設定される。狭角切出し領域３０５の大きさは、主要被写体領域３０４の大きさが増大するにつれて増大し、主要被写体領域３０４の大きさが減少するにつれて減少する。原画像３００上における主要被写体３０１の大きさが増大すれば顔領域３０２、胴体領域３０３及び主要被写体領域３０４の大きさ（画素数）も増大し、原画像３００上における主要被写体３０１の大きさが減少すれば顔領域３０２、胴体領域３０３及び主要被写体領域３０４の大きさ（画素数）も減少するため、原画像３００上における主要被写体の大きさの増大／減少に連動して、狭角切出し領域３０５の大きさも増大／減少する。

図２において、破線矩形領域３０６は、原画像３００に対して設定される広角切出し領域である。原画像３００上における広角切出し領域３０６の中心位置は、原画像３００上における狭角切出し領域３０５の中心位置を基準にして決定される。可能であれば例えば、狭角切出し領域３０５の中心位置と広角切出し領域３０６の中心位置は一致せしめられる。

狭角切出し領域内の画像（より厳密には、狭角切出し領域の外枠と外枠が一致する画像）を狭角画像と呼ぶと共に、広角切出し領域内の画像（より厳密には、広角切出し領域の外枠と外枠が一致する画像）を広角画像と呼ぶ。広角切出し領域の大きさの設定方法については後に詳説されるが、広角切出し領域（図２の例において領域３０６）の大きさは必ず狭角切出し領域（図２の例において領域３０５）の大きさよりも大きい。従って、或る１枚の原画像から切り出された広角画像と狭角画像を比較した場合、前者の画角（視野）の方が後者のそれよりも広い（換言すれば、後者よりも前者の方が大きさが大きい）。

尚、以下の説明では、便宜上、図２の原画像３００に対応する狭角切出し領域及び広角切出し領域を表す符合３０５及び３０６を、夫々、原画像３００から切出される狭角画像及び広角画像を表す符合としても用いる。後述する他の原画像についても同様である。

圧縮処理部１８は、広角画像の画像データを所定の圧縮方式を用いて圧縮する。記録媒体１９は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリから成り、圧縮処理部１８にて圧縮された広角画像の画像データを記録する。この際、広角画像の画像データに狭角切出し情報を関連付けて記録する。図２の原画像３００に関しては、狭角画像３０５についての狭角切出し情報が広角画像３０６の画像データに関連付けられて記録される。このため、記録媒体１９の記録データから広角画像３０６の画像データを生成可能であると共に、広角画像３０６の画像データ及び記録された狭角切出し情報から狭角画像３０５の画像データを生成可能である。尚、記録媒体１９にＲＡＷデータを記録させることも可能である。伸張処理部２０は、記録媒体１９に記録されている、圧縮された画像データを伸張し、伸張後の画像データを画像処理部２１に送る。

ところで、撮像素子１１は、所定のフレーム周期にて順次撮影を行うことが可能であり、この順次撮影によって原画像列が形成される。原画像列は、時系列で並ぶ原画像の集まりである。原画像列が、第１、第２、第３、・・・第ｉ、第（ｉ＋１）・・・フレームの原画像から成るものとする。第ｉフレームの原画像は、第（ｉ−１）フレームの原画像の次に撮影される原画像であるとする（ｉは整数）。第ｉフレームの原画像から抽出されるべき広角画像及び狭角画像を、夫々、第ｉフレームの広角画像及び狭角画像と呼ぶ。

画像の撮影及び記録時には、原画像ごとに、主要被写体情報、狭角切出し情報及び広角画像の生成がなされる。従って、第ｉフレームの原画像の画像データに基づいて第ｉフレームの原画像上における主要被写体の位置及び大きさが検出されて第ｉフレームの主要被写体情報が生成され、その第ｉフレームの主要被写体情報に基づき、第ｉフレームの狭角切出し情報が生成される。第ｉフレームの狭角切出し情報に応じて第ｉフレームの原画像から第ｉフレームの広角画像が抽出され、第ｉフレームの広角画像の画像データは圧縮処理を介して第ｉフレームの狭角切出し情報と共に記録媒体１９に記録される。

画像データの再生時には、第１〜第ｉフレームの広角画像の圧縮画像データが順次記録媒体１９から読み出されて伸張され、第１〜第ｉフレームの広角画像の画像データが、第１〜第ｉフレームの狭角切出し情報と共に画像処理部２１に送られる。

画像処理部２１は、第１〜第ｉフレームの広角画像の画像データを、そのまま液晶ディスプレイ等から成る表示部２３に送ることにより、第１〜第ｉフレームの広角画像から成る動画像を表示部２３に表示させることが可能である。また、第１〜第ｉフレームの狭角切出し情報に従って第１〜第ｉフレームの広角画像から第１〜第ｉフレームの狭角画像を切り出すことにより、第１〜第ｉフレームの狭角画像から成る動画像を表示部２３に表示させることも可能である。

更に、画像処理部２１には高解像度化処理部２２が設けられており、高解像度化処理部２２を利用することによって、高い解像度を有する狭角画像の動画像を再生表示することも可能である。高解像度化処理部２２は、ｍ枚の低解像度画像から１枚の高解像度画像を生成する超解像処理（高解像度化処理）を実行可能に形成されており、ｍ枚の狭角画像をｍ枚の低解像度画像として用いることにより、１枚の高解像度の狭角画像（以下、狭角高解像度画像という）を生成する。ここで、ｍは２以上の整数である。高解像度化処理部２２では、公知の任意の超解像処理を利用可能である。例えば、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに記載の超解像処理方法を利用することが可能である。

図３を参照し、ｍ＝３である場合における超解像処理を説明する。高解像度化処理部２２は、第（ｉ−２）、第（ｉ−１）及び第ｉフレームの狭角画像を、夫々、第１、第２、及び第３の観測低解像度画像として取り扱って超解像処理を行う。上述の説明から明らかなように、第（ｉ−２）、第（ｉ−１）及び第ｉフレームの狭角画像を、記録媒体１９に記録された第（ｉ−２）、第（ｉ−１）及び第ｉフレームの狭角切出し情報を用いて、第（ｉ−２）、第（ｉ−１）及び第ｉフレームの広角画像から切り出すことが可能である。

高解像度化処理部２２は、第１の観測低解像度画像を基準として、第１と第２の観測低解像度画像との間の位置ずれ量及び第１と第３の観測低解像度画像との間の位置ずれ量を検出する。位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。位置ずれ量は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、サブピクセルの分解能を有するように検出される。即ち、観測低解像度画像内の隣接する画素の間隔よりも短い距離を最小検出単位として位置ずれ量が検出される。

一方で、線形補間やバイキュービック補間を用いて第１の観測低解像度画像の水平及び垂直方向の画素数を増大させた画像を初期の高解像度画像として生成する。生成された高解像度画像はより最適なものへと更新されてゆく。即ち、高解像度化処理部２２は、検出した上述の各位置ずれ量を用いて、現時点の高解像度画像を構築する３枚の低解像度画像を推定し、推定した各低解像度画像と各観測低解像度画像との誤差が最小化されるように高解像度画像を更新してゆく。最終的に得られた高解像度画像は、第（ｉ−２）フレームにおける狭角高解像度画像に相当する。他の狭角画像も同様にして解像度が向上される。例えば、第（ｉ−１）、第ｉ及び第（ｉ＋１）フレームの狭角画像に基づいて、第（ｉ−１）フレームにおける狭角高解像度画像が生成される。

超解像処理によって生成された第１〜第ｉフレームの狭角高解像度画像の画像データを表示部２３に送ることにより、第１〜第ｉフレームの狭角高解像度画像から成る動画像を表示部２３に表示させることが可能である。

尚、撮影時に、デモザイキング処理部１４から出力される原画像の画像データを表示部２３に送ることにより、原画像についての動画像又は静止画像を表示部２３にて表示させることも可能である。同様に、撮影時に、広角切出し制御部１７から出力される広角画像の画像データを表示部２３に送ることにより、広角画像についての動画像又は静止画像を表示部２３にて表示させることも可能である。また、撮影時に、狭角切出し情報と広角画像の画像データから狭角画像の画像データを抽出して、それを表示部２３に送ることにより、狭角画像についての動画像又は静止画像を表示部２３にて表示させることも可能である。

以下、表示部２３に表示される画像を表示画像と呼ぶ。例えば、第１〜第ｉフレームの狭角高解像度画像から成る動画像を表示部２３に表示させる場合、表示画像は狭角高解像度画像である。

ＡＥ／ＡＦ評価値検出部２４は、ＲＡＷデータから撮影画像の明るさに応じたＡＥ評価値を算出する共にＲＡＷデータからオートフォーカス用のＡＦ評価値を算出する。絞り制御部２５は、原画像の明るさが所望の明るさになるように、ＡＥ評価値に基づいて絞り３２の開度（即ち、絞り値）及びＡＦＥ１２における信号増幅の増幅度を制御する。フォーカス制御部２６は、ＴＴＬ（Through The Lens）方式のコントラスト検出法を利用したオートフォーカス制御を実現すべく、ＡＦ評価値に基づきフォーカスレンズ３１の位置を制御する。

ズームレンズ駆動部２７は、ユーザの指示に従って又は狭角切出し制御部１６による制御の下、ズームレンズ３０の位置を制御することにより光学系１０の焦点距離を調節し、これによって光学ズームを実現する。狭角切出し制御部１６の制御によるズームレンズ３０の位置制御については後述される。

図４に示す如く、ズームレンズ３０は、ワイド端からテレ端までの間を移動可能である。ワイド端からテレ端は、ズームレンズ３０の全移動範囲における両端を表し、ズームレンズ３０の位置がワイド端からテレ端に向かうにつれて、撮像素子１１による撮影画角（即ち、原画像の画角）は減少すると共に光学ズーム倍率が増大する。光学ズーム倍率を、所定の下限倍率から所定の上限倍率まで変化させることが可能である。ズームレンズ３０がワイド端に位置しているとき、光学ズーム倍率は下限倍率と一致し、ズームレンズ３０がテレ端に位置しているとき、光学ズーム倍率は上限倍率と一致する。主要被写体の被写体距離が一定である場合において、光学ズーム倍率が増大すれば原画像上の主要被写体の大きさは増大し、光学ズーム倍率が減少すれば原画像上の主要被写体の大きさは減少する。主要被写体の被写体距離とは、主要被写体と撮像装置１との、実空間上における距離を指す。

画像の大きさ及び画像における領域の大きさは、画素数によって表現される。着目画像の大きさを表す着目画像の画素数は、着目画像を形成する画素の総数を表し、着目領域の大きさを表す着目領域の画素数は、着目領域を形成する画素の総数を表す。着目画像は、原画像、広角画像、狭角画像、狭角高解像度画像などの、任意の着目した画像を指す。着目領域は、顔領域、胴体領域、主要被写体領域、広角切出し領域、狭角切出し領域などの、任意の着目した画像領域を指す。着目画像又は着目領域の外形が矩形である場合、着目画像又は着目領域の画素数は、着目画像又は着目領域における水平方向の画素数と垂直方向における画素数の積である。以下の説明では、矩形の着目画像又は着目領域の画素数を（Ｐ_H×Ｐ_V）にて表現することがある。ここで、Ｐ_H及びＰ_Vは、夫々、着目画像又は着目領域における水平及び垂直方向の画素数である。例えば、着目画像の水平及び垂直方向の画素数が夫々１２８０個及び７２０個である時、着目画像の画素数を（１２８０×７２０）と表記する。

上述したように、高解像度化処理部２２の超解像処理によって、狭角画像の解像度よりも高い解像度を有する狭角高解像度画像が生成される。即ち、狭角画像の画素数を（Ｌ_H×Ｌ_V）にて表すと共に画素数（Ｌ_H×Ｌ_V）の狭角画像を用いて生成された狭角高解像度画像の画素数を（Ｈ_H×Ｈ_V）にて表した場合、Ｌ_H＜Ｈ_H且つＬ_V＜Ｈ_Vが成立する。Ｌ_H：Ｌ_V≠Ｈ_H：Ｈ_Vとすることも可能であるが、説明の簡略化上、Ｌ_H：Ｌ_V＝Ｈ_H：Ｈ_Vが成立するものとする。ＥＬ＝（Ｈ_H×Ｈ_V）／（Ｌ_H×Ｌ_V）は、狭角画像の画素数に対する狭角高解像度画像の画素数の拡大倍率を表している。この拡大倍率ＥＬには上限が存在する。この上限を、上限拡大倍率ＥＬ_MAXと呼ぶ。上限拡大倍率ＥＬ_MAXは、高解像度化処理部２２の超解像処理の性能に依存して、予め規定される。高解像度化処理部２２は、１＜ＥＬ≦ＥＬ_MAXを満たす範囲内で拡大倍率ＥＬを任意に設定した上で超解像処理を行うことができる。

以下、説明の具体化のため、上限拡大倍率ＥＬ_MAXは４．０であるとする。従って例えば、画素数（６４０×３６０）の狭角画像から生成可能な狭角高解像度画像の最大画素数は（１２８０×７２０）である。

上述のような狭角高解像度画像の生成機能を撮像装置１に持たせておくことにより、撮影時に主要被写体を撮影画角内に収めておくだけで、ユーザは、主要被写体が比較的大きく映し出された、高精細な画像（狭角高解像度画像）を鑑賞することが可能となる。また、記録媒体１９には広角画像の画像データが記録されるため、ユーザは広画角の画像を鑑賞することもできる。但し、超解像処理の拡大倍率ＥＬには上限があるので、これを考慮した広角画像の切出し制御及び光学ズーム倍率制御などが必要となる。以下、拡大倍率ＥＬの上限を考慮した、これらの制御について説明する。

以下の説明では、記録媒体１９に記録されるべき広角画像の画素数が規定画素数ＮＰ_REFと一致するよう予め定められているものとし、説明の具体化のため、規定画素数ＮＰ_REFは（１２８０×７２０）であるとする。ユーザは、この規定画素数ＮＰ_REFを指定することができる。また、画像再生時に画像処理部２１から表示部２３に出力される表示画像の画素数も規定画素数ＮＰ_REFであることが予め決まっているものとする。以下、画像再生時に、超解像処理が行われることを想定する。従って、画像再生時における表示画像は、記録媒体１９に記録された広角画像に基づく狭角高解像度画像である。また更に、原画像の画素数は（１６００×１２００）であるとする。加えて、広角画像、狭角画像及び狭角高解像度画像の夫々において、水平方向の画素数と垂直方向の画素数との比は１６：９であるとする。

規定画素数ＮＰ_REFが（１２８０×７２０）であって且つ上限拡大倍率ＥＬ_MAXが４であるため、狭角切出し情報によって定まる狭角画像の画素数は（６４０×３６０）であることが最も望ましい。この理由は、以下の通りである。

狭角切出し情報によって定まる狭角画像の画素数が（６４０×３６０）よりも小さい場合、即ち例えば（４８０×２７０）である場合、上限拡大倍率ＥＬ_MAXを用いても狭角高解像度画像の画素数は（９６０×５４０）にしかならないため、表示画像を生成するために、その狭角高解像度画像の画素数を単なる電子ズームによって（９６０×５４０）から（１２８０×７２０）に増大させなければならない。ここにおける電子ズームとは、１枚の着目した画像の画像データに基づき、補間処理を用いて、その着目した画像の画素数を増大させる解像度変換を指す。電子ズームによる解像度変換は、画質劣化を招くため、避けた方がよい。
逆に、狭角切出し情報によって定まる狭角画像の画素数が（６４０×３６０）よりも大きい場合、即ち例えば（９６０×５４０）である場合、画素数（１２８０×７２０）の表示画像を生成するために、超解像処理の拡大倍率ＥＬを上限拡大倍率ＥＬ_MAXよりも小さな倍率（１２８０×７２０）／（９６０×５４０）に設定する必要がある。超解像処理の拡大倍率ＥＬを上限拡大倍率ＥＬ_MAXよりも小さく設定すると、超解像処理の効果が最大限に発揮されない。究極的には例えば、狭角画像の画素数が（１２７９×７１９）である時、狭角画像と狭角高解像度画像との画素数差は殆どないため、そのような狭角画像を用いて狭角高解像度画像を作成しても、解像度向上効果は殆どない。
以上のことから、狭角切出し情報によって定まる狭角画像の画素数は（６４０×３６０）であることが最も望ましい。

［撮影時の動作説明］
このような観点の下、狭角切出し制御部１６は、狭角切出し情報によって定まる狭角画像の画素数がなるだけ画素数（６４０×３６０）と一致するようにズームレンズ駆動部２７を制御することにより光学ズーム倍率を調節する。この光学ズーム倍率の調節動作を含む撮像装置１による動画像撮影動作の流れを、図５及び図６を参照して説明する。図５及び図６は、動画像撮影動作の流れを表すフローチャートである。

図５及び図６は、或る時刻ｔ_nの撮影によって得られた原画像に対する処理内容を表している。時刻ｔ_n+1は時刻ｔ_nよりも後に訪れる時刻である。時刻ｔ_nの撮影によって得られた原画像を時刻ｔ_nの原画像と呼び、時刻ｔ_nの原画像に基づく狭角画像及び広角画像を、夫々、時刻ｔ_nの狭角画像及び広角画像と呼ぶ。同様に、時刻ｔ_n+1の撮影によって得られた原画像を時刻ｔ_n+1の原画像と呼び、時刻ｔ_n+1の原画像に基づく狭角画像及び広角画像を、夫々、時刻ｔ_n+1の狭角画像及び広角画像と呼ぶ。時刻ｔ_n+2以降についても同様である。

まず、ステップＳ１１において、撮像素子１１を用いた時刻ｔ_nにおける撮影により時刻ｔ_nの原画像が得られる。ステップＳ１２において、主要被写体検出部１５は、時刻ｔ_nの原画像上における主要被写体の位置及び大きさを検出し、時刻ｔ_nの原画像に対する主要被写体情報を生成する。

続くステップＳ１３において、狭角切出し制御部１６は、ステップＳ１２の検出結果に基づいて、即ち時刻ｔ_nの原画像に対する主要被写体情報に基づいて、主要被写体領域を含む狭角切出し領域を時刻ｔ_nの原画像の全体画像領域内に設定し、これによって時刻ｔ_nの狭角画像の位置及び大きさを設定すると共に時刻ｔ_nの狭角切出し情報を生成する。ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報によって、時刻ｔ_nの原画像上における、時刻ｔ_nの狭角画像の位置及び大きさ（狭角切出し領域の位置及び大きさ）が指定される。ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報によって定まる、時刻ｔ_nの狭角画像の画素数をＮＰ_nによって表す。

その後、ステップＳ１４において、狭角切出し制御部１６は、時刻ｔ_nの狭角切出し情報に基づき、時刻ｔ_nの狭角画像の大きさ（即ち、画素数ＮＰ_n）に対する規定の大きさの比率を求める。ここで、規定の大きさとは、上述の規定画素数ＮＰ_REF＝（１２８０×７２０）である。従って、ステップＳ１４において求められる比率は、ＮＰ_REF／ＮＰ_nである。ステップＳ１４による比率算出処理を終えるとステップＳ１５に移行する（図６参照）。

ステップＳ１５において、狭角切出し制御部１６は、比率ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXと一致しているか否かを判定する。そして、等式「ＮＰ_REF／ＮＰ_n＝ＥＬ_MAX」が成立する場合はステップＳ１５からステップＳ１６に移行する一方、そうでない場合はステップＳ１５からステップＳ１９に移行する。尚、ステップＳ１５において
、比率ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXと略一致しているか否かを判定するようにてもよい。この場合、不等式「ＥＬ_MAX−ΔＥＬ≦ＮＰ_REF／ＮＰ_n≦ＥＬ_MAX＋ΔＥＬ」が成立する場合はステップＳ１５からステップＳ１６に移行する一方、その不等式が成立しない場合はステップＳ１５からステップＳ１９に移行する。ここで、ΔＥＬは、０＜ΔＥＬ＜ＥＬ_MAXを満たす所定値であり、例えば数１０程度に設定される。

ステップＳ１５からステップＳ１６に移行した場合は、ステップＳ１６〜Ｓ１８の各処理が順次実行される。図７の画像４００は、ステップＳ１６〜Ｓ１８の各処理が順次実行される場合における時刻ｔ_nの原画像の例を示している。図７において、破線矩形領域４０１及び４０２内の画像は、それぞれ原画像４０１から抽出されるべき狭角画像及び広角画像を表している。

ステップＳ１６において、狭角切出し制御部１６は、時刻ｔ_n及びｔ_n+1間においてズームレンズ３０の位置が変化しないように（即ち、光学ズーム倍率が変化しないように）ズームレンズ駆動部２７を制御する。これにより、時刻ｔ_n及びｔ_n+1間においてズームレンズ３０の位置は固定される。

ステップＳ１７において、広角切出し制御部１７は、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、ステップＳ１３にて設定された時刻ｔ_nの狭角画像を内包し且つ規定の大きさ（即ち規定画素数ＮＰ_REF）を有する画像を、時刻ｔ_nの広角画像として時刻ｔ_nの原画像から切り出す。例えば、図７の画像４００が時刻ｔ_nの原画像として取得され、破線矩形領域４０１内の画像が時刻ｔ_nの狭角画像として設定された場合は、破線矩形領域４０２内の画像が時刻ｔ_nの広角画像として切り出される。

続くステップＳ１８では、ステップＳ１７にて切り出された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

一方、ステップＳ１５からステップＳ１９に移行した場合は、まず、ステップＳ１９において、狭角切出し制御部１６が不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立するか否かを判定する。ステップＳ１９において、不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立する場合はステップＳ１９からステップＳ２０に移行する一方、不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立しない場合はステップＳ１９からステップＳ２４に移行する。

図８の画像４１０は、不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立する場合における時刻ｔ_nの原画像の例を示している。図８において、破線矩形領域４１１及び４１２内の画像は、それぞれ原画像４１０から抽出されるべき狭角画像及び広角画像を表している。原画像４１０では、主要被写体の被写体距離が比較的大きいことなどに起因して、画像上の主要被写体の大きさが比較的小さく、これに伴って狭角画像の大きさが比較的小さくなっている。

画像４１０のような原画像が時刻ｔ_nにおいて取得された時、画像上の主要被写体の大きさを増大させるべく、光学ズーム倍率の増加処理を試みる。即ち、不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立することによりステップＳ１９から移行するステップＳ２０において、狭角切出し制御部１６は、光学ズーム倍率を現時点の光学ズーム倍率よりも増大可能であるか否かを判定する。時刻ｔ_nの原画像の撮影時における光学ズーム倍率ＺＦ_nが上限倍率よりも小さい場合は、光学ズーム倍率を増大させることが可能であるため、ステップＳ２０からステップＳ２１に移行し、ステップＳ２１〜Ｓ２３の処理を順次実行する。一方、時刻ｔ_nの原画像の撮影時における光学ズーム倍率ＺＦ_nが上限倍率と一致している場合は、光学ズーム倍率を更に増大させることが不可能であるため、ステップＳ２０からステップＳ２２に直接移行し、ステップＳ２１の処理を行うことなく、ステップＳ２２及びＳ２３の処理を順次実行する。

ステップＳ２１において、狭角切出し制御部１６は、時刻ｔ_n+1の狭角画像の大きさ（即ち、画素数ＮＰ_n+1）に対する規定の大きさ（即ち、規定画素数ＮＰ_REF）の比率ＮＰ_REF／ＮＰ_n+1が上限拡大倍率ＥＬ_MAXに一致するように、或いは、不等式「（ＮＰ_REF／ＮＰ_n）−ＥＬ_MAX＞（ＮＰ_REF／ＮＰ_n+1）−ＥＬ_MAX」が成立するように、ズームレンズ駆動部２７を用い、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を増大させる。即ち、比率ＮＰ_REF／ＮＰ_nと比べて比率ＮＰ_REF／ＮＰ_n+1が上限拡大倍率ＥＬ_MAXに近づくように、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を増大させる。

この光学ズーム倍率の増大処理は、時刻ｔ_n及びｔ_n+1間において主要被写体の被写体距離が変化しないと仮定した上で行われる。従って仮に、ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXの４倍であるならば、不等式「ＺＦ_n＜ＺＦ_n+1≦ＺＦ_n×２」が成立するように、望ましくは等式「ＺＦ_n+1＝ＺＦ_n×２」が成立するように、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を増大させる。ＺＦ_n及びＺＦ_n+1は、夫々、時刻ｔ_n及びｔ_n+1の原画像の撮影時における光学ズーム倍率を表す。

尚、時刻ｔ_n及びｔ_n+1間において主要被写体の被写体距離が実際に変化していない場合、光学ズーム倍率ＺＦ_n+1を光学ズーム倍率ＺＦ_nのＫ倍にすることによって、時刻ｔ_n+1における原画像上の主要被写体の水平方向及び垂直方向の大きさは時刻ｔ_nにおけるそれらに対してＫ倍になり、それに伴って、時刻ｔ_n+1の原画像に対して設定される狭角画像の水平方向及び垂直方向の大きさは時刻ｔ_nにおけるそれらに対してＫ倍になるものとする（換言すれば、時刻ｔ_n+1の原画像に対して設定される狭角画像の画素数ＮＰ_n+1は、時刻ｔ_nにおけるそれ（ＮＰ_n）のＫ²倍になるものとする）。Ｋは任意の整数又は分数である。

ステップＳ２２及びＳ２３の処理内容は、ステップＳ１７及びＳ１８のそれらと同様である。即ち、ステップＳ２２において、広角切出し制御部１７は、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、ステップＳ１３にて設定された時刻ｔ_nの狭角画像を内包し且つ規定の大きさ（即ち規定画素数ＮＰ_REF）を有する画像を、時刻ｔ_nの広角画像として時刻ｔ_nの原画像から切り出す。例えば、図８の画像４１０が時刻ｔ_nの原画像として取得され、破線矩形領域４１１内の画像が時刻ｔ_nの狭角画像として設定された場合は、破線矩形領域４１２内の画像が時刻ｔ_nの広角画像として切り出される。

続くステップＳ２３では、ステップＳ２２にて切り出された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

図９の画像４２０は、不等式「ＮＰ_REF／ＮＰ_n＜ＥＬ_MAX」が成立する場合における時刻ｔ_nの原画像の例を示している。図９において、破線矩形領域４２１及び４２２内の画像は、それぞれ原画像４２０から抽出されるべき狭角画像及び広角画像を表している。原画像４２０では、主要被写体の被写体距離が比較的小さいことなどに起因して、画像上の主要被写体の大きさが比較的大きく、これに伴って狭角画像の大きさが比較的大きくなっている。

画像４２０のような原画像が時刻ｔ_nにおいて取得された時、画像上の主要被写体の大きさを減少させるべく、光学ズーム倍率の減少処理を試みる。即ち、ステップＳ１９からステップＳ２４に移行した場合、ステップＳ２４において、狭角切出し制御部１６は、光学ズーム倍率を現時点の光学ズーム倍率よりも減少させることが可能であるか否かを判定する。時刻ｔ_nの原画像の撮影時における光学ズーム倍率ＺＦ_nが下限倍率よりも大きい場合は、光学ズーム倍率を減少させることが可能であるため、ステップＳ２４からステップＳ２５に移行し、ステップＳ２５〜Ｓ２７の処理を順次実行する。一方、時刻ｔ_nの原画像の撮影時における光学ズーム倍率ＺＦ_nが下限倍率と一致している場合は、光学ズーム倍率を更に減少させることが不可能であるため、ステップＳ２４からステップＳ２６に直接移行し、ステップＳ２５の処理を行うことなく、ステップＳ２６及びＳ２７の処理を順次実行する。

ステップＳ２５において、狭角切出し制御部１６は、時刻ｔ_n+1の狭角画像の大きさ（即ち、画素数ＮＰ_n+1）に対する規定の大きさ（即ち、規定画素数ＮＰ_REF）の比率ＮＰ_REF／ＮＰ_n+1が上限拡大倍率ＥＬ_MAXに一致するように、或いは、不等式「ＥＬ_MAX−（ＮＰ_REF／ＮＰ_n）＞ＥＬ_MAX−（ＮＰ_REF／ＮＰ_n+1）」が成立するように、ズームレンズ駆動部２７を用い、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を減少させる。即ち、比率ＮＰ_REF／ＮＰ_nと比べて比率ＮＰ_REF／ＮＰ_n+1が上限拡大倍率ＥＬ_MAXに近づくように、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を減少させる。

この光学ズーム倍率の減少処理は、時刻ｔ_n及びｔ_n+1間において主要被写体の被写体距離が変化しないと仮定した上で行われる。従って仮に、ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXの１／４倍であるならば、不等式「ＺＦ_n×１／２≦ＺＦ_n+1＜ＺＦ_n」が成立するように、望ましくは等式「ＺＦ_n+1＝ＺＦ_n×１／２」が成立するように、時刻ｔ_n及びｔ_n+1間において光学ズーム倍率を減少させる。

ステップＳ２６及びＳ２７の処理内容は、ステップＳ１７及びＳ１８のそれらと同様である。即ち、ステップＳ２６において、広角切出し制御部１７は、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、ステップＳ１３にて設定された時刻ｔ_nの狭角画像を内包し且つ規定の大きさ（即ち規定画素数ＮＰ_REF）を有する画像を、時刻ｔ_nの広角画像として時刻ｔ_nの原画像から切り出す。例えば、図９の画像４２０が時刻ｔ_nの原画像として取得され、破線矩形領域４２１内の画像が時刻ｔ_nの狭角画像として設定された場合は、破線矩形領域４２２内の画像が時刻ｔ_nの広角画像として切り出される。

続くステップＳ２７では、ステップＳ２６にて切り出された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

尚、ステップＳ１７、Ｓ２２及びＳ２６の夫々において、可能であれば、時刻ｔ_nの狭角画像及び広角画像の中心位置同士が一致するように、時刻ｔ_nの広角画像を抽出するとよい。これは、後述のステップＳ３１、Ｓ４２及びＳ４４についても同様である。仮に、図１０の画像４３０のような原画像が時刻ｔ_nの原画像として取得され、時刻ｔ_nの狭角画像及び広角画像の中心位置同士を一致させることができない場合は、時刻ｔ_nの狭角画像を内包し且つ規定画素数ＮＰ_REFを有する時刻ｔ_nの広角画像が時刻ｔ_nの原画像から抽出することができるように、時刻ｔ_nの広角画像の中心位置を時刻ｔ_nの狭角画像の中心位置からシフトさせるとよい（後述のステップＳ３１、Ｓ４２及びＳ４４についても同様）。図１０において、破線矩形領域４３１及び４３２内の画像は、それぞれ原画像４３０から抽出されるべき狭角画像及び広角画像を表している。

時刻ｔ_nに対してＳ１１〜Ｓ２７から成る処理群が実行された後、時刻ｔ_n+1に対してＳ１１〜Ｓ２７から成る処理群が実行される。時刻ｔ_n+1に対して該処理群を実行する際、時刻ｔ_nに対する処理群の説明文中の“ｎ”及び“ｎ＋１”は、夫々、“ｎ＋１”及び“ｎ＋２”に読み替えられる。時刻ｔ_n+2以降についても同様である。

［第１変形動作］
図６のステップＳ２２及びＳ２３にて実行される処理を、図１１に示すステップＳ３１及びＳ３２の処理に置き換えても良い。即ち、図６のステップＳ２０において、光学ズーム倍率を増大可能であると判断された時は、ステップＳ２１の処理の実行後、ステップＳ２２及びＳ２３の処理の代わりに図１１のステップＳ３１及びＳ３２の処理を実行しても良く、図６のステップＳ２０において、光学ズーム倍率を増大不可能であると判断された時は、ステップＳ２０からステップＳ３１に移行してステップＳ２２及びＳ２３の処理の代わりに図１１のステップＳ３１及びＳ３２の処理を実行しても良い。ステップＳ３１及びＳ３２の処理を実行する変形動作を、第１変形動作と呼ぶ。第１変形動作を説明する。

ステップＳ３１において、広角切出し制御部１７は、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、ステップＳ１３にて設定された時刻ｔ_nの狭角画像を内包し且つ該狭角画像の画素数ＮＰ_nのＥＬ_MAX倍の画素数（即ち、ＮＰ_n×ＥＬ_MAX）を有する画像を時刻ｔ_nの原画像から切り出す。ここにおいて切り出された画像を第１暫定広角画像と呼ぶ。ステップＳ３１の処理が実行される時には比率ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXよりも大きいため、ステップＳ３１にて切り出された第１暫定広角画像の画素数は、規定画素数ＮＰ_REFよりも小さい。広角切出し制御部１７は、この第１暫定広角画像の画素数を電子ズームによって規定画素数ＮＰ_REFにまで増大させ、第１暫定広角画像の画素数を増大させて得られた画像を、時刻ｔ_nの原画像から抽出されるべき時刻ｔ_nの広角画像として生成する。

上述したように、電子ズームとは、１枚の着目した画像の画像データに基づき、補間処理を用いて、その着目した画像の画素数を増大させる解像度変換を指す。尚、１枚の画像の画像データに基づく解像度変換を、超解像処理による解像度変換と区別すべく、以下、単純解像度変換と呼ぶ。１枚の着目した画像の画像データに基づき、間引き処理や補間処理を用いて、その着目した画像の画素数を減少させる解像度変換も単純解像度変換と呼ぶ。単純解像度変換における補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能である。

ステップＳ３１に続くステップＳ３２では、ステップＳ３１にて生成された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

例えば、図１２に示す原画像４１０のような原画像が時刻ｔ_nにおいて取得されたときにおいてステップＳ３１の処理を実行する場合、破線矩形領域４１１及び４１３内の画像が、それぞれ狭角画像及び第１暫定広角画像として原画像４１０から抽出される。図１２の原画像４１０と図８のそれは同じものである。この場合、原画像４１０から抽出される第１暫定広角画像の画素数を単純解像度変換によって規定画素数ＮＰ_REFにまで増加させることで規定画素数ＮＰ_REFを有する時刻ｔ_nの広角画像４１３ａを生成し、時刻ｔ_nの広角画像４１３ａの画像データを時刻ｔ_nの狭角切出し情報（即ち、広角画像４１３ａから時刻ｔ_nの狭角画像４１１ａを切り出すための情報）に関連付けて記録媒体１９に記録する。

時刻ｔ_nに対してＳ１１〜Ｓ２１並びにステップＳ３１及びＳ３２を含む処理群が実行された後（図５、図６及び図１１参照）、時刻ｔ_n+1に対してＳ１１〜Ｓ２１並びにステップＳ３１及びＳ３２を含む処理群が実行される。時刻ｔ_n+1に対して該処理群を実行する際、時刻ｔ_nに対する処理群の説明文中の“ｎ”及び“ｎ＋１”は、夫々、“ｎ＋１”及び“ｎ＋２”に読み替えられる。時刻ｔ_n+2以降についても同様である。

［第２変形動作］
また、図６のステップＳ２６及びＳ２７にて実行される処理を、図１３に示すステップＳ４１〜Ｓ４５の処理に置き換えても良い。即ち、図６のステップＳ２４において、光学ズーム倍率を減少させることが可能であると判断された時は、ステップＳ２５の処理の実行後、ステップＳ２６及びＳ２７の処理の代わりに図１３のステップＳ４１以降の処理を実行しても良く、図６のステップＳ２４において、光学ズーム倍率を減少させることが不可能であると判断された時は、ステップＳ２４からステップＳ４１に移行してステップＳ２６及びＳ２７の処理の代わりに図１３のステップＳ４１以降の処理を実行しても良い。ステップＳ４１以降の処理を実行する変形動作を、第２変形動作と呼ぶ。第２変形動作を説明する。

図６のステップＳ２４又はＳ２５から移行するステップＳ４１において、広角切出し制御部１７は、まず、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、時刻ｔ_nの狭角画像を内包し且つ時刻ｔ_nの狭角画像の画素数ＮＰ_nのＥＬ_MAX倍の画素数（即ち、ＮＰ_n×ＥＬ_MAX）を有する画像を時刻ｔ_nの原画像から切り出せるか否かを判断する。

その画像が切り出せる場合は、ステップＳ４２において、実際に、その画像を切り出す。即ち、ステップＳ４２において、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報に基づき、ステップＳ１３にて設定された時刻ｔ_nの狭角画像を内包し且つ該狭角画像の画素数ＮＰ_nのＥＬ_MAX倍の画素数（即ち、ＮＰ_n×ＥＬ_MAX）を有する画像を時刻ｔ_nの原画像から切り出す。ここにおいて切り出された画像を第２暫定広角画像と呼ぶ。尚、原画像ｔ_nから切り出される第２暫定広角画像は、原画像ｔ_nそのものであることもある。ステップＳ４２の処理が実行される時には比率ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXよりも小さいため、ステップＳ４２にて切り出された第２暫定広角画像の画素数は、規定画素数ＮＰ_REFよりも大きい。広角切出し制御部１７は、この第２暫定広角画像の画素数を単純解像度変換によって規定画素数ＮＰ_REFにまで減少させ、第２暫定広角画像の画素数を減少させて得られた画像を、時刻ｔ_nの原画像から抽出されるべき時刻ｔ_nの広角画像として生成する。

ステップＳ４２に続くステップＳ４３では、ステップＳ４２にて生成された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

例えば、図１４に示す原画像４２０のような原画像が時刻ｔ_nにおいて取得されたときにおいてステップＳ４２の処理を実行する場合、破線矩形領域４２１及び４２３内の画像が、それぞれ狭角画像及び第２暫定広角画像として原画像４２０から抽出される。図１４の原画像４２０と図９のそれは同じものである。この場合、原画像４２０から抽出される第２暫定広角画像の画素数を単純解像度変換によって規定画素数ＮＰ_REFにまで減少させることで規定画素数ＮＰ_REFを有する時刻ｔ_nの広角画像４２３ａを生成し、時刻ｔ_nの広角画像４２３ａの画像データを時刻ｔ_nの狭角切出し情報（即ち、広角画像４２３ａから時刻ｔ_nの狭角画像４２１ａを切り出すための情報）に関連付けて記録媒体１９に記録する。

一方、ステップＳ４１において、時刻ｔ_nの狭角画像を内包し且つ時刻ｔ_nの狭角画像の画素数ＮＰ_nのＥＬ_MAX倍の画素数（即ち、ＮＰ_n×ＥＬ_MAX）を有する画像を時刻ｔ_nの原画像から切り出すことができないと判断された場合は、ステップＳ４２及びＳ４３の代わりに、ステップＳ４４及びＳ４５の処理が実行される。例えば、ステップＳ１３にて設定された時刻ｔ_nの狭角画像の画素数が（９６０×５４０）である場合、原画像の画素数が（１６００×１２００）であって且つＥＬ_MAXが４であるため、画素数（９６０×５４０）のＥＬ_MAX倍の画素数を有する画像を原画像から切り出すことはできない。

ステップＳ４４において、広角切り出し制御部１７は、時刻ｔ_nの原画像そのものの縮小画像を時刻ｔ_nの広角画像として生成する。即ち、ステップＳ４４において、広角切り出し制御部１７は、元々（１６００×１２００）の画素数を有していた時刻ｔ_nの原画像の画素数を単純解像度変換によって規定画素数ＮＰ_REFにまで減少させ、時刻ｔ_nの原画像の画素数を減少させて得られた画像を、時刻ｔ_nの原画像から抽出されるべき時刻ｔ_nの広角画像として生成する。

ステップＳ４４に続くステップＳ４５では、ステップＳ４４にて生成された時刻ｔ_nの広角画像の画像データが、圧縮処理部１８による圧縮処理を介して記録媒体１９に記録される。この際、ステップＳ１３にて生成された時刻ｔ_nの狭角切出し情報も、時刻ｔ_nの広角画像の画像データに関連付けられつつ記録媒体１９に記録される。但し、時刻ｔ_nの狭角切出し情報は、時刻ｔ_nの広角画像上における時刻ｔ_nの狭角画像の位置及び大きさを指定する情報に変形された上で記録媒体１９に記録される。

時刻ｔ_nに対してＳ１１〜Ｓ１９、Ｓ２４及びＳ２５並びにステップＳ４１〜Ｓ４５を含む処理群が実行された後（図５、図６及び図１３参照）、時刻ｔ_n+1に対してＳ１１〜Ｓ１９、Ｓ２４及びＳ２５並びにステップＳ４１〜Ｓ４５を含む処理群が実行される。時刻ｔ_n+1に対して該処理群を実行する際、時刻ｔ_nに対する処理群の説明文中の“ｎ”及び“ｎ＋１”は、夫々、“ｎ＋１”及び“ｎ＋２”に読み替えられる。時刻ｔ_n+2以降についても同様である。

尚、上述の第１及び第２変形動作を組み合わせて実行することも可能である。また、時刻ｔ_nの原画像は、上述の第１〜第ｉフレームの原画像の何れかである。更に、時刻ｔ_n及びｔ_n+1間の時間差は上記フレーム周期である。従って例えば、時刻ｔ_nの原画像が第２フレームの原画像であるならば、時刻ｔ_n+1の原画像は第３フレームの原画像である。但し、時刻ｔ_n及びｔ_n+1間の時間差は上記フレーム周期の整数倍であってもよい。

図５及び図６を参照して説明した動画像撮影動作、又は、それに第１及び／又は第２変形動作を組み合わせた動作は原画像が撮影されるたびに実行され、順次、第１〜第ｉフレームの広角画像の画像データが所定の圧縮処理を介して、第１〜第ｉフレームの狭角切出し情報（即ち、第１〜第ｉフレームの広角画像上における第１〜第ｉフレームの狭角画像の位置及び大きさを指定する情報）と共に記録媒体１９に記録される。

［画像再生時の動作］
そして、狭角高解像度画像を表示する際には以下のような処理が行われる。記録媒体１９から読み出された、第１〜第ｉフレームの広角画像の圧縮された画像データが、伸張処理部２０に送られる。伸張処理部２０は、与えられた画像データを伸張することにより圧縮前の画像データを生成する。従って、伸張処理部２０では、第１〜第ｉフレームの広角画像の画像データが生成される。

伸張処理部２０からの第１〜第ｉフレームの広角画像の画像データと記録媒体１９から読み出された第１〜第ｉフレームの狭角切出し情報は、高解像度化処理部２２に与えられる。高解像度化処理部２２は、第１〜第ｉフレームの狭角切出し情報に基づいて、第１〜第ｉフレームの広角画像から第１〜第ｉフレームの狭角画像を順次切り出し、ｍ枚の狭角画像から超解像処理によって１枚の狭角高解像度画像を生成する。ｍ枚の狭角画像から１枚の狭角高解像度画像を生成する超解像処理の内容は上述した通りであり、ｍ＝３である場合、第１、第２及び第３フレームの狭角画像から第１フレームの狭角高解像度画像が生成され、第２、第３及び第４フレームの狭角画像から第２フレームの狭角高解像度画像が生成される。第３フレーム以降の狭角高解像度画像についても同様にして生成される。

高解像度化処理部２２は、超解像処理によって生成された第１〜第ｉフレームの狭角高解像度画像の画像データを表示部２３に送ることにより、第１〜第ｉフレームの狭角高解像度画像から成る動画像を表示部２３に表示させる。

高解像度化処理部２２にて切り出される狭角画像の画素数が（６４０×３６０）と一致することを目指して、撮影時における光学ズーム倍率調整がなされるが、高解像度化処理部２２にて切り出される狭角画像の幾つかは、画素数が（６４０×３６０）と一致しないこともある。

例えば、第ｉフレームの原画像が時刻ｔ_nの原画像であって、且つ、比率ＮＰ_REF／ＮＰ_nが上限拡大倍率ＥＬ_MAXと一致することによって図６のステップＳ１７及びＳ１８の処理が実行された場合、高解像度化処理部２２にて切り出される第ｉフレームの狭角画像の画素数は（６４０×３６０）と一致している。一方において例えば、第ｉフレームの原画像が時刻ｔ_nの原画像であって、且つ、図６のステップＳ１９にて不等式「ＮＰ_REF／ＮＰ_n＞ＥＬ_MAX」が成立すると判断されることによって図６のステップＳ２２及びＳ２３の処理が実行された場合においては、高解像度化処理部２２にて切り出される第ｉフレームの狭角画像の画素数は（６４０×３６０）より小さい。

高解像度化処理部２２は、狭角切出し情報に従って高解像度化処理部２２にて切り出される第ｉフレームの狭角画像の画素数が（６４０×３６０）と一致しない場合、その狭角画像の画素数を単純解像度変換によって画素数（６４０×３６０）にまで増大又は減少させてから超解像処理を行う。第ｉフレーム以外の狭角画像についても同様である。

例えば、狭角切出し情報に従って第１、第２及び第３フレームの広角画像から切り出した第１、第２及び第３フレームの狭角画像の画素数が、それぞれＮＰ_A、ＮＰ_B及びＮＰ_Cであって、且つ、画素数ＮＰ_A及びＮＰ_Bが（６４０×３６０）と一致する一方で画素数ＮＰ_Cが（６４０×３６０）と一致しない場合、第３フレームの狭角画像の画素数ＮＰ_Cを単純解像度変換によって画素数（６４０×３６０）にまで増大又は減少させることにより画素数（６４０×３６０）を有する狭角画像を生成し、生成した画素数（６４０×３６０）を有する狭角画像を第３フレームの狭角画像として新たに取り扱った上で、第１、第２及び第３フレームの狭角画像から第１フレームの狭角高解像度画像を生成する。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、主要被写体が人物である場合を例示したが、主要被写体は人物以外でもよい。例えば、主要被写体を、自動車等の車両や移動するロボットとしてもよい。

［注釈２］
本発明に係る撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１の符号１５、１６、１７及び２１によって参照される各部位が実行する演算処理は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈３］
例えば、以下のように考えることができる。図１のズームレンズ駆動部２７、又は、ズームレンズ駆動部２７及び狭角切出し制御部１６は、光学ズームによって原画像上の被写体像の大きさを変化させる光学ズーム制御部を形成する。

本発明の実施形態に係る撮像装置の全体ブロック図である。 撮影によって得られる原画像、原画像上の主要被写体、並びに、原画像に設定される顔領域、胴体領域、主要被写体領域、狭角切出し領域及び広角切出し領域を示す図である。 図１の高解像度化処理部による超解像処理を説明するための図である。 ズームレンズ位置と撮影画角と光学ズーム倍率の関係を示す図である。 図１の撮像装置による動画像撮影動作の流れを表すフローチャートである。 図１の撮像装置による動画像撮影動作の流れを表すフローチャートである。 主要被写体の被写体距離が中間的な距離にある時に得られる原画像を例示する図である。 主要被写体の被写体距離が比較的大きい時に得られる原画像を例示する図である。 主要被写体の被写体距離が比較的小さい時に得られる原画像を例示する図である。 図１の撮像装置にて得られる原画像を例示する図である。 動画像撮影の第１変形動作の流れを表すフローチャートである。 第１変形動作を説明するための図であって、原画像から広角画像が生成される様子を示す図である。 動画像撮影の第２変形動作の流れを表すフローチャートである。 第２変形動作を説明するための図であって、原画像から広角画像が生成される様子を示す図である。

符号の説明

１ 撮像装置
１０ 光学系
１１ 撮像素子
１５ 主要被写体検出部
１６ 狭角切出し制御部
１７ 広角切出し制御部
１９ 記録媒体
２２ 高解像度化処理部
２３ 表示部
２７ ズームレンズ駆動部
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り

Claims (5)

1. 順次撮影によって原画像を順次取得する撮像素子と、
   光学ズームによって前記原画像上の被写体像の大きさを変化させる光学ズーム制御部と、
   各原画像の画像データに基づき、各原画像上の特定被写体の位置及び大きさを検出する特定被写体検出部と、
   前記特定被写体検出部の検出結果に基づき、前記原画像ごとに前記特定被写体を含む狭角画像を前記原画像内に設定し、画像上における狭角画像の位置及び大きさを設定する狭角画像抽出部と、
   各原画像より、前記狭角画像を内包し且つ前記狭角画像よりも画角の大きい広角画像を抽出する広角画像抽出部と、
   前記狭角画像抽出部の設定内容に従って、時間的に連続する複数の広角画像より複数の狭角画像を切り出し、前記複数の狭角画像から、前記狭角画像の画素数よりも大きな画素数を有する狭角高解像度画像を生成する高解像度化処理部と、
   各広角画像の画像データを記録する記録手段と、を備えた撮像装置であって、
   前記狭角画像の画素数に対する前記狭角高解像度画像の画素数の拡大倍率には所定の上限拡大倍率が定められていて、前記高解像度化処理部は、前記拡大倍率を前記上限拡大倍率まで高めることが可能に形成され、
   前記記録手段に記録される各広角画像の画素数が所定の基準画素数と一致すべきことが予め定められており、
   前記光学ズーム制御部は、前記狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率に向かうように、前記光学ズームの倍率を制御する
   ことを特徴とする撮像装置。
2. 第１及び第２時刻にて撮影された原画像に基づく狭角画像を夫々第１及び第２狭角画像と呼び、
   前記第２時刻は第１時刻よりも後の時刻であり、
   前記光学ズーム制御部は、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも大きい場合、第１及び第２時刻間で前記光学ズームの倍率を増大させることにより、前記第１狭角画像の画素数に対する前記基準画素数の比率に比べて前記第２狭角画像の画素数に対する前記基準画素数の比率を前記上限拡大倍率に近づける
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも大きい場合において、第前記１時刻における前記光学ズームの倍率が所定の上限倍率に達しているとき、
   前記広角画像抽出部は、前記第１狭角画像の画素数に前記上限拡大倍率を乗じた画素数を有し且つ前記第１狭角画像を内包する画像を前記第１時刻の原画像から抽出し、抽出した画像の画素数を解像度変換によって前記基準画素数まで増大させて得た画像を前記第１時刻の原画像から抽出されるべき広角画像として生成する
   ことを特徴とする請求項２に記載の撮像装置。
4. 第１及び第２時刻にて撮影された原画像に基づく狭角画像を夫々第１及び第２狭角画像と呼び、
   前記第２時刻は第１時刻よりも後の時刻であり、
   前記光学ズーム制御部は、前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも小さい場合、第１及び第２時刻間で前記光学ズームの倍率を減少させることにより、前記第１狭角画像の画素数に対する前記基準画素数の比率に比べて前記第２狭角画像の画素数に対する前記基準画素数の比率を前記上限拡大倍率に近づける
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記第１狭角画像の画素数に対する前記基準画素数の比率が前記上限拡大倍率よりも小さい場合において、第前記１時刻における前記光学ズームの倍率が所定の下限倍率に達しているとき、
   前記広角画像抽出部は、前記基準画素数よりも大きな画素数を有し且つ前記第１狭角画像を内包する画像を前記第１時刻の原画像から抽出し、抽出した画像の画素数を解像度変換によって前記基準画素数まで減少させて得た画像を前記第１時刻の原画像から抽出されるべき広角画像として生成する
   ことを特徴とする請求項４に記載の撮像装置。

Images