JP5202283B2 - 撮像装置及び電子機器 - Google Patents

Description

本発明は、撮像を行い画像を生成する撮像装置や、撮像された画像を再生したり編集したりする電子機器に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及している。このような撮像装置として、ズームレンズを制御するだけでなく、画像処理によってもズーム処理を行うことができるものがある。

例えばズームイン処理（拡大処理）を行う場合、ユーザは、ズームイン処理後の画像（拡大画像）の画角内に撮像対象である被写体が含まれるように撮像装置を操作する。このとき、拡大画像の画角内から被写体が外れてしまうとユーザが所望する画像が得られなくなるため、ユーザは撮像装置の操作に集中する必要がある。したがって、ユーザは撮像装置の操作以外の動作を行うこと（例えば、被写体と会話などのコミュニケーションを行うこと）が困難となる。

この問題に対して、撮像して得られる画像と拡大処理に関する情報とを記録して、再生時に拡大処理を行って拡大画像を得る撮像装置が提案されている（特許文献１及び２参照）。

特開２００４−２４８１７１号公報 特開２００８−１１２２４号公報

しかしながら、上記の撮像装置を用いたとしても撮像時に画角を決定する必要がある。そのためユーザは、撮像時に拡大画像の画角内に被写体が確実に含まれるように注視する必要がある。また、撮像時に決定された画角を再生時に変更する場合、拡大画像の画角の再設定を行う必要があるため、操作が煩雑なものとなる。

以上の問題を鑑みて、本発明は、所望の画角の画像を容易に生成することを可能とする撮像装置や電子機器を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像を撮像して記録する撮像装置において、撮像によって入力画像を生成する撮像部と、前記入力画像に関する関連情報を生成する切り出し設定部と、前記入力画像に前記関連情報を関連付けて記録する記録部と、ユーザの指示を入力する操作部と、を備え、前記切り出し設定部が、前記入力画像の撮像時に前記操作部を介して入力される前記入力画像に対するズーム処理の要否の指示に基づいて、前記関連情報の１つであるズーム情報を生成するズーム情報生成部を、備えることを特徴とする。

関連情報は、例えば入力画像のヘッダやサブヘッダなどの領域に含ませて、入力画像に直接的に関連付けても構わない。また、別のファイルとして作成し、入力画像に間接的に関連付けても構わない。また、ズーム情報に、ズーム処理の要否の他にズーム倍率などの情報を含ませても構わない。

また、上記構成の撮像装置において、前記切り出し設定部が、前記入力画像から主要被写体を検出する主要被写体検出部と、当該主要被写体検出部の検出結果に基づいて前記主要被写体が含まれる切り出し領域を前記入力画像に対して設定し、前記関連情報の１つである切り出し領域情報を生成する切り出し領域設定部と、を備えることとしても構わない。

このように構成すると、広画角である入力画像から、主要被写体（例えば、ユーザが特に撮像を行いたいと考える被写体）を含む領域を示す情報である切り出し領域情報を入力画像に関連付けて記録することが可能となる。そのため、再生する際に容易に主要被写体を含む画角の画像を生成することが可能となる。

また、上記構成の撮像装置において、前記切り出し領域の大きさが、前記主要被写体の検出精度及び前記入力画像中の前記主要被写体の大きさの少なくとも１つに基づいて設定されることとしても構わない。

例えば、主要被写体の検出精度が低い場合、切り出し領域を大きくしても構わない。即ち、切り出し領域中に占める主要被写体の割合を小さくしても構わない。このように構成すると、主要被写体を精度良く検出できない場合に、主要被写体が切り出し領域外に位置することを抑制することが可能となる。また、主要被写体を精度良く検出できる場合に、主要被写体が占める割合を大きくした（即ち、主要被写体を中心とした）切り出し領域を設定することが可能となる。

また例えば、入力画像中の主要被写体の大きさが小さくなる場合、切り出し領域も小さくなるように設定しても構わない。このように構成すると、切り出し領域中の主要被写体の大きさを略等しいものとすることが可能となる。

また、本発明の電子機器は、入力画像に基づいて出力画像を生成する電子機器において、前記入力画像に関連付けられた関連情報に基づいて、前記入力画像に表示領域を設定し、当該表示領域の画像に基づいて前記出力画像を生成する切り出し処理部を備え、前記関連情報の１つが、前記入力画像に対するズーム処理の要否を示すズーム情報であり、前記切り出し処理部が、前記ズーム情報に基づいて前記表示領域を設定することを特徴とする。

ズーム情報は、例えば、ズーム処理自体の要否を示すものであっても構わない。この場合、表示領域の設定時に、ズームイン及びズームアウトのどちらの処理を行うべきであるかをユーザに選択させることとしても構わない。また、ズーム情報が、ズームイン及びズームアウトのそれぞれの処理の要否を示すものとしても構わない。

また、ズームイン処理を行う場合に表示領域を小さく設定し、ズームアウト処理を行う場合に表示領域を大きく設定することとしても構わない。さらに、切り出し処理部が、表示領域が示す画像を拡大したり縮小したりして所定の大きさの画像を生成し、この画像を出力画像として出力することとしても構わない。

また、上記構成の電子機器において、ユーザの指示が入力される操作部を備え、前記ズーム処理におけるズーム倍率を指定するズーム倍率情報が前記操作部を介して入力され、前記切り出し処理部が、前記ズーム倍率情報も基づいて前記入力画像に前記表示領域を設定するものであり、前記切り出し処理部が、前記ズーム倍率情報によって指定される前記ズーム倍率となるように、前記表示領域の大きさを設定することとしても構わない。

このように構成すると、記録した入力画像の再生や編集をする時にズーム倍率を設定するだけで、所望のズーム倍率となる出力画像を容易に生成することが可能となる。

また、上記構成の電子機器において、ユーザの指示が入力される操作部を備え、前記入力画像中の領域を表示領域として設定する表示領域設定情報が前記操作部を介して入力され、前記切り出し処理部が、前記表示領域表示領域が示す前記領域を、前記表示領域として設定することとしても構わない。

このように構成すると、入力画像中の任意の領域を表示領域とすることが可能となる。即ち、任意のズーム処理を行うことが可能となる。

また、上記構成の電子機器において、前記関連情報の１つが、前記入力画像から検出された主要被写体が含まれる領域である切り出し領域を示す切り出し領域情報であり、前記切り出し処理部が、前記切り出し領域に基づいて前記表示領域を設定することとしても構わない。

このように構成すると、ユーザはズーム倍率を所望の値に設定するだけで、切り出し領域を基準とした（即ち、主要被写体を中心とした）所望の画角の出力画像を得ることが可能となる。そのため、表示領域の設定を容易なものとすることが可能となる。なお、ズーム倍率が自動的に設定される構成としても構わない。この場合、ズーム処理の要否を示すズーム情報を設定するだけで、自動的に出力画像を生成することが可能となる。

また、本発明の電子機器は、入力画像に基づいて出力画像を生成する電子機器において、前記入力画像を縮小した縮小画像を拡大し、拡大画像を生成する拡大処理部と、前記入力画像の一部の領域である切り出し領域を切り出した画像である切り出し画像を、前記拡大画像の前記切り出し領域に相当する領域に合成して合成画像を生成する合成処理部と、前記入力画像に関連付けられた関連情報に基づいて、前記合成画像に表示領域を設定し、当該表示領域の画像に基づいて前記出力画像を生成する切り出し処理部と、を備え、前記関連情報の１つが、前記入力画像に対するズーム処理の要否を示すズーム情報であり、前記切り出し処理部が、前記ズーム情報に基づいて前記表示領域を設定することを特徴とする。

このように構成すると、記録される画像が、入力画像を縮小して得られる縮小画像と、入力画像の一部を切り出して得られる切り出し画像となる。そのため、記録される画像のデータ量を低減するとともに、処理の迅速化を図ることが可能となる。また、入力画像と略等しい画角である合成画像中に表示領域を設定することが可能となる。そのため、切り出し画像を合成した領域以上の表示領域を設定することが可能となる。

本発明によると、撮像時にはズーム処理の要否などを記録することとして、再生時や編集時にズーム処理（表示領域の設定及び切り出し）を行うこととなる。そのため、所望の画角となる出力画像を、撮像後に容易に生成することが可能となる。特に、再生時や編集時におけるズーム処理の要否の検討を容易なものとすることが可能となる。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、画像信号に各種画像処理を施す撮像画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、撮像画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり撮像画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、撮像画像処理部６は、入力される画像信号に対して切り出し処理を行うための各種設定を行う切り出し設定部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号や撮像画像処理部６から出力される画像信号に基づいて再生用の画像信号を生成する再生画像処理部１２と、再生画像処理部１２から出力される画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１３と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１４と、を備える。なお、再生画像処理部１２は、入力される画像信号が示す画像の一部の領域を切り出して新たな画像信号を生成する切り出し処理部１２０を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどを備えてユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、撮像画像処理部６に入力される。

撮像画像処理部６では、階調補正や輪郭強調等の各種画像処理が施される。また、撮像画像処理部６に入力されるＲＡＷ画像（各画素が単色の信号値を備える画像）の画像信号に対して色同時化処理を行って色同時化画像（各画素が複数色の信号値を備える画像）の画像信号に変換する処理が行われる。また、メモリ１６はフレームメモリとして動作し、撮像画像処理部６が処理を行なう際に画像信号を一時的に保持する。なお、色同時化画像は、例えば、１つの画素にＲ（赤）、Ｇ（緑）、Ｂ（青）の信号値をそれぞれ備えたものであっても構わないし、Ｙ（輝度）、Ｕ及びＶ（色差）の信号値をそれぞれ備えたものであっても構わない。

また、このとき撮像画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。また、入力される画像信号に基づいて、ホワイトバランスの調整も行われる。このフォーカスや露出、ホワイトバランスの調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、撮像画像処理部６に備えられる切り出し設定部６０は、入力される画像信号やユーザの指示に基づいて、切り出し処理を行う際に必要となる種々の関連情報を生成して出力する。この関連情報は、画像信号に関連付けられるものとなる。関連情報を画像信号に関連付ける場合、例えば、画像信号のヘッダやサブヘッダなどの領域に関連情報を含ませて、直接的に関連付けても構わない。また、別のファイルとして作成するとともに画像信号に間接的に関連付けても構わない。なお、切り出し設定部６０の構成及び動作の詳細については後述する。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、撮像画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。また、切り出し設定部６０から出力される種々の関連情報も併せて記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、撮像画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長する。伸長された画像信号は再生画像処理部１２に入力され、再生用の画像信号が生成される。

このとき、切り出し処理部１２０は、切り出し設定部６０によって生成された種々の関連情報やユーザの指示などに基づいて、入力される画像信号の一部を切り出して新たな画像信号を生成する。なお、切り出し処理部１２０の構成及び動作の詳細については後述する。

再生画像処理部１２から出力される画像信号は、画像出力回路部１３に入力される。また、伸長処理部１１で伸長された音声信号は、音声出力回路部１４に入力される。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。なお、撮像装置１に一体となって備えられる表示装置を、以下において特にモニタと呼ぶこととする。

また、画像信号の記録を行わずにモニタに表示される画像をユーザが確認する、いわゆるプレビュー時に、撮像画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、動画の画像信号を記録する際に、画像信号を圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１３に入力し、モニタに表示することとしても構わない。

また、切り出し設定部６０で画像信号の処理を行う前に、手ぶれ補正処理が行われることとしても構わない。手ぶれ補正処理として、例えば撮像部（レンズ部３やイメージセンサ２）を駆動させて、撮像装置１に生じる動き（ぶれ）を打ち消す光学式の手ぶれ補正処理を採用しても構わない。また、撮像画像処理部６が、撮像装置１に生じた動きを打ち消すような画像処理を入力される画像信号に施す電子式の手ぶれ補正処理を採用しても構わない。また、撮像装置１に生じる動きを検出するために、ジャイロセンサなどのセンサを備えても構わないし、撮像画像処理部６が入力される画像信号に基づいて動きを検出することとしても構わない。

また、撮像画像処理部６と再生画像処理部１２とを合わせたものを、１つの画像処理部（画像処理装置）として解釈され得るものとする。

＜切り出し設定部＞
次に、図１に示した切り出し設定部６０の構成について、図面を参照して説明する。図２は、切り出し設定部の構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し設定部６０に入力される画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。さらに、入力画像を色同時化画像としても構わないものとする。なお、以下において入力画像の画角を全画角と表現する場合もあるものとする。

図２に示すように、切り出し設定部６０は、ユーザが特に撮像を行いたいと考える被写体（以下、主要被写体とする）を入力画像から検出して入力画像中の主要被写体の位置を示す主要被写体位置情報を出力する主要被写体検出部６１と、主要被写体検出部６１から出力される主要被写体位置情報に基づいて入力画像に対して切り出し領域を設定して切り出し領域情報を出力する切り出し領域設定部６２と、切り出し領域情報に基づいて入力画像から切り出し領域の画像を切り出すとともに調整を行い表示用画像として出力する画像切り出し調整部６３と、操作部１７を介して入力されるユーザのズーム意思情報に基づいてズーム情報を生成するズーム情報生成部６４と、を備える。

切り出し領域情報とは、例えば、入力画像中の一部の領域である切り出し領域の入力画像中における位置や大きさを示す情報である。切り出し領域は、例えば主要被写体が含まれるなど、入力画像中でユーザに特に必要とされる可能性が高い領域である。切り出し領域は、ユーザによって選択されたり自動的に設定されたりすることによって設定される。

ズーム情報とは、入力画像に関連付けられる情報（関連情報）であり、ユーザの入力画像に対するズーム処理（ズームインまたはズームアウト）の要否の意思を示すものである。例えば、画像の記録中にユーザがズーム処理を行いたいと考えた場合に操作部１７を介して入力されるズーム意思情報に基づいて、ズーム情報が生成される。

ズーム処理とは、画像処理を行うことによって行われるいわゆる電子ズーム処理を表すものとする。具体的に例えば、入力画像中の一部の領域に対して、画素間の補間処理（例えば、ニアレストネイバー法、バイリニア法、バイキュービック法など）や超解像処理などを用いて画素数を増大させて拡大する処理（ズームイン）を行う。また例えば、入力画像中のある領域の画像に対して画素加算や間引き処理を行うことによって画素数を減少させて縮小する処理（ズームアウト）を行う。

なお、画像切り出し調整部６３を、切り出し設定部６０に備えない構成としても構わない。即ち、表示用画像を生成及び出力しない構成としても構わない。

［主要被写体検出部］
主要被写体検出部６１は、入力画像から主要被写体を検出する。例えば、入力画像に対して顔検出処理を行うことにより、主要被写体の検出を行う。顔検出処理方法の一例について図面を参照して説明する。図３は、顔検出処理方法の一例について示す画像の模式図である。なお、図３に示す方法は一例に過ぎず、顔検出処理方法として既存のどのような方法を用いることとしても構わない。

本例では、入力画像と重みテーブルとを比較することで顔を検出する。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図３に示すように、まず入力画像３０から、例えば縮小率を０．８として顔検出用縮小画像３１〜３５が生成されて階層化される。また、各画像３０〜３５において判定を行う判定領域３６の大きさは、どの画像３０〜３５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域３６を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域３６とマッチングする顔画像の検出が行われる。ここで、入力画像３０の他に複数の顔検出用縮小画像３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。

マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域３６には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域３６に顔が存在すると判定し、判定領域を走査して次の判定領域３６での判定に移行する。なお、上述の例は正面顔を検出するものであるが、横顔のサンプルなどを用いることによって主要被写体の顔の向きなどを検出することとしても構わない。また、特定の人物の顔をサンプルとして記録し、特定の人物を主要被写体として検出する顔認識処理を行っても構わない。また、上記の例は人物の顔を検出するものであるが、動物など人以外の顔を検出することとしても構わない。

また、主要被写体検出部６１は、順次入力される入力画像から、継続して主要被写体の検出を行う、いわゆる追尾処理を行うことができるものとする。例えば、以下に示すような追尾処理を行うこととしても構わなく、この追尾処理の一例について図面を参照して説明する。図４は、追尾処理の一例について説明する模式図である。

図４に示す追尾処理では、例えば上記のような顔検出処理の結果を用いる。図４に示すように、本例の追尾処理では、最初に顔検出処理によって入力画像４０から主要被写体の顔領域４１を検出する。そして、顔領域４１の下方（眉間から口の方向）であり顔領域４１の隣接する位置に、主要被写体の胴体が含まれる胴体領域４２を設定する。そして、順次入力されてくる入力画像４０について、順次胴体領域４２を検出することで主要被写体の追尾処理を行う。このとき、胴体領域４２の色情報（例えば、色差信号ＵＶやＲＧＢ信号、Ｈ（Hue）Ｓ（Saturation）Ｂ（Brightness）のＨの信号など、色を示す信号値）に基づいて追尾処理を行う。具体的に例えば、胴体領域４２の設定時に胴体領域４２の色を認識するとともに記憶し、その後に入力されてくる入力画像中から認識した色に類似する色を有した領域を検出することで、追尾処理を行う。

上記の方法などによって追尾処理を行うことにより、入力画像から主要被写体の胴体領域４２を検出する。主要被写体検出部６１は、例えば検出された胴体領域４２や顔領域４１の入力画像中における位置を、主要被写体位置情報として出力する。

なお、上述した顔検出処理や追尾処理の方法は一例に過ぎず、他の方法を用いて顔検出処理や追尾処理を行っても構わない。例えば、追尾するパターンを予め設定するとともに、そのパターンを入力画像から検出するテンプレート法を用いても構わない。また、画像上の見かけの速度の分布を算出することで主要被写体の動きを求めるオプティカルフロー法などを用いても構わない。

［切り出し領域設定部］
切り出し領域設定部６２は、主要被写体位置情報に基づいて切り出し領域の設定を行う。切り出し領域の設定方法の具体例を、図面を参照して説明する。図５は、切り出し領域の設定方法の一例を示す入力画像の模式図である。

図５に示すように、主要被写体位置情報が示す主要被写体が存在する領域（主要被写体領域）５１が含まれるように、切り出し領域５２が設定される。例えば、主要被写体領域５１が、切り出し領域５２の水平方向（図中の左右方向）の中央部かつ垂直方向（図中の上下方向）の中央部となるように、切り出し領域５２を設定する。

なお、切り出し領域５２の大きさ（領域内の画素数）を、予め設定された所定の大きさとしても構わない。また、図５では主要被写体の胴体領域を利用して主要被写体領域５１を設定する場合について示しているが、顔領域を利用して主要被写体領域を設定しても構わない。なお、顔領域をそのまま主要被写体領域として用いる場合、顔領域が水平方向の中央部かつ垂直方向の上から１／３の位置となるように、切り出し領域５２を設定しても構わない。

また、切り出し領域５２の大きさを、主要被写体領域５１の大きさに応じたものとしても構わない。以下、切り出し領域５２の大きさを可変とした場合の設定方法の具体例について示す。

（第１実施例：切り出し領域設定方法）
本例では、主要被写体の検出精度（追尾信頼度）に応じて切り出し領域の大きさを設定する。追尾信頼度とは、追尾処理の精度について示すものであり、例えば、以下に示すような追尾信頼度評価値によって表現することができる。追尾信頼度評価値の算出方法について図面を参照して説明する。図６は、追尾信頼度評価値の算出方法の一例について示す図である。図６（ａ）は、入力画像の分割方法について示したものであり、図６（ｂ）は、追尾信頼度評価値の算出例について具体的に示す図である。

本例では、入力画像の全体領域を水平方向及び垂直方向に複数に分割することにより入力画像内に複数の小ブロックを設定する。今、水平方向及び垂直方向の分割数をそれぞれＭ及びＮとする（Ｍ及びＮは２以上の整数）。各小ブロックは、二次元配列された複数の画素から形成される。また、入力画像内の小ブロックの水平位置及び垂直位置を表す記号としてｍ及びｎを導入する（ｍは１≦ｍ≦Ｍを満たす整数、且つ、ｎは１≦ｎ≦Ｎを満たす整数）。ｍが大きくなるほど、その水平位置は右方向に向かい、ｎが大きくなるほど、その垂直位置は下方向に向かうものとする。水平位置がｍであって垂直位置がｎである小ブロックを小ブロック［ｍ，ｎ］と表記する。

切り出し領域設定部６２は、主要被写体検出部６１から出力される主要被写体位置情報に基づいて、入力画像における主要被写体が存在する領域（例えば、胴体領域）の中心を認識し、その中心の位置が何れの小ブロックに属するかを特定する。図６（ｂ）の点２００は、この中心を表している。今、その中心２００が小ブロック［ｍ_O，ｎ_O］に属していたとする（ｍ_Oは１≦ｍ_O≦Ｍを満たす整数値、且つ、ｎ_Oは１≦ｎ_O≦Ｎを満たす整数値）。また、公知の被写体サイズ検出方法を用いることにより、各小ブロックを、主要被写体の画像データが表れる小ブロックまたは背景の画像データが表れる小ブロックに分類する。前者の小ブロックを主要被写体ブロックと呼び、後者の小ブロックを背景ブロックと呼ぶ。

具体的に例えば、主要被写体が存在すると予想される点から十分に離れた点に背景が現れていると考える。そして、この両点の画像特徴から両点間の各位置の画素が背景及び主要被写体の何れに属するかを分類していく。画像特徴とは、画素の輝度や色情報を含むものである。この分類によって主要被写体の対象の輪郭を推定することができる。そして、その輪郭から主要被写体の大きさを推定可能であり、これに基づいて主要被写体ブロック及び背景ブロックの分類を行うことができる。なお図６（ｂ）は、中心２００の周辺に現れる主要被写体の色が背景の色と異なることをイメージ化して示したものである。また、主要被写体ブロックの全てを合成した領域を主要被写体領域としても構わないし、背景ブロックの全てを合成した領域を背景領域としても構わない。

主要被写体の色情報と背景ブロック内の画像の色情報との差を表す色差評価値を、背景ブロック毎に算出する。背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された色差評価値をそれぞれＣ_DIS［１］〜Ｃ_DIS［Ｑ］にて表す（Ｑは、不等式「２≦Ｑ≦（Ｍ×Ｎ）−１」を満たす整数）。例えば、色差評価値Ｃ_DIS［１］を算出する際には、第１の背景ブロックに属する各画素の色信号（例えば、ＲＧＢ信号）を平均化することにより第１の背景ブロック内の画像の平均的な色を求め、その平均的な色の、ＲＧＢ色空間上における位置を検出する。一方で、主要被写体の色情報のＲＧＢ色空間上における位置も検出し、ＲＧＢ色空間上における両位置間の距離を色差評価値Ｃ_DIS［１］として算出する。これにより、対比される色の相違度が増大すれば色差評価値Ｃ_DIS［１］は増大することになる。また、色差評価値Ｃ_DIS［１］が取りうる値の範囲が０以上１以下となるように、ＲＧＢ色空間は正規化されているものとする。他の色差評価値Ｃ_DIS［２］〜Ｃ_DIS［Ｑ］も同様にして算出される。なお、色差評価値を求めるための色空間は、ＲＧＢ色空間以外（例えば、ＨＳＶ色空間）であってもよい。

さらに、中心２００と背景ブロックとの入力画像上における空間的な位置の差を表す位置差評価値を、背景ブロック毎に算出する。第１〜第Ｑの背景ブロックに対して算出された位置差評価値をそれぞれＰ_DIS［１］〜Ｐ_DIS［Ｑ］にて表す。ある背景ブロックに対する位置差評価値は、例えば、中心２００とその背景ブロックの４頂点の内の中心２００に対する最近傍頂点との距離とされる。小ブロック［１，１］が第１の背景ブロックであると共に１＜ｍ_O且つ１＜ｎ_Oであり、小ブロック［１，１］の４頂点の内、頂点２０１が中心２００に最も近いとすれば、位置差評価値Ｐ_DIS［１］は、中心２００と頂点２０１との入力画像上における空間的な距離とされる。位置差評価値Ｐ_DIS［１］が取りうる値の範囲が０以上１以下となるように、被演算画像の空間領域は正規化されているものとする。他の位置差評価値Ｐ_DIS［２］〜Ｐ_DIS［Ｑ］も同様にして算出される。

上述のように求めた色差評価値及び位置差評価値に基づき、下記式（１）に従ってある入力画像に対する統合距離ＣＰ_DISを算出する。そして、その統合距離ＣＰ_DISを用い、下記式（２）に従って、ある入力画像に対する追尾信頼度評価値ＥＶ_Rを算出する。即ち、「ＣＰ_DIS＞１００」の場合は「ＥＶ_R＝０」とされ、「ＣＰ_DIS≦１００」の場合は「ＥＶ_R＝１００−ＣＰ_DIS」とされる。なお、この算出方法では、主要被写体の近くに主要被写体の色と同色又は類似色の背景が存在すれば、追尾信頼度評価値ＥＶ_Rは低くなる。

種々の入力画像に対して、切り出し領域設定部６１が設定する切り出し領域を図７（ａ）〜（ｃ）に示す。図７（ａ）〜（ｃ）では、主要被写体の入力画像中の大きさを一定のものとしている。本例では、追尾信頼度（例えば、追尾信頼度評価値）が高くなるにしたがって、切り出し領域の大きさが小さくなるように（即ち、拡大率が大きくなるように）切り出し領域を設定する。

図７（ａ）、（ｂ）及び（ｃ）は、追尾信頼度がそれぞれ第１、第２、第３信頼度である場合において設定される切り出し領域の様子をそれぞれ示したものである。第１〜第３信頼度の内、第１信頼度が最も信頼度が高く、第３信頼度が最も信頼度が低いものとする。図７（ａ）〜（ｃ）において、実線四角枠内の画像２０２〜２０４は切り出し領域が設定されるべき入力画像を示しており、破線四角枠内の領域２０５〜２０７はそれぞれの入力画像に対して設定される切り出し領域を示している。各切り出し領域内の人物は、主要被写体である。主要被写体が有する色の類似色が、主要被写体の近辺に位置することによって、入力画像２０３，２０４に対する追尾信頼度は、入力画像２０２のそれよりも低くなっている。

入力画像２０２に対して設定される切り出し領域２０５の大きさは、入力画像２０３に対して設定される切り出し領域２０６の大きさよりも小さく、かつ、切り出し領域２０６の大きさは、入力画像２０４に対して設定される切り出し領域２０７の大きさよりも小さい。なお、切り出し領域の大きさとは、切り出し領域の大きさを表す切り出し領域の画像大きさであり、切り出し領域内に属する画素数によって表現されるものである。

本実施例の方法で切り出し領域を設定すると、追尾信頼度が高いほど、切り出し領域中の主要被写体の大きさが大きいものとなる。したがって、主要被写体を精度良く検出できる場合に、主要被写体が占める割合を大きくした（即ち、主要被写体を中心とした）切り出し領域を設定することが可能となる。また、主要被写体を精度良く検出できない場合に、主要被写体が切り出し領域外に位置することを抑制することが可能となる。

なお、図７（ａ）〜（ｃ）に示す入力画像２０２〜２０４を、プレビュー中や画像の記録中にモニタに表示することとしても構わない。さらに、入力画像２０２〜２０４中に、追尾信頼度の高さを示すインジゲーター２０８を含ませることとして、ユーザに追尾信頼度の高さを報知することとしても構わない。

（第２実施例：切り出し領域設定方法）
次に、切り出し領域設定方法の第２実施例について図面を参照して説明する。図８は、画像の座標について説明する図であり、図９は、主要被写体と設定される切り出し領域との関係を示す図である。なお、本例の切り出し領域設定方法は、主要被写体の大きさに応じて切り出し領域の大きさを設定するものである。

図８は、入力画像などの任意の画像２１０を、ＸＹ座標面上に示したものである。ＸＹ座標面は、互いに直交するＸ軸及びＹ軸を座標軸とする二次元座標面であり、Ｘ軸が伸びる方向は画像２１０の水平方向と平行であって、Ｙ軸が伸びる方向は画像２１０の垂直方向と平行であるものとする。また、画像上の物体又は領域を議論する際、その物体又は領域のＸ軸方向における大きさを物体又は領域の幅と捉え、その物体又は領域のＹ軸方向における大きさを物体又は領域の高さと捉える。画像２１０上の、着目したある点の座標値を（ｘ，ｙ）にて表すものとする。ｘ及びｙは、それぞれ着目した点の水平方向の座標値及び垂直方向の座標値を表す。Ｘ軸及びＹ軸は原点Ｏにて交差し、原点Ｏから見て、Ｘ軸の正の方向を右方向、Ｘ軸の負の方向を左方向、Ｙ軸の正の方向を上方向、Ｙ軸の負の方向を下方向とする。

切り出し領域設定部６２は、主要被写体検出部６１から出力される主要被写体位置情報に基づいて、主要被写体の大きさを算出する。このとき、第１実施例において説明したように、公知の被写体サイズ検出方法を用いることができる。

主要被写体の高さＨ_Aとし、式「Ｈ_B＝ｋ₁×Ｈ_A」にしたがって、切り出し高さＨ_Bを算出する。ｋ₁は予め設定された１より大きな定数である。図９（ａ）に、切り出し領域が設定されるべき入力画像２１１を示すと共に、入力画像２１１において主要被写体の画像データが存在する主要被写体領域を矩形領域２１２によって示す。図９（ｂ）に、図９（ａ）に示されたものと同じ入力画像２１１を示すと共に、入力画像２１１に対して設定されるべき切り出し領域を矩形領域２１３によって示す。なお、主要被写体領域の外形は矩形に限られるものではなく、他の形状であっても構わない。

矩形領域２１２（主要被写体領域）の高さ方向の大きさが、主要被写体の高さＨ_Aであり、矩形領域２１３（切り出し領域）の高さ方向の大きさが、切り出し高さＨ_Bである。また、入力画像２１１の全体領域の、高さ方向及び幅方向の大きさを、それぞれＨ_O及びＷ_Oによって表す。

切り出し高さＨ_Bを用い、式「Ｗ_B＝ｋ₂×Ｈ_B」に従って、切り出し幅Ｗ_Bを算出する。切り出し幅Ｗ_Bは、矩形領域２１３（切り出し領域）の幅方向の大きさである。また、ｋ₂は予め設定された定数である（例えば、ｋ₂＝１６／９）。主要被写体領域の幅方向の大きさが高さ方向の大きさに比べて異常に大きくなければ、主要被写体領域は切り出し領域に包含されることになる。本例では、主要被写体が人物であって且つ人物の背の高さ方向が画像の垂直方向と合致している場合を想定しており、幅方向の大きさが高さ方向の大きさに比べて異常に大きいような主要被写体領域は、設定されないものとする。

切り出し領域設定部６２は、主要被写体位置情報から主要被写体領域の中心ＣＮ_Aの座標値（ｘ_A，ｙ_A）を取得し、（ｘ_B，ｙ_B）＝（ｘ_A，ｙ_A）となるように、切り出し領域の中心ＣＮ_Bの座標値（ｘ_B，ｙ_B）を設定する。ただし、設定される切り出し領域は、入力画像の全体領域からはみ出した領域を含んでいることがある。この場合、切り出し領域の位置調整を行うこととする。なお、位置調整方法の具体例を図１０に示す。

例えば図１０（ａ）に示すような、入力画像２１４の全体領域外であり、かつ入力画像２１４の上方側に、切り出し領域２１５の一部領域がはみ出す場合について説明する。なお、以下では入力画像２１４の全体領域外に位置する、切り出し領域の一部領域をはみ出し領域と呼ぶ。また、はみ出し領域の、はみ出している方向における大きさを、はみ出し量と呼ぶ。

はみ出し領域が存在する場合、設定された切り出し高さＨ_B、切り出し幅Ｗ_B及び座標値（ｘ_B，ｙ_B）に従った切り出し領域に対して位置調整を行い、位置調整後の切り出し領域を最終的な切り出し領域とする。具体的に例えば、はみ出し量がちょうどゼロとなるように、切り出し領域の中心ＣＮ_Bの座標値を補正することにより、位置調整を行う。図１０（ａ）に示すように、入力画像２１４の上方側に切り出し領域２１５がはみ出している場合は、図１０（ｂ）に示すように、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを下方に移動させる。即ち、はみ出し量をΔｙとした場合、「ｙ_B ⁺＝ｙ_B−Δｙ」に従って補正後のｙ軸座標値ｙ_B ⁺を算出し、最終的な切り出し領域２１６の中心ＣＮ_B ⁺の座標値を（ｘ_B，ｙ_B ⁺）とする。

同様に、フレーム画像の下方側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを上方に移動させ、フレーム画像の右側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを左方に移動させ、フレーム画像の左側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを右方に移動させて、移動後の切り出し領域を、最終的な切り出し領域として設定する。

さらに、切り出し領域の下方への移動によって、フレーム画像の下方側に切り出し領域が再度はみ出してしまう場合は、そのはみ出しがなくなるように、切り出し領域の大きさ（切り出し高さ及び切り出し幅）を減少補正する。この減少補正の必要性は、切り出し高さＨ_Bが比較的大きいときに発生しやすい。

また、はみ出し領域が存在しない場合は、切り出し高さＨ_B、切り出し幅Ｗ_B及び座標値（ｘ_B，ｙ_B）に従った切り出し領域が、最終的な切り出し領域となる。

以上のようにして切り出し領域が設定される場合の具体例を図１１に示す。図１１は、種々の入力画像２１７〜２１９に対して、切り出し領域設定部６２が設定する切り出し領域２２０〜２２２をそれぞれ示したものである。なお、図１１（ａ）に示す入力画像２１７中の主要被写体２２０が最も大きく、図１１（ｃ）に示す入力画像２１９中の主要被写体２２２が最も小さいものとする。

図１１（ａ）〜（ｃ）に示すように、本実施例の方法で切り出し領域を設定すると、主要被写体が大きいほど切り出し領域が大きく設定され、主要被写体が小さいほど切り出し領域が小さく設定されることとなる。したがって、切り出し領域中の主要被写体の大きさを略等しいものとすることが可能となる。

なお、本実施例と第１実施例とを組み合わせても構わない。この場合、切り出し領域の切り出し高さが、追尾信頼度を表す追尾信頼度評価値ＥＶ_Rに応じて補正されるものとする。補正後の切り出し高さをＨ_B ⁺によって表す。具体的には、最新の信頼度評価値ＥＶ_Rと所定の閾値ＴＨ₁及びＴＨ₂とを比較することによって、以下の第１〜第３不等式の何れが成立するかを判断する。閾値ＴＨ₁及びＴＨ₂は、不等式「１００＞ＴＨ₁＞ＴＨ₂＞０」が成立するように予め設定され、例えばＴＨ₁＝９５且つＴＨ₂＝７５である。

第１不等式「ＥＶ_R≧ＴＨ₁」が成立する場合は、Ｈ_B ⁺にＨ_Bを代入する。即ち、第１不等式が成立する場合には、算出された切り出し高さに対して補正がなされない。
第２不等式「ＴＨ₁＞ＥＶ_R≧ＴＨ₂」が成立する場合は、式「Ｈ_B ⁺＝Ｈ_B×（１＋（（１−ＥＶ_R／１００）／２））」に従って、補正後の切り出し高さＨ_B ⁺を算出する。即ち、第２不等式が成立する場合には、切り出し高さが増大補正される。
第３不等式「ＴＨ₂＞ＥＶ_R」が成立する場合は、Ｈ_B ⁺にＨ_BOを代入する。Ｈ_BOは、入力画像の高さＨ_Oに基づく定数であり、例えば、高さＨ_Oと合致する定数あるいは高さＨ_Oよりも若干小さな定数である。第３不等式が成立する場合にも、切り出し高さが増大補正される。

［ズーム情報生成部］
ズーム情報生成部６４は、ユーザから操作部１７を介して入力されるズーム意思情報に基づいて、ズーム情報を生成する。

（操作部とズーム意思情報）
例えば、ズーム意思情報が、ズームイン意思情報（ズームインする意思を示した情報）とズームアウト意思情報（ズームアウトする意思を示した情報）との２種類から成るものとしても構わない。この場合、操作部１７にズームインスイッチとズームアウトスイッチとを備える構成とすると、ユーザの操作が容易となるため好適である。そして例えば、ユーザがズームインスイッチ（またはズームアウトスイッチ）を押下している間は、ズームイン意思情報（またはズームアウト意思情報）がズーム情報生成部６４に入力されることとしても構わない。

また例えば、ズーム意思情報にズームイン意思情報とズームアウト意思情報との区別がないものとしても構わない。即ち、共通ズーム意思情報の１種類から成るものとしても構わない。この場合、操作部１７に１つの共通ズームスイッチを備える構成で足りるため、構成を簡略化することができる。そして例えば、ユーザが共通ズームスイッチを押下している間は、共通ズーム意思情報がズーム情報生成部６４に入力されることとする。

なお、操作部１７の例として各種スイッチを挙げたが、タッチパネルとしても構わない。例えば、タッチパネル上の所定の領域に触れることによって、上記のスイッチを押下した場合と同様の動作が行われることとしても構わない。また、主要被写体や切り出し領域に触れることで、ズーム意思情報がズーム情報生成部６４に入力されることとしても構わない。

また、各種スイッチやタッチパネルに対して、一度押下したり触れたりしたときから、再度押下したり触れたりするときまで、ズーム意思情報が出力され続けることとしても構わない。

（ズーム意思情報とズーム情報）
入力されるズーム意思情報と生成されるズーム情報との関係について、図面を参照して説明する。図１２は、生成されるズーム情報の具体例を示す図である。なお、図１２（ａ）〜（ｃ）の各図に示す入力画像は、右方のものほど新しいものとなる。即ち、時間的に後に作成されたものとなる。

ズーム情報生成部６４は、入力されるズーム意思情報に基づいてズーム情報を生成する。例えば、図１２（ａ）に示すように、ズーム意思情報の入力開始時にズーム開始情報を生成し、ズーム意思情報の入力終了時に出力されるズーム解除情報を生成する。このとき、例えばズーム開始情報が関連付けられた入力画像からズーム解除情報が関連付けられた入力画像までが、ズーム処理対象画像（再生時にズーム処理が施されたり検討されたりする画像、詳細は後述）となる。

さらに、ズーム意思情報がズームイン意思情報とズームアウト意思情報とから成る場合、これらを区別したズーム情報を出力することとしても構わない。即ちズーム情報が、ズームイン開始情報、ズームアウト開始情報、ズームイン解除情報及びズームアウト解除情報の４種類から成るものとしても構わない。さらに、ズームイン解除情報及びズームアウト解除情報を１つの共通ズーム解除情報として、ズーム情報が３種類から成るものとしても構わない。

また例えば、図１２（ｂ）に示すように、ズーム情報生成部６４から出力されるズーム情報が、ズーム処理切替情報の１種類から成るものとしても構わない。ズーム処理切替情報、は出力される順番によって、開始、解除、開始、解除、…、を順次示すものとする。

さらに、ズーム意思情報が、ズームイン意思情報とズームアウト意思情報とから成る場合、これらを区別したズーム情報を出力することとしても構わない。即ちズーム情報が、ズームイン切替情報、ズームアウト切替情報の２種類から成るものとしても構わない。

また例えば、図１２（ｃ）に示すように、ズーム情報生成部６４から出力されるズーム情報を、例えば、ズーム意思情報が入力されている期間中に継続して出力されるズーム処理中情報の１種類から成るものとしても構わない。

さらに、ズーム意思情報がズームイン意思情報とズームアウト意思情報とから成る場合、これらを区別したズーム情報を出力することとしても構わない。即ちズーム情報が、ズームイン処理中情報とズームアウト処理中情報との２種類から成るものとしても構わない。

なお、ズーム情報（図１２（ａ），（ｂ）のズーム開始情報やズーム解除情報、ズーム切替情報）が関連付けられた入力画像を、ズーム処理対象画像に含めないこととしても構わない。即ち、ズーム情報が関連付けられた入力画像の内側の入力画像を、ズーム処理対象画像としても構わない。

また、入力画像の記録中に、どのようなズーム情報が併せて記録されているかをユーザに報知することとしても構わない。例えば、上記のズーム開始情報が出力されてからズーム解除情報が出力されるまでの間や、上記のズーム処理中情報が出力されている間に、モニタに「ズーム処理中」などの文字や絵を表示しても構わない。また、ＬＥＤ（Light Emitting Diode）の点灯や音などによってユーザに報知しても構わない。

また、入力画像の切り出し領域の画像をモニタに表示しても構わないし、さらに入力画像を併せて表示しても構わない。そして、この切り出し領域の画像に対して、ズームイン（切り出し領域を狭くする）またはズームアウト（切り出し領域を広くする）を行って表示することで、切り出し領域にズーム処理を施した場合の効果をユーザに報知することとしても構わない。なお、この報知動作については、以下の［画像切り出し調整部］において詳述する。

また、ズーム情報生成部６４が、ズーム意思情報が入力されている期間中にズーム処理中情報を継続して出力し、ズーム意思情報の入力が停止した際にズーム解除情報を出力する構成としても構わない。

また、画像記録中に撮像装置１に大きな動き（例えば、手ぶれであると判定される大きさ以上の動き）が検出された場合、ズーム意思情報の有無に関わらず、ズーム情報生成部６４からズーム解除情報（特に、ズームイン解除情報）を強制的に出力させたり、ズーム処理中情報の出力を強制的に停止させたりする構成としても構わない。このように構成すると、撮像装置１が大きく動くことによって、領域（特に、ズームイン処理した切り出し領域）内から被写体が外に出ることを抑制することが可能となる。

（ズーム倍率）
ズーム情報に、ズーム倍率（拡大率や縮小率）を含ませることも可能である。例えば、ズーム倍率を、予め設定された所定の値としても構わない。なお、ズーム倍率は、入力画像を基準として表現（例えば、入力画像の大きさの何％と表現）しても構わないし、切り出し領域を基準として表現（例えば、切り出し領域の大きさの何％と表現）しても構わない。

また、ズーム倍率を所定の値とせずに、可変の値とすることも可能である。例えば、ズーム倍率に限界値（拡大率であれば最大値、縮小率であれば最小値）を設定し、この限界値（または、半値などの所定倍値）をズーム情報に含ませることとしても構わない。なお、拡大率の最大値を、主要被写体領域５１（図５参照）を所定の大きさ（例えば、表示装置が主要被写体領域５１を欠けることなく表示することができる最大の大きさ）まで拡大した場合の値としても構わない。また、後述する超解像処理を行った場合に向上される解像度の限界値（撮像部や画像処理部に応じて決定される値）から、拡大率の最大値を算出しても構わない。

一方、縮小率の最小値も同様に、主要被写体領域５１を所定の大きさ（例えば、主要被写体領域が識別可能な程度の大きさ）まで縮小した場合の縮小値を、最小値としても構わない。

また、画像の記録時にユーザが設定する任意のズーム倍率を、ズーム情報に含ませることとしても構わない。例えば、上述したズームインスイッチやズームアウトスイッチ、共通ズームスイッチを継続して押下した時間に応じて、ズーム倍率が設定されることとしても構わない。例えば、押下した時間が長いほど、ズーム処理の効果が大きく（拡大率を大きく、または、縮小率を小さく）しても構わない。なお、このようにして設定されるズーム倍率が、上記の限界値を超えないように設定されることとしても構わない。

さらにこの場合、上述のように入力画像の一部の領域（例えば切り出し領域）の画像に対してズーム処理を行ったものをモニタに表示することとすると好適である。このような構成とすると、ズーム処理の効果をユーザに報知することが可能となる。そのため、ユーザがズームスイッチを離すタイミングを容易かつ正確に決定することが可能となる。

［画像切り出し調整部］
上述のように、画像切り出し調整部６３を備えない構成としても構わないが、以下では、画像切り出し調整部６３を備える場合の切り出し設定部６０の構成及び動作について説明する。

切り出し領域設定部６２によって切り出し領域が設定され、切り出し領域情報が出力されると、画像切り出し調整部６３は、切り出し領域情報と入力画像とに基づいて表示用画像を生成する。例えば、入力画像から切り出し領域の画像を得るとともに、当該画像の大きさを調整して表示用画像を生成する。このとき、画質（例えば、解像度）を向上させる処理を併せて行っても構わない。そして、生成される表示用画像は、例えば上述のようにズーム処理の効果をユーザに報知するためにモニタに表示する画像として用いられる。

具体的に、画像切り出し調整部６３は、例えば、１枚の入力画像の画像データを用いた補間処理を行う。これにより、切り出し領域の画像の画素数を増大させる。補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能である。また、この補間処理を施して得られた画像に鮮鋭化処理を施した画像を、表示用画像としても構わない。鮮鋭化処理として、例えば、エッジ強調フィルタ（微分フィルタなど）やアンシャープマスクフィルタを用いたフィルタリングを行っても構わない。アンシャープマスクフィルタを用いたフィルタリングでは、まず、補間処理後の画像を平滑化して平滑化画像を生成した後、その平滑化画像と補間処理後の画像との差分画像を生成する。そして、その差分画像の各画素値と補間処理後の画像の各画素値を足し合わせるように差分画像と鮮鋭化前画像を合成することで鮮鋭化処理を行う。

また例えば、複数枚の入力画像を用いた超解像処理によって解像度向上処理を実現しても構わない。超解像処理では、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより１枚の高解像度画像を生成する。画像切り出し調整部６３は、公知の任意の超解像処理を利用可能である。例えば、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに記載の超解像処理方法を利用することが可能である。なお、超解像処理の具体例については後述する。

［変形例］
上述の例では、画像処理によって行われる電子ズーム処理のみを行う場合について示しているが、光学ズーム処理を併用することも可能である。光学ズーム処理とは、レンズ部３を制御することにより、イメージセンサ２に入力される光学像自体を変化させるものである。光学ズーム処理を行ったとしても、例えば上記のように入力画像（または切り出し領域）と主要被写体領域との相対的な大きさなどによって電子ズーム処理のズーム倍率を定義することとすると、光学ズーム処理の有無に関わらず同じ処理を行うことが可能となる。なお、電子ズーム処理のスイッチと、光学ズーム処理のスイッチと、を別々にすることとしても構わない。また、光学ズーム処理を入力画像の記録時に禁止しても構わない。この場合、記録開始直前までは光学ズーム処理を行って入力画像の画角を調整し、記録開始後からは電子ズーム処理を行うこととしても構わない。

また、上述の例では、入力画像に関連付けて記録される関連情報の例として、切り出し領域情報やズーム情報を挙げたが、これ以外の情報を関連情報として入力画像に関連付けることとしても構わない。例えば、主要被写体の入力画像中の位置を示す情報（顔領域、胴体領域や主要被写体領域の位置の情報など）を、入力画像に関連付けることとしても構わない。

また、主要被写体の動きの大きさや方向を示す動き情報を、入力画像に関連付けることとしても構わない。主要被写体の動き情報は、例えば、上述した追尾処理の結果から求めることが可能である。

また、主要被写体の顔の向きを示す顔向き情報を、入力画像に関連付けることとしても構わない。顔向き情報は、例えば、上述した顔検出処理において横顔のサンプルを用いて検出を行うことにより求めることが可能である。

＜切り出し処理部＞
次に、図１に示した切り出し処理部１２０について図面を参照して説明する。図１３は、切り出し処理部の構成を示すブロック図である。切り出し処理部１２０は、入力画像と切り出し設定部６０で生成される入力画像に関連付けられた種々の関連情報と操作部１７を介してユーザから入力されるズーム倍率情報や表示領域設定情報が入力されるとともに表示領域画像や表示領域情報を生成して出力する画像編集部１２１と、画像編集部１２１から出力される表示領域画像を調整して出力画像を生成する画像調整部１２２と、を備える。

表示領域画像とは、画像編集部１２１で設定される入力画像の一部の領域（以下、表示領域とする）の画像である。また、表示領域情報とは、例えば、入力画像中における表示領域の位置や大きさを示す情報である。また、ズーム倍率情報とは、操作部１７を介してユーザから入力される情報であり、切り出し領域（または入力画像）に対するズーム倍率を示すものである。また、表示領域設定情報とは、操作部１７を介してユーザから入力される情報であり、任意の表示領域を指定する情報である。また、出力画像とは、表示装置やモニタに表示する画像であり、後段の画像出力回路部１３に入力される画像である。

画像編集部１２１は、入力画像に対して表示領域を設定するとともに、表示領域の画像である表示領域画像を生成し、出力する。なお、表示領域を設定する際に、切り出し領域情報が示す切り出し領域が利用される場合もあるが、表示領域設定情報によって指定される任意の位置に設定される場合もある。なお、表示領域の設定方法の詳細については後述する。

画像編集部１２１から出力される表示領域画像は、画像調整部１２２で所定の大きさ（画素数）の画像に変換されて、出力画像が生成される。このとき、上述の画像切り出し調整部６３と同様に、補間処理や超解像処理などの画質を向上させる処理を表示領域画像に施すこととしても構わない。

また、表示領域画像や出力画像を外部メモリ１０に記録する、いわゆる編集動作を行うこととしても構わない。表示領域画像を記録する場合、表示を行う時には画像調整部１２２に読み出されて、出力画像が生成されることとする。出力画像を記録する場合、表示を行う時には記録された出力画像が画像出力回路部１３に読み出されることとする。

編集動作を行う場合、画像編集部１２１において表示領域画像を生成せず、入力画像及び表示領域情報の形式で外部メモリ１０に記録しても構わない。また、表示領域情報を入力画像のヘッダやサブヘッダなどの領域に含ませて、直接的に関連付けても構わないし、別のファイルとして作成するとともに入力画像に間接的に関連付けても構わない。表示領域情報を記録する場合、表示を行う時には画像編集部１２１に入力画像とともにそれぞれ読み出され、表示領域画像が生成される。なお、表示領域情報は、１つの入力画像に対して複数備えられることとしても構わない。

［切り出し処理］
切り出し処理部１２０によって行われる切り出し処理の具体例について、以下に第１〜第３実施例を挙げて説明する。なお、以下に示す各実施例の切り出し処理のうち、いずれの動作を行うかをユーザが選択可能としても構わない。

例えば、入力画像の編集を行い編集後の画像や情報を外部メモリ１０に記録する編集モードと、外部メモリ１０に記録された画像の表示を行う再生モードとを設ける。そして、ユーザが編集モードを選択する場合は、第１実施例の切り出し処理が選択されることとする。一方、再生モードが選択される場合は、さらに、ユーザによって自動再生と編集画像再生とのいずれかが選択されることとする。自動再生が選択される場合、第２実施例の切り出し処理が選択されることとする。一方、編集画像再生が選択される場合、第３実施例の切り出し処理が選択されることとする。

（第１実施例：切り出し処理）
第１実施例の切り出し処理について、図面を参照して説明する。図１４は、第１実施例の切り出し処理を示す図である。図１４に示す例では、画像編集部１２１において、ズーム処理対象画像である各入力画像の特に切り出し領域（図中の破線領域）に対してズーム倍率が設定され、それによって表示領域（図中の実線領域）が設定される。なお、図１４に示すズーム倍率情報は、切り出し領域に対するズーム倍率を示すものとする。また、ズーム倍率情報が２００％（３００％）とは、例えば、切り出し領域を２倍（３倍）に拡大（ズームイン）することを指すものとする。即ち、切り出し領域の大きさの１／２（１／３）となる表示領域を設定するものとする。

ズーム処理対象画像であるか否かについては、入力画像の記録時に設定されたズーム情報で確認することができる（図１２参照）。また、ズーム情報にズーム倍率が含まれる場合、このズーム倍率をそのまま適用することができる。ただし、このズーム倍率はユーザによって変更可能であるものとし、暫定的に設定されているものとする。なお、このようにズーム情報に含まれて暫定的に設定されるズーム倍率として、例えば、上述のズーム倍率の限界値の所定倍値（例えば半値）や、ユーザが設定する任意のズーム倍率を適用することができる。

さらに、図１４に示すように、ユーザの指示（即ち、ズーム倍率情報）に基づいて、それぞれの入力画像に対してズーム倍率が設定される。このとき、多数のズーム処理対象画像の中からいくつかの入力画像を代表させ、代表させた入力画像に対してのみユーザがズーム倍率を設定することとしても構わない。そして、代表させた入力画像のズーム倍率を用いて、代表させた入力画像の間に位置する入力画像のズーム倍率を算出しても構わない。例えば、線形補間や非線形補間によって、代表させた入力画像の間に位置する入力画像のズーム倍率を算出しても構わない。

一方、全ての入力画像に対して、ユーザがズーム倍率を設定することとしても構わない。また、ある一群の入力画像に対して、略等しいズーム倍率を設定しても構わない。また、ズーム倍率に急峻な変化が生じる（例えば、連続する入力画像に対して、大きく異なるズーム倍率が設定される）場合、これらの入力画像やその前後の入力画像のズーム倍率を調整して、ズーム倍率が序所に変化するようにしても構わない。また、そのまま急峻に変化させることとしても構わない。

以上のようにしてズーム倍率が設定され、それによって表示領域が設定される。そして、この表示領域の画像である表示領域画像を外部メモリ１０に記録したり、画像調整部１２２で調整して生成される出力画像を外部メモリ１０に記録したりする。なお、画像編集部１２１において表示領域画像を生成せず、表示領域情報の形式で外部メモリ１０に記録しても構わない。この場合、表示領域情報を入力画像のヘッダやサブヘッダなどの領域に含ませて、直接的に関連付けても構わないし、別のファイルとして作成するとともに入力画像に間接的に関連付けても構わない。

このように、記録した入力画像を再生する時にズーム倍率を設定することとすると、所望の画角となる表示領域を容易に設定することが可能となる。また、入力画像中の任意の画角となる表示領域画像を生成することが可能となる。

また、切り出し領域を基準の領域として設定し、切り出し領域に対してズーム倍率を設定または修正することで表示領域を設定する構成とすると、ユーザは、ズーム倍率を設定するだけで所望の画角の表示領域画像及び出力画像を容易に得ることができる。このとき、設定された切り出し領域が所望の領域から外れていれば、ユーザは、表示領域設定情報を入力して入力画像全体から表示領域を設定することが可能である。

本例では、入力画像の記録時に画像の切り出しや、出力画像の画角の決定を行わないこととしている。そのため、入力画像の画角内であれば自由に表示領域を設定することが可能となる。

なお、ズーム処理対象画像の中からある入力画像を除外したり、反対に、ある入力画像をズーム処理対象画像に加えたりすることを可能としても構わない。

また、切り出し領域中にズームインして表示領域を設定する場合（即ち、切り出し領域よりも表示領域を狭める場合）、切り出し領域の中央部にズームインしても構わないし、主要被写体（例えば、顔）にズームインしても構わない。切り出し領域からズームアウトして表示領域を設定する場合（即ち、切り出し領域よりも表示領域を広げる場合）も同様であり、切り出し領域の中央部を中心としてズームアウトしても構わないし、主要被写体を中心としてズームアウトしても構わない。

また、ユーザにズーム倍率を設定させる場合に、モニタや表示装置に入力画像を表示することとしても構わないし、切り出し領域の画像を表示させることとしても構わない。また、入力画像と切り出し領域とを併せて表示することとしても構わない。

（第２実施例：切り出し処理）
本例では、画像編集部１２１が自動的に表示領域の設定を行う。具体的に例えば、切り出し領域（ズーム処理なしの場合）、または記録時に設定されているズーム倍率に基づいて切り出し領域を基準として設定される表示領域（ズーム処理を行う場合）のいずれかの領域の画像を表示領域画像として出力する。なお、ズーム倍率として例えば、上述のズーム倍率の限界値や、ユーザが設定する任意のズーム倍率を用いることができる。

このように構成すると、ユーザがズーム倍率を設定する必要がなくなり、容易に出力画像を表示することが可能となる。

なお、得られた表示領域画像に基づいて画像調整部１２２で出力画像を生成する際に、ズーム処理を伴って得られた出力画像に対して「ズーム中」などの文字を重畳させて表示する処理を施し、ズーム処理の有無をユーザに報知しても構わない。そして、ユーザが所望のズーム処理が成されていないと考えた画像について、ズーム倍率や表示領域の再設定を行うこととしても構わない。

また、生成された表示領域画像や出力画像を表示するとともに、外部メモリ１０に記録することとしても構わない。また、表示領域情報を自動的に生成して記録することとしても構わない。即ち、自動編集を行うこととしても構わない。

（第３実施例：切り出し処理）
本実施例では、例えば第１実施例の動作によって生成及び記録された表示領域画像を、外部メモリ１０から画像調整部１２２に読み出して、出力画像を生成及び出力する。また、第１実施例の動作によって出力画像が生成及び記録されている場合は、出力画像を読み出して出力する。

一方、表示領域情報が生成されている場合は、表示領域情報と入力画像とを外部メモリ１０から画像編集部１２１に読み出して、表示領域画像を生成及び出力する。そして、画像調整部１２２が、表示領域画像を調整して出力画像を生成し、出力する。

また、１つの入力画像に対して複数の表示領域情報が生成されている場合、ユーザに対して、いずれの表示領域情報を用いた表示領域画像及び出力画像を生成するのかを、指示させることとしても構わない。

［表示領域の設定方法］
（第１実施例：表示領域の設定方法）
上述の例では、入力画像中の被写体が１つであり、切り出し領域や表示領域を設定する基準となる主要被写体がこの被写体で固定されるものとして説明した。これに対して、本実施例では、主要被写体を他の被写体に設定し直しても構わないものとする。本実施例の表示領域の設定方法について、図面を参照して説明する。図１５は、第１実施例の表示領域の設定方法を示す図である。また、図１５（ａ）及び（ｂ）は、ズーム倍率が２倍となる場合を示したものである

特に、図１５（ａ）及び（ｂ）に示すように、本例では、表示領域を主要被写体に基づいた位置に設定する。具体的に例えば、主要被写体の顔領域などを中心として表示領域を設定する。そして、切り出し処理の第１実施例に示したような編集時に、ズーム倍率の設定だけでなく、主要被写体となる被写体の選択（変更）を行うことができるものとする。その結果、例えば図１５（ａ）で左方の被写体Ｐ₁を主要被写体としながらも、図１５（ｂ）では右方の被写体Ｐ₂を主要被写体とすることが可能となる。

このように、主要被写体を選択（変更）可能な構成とすると、出力画像の画角変更を、主要被写体の切替に応じて行うことが可能となる。そのため、任意の被写体に注目するように画角が切り替えられる出力画像を得ることができる。

なお、切り出し領域内の被写体から主要被写体を選択する場合について示したが、入力画像内である限り、切り出し領域外の被写体を選択することとしても構わない。この場合、上述のように切り出し領域外に表示領域を設定することとしても構わない。また、主要被写体は人のみに限られない。例えば、動物などでも構わないものとする。

（第２実施例：表示領域の設定方法）
本実施例では、複数の被写体が含まれる画角となる表示領域を設定する。本実施例の表示領域の設定方法について、図面を参照して説明する。図１６は、第２実施例の表示領域の設定方法を示す図である。なお、図１６は、ズーム倍率が２倍となる場合を示している。

図１６に示すように、本実施例では主要被写体Ｐ₃と他の被写体Ｐ₄とが向きあっている場合に、主要被写体Ｐ₃及び他の被写体Ｐ₄が含まれるような表示領域を設定する。このとき、例えば上述の顔向き情報を利用して、主要被写体Ｐ₃及び他の被写体Ｐ₄の顔の向きを検出する。なお、全ての被写体の顔向き情報を求め、入力画像に関連付けることとしても構わない。また、主要被写体とその付近の被写体の顔向き情報のみを求め、入力画像に関連付けることとしても構わない。

このように構成することによって、会話などをするために向き合っている複数の被写体を、出力画像の画角内に含めることが可能となる。そのため、主要被写体の動作を明確に表現した出力画像を得ることが可能となる。

なお、本実施例を、切り出し処理部１２０の動作の第１実施例に示したような編集時に行うこととしても構わないし、第２実施例に示したような自動再生（編集）時に行うこととしても構わない。自動再生（編集）時に本実施例を行う場合、例えば、主要被写体と向き合う被写体が存在する場合に、本実施例の表示領域の設定方法を行うこととする。

また、本実施例は画像編集部１２１で表示領域を設定する際に適用されるものとして説明したが、切り出し領域設定部６２で切り出し領域を設定する際に適用されることとしても構わない。

（第３実施例：表示領域の設定方法）
本実施例では、被写体の動きに応じた表示領域を設定する。本実施例の表示領域の設定方法について、図面を参照して説明する。図１７は、第３実施例の表示領域の設定方法を示す図である。なお、図１７は、ズーム倍率が２倍となる場合を示している。

図１７に示すように、本実施例では、主要被写体Ｐ₅の表示領域中の位置が、主要被写体Ｐ₅の動きの方向の反対側に寄るように表示領域を設定する。即ち、主要被写体Ｐ₅の進行方向側の領域が大きくなるように表示領域を設定する。具体的に例えば、図１７では主要被写体Ｐ₅の動きの方向が右方向となる。そのため、主要被写体Ｐ₅の位置が左寄りとなる表示領域を設定する。そのため、主要被写体Ｐ₅の右側が大きく、左側が小さくなるような表示領域が設定される。

このように構成することによって、出力画像において主要被写体の進行方向側の領域が重点的に表示されるようになる。主要被写体が動くものである場合、動きの先に何らかの目的物がある場合が多い。そのため、表示領域の動きの方向の先の領域を大きくした表示領域を設定することによって、主要被写体の状態を明確に表現した出力画像を得ることが可能となる。

なお、本実施例を、切り出し処理の第１実施例に示したような編集時に行うこととしても構わないし、第２実施例に示したような自動再生（編集）時に行うこととしても構わない。自動再生（編集）時に本実施例を行う場合、例えば、主要被写体に所定の大きさ以上の動きが発生している場合に、本実施例の表示領域の設定方法を行うこととする。

また、本実施例は画像編集部１２１で表示領域を設定する際に適用されるものとして説明したが、切り出し領域設定部６２で切り出し領域を設定する際に適用されることとしても構わない。

［変形例］
上記の表示領域の設定方法の第１〜第３実施例は組み合わせて実施することが可能である。例えば、第２実施例や第３実施例で設定されている主要被写体を、第１実施例のように変更可能としても構わない。また、第２及び第３実施例を組み合わせ、向き合って移動している複数の被写体に対して、複数の被写体が含まれるとともに進行方向側が大きくなるような表示領域を設定することとしても構わない。

＜その他の実施例＞
上記の切り出し設定部６０及び切り出し処理部１２０は、画角が広い入力画像に切り出し領域情報やズーム情報などの関連情報を関連付けて記録し、再生時または編集時に入力画像に対して表示領域を設定して、表示領域画像及び出力画像を生成するものとしたが、本発明はこの例に限られないものとする。

例えば、記録時に切り出し領域の画像である切り出し画像を生成し、外部メモリ１０に記録しても構わない。この場合、再生時または編集時に切り出し画像に対して表示領域を設定して切り出し、出力画像を生成する。即ち、本例の場合、再生画像処理部１２において処理される切り出し画像が、上述の例の入力画像に相当することとなる。そのため、切り出し処理部１２０は、入力画像（本例の切り出し画像）に対して直接的に表示領域を設定することとなる。なお、表示領域は、入力画像（本例の切り出し画像）に関連づけられたりユーザから入力されたりするズーム倍率情報に基づいて設定される。

このように構成すると、データ量の小さい切り出し画像に対してズーム処理が施されることとなる。そのため、上述のような入力画像を用いる場合よりも、種々の画像処理にかかる時間を短縮化することが可能となる。

ただし、表示領域を、切り出し領域を超えて設定することはできなくなる。特に、ズームアウトを行う（切り出し領域以上の表示領域を設定する）ことができなくなる。そのため、画角の選択の自由度は、上述した実施例より低いものとなる。しかしながら、画像の記録時にズーム後の画角を設定する（記録時に表示領域を設定する）場合よりは、画角の選択の自由度を高くすることが可能となる。

また、以下に示すようなデュアルコーデックシステムの撮像装置に本発明を適用することも可能である。なお、デュアルコーデックシステムとは、２つの圧縮処理を実行可能なシステムである。即ち、撮像して得られる１つの入力画像から、２つの圧縮処理した画像が得られることとなる。なお、２つ以上の圧縮処理した画像が得られる構成としても構わない。

図１８は、デュアルコーデックシステムを備えた撮像装置の要部を示すブロック図である。特に、撮像画像処理部６ａ及び圧縮処理部８ａの周辺の構成について示したものである。なお、図示していない部分の構成については、図１に示す撮像装置１と同様のものとしても構わない。また、図１と同様の構成となる部分には同じ符号を付してその詳細な説明については省略する。

図１８に示す撮像装置（要部）は、撮像して得られる画像を処理して第１画像及び第２画像を出力する撮像画像処理部６ａと、撮像画像処理部６ａから出力される第１画像及び第２画像をそれぞれ圧縮する圧縮処理部８ａと、圧縮処理部８ａから出力される圧縮符号化された第１画像及び第２画像を記録する外部メモリ１０と、ドライバ部９と、を備える。

また、撮像画像処理部６ａは、切り出し設定部６０ａを備える。圧縮処理部８ａは、第１画像に対して圧縮処理を施す第１圧縮処理部８１と、第２画像に対して圧縮処理を施す第２圧縮処理部８２と、を備える。

そして、撮像画像処理部６ａは、第１画像と第２画像との２つの画像を出力する。このとき、切り出し設定部６０ａは、上述の切り出し設定部６０（図１及び図２参照）と同様に、後段の切り出し処理部１２０（図１及び図１３参照）で切り出し処理を行うための種々の関連情報を生成して出力する。なお、関連情報は第１画像及び第２画像のいずれか一方に関連付けられるものとしても構わないし、両方に関連付けられるものとしても構わない。また、切り出し処理部１２０において表示領域が設定される画像を、第１画像及び第２画像のいずれか一方としても構わないし、両方としても構わない。

第１画像は、第１圧縮処理部８１で圧縮処理される。一方、第２画像は、第２圧縮処理部８２で圧縮処理される。このとき、第１圧縮処理部８１で用いられる圧縮処理方法と、第２圧縮処理部８２で用いられる圧縮処理方法と、は異なるものとする。例えば、第１圧縮処理部８１で用いられる圧縮処理方法を、Ｈ．２６４としても構わない。また、第２圧縮処理部８２で用いられる圧縮処理方法を、ＭＰＥＧ２としても構わない。

なお、第１画像及び第２画像は、全画角の画像（入力画像）としても構わないし、全画角中の一部の画角の画像（切り出し画像）としても構わない。第１画像及び第２画像の少なくとも一方を切り出し画像とする場合、切り出し設定部６０ａは切り出し処理を行い、切り出し画像を生成する。また、第１画像及び第２画像の少なくとも一方を切り出し画像とする場合、後段の切り出し処理部１２０が、上述のように切り出し画像に対して表示領域を設定することとしても構わない。

次に、デュアルコーデックシステムを備えた撮像装置の別例について、図面を参照して説明する。図１９は、デュアルコーデックシステムを備えた撮像装置の別例の要部を示すブロック図である。特に、撮像画像処理部６ｂと圧縮処理部８ｂと再生画像処理部１２ｂとの周辺の構成について示したものである。なお、図示していない部分の構成については、図１に示す撮像装置１と同様のものとしても構わない。また、図１と同様の構成となる部分には同じ符号を付してその詳細な説明については省略する。

図１９に示す撮像装置（要部）は、撮像して得られる画像を処理して入力画像及び切り出し画像を出力する撮像画像処理部６ｂと、撮像画像処理部６ｂから出力される入力画像を縮小して縮小画像を生成する縮小処理部２１と、縮小画像及び切り出し画像をそれぞれ圧縮する圧縮処理部８ｂと、圧縮処理部８ｂから出力される圧縮符号化された縮小画像及び切り出し画像を記録する外部メモリ１０と、ドライバ部９と、外部メモリ１０から読み出される圧縮符号化された縮小画像及び切り出し画像を伸長する伸長処理部１１ｂと、伸長処理部１１ｂから出力される縮小画像及び切り出し画像に基づいて出力画像を生成する再生画像処理部１２ｂと、画像出力回路部１３と、を備える。

また、撮像画像処理部６ｂは、切り出し設定部６０ｂを備える。圧縮処理部８ｂは、縮小画像に対して圧縮処理を施す第３圧縮処理部８３と、切り出し画像に対して圧縮処理を施す第４圧縮処理部８２と、を備える。伸長処理部１１ｂは、圧縮符号化された縮小画像を伸長する第１伸長部１１１と、圧縮符号化された切り出し画像を伸長する第２伸長処理部１１２と、を備える。再生画像処理部１２ｂは、第１伸長処理部１１１から出力される縮小画像を拡大して拡大画像を生成する拡大処理部１２３と、拡大処理部１２３から出力される拡大画像に第２伸長処理部１１２から出力される切り出し画像を合成して合成画像を生成する合成処理部１２４と、合成処理部１２４から出力される合成画像に表示領域を設定して出力画像を生成する切り出し処理部１２０ｂと、を備える。

本例の撮像装置の動作について図面を参照して説明する。図２０は、入力画像及び設定される切り出し領域の一例を示す図である。図２０に示すように、入力画像３００に対して切り出し設定部６０ｂが切り出し領域３０１を設定する。なお、本例の場合、設定される切り出し領域３０１の大きさを一定（例えば、入力画像の１／２）とすると、後段の処理が画一化されるため好ましい。

図２１は、切り出し画像及び縮小画像の一例を示す図である。図２１（ａ）は、図２０に示す入力画像３００から得られる切り出し画像３１０を示し、図２１（ｂ）は、同様の入力画像３００から得られる縮小画像３１１を示したものである。本例の場合、切り出し設定部６０ｂは、切り出し領域３０１を設定するだけでなく切り出し処理をも行い、切り出し画像３１０を生成する。また、縮小処理部２１は、入力画像３０１を縮小して縮小画像３１１を生成する。このとき、例えば画素加算や間引き処理を行うことによって画素数を減少させて縮小する。なお、入力画像に縮小処理を行ったとしても、画角は処理前の全画角のままで維持される。

縮小画像及び切り出し画像は、それぞれ圧縮処理部８ｂの第３圧縮処理部８３及び第４圧縮処理部８４で圧縮処理されて外部メモリ１０に記録される。そして、伸長処理部１１ｂに読み出されるとともに伸長処理が施され、第１伸長処理部１１１から縮小画像が、第２伸長処理部１１２から切り出し画像が、それぞれ出力される。

縮小画像は、再生画像処理部１２ｂの拡大処理部１２３に入力されて拡大処理が施され、例えば図２２に示すような拡大画像３２０が生成される。図２２は、拡大画像の一例を示す図であり、図２１（ｂ）に示す縮小画像３１１を拡大処理して得られる拡大画像３２０を示すものである。拡大処理部１２３は、例えば画素間の補間処理（例えば、ニアレストネイバー法、バイリニア法、バイキュービック法など）や超解像処理などを用いて縮小画像３１１の画素数を増大させ、拡大する。なお、図２２は、縮小画像３１１を単純な補間処理によって拡大し、入力画像３０１と同じ大きさにする場合の拡大画像３２０の例を示している。そのため、拡大画像３２０の画質は、入力画像３０１の画質より劣化したものとなっている。

拡大処理部１２３から出力される拡大画像及び第２伸長処理部１１２から出力される切り出し画像は、再生画像処理部１２ｂの合成処理部１２４に入力されて合成され、例えば図２３に示すような合成画像３３０が生成される。図２３は、合成画像の一例を示す図であり、図２２に示す拡大画像３２０に図２１（ａ）に示す切り出し画像３１０を合成して得られる合成画像３３０を示すものである。なお、切り出し画像３１０を合成した領域３３１を破線で示している。また、図２３に示すように、切り出し画像を合成した領域３３１の画質（即ち、入力画像３００の画質）は、周囲の領域の画質（即ち、拡大画像３２０の画質）と比べて良好なものとなる。また、合成画像３３０の画角は、入力画像３００と略等しい画角（全画角）となる。

以上のようにして得られる合成画像３３０に対して、切り出し処理部１２０ｂが、例えば図２４に示すように表示領域３３２を設定するとともに切り出しを行い、表示領域画像を生成する。図２４は、合成画像と設定される表示領域の一例を示す図であり、図２３に示す合成画像３３０に表示領域３３２を設定する場合について示すものである。

そして、切り出し処理部１２０ｂは、表示領域画像を調整して例えば図２５に示すような出力画像３４０を生成する。図２５は、出力画像の一例を示す図であり、図２４に示す表示領域３３２の画像（表示領域画像）から得られる出力画像３４０を示すものである。

本例のデュアルコーデックシステムを備える撮像装置では、入力画像３００と略等しい画角（全画角）である合成画像３３０の中に表示領域３３２を設定することが可能となる。そのため、表示領域３３２を、切り出し領域３０１（切り出し画像を合成した領域３３１）を超えて設定することが可能となる。特に、ズームアウトを行う（切り出し領域以上の表示領域を設定する）ことが可能となる。

さらに、記録する画像が入力画像を縮小して得られる縮小画像と、入力画像の一部を切り出して得られる切り出し画像となる。そのため、記録する画像のデータ量を低減するとともに、処理の迅速化を図ることが可能となる。また、主要被写体が含まれるためにズームイン処理を行う可能性が高い合成画像中の切り出し画像を合成した領域の画質を、良好なものとすることができる。

なお、上記の例では合成画像に表示領域を設定することとしたが、拡大画像に表示領域を設定したり、切り出し画像に表示領域を設定したりしても構わない。ただし、切り出し画像に表示領域を設定する場合は、上述のように切り出し画像の範囲を超えて表示領域を設定することはできないものとなる。

＜超解像処理＞
上述した超解像処理の具体例について説明する。なお、以下では、超解像処理の一種であるＭＡＰ（Maximum A Posterior）法を用いる場合を例に挙げるとともに、図面を参照して説明する。図２６及び図２７は、超解像処理の概要を示す図である。

また、以下においては説明を簡単にするため、処理対象となる画像のある１方向に整列した複数の画素について考えることとする。また、２つの画像を合成して画像を生成する場合であり、合成する画素値が輝度値である場合を例に挙げて説明する。

図２６（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図２６（ｂ）及び（ｃ）のそれぞれは、図２６（ａ）に示す被写体を撮像した画像の輝度分布である。また、図２６（ｄ）は、図２６（ｃ）に示す画像を所定の位置だけずらしたものである。なお、図２６（ｂ）に示す画像（以下、低解像度実画像Ｆａとする）と図２６（ｃ）に示す画像（以下、低解像度実画像Ｆｂとする）とは、撮像された時間が異なる。

図２６（ｂ）に示すように、図２６（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図２６（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ブレなどが原因となりその位置にズレが生じているものとする。即ち、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。

図２６（ｂ）に示す低解像度実画像Ｆａについて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値を、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３とする。同様に、図２６（ｃ）に示す低解像度実画像Ｆｂについて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３とする。

ここで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準（注目画像）として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを、低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）だけ位置ズレ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図２６（ｄ）に示すようになる。

次に、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図２７に示す。まず、図２７（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素が、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３と、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、を備えるものとする。

低解像度実画像Ｆａの画素Ｐ４の画素値は、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択される。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択される。

その後、図２７（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。なお、図２７（ｂ）では、ｎ回目の処理によって推定された高解像度画像Ｆｘｎより生成される低解像度推定画像Ｆａｎ，Ｆｂｎを示している。

例えば、ｎ＝１のとき、図２７（ａ）に示す高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。そして、図２７（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、低解像度実画像Ｆａ，Ｆｂのそれぞれとの間における差分を求め、この差分を合成することで高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図２７（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎを示している。

例えば、差分画像ΔＦａ１は、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）がＰ１〜Ｐ３の画素値となり、差分画像ΔＦｂ１は、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）がＰ１〜Ｐ３の画素値となる。そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ法を用いる場合では、二乗誤差を評価関数として用いる。即ち、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値を評価関数とする。この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となる。そのため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。

その後、図２７（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２６（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図２７（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）を示している。

上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が図２６（ａ）に示す輝度分布の被写体に近い画素値に収束される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎが、超解像処理後の画像となる。

また、上記の処理において動き量（位置ズレ量）を求める際に、例えば以下に示すような、代表点マッチング法と１画素内動き量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内動き量検出について図面を参照して説明する。図２８及び図２９は、代表点マッチング法について示す図である。図２８は、画像の各領域の分割方法について示す画像の模式図であり、図２９は、基準画像及び非基準画像について示す模式図である。

代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図２８に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。また、図２９（ａ）に示すように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定される。一方、図２９（ｂ）に示すように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。

以上のように小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。

各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられるサンプリング点Ｓ（即ち、累積相関値が最小となるサンプリング点Ｓ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。

次に、１画素内動き量検出について図面を参照して説明する。図３０は、１画素内動き量検出について示す基準画像及び非基準画像の模式図であり、図３１は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。

上述のように、例えば代表点マッチング法を用いるなどして画素単位の動き量を検出した後、さらに、下記に示す方法を用いて１画素内の動き量を検出することができる。例えば、小領域ｅ毎に基準画像の代表点Ｒの画素の画素値と、代表点Ｒと相関性の高いサンプリング点Ｓｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の動き量を検出することができる。

図３０に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。

また、図３１（ａ）に示すように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図３１（ｂ）に示すように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。

このようにして、小領域ｅそれぞれにおける１画素内での動き量を求める。そして、求めた動き量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。

＜＜他の実施形態＞＞
本発明の一例として撮像装置を挙げて説明したが、本発明は撮像装置に限られるものではない。例えば、上記の再生画像処理部１２のような、入力される入力画像と種々の関連情報から出力画像を生成して再生する再生機能や、生成した出力画像などを記録する編集機能のみを有する電子機器としても構わない。ただし、これらの電子機器には、入力画像と関連情報とが入力されるものとする。

また、例えば上述の撮像装置１において、撮像画像処理部６や再生画像処理部１２などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１や図１８、図１９に示す撮像装置１、図１や図２、図１８、図１９に示す撮像画像処理部６，６ａ，６ｂ及び切り出し設定部６０，６０ａ，６０ｂ、図１や図１３、図１９に示す再生画像処理部１２，１２ｂ及び切り出し処理部１２０，１２０ｂは、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や撮像画像処理部６，６ａ，６ｂ、切り出し設定部６０，６０ａ，６０ｂ、再生画像処理部１２，１２ｂ及び切り出し処理部１２０，１２０ｂを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、デジタルビデオカメラに代表される撮像装置などの電子機器に関する。特に、画像処理によってズーム処理を行う電子機器に関する。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、切り出し設定部の構成を示すブロック図である。 は、顔検出処理方法の一例について示す画像の模式図である。 は、追尾処理の一例について説明する模式図である。 は、切り出し領域の設定方法の一例を示す入力画像の模式図である。 は、追尾信頼度評価値の算出方法の一例について示す図である。 は、第１実施例の切り出し領域設定方法によって設定される切り出し領域の一例を示す図である。 は、画像の座標について説明する図である。 は、主要被写体と設定される切り出し領域との関係を示す図である。 は、位置調整方法の一例を示す図である。 は、第２実施例の切り出し領域設定方法によって設定される切り出し領域の一例を示す図である。 は、生成されるズーム情報の具体例を示す図である。 は、切り出し処理部の構成を示すブロック図である。 は、第１実施例の切り出し処理を示す図である。 は、第１実施例の表示領域の設定方法を示す図である。 は、第２実施例の表示領域の設定方法を示す図である。 は、第３実施例の表示領域の設定方法を示す図である。 は、デュアルコーデックシステムを備えた撮像装置の要部を示すブロック図である。 は、デュアルコーデックシステムを備えた撮像装置の別例の要部を示すブロック図である。 は、入力画像及び設定される切り出し領域の一例を示す図である。 は、切り出し画像及び縮小画像の一例を示す図である。 は、拡大画像の一例を示す図である。 は、合成画像の一例を示す図である。 は、合成画像と設定される表示領域の一例を示す図である。 は、出力画像の一例を示す図である。 は、超解像処理の概要を示す図である。 は、超解像処理の概要を示す図である。 は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。 は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。

符号の説明

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６，６ａ，６ｂ 撮像画像処理部
６０ 切り出し設定部
６１ 主要被写体検出部
６２ 切り出し領域設定部
６３ 画像切り出し調整部
６４ ズーム情報生成部
７ 音声処理部
８，８ａ，８ｂ 圧縮処理部
８１ 第１圧縮処理部
８２ 第２圧縮処理部
８３ 第３圧縮処理部
８４ 第４圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１，１１ｂ 伸長処理部
１１１ 第１伸長処理部
１１２ 第２伸長処理部
１２，１２ｂ 再生画像処理部
１２０，１２０ｂ 切り出し処理部
１２１ 画像編集部
１２２ 画像調整部
１２３ 拡大処理部
１２４ 合成処理部
１３ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス
２１ 縮小処理部

Claims (3)

1. 画像を撮像して記録する撮像装置において、
   撮像によって入力画像を生成する撮像部と、
   前記入力画像に関する関連情報を生成する切り出し設定部と、
   前記入力画像に前記関連情報を関連付けて記録する記録部と、
   ユーザの指示を入力する操作部と、を備え、
   前記切り出し設定部が、前記入力画像の撮像時に前記操作部を介して入力される前記入力画像に対するズーム処理の要否の指示に基づいて、前記関連情報の１つであるズーム情報を生成するズーム情報生成部を、備え、
   前記切り出し設定部は更に、
   前記入力画像から主要被写体を検出する主要被写体検出部と、
   当該主要被写体検出部の検出結果に基づいて前記主要被写体が含まれる切り出し領域を前記入力画像に対して設定し、前記関連情報の１つである切り出し領域情報を生成する切り出し領域設定部と、を備え、
   前記切り出し領域の大きさが、前記主要被写体の検出精度に基づいて設定されることを特徴とする撮像装置。
2. 入力画像に基づいて出力画像を生成する電子機器において、
   前記入力画像に関連付けられた関連情報に基づいて、前記入力画像に表示領域を設定し 、当該表示領域の画像に基づいて前記出力画像を生成する切り出し処理部を備え、
   前記関連情報の１つが、前記入力画像に対するズーム処理の要否を示すズーム情報であり、
   前記切り出し処理部が、前記ズーム情報に基づいて前記表示領域を設定し、
   前記関連情報の更に１つが、前記入力画像から検出された主要被写体が含まれる領域である切り出し領域を示す切り出し領域情報であり、
   前記切り出し領域の大きさは、前記主要被写体の検出精度に基づいて決定され、
   前記切り出し処理部が、前記切り出し領域に基づいて前記表示領域を設定することを特徴とする電子機器。
3. ユーザの指示が入力される操作部を備え、
   前記ズーム処理におけるズーム倍率を指定するズーム倍率情報が前記操作部を介して入力され、前記切り出し処理部が、前記ズーム倍率情報に基づいて前記入力画像に前記表示領域を設定するものであり、
   前記切り出し処理部が、前記ズーム倍率情報によって指定される前記ズーム倍率となるように、前記表示領域の大きさを設定することを特徴とする請求項２に記載の電子機器。