JP5084696B2 - 画像処理装置、画像処理方法及び電子機器 - Google Patents

Description

本発明は、入力画像の一部を切り出して所望の切り出し画像を得る画像処理装置や画像処理方法、この画像処理装置を備えた電子機器に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。また、このような撮像装置や表示装置として、処理対象となる画像（以下、入力画像とする）から所定の領域を切り出すとともに、この切り出した領域の画像（以下、切り出し画像とする）を記録したり表示したりするものがある。

このような切り出し処理を行うこととすると、撮像の簡易化を図ることが可能となる。具体的に例えば、ユーザに広画角となる入力画像を撮像させるとともに、得られる入力画像に対して切り出し処理を行い、ユーザが特に注目したいと考える被写体（以下、主要被写体とする）を中心とする領域の切り出しを行う。この切り出し処理によって、主要被写体を中心とした構図の画像が得られるために、撮像時にユーザが集中して主要被写体を追う必要をなくすことが可能となる。特に、撮像装置を主要被写体の方に簡易的に向けるだけで足りるようになる。さらに、入力画像中から主要被写体を検出し、検出された主要被写体の位置に基づいて切り出し処理を行うこととすると、主要被写体を中心とした構図の画像を自動的に得ることが可能となる。

しかしながら、主要被写体以外の被写体（以下、副被写体とする）であり主要被写体と何らかのやり取りなどをしている副被写体が入力画像中に存在する場合に、主要被写体を中心とした切り出し処理を行うこととすると、この副被写体が含まれない切り出し画像が生成される場合が生じ得る。この場合、主要被写体と副被写体とのやりとりなどが切り出し画像に含まれないこととなり、切り出し画像において主要被写体の挙動が明確に表現されない問題が生じる。

そこで、特許文献１では、入力画像から検出した複数の対象物が含まれるように切り出し領域を設定して表示する表示方法が提案されている。この表示方法によれば、複数の被写体を切り出し画像内に含ませることが可能となる。

特開２００４−１９４３０９号公報

しかしながら、複数の被写体が含まれるだけの切り出し画像を得るものとすると、主要被写体と関係がない無用な副被写体を含む切り出し画像が生成されることとなる。そのため、主要被写体を強調した構図の切り出し画像が得難くなることが問題となる。

以上の問題を鑑みて、本発明は、被写体の状況に応じた切り出し画像を生成する画像処理装置や画像処理方法、この画像処理装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力画像の一部を切り出して切り出し画像を生成する切り出し処理部を備える画像処理装置において、前記切り出し処理部が、前記入力画像から所定の被写体を検出するとともに、検出した前記被写体の一つを主要被写体として設定し、他を副被写体として設定する被写体検出部と、前記被写体検出部で検出される前記主要被写体と前記副被写体との関係の強さを示す関係度を算出する関係度算出部と、前記入力画像中の前記主要被写体及び前記副被写体の位置と、前記関係度と、に基づいて、前記入力画像に対して切り出し領域を設定する切り出し領域設定部と、前記入力画像から前記切り出し領域を切り出して前記切り出し画像を生成する切り出し部と、を備えることを特徴とする。

なお、関係の強さが、例えば、主要被写体と副被写体とが関連した動作をしている可能性の高さや、同じグループに属する可能性の高さなどを示すものとしても構わない。

また、上記構成の画像処理装置において、前記切り出し領域設定部が、前記主要被写体と、前記主要被写体との前記関係度が所定の値以上である前記副被写体と、が含まれる前記切り出し領域を設定することとしても構わない。

このように構成すると、前記主要被写体との関係度が大きい副被写体が、選択的に切り出し領域に含まれることとなる。そのため、必要な副被写体が切り出し領域に含まれることとなり、主要被写体の挙動が明確となる切り出し画像を得ることが可能となる。さらに、無用な副被写体が切り出し画像に含まれることを抑制することにより、主要被写体を強調した切り出し画像を得ることが可能となる。

また、上記構成の画像処理装置において、前記被写体検出部が、顔を検出することによって前記被写体を検出するものであり、前記入力画像中最も大きい顔と、前記入力画像中最も中央に近い顔と、特定の顔として認識される顔と、外部より入力される選択信号によって指定される顔と、の少なくとも一つに該当する顔を有する前記被写体を、前記主要被写体として設定することとしても構わない。

このように構成すると、主要被写体と成り得る可能性が高い被写体を、主要被写体として自動的に設定することが可能となる。また、ユーザの意思を反映させて、確実に所望の被写体を主要被写体として設定することも可能となる。

また、上記構成の画像処理装置において、前記関係度算出部が、前記主要被写体と前記副被写体との距離と、前記主要被写体及び前記副被写体のそれぞれの顔の向きと、前記主要被写体及び前記副被写体が発する音と、前記主要被写体及び前記副被写体の顔が類似する程度と、前記主要被写体及び前記副被写体の色が類似する程度と、前記副被写体の顔が特定の顔であると認識される程度と、順次入力される前記入力画像中に前記副被写体が含まれる割合と、の少なくとも一つに基づいて前記関係度を算出することとしても構わない。

このように構成すると、種々の方法で関係の強さを規定することが可能となる。なお、これらを組み合わせて関係度を算出することとすると、関係度を多面的な値として設定することが可能となり、より精密に関係度を算出することが可能となるため好ましい。

また、本発明の電子機器は、上記のいずれかに記載の画像処理装置を備え、前記画像処理装置から出力される前記切り出し画像を記録または表示することを特徴とする。

また、本発明の画像処理方法は、入力画像から所定の被写体を検出するとともに、検出した前記被写体の一つを主要被写体として設定し、他を副被写体として設定する第１ステップと、前記第１ステップで設定された前記主要被写体と前記副被写体との関係の強さを示す関係度を算出する第２ステップと、前記入力画像中の前記主要被写体及び前記副被写体の位置と、前記第２ステップで算出される前記関係度と、に基づいて、前記入力画像に対して切り出し領域を設定する第３ステップと、前記入力画像から前記第３ステップで設定された前記切り出し領域を切り出して切り出し画像を生成する第４ステップと、を備えることを特徴とする。

本発明によると、主要被写体と副被写体との関係度を用いて切り出し領域が設定されることとなる。そのため、関係度に応じて切り出し画像の構図を変更することが可能となる。したがって、状況に応じた切り出し画像を生成することが可能となる。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における電子機器の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜電子機器：記録時切り出し処理＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。また、図１に示す撮像装置１は、撮像した画像に対して切り出し処理を行い、得られる切り出し画像を記録するものである。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号から一部を切り出して新たな画像信号を得る切り出し処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられる切り出し処理部６０は、入力される画像信号の一部を切り出して新たな画像信号を生成する切り出し処理を行う。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方式で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

また、画像処理部６に備えられる切り出し処理部６０は、必要に応じて撮像装置１の各部（例えば、音声処理部７など）から種々の情報（例えば、音声信号）を取得可能であることとする。ただし、図１においては、これらの情報が切り出し処理部６０に入力されることを示す矢印の図示を省略する。

＜切り出し処理部＞
次に、図１に示した切り出し処理部６０の構成について、図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられる切り出し処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し処理部６０に入力されて切り出し処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、切り出し処理部６０から出力される画像信号を「切り出し画像」と呼ぶこととする。

図２に示すように、切り出し処理部６０は、入力画像から被写体を検出して入力画像中の被写体の状態を示す被写体情報を出力する被写体検出部６１と、被写体検出部６１から出力される被写体情報に基づいて関係度を算出して関係度情報を出力する関係度算出部６２と、被写体検出部６１から出力される被写体情報と関係度算出部６２から出力される関係度情報とに基づいて切り出し領域を設定して切り出し領域情報を出力する切り出し領域設定部６３と、切り出し領域設定部６３から出力される切り出し領域情報に基づいて入力画像の切り出し処理を行い切り出し画像を生成する切り出し部６４と、を備える。

被写体検出部６１が生成及び出力する被写体情報には、入力画像から検出された主要被写体及び副被写体の種々の情報が含まれ得る。例えば、入力画像中の主要被写体及び副被写体の位置や大きさ、向き、動きの大きさや方向、色などが含まれ得る。なお、これらは一例に過ぎず、被写体情報にどのような情報が含まれても構わないものとする。

また、関係度算出部６２が算出する関係度は、被写体検出部６１で検出される主要被写体及び副被写体の関係の強さを示すものである。関係の強さとは、例えば、主要被写体と副被写体とが関連した動作（例えば会話など）をしている可能性の高さや、同じグループ（例えば、血縁関係や学校などの所属関係）に属する可能性の高さなどを示すものである。

また、切り出し領域設定部６３が出力する切り出し領域情報とは、入力画像中のある領域となる切り出し領域を、例えば入力画像の座標を用いるなどして指定するものである。なお、切り出し領域の大きさは、被写体情報や関係度情報に応じて変動し得る不定の大きさとしても構わないし、一定の大きさとしても構わない。

切り出し処理部６０の動作の一例について、図面を参照して説明する。図３は、切り出し処理部の動作の一例について説明するフローチャートである。なお、図３は、切り出し処理部６０だけでなく、撮像装置１全体の動作例についても示すものである。

図３に示すように、切り出し処理を伴う撮像動作が開始されると、まず、プレビューが行われる（ＳＴＥＰ１）。プレビュー中は、撮像部で順次生成される画像を表示装置に順次表示する。また、このとき生成される画像は、外部メモリ１０に記録されないこととする。

また、ユーザから被写体を設定する指示が入力されているか否かが確認される（ＳＴＥＰ２）。例えば、操作部１７の一例であるシャッタボタンが、ユーザに半押しされたか否かによって、この指示の有無を確認しても構わない。被写体を設定する指示が入力されていない場合（ＳＴＥＰ２、ＮＯ）、ＳＴＥＰ１に戻りプレビューを継続する。

一方、ユーザから被写体を設定する指示が入力されている場合（ＳＴＥＰ２、ＹＥＳ）、まず、切り出し処理部６０が入力画像を取得する（ＳＴＥＰ３）。そして、被写体検出部６１が、ＳＴＥＰ３で取得された入力画像に対して被写体の検出を行う（ＳＴＥＰ４）。なお、被写体の検出方法として、例えば以下に示すような顔検出処理を利用することができる。

顔検出処理の一例について図面を参照して説明する。図４は、顔検出処理の一例について示す画像の模式図である。なお、図４に示す方法は一例に過ぎず、顔検出処理として既存のどのような処理方法を用いることとしても構わない。

本例では、入力画像と重みテーブルとを比較することで顔を検出する。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図４に示すように、まず入力画像４０から、例えば縮小率を０．８として縮小画像４１〜４５が生成されて階層化される。また、各画像４０〜４５において判定を行う判定領域４６の大きさは、どの画像４０〜４５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域４６を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域４６とマッチングする顔画像の検出が行われる。ここで、入力画像４０の他に複数の縮小画像４１〜４５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。

マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域４６には顔が存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域４６に顔が存在すると判定し、次の判定領域４６での判定に移行する。そして、このような顔検出処理によって、入力画像に含まれる人物の顔を検出することができる。

次に、ＳＴＥＰ４で検出された被写体から、主要被写体及び副被写体が設定される（ＳＴＥＰ５）。特に、検出された被写体中のいずれか１つが、主要被写体として設定される。例えば、上記のように顔検出処理を用いる場合、入力画像の中で最も大きい顔を有する被写体を、主要被写体として設定しても構わない。また例えば、入力画像の中央の最も近くに位置する顔を有する被写体を、主要被写体として設定することとしても構わない。また例えば、検出した複数の顔をユーザに表示して、ユーザが選択した顔を有する被写体を、主要被写体として設定することとしても構わない。また例えば、特定の人物の顔をサンプルとして記録しておき、この特定の人物の顔として認識された顔を有する被写体を、主要被写体として設定することとしても構わない。さらに、これらの主要被写体の設定方法を組み合わせた方法を用いて、主要被写体を決定することとしても構わない。

また、ＳＴＥＰ５では、主要被写体の他に副被写体も設定される。なお、副被写体は複数設定され得るものであり、検出された被写体のうち主要被写体以外を全て副被写体として設定しても構わない。また例えば、検出された被写体が１つでありそれが主要被写体として設定される場合、副被写体が設定されないこととしても構わない。

ＳＴＥＰ５によって主要被写体及び副被写体が設定されると、次に、ユーザから記録を開始する指示が入力されるか否かを確認する（ＳＴＥＰ６）。例えば、操作部１７の一例であるシャッタボタンが、ユーザに全押しされるか否かによって、この指示の有無を確認しても構わない。記録を開始する指示が入力されない場合（ＳＴＥＰ６、ＮＯ）、ＳＴＥＰ１に戻りプレビューを行う。なお、このときＳＴＥＰ２〜５の動作を再度行い、被写体の設定をやり直すこととしても構わない。

一方、ユーザから記録を開始する指示が入力される場合（ＳＴＥＰ６、ＹＥＳ）、まず、ＳＴＥＰ５において副被写体が設定されているか否かが確認される（ＳＴＥＰ７）。副被写体が設定されていない場合（ＳＴＥＰ７、ＮＯ）とは、主要被写体のみが設定されているか、主要被写体すら設定されていない場合である。このとき、主要被写体が設定されておれば、切り出し処理部６０が入力画像を取得して（ＳＴＥＰ８）、被写体検出部６１がＳＴＥＰ８で取得した入力画像から主要被写体の検出を行い、被写体情報を生成する（ＳＴＥＰ９）。なお、主要被写体が設定されていない場合は、被写体検出部６１からその旨を示す被写体情報が生成される（ＳＴＥＰ９）。

ＳＴＥＰ５において主要被写体及び副被写体が設定されている場合（ＳＴＥＰ７、ＹＥＳ）、切り出し処理部６０が入力画像を取得して（ＳＴＥＰ１０）、被写体検出部６１がＳＴＥＰ１０で取得された入力画像から主要被写体及び副被写体の検出を行い、被写体情報を生成する（ＳＴＥＰ１１）。そして、関係度算出部６２がＳＴＥＰ１１で生成される被写体情報に基づいて関係度を算出し、関係度情報を生成する（ＳＴＥＰ１２）。なお、関係度の算出方法についての詳細については、後述する。

ＳＴＥＰ９やＳＴＥＰ１１の被写体検出では、ＳＴＥＰ５で設定された主要被写体及び副被写体の追尾処理を行うことで被写体を検出する。例えば、ある入力画像に対する被写体の検出結果（例えば検出位置）を、次に取得する入力画像に対する主要被写体の検出に利用したり、被写体の特徴（例えば、被写体の胴体の色）を認識して検出された被写体と同じ被写体をＳＴＥＰ８及び１０で順次取得される入力画像から検出したりするなど、継続的に被写体の検出を行う。

ＳＴＥＰ９で被写体情報が生成された場合、切り出し領域設定部６３は、被写体情報のみに基づいて切り出し領域の設定を行い、切り出し領域情報を生成する（ＳＴＥＰ１３）。ＳＴＥＰ９で主要被写体のみが検出されている場合、例えば、主要被写体が略中心となるような切り出し領域が設定される。また、ＳＴＥＰ９で被写体が検出されていない場合、入力画像の所定の領域（例えば、中央の領域など）が切り出し領域として設定される。

一方、ＳＴＥＰ１１で被写体情報が生成され、ＳＴＥＰ１２で関係度情報が生成されている場合、切り出し領域設定部６３が、被写体情報と関係度情報とに基づいて切り出し領域の設定を行い、切り出し領域情報を生成する（ＳＴＥＰ１３）。そして、切り出し部６４が、切り出し領域情報に基づいて入力画像の切り出し処理を行い、切り出し画像を生成する（ＳＴＥＰ１４）。なお、切り出し領域設定部６３による関係度情報に基づいた切り出し領域の設定方法の詳細については、後述する。

そして、ＳＴＥＰ１４で生成された切り出し画像は、必要に応じて画像処理部６によってその画素数が変換され、圧縮処理部８で圧縮処理された後に外部メモリ１０に記録される（ＳＴＥＰ１５）。このとき、画像処理部６は、拡大処理（例えば、画素の補間処理などを行って画素数を増大させる処理）や縮小処理（例えば、画素の加算処理や間引き処理などを行って画素数を低減させる処理）を切り出し画像に施すことによって、画素数の変換を行い所定の大きさの記録用画像を生成する。特に、切り出し領域を不定の大きさとする場合にこの処理を行うこととすると、記録用画像の大きさを揃えることが可能となるため好ましい。

ＳＴＥＰ１５において記録用画像を記録すると、次に、記録を停止する指示がユーザから入力されるか否かが確認される（ＳＴＥＰ１６）。例えば、操作部１７の一例である記録停止ボタンが、ユーザに押されるか否かによって、この指示の有無を確認しても構わない。記録を停止する指示が入力されない場合（ＳＴＥＰ１６、ＮＯ）、ＳＴＥＰ７に戻り次の入力画像の切り出し処理を行う。

一方、記録を停止する指示が入力されている場合（ＳＴＥＰ１６、ＹＥＳ）、次に、撮像装置１の動作を終了するか否かが確認される（ＳＴＥＰ１７）。例えば、操作部１７の一例である電源ボタンが、ユーザに押されるか否かによって、この指示の有無を確認しても構わない。撮像装置１の動作を終了する指示が入力されない場合（ＳＴＥＰ１７、ＮＯ）、ＳＴＥＰ１に戻りプレビューを行う。一方、撮像装置１の動作を終了する指示が入力される場合は（ＳＴＥＰ１７，ＹＥＳ）、動作を終了する。

＜＜電子機器：再生時切り出し＞＞
上記の撮像装置１は、画像処理部６に切り出し処理部６０を備え、撮像部で得られた画像に対して切り出し処理を行い、外部メモリ１０に記録するものである。しかしながら、本発明の電子機器は、以下に示すように画像の再生時に切り出し処理を行う構成とすることも可能である。なお、以下においても電子機器の一例として撮像装置を挙げて説明する。

まず、撮像装置の構成について、図５を参照して説明する。図５は、本発明の実施形態における撮像装置の別例の構成を示すブロック図である。また、図１に示す撮像装置１と同様の部分については同じ符号を付し、その詳細な説明については省略する。

図５に示す撮像装置１ａは、画像処理部６の代わりに画像処理部６ａを備える点と、伸長処理部１１から入力される画像信号を処理して画像出力回路部１２に出力する画像処理部６ｂをさらに備える点と、を除き、図１の撮像装置１と同様の構成となる。画像処理部６ａは、切り出し処理部６０を備えない構成となる点を除き、図１に示す画像処理部６と同様の構成となる。一方、画像処理部６ｂに切り出し処理部６０が備えられる。

図５に示す撮像装置１ａは、外部メモリ１０に記録されている圧縮符号化信号が伸長処理部１１に読み出されるとともに、伸長処理部１１において画像信号に復号されて出力される。この画像信号が、画像処理部６ｂ及び切り出し処理部６０に入力されることにより、画像処理や切り出し処理が行われる。そして、画像処理部６ｂから出力される画像信号は画像出力回路部１２に入力されるとともに、表示装置などにおいて表示可能な形式に変換されて出力される。

なお、撮像装置１ａが、イメージセンサ２、レンズ部３、ＡＦＥ４、マイク５、画像処理部６ａ、音声処理部７及び圧縮処理部８を備えない構成としても構わない。即ち、再生機能のみを備える再生専用の装置としても構わない。また、画像処理部６ｂから出力される画像信号を、表示するとともに（または、表示せずに）外部メモリ１０に記録する構成としても構わない。即ち、編集時に切り出し処理を行う電子機器としても構わない。

次に、画像処理部６ｂに備えられる切り出し処理部６０の動作の一例について、図面を参照して説明する。図６は、切り出し処理部の動作の別例について説明するフローチャートである。なお、図６は、切り出し処理部６０だけでなく、撮像装置１ａ全体の動作例についても示すものである。また、図６は、記録時に切り出し処理を行う場合の切り出し処理部６０の動作について示した図３に相当するものである。なお、図６において図３と同様の動作となる部分には同じステップ番号を付し、その詳細な説明については省略する。

図６に示すように、切り出し処理を伴う再生動作が開始されると、まず、再生する画像の選択画面の表示が行われる（ＳＴＥＰ２１）。例えば、外部メモリ１０に記録されている画像のサムネイル画像を整列させたものなどが表示装置に表示される。

また、ユーザから再生する画像を選択する指示が入力されるか否かが確認される（ＳＴＥＰ２２）。例えば、操作部１７の一例であるタッチパネルや方向キーなどによって、ユーザに再生する画像を選択させても構わない。再生する画像が選択されない場合（ＳＴＥＰ２２、ＮＯ）、ＳＴＥＰ２１に戻り再生する画像を選択する画面の表示を継続する。

一方、ユーザから再生する画像を選択する指示が入力されている場合（ＳＴＥＰ２２、ＹＥＳ）、切り出し処理部６０が入力画像を取得する（ＳＴＥＰ３）。ただし、この入力画像は、外部メモリ１０に記録されているとともに伸長処理部１１から出力されるものである。そして、被写体検出部６１が、ＳＴＥＰ３で取得された入力画像に対して被写体の検出を行う（ＳＴＥＰ４）。そして、ＳＴＥＰ４で検出された被写体から、主要被写体及び副被写体が設定される（ＳＴＥＰ５）。

ＳＴＥＰ５によって主要被写体及び副被写体が設定されると、次に、ユーザから再生を開始する指示が入力されるか否かを確認する（ＳＴＥＰ２６）。例えば、操作部１７の一例である再生開始ボタンが、ユーザに押されるか否かによって、この指示の有無を確認しても構わない。再生を開始する指示が入力されない場合（ＳＴＥＰ２６、ＮＯ）、再生開始の指示が入力されるまで待機する。なお、このときＳＴＥＰ４に戻り被写体の設定をやり直すこととしても構わないし、ＳＴＥＰ３に戻り入力画像を取得し直した上で被写体の設定をやり直すこととしても構わない。

一方、ユーザから再生を開始する指示が入力される場合（ＳＴＥＰ２６、ＹＥＳ）、ＳＴＥＰ５において副被写体が設定されているか否かが確認される（ＳＴＥＰ７）。副被写体が設定されていない場合（ＳＴＥＰ７、ＮＯ）、主要被写体が設定されていれば切り出し処理部６０が入力画像を取得して（ＳＴＥＰ８）、被写体検出部６１がＳＴＥＰ８で取得した入力画像から主要被写体の検出を行い、被写体情報を生成する（ＳＴＥＰ９）。なお、主要被写体が設定されていない場合は、被写体検出部６１からその旨を示す被写体情報が生成される（ＳＴＥＰ９）。

主要被写体及び副被写体が設定されている場合（ＳＴＥＰ７、ＹＥＳ）、切り出し処理部６０が入力画像を取得して（ＳＴＥＰ１０）、被写体検出部６１がＳＴＥＰ１０で取得された入力画像から主要被写体及び副被写体の検出を行い、被写体情報を生成する（ＳＴＥＰ１１）。そして、関係度算出部６２がＳＴＥＰ１１で生成される被写体情報に基づいて関係度を算出し、関係度情報を生成する（ＳＴＥＰ１２）。なお、関係度の算出方法についての詳細については、後述する。

切り出し領域設定部６３は、被写体情報や主要被写体の位置、関係度情報に基づいて切り出し領域の設定を行い、切り出し領域情報を生成する（ＳＴＥＰ１３）。そして、切り出し部６４が、切り出し領域情報に基づいて入力画像の切り出し処理を行い、切り出し画像を生成する（ＳＴＥＰ１４）。なお、切り出し領域設定部６３による関係度情報に基づいた切り出し領域の設定方法の詳細については、後述する。

ＳＴＥＰ１４で生成された切り出し画像は、必要に応じて画像処理部６ｂによってその画素数が変換され、画像出力回路部１２に入力されて表示装置で表示される（ＳＴＥＰ３５）。このとき、画像処理部６ｂは、拡大処理や縮小処理を切り出し画像に施すことによって画素数の変換を行い、所定の大きさの再生用画像を生成する。特に、切り出し領域を不定の大きさとする場合にこの処理を行うこととすると、再生用画像の大きさを揃えることが可能となるため好ましい。

ＳＴＥＰ３５において再生用画像を再生すると、次に、再生を停止する指示がユーザから入力されるか否か、または、ＳＴＥＰ２１で選択した画像を全て再生し終わったか否かが確認される（ＳＴＥＰ３６）。再生を終了しない場合（ＳＴＥＰ３６、ＮＯ）、即ち、再生を停止する指示が入力されなかったり、選択した画像を全て再生し終わったりしていない場合は、ＳＴＥＰ７に戻り次の入力画像の切り出し処理を行う。

一方、再生を終了する場合（ＳＴＥＰ３６、ＹＥＳ）、次に、撮像装置１ａの動作を終了するか否かが確認される（ＳＴＥＰ１７）。撮像装置１ａの動作を終了しない場合（ＳＴＥＰ１７、ＮＯ）、ＳＴＥＰ２１に戻り再生する画像の選択画面を表示する。一方、撮像装置１ａの動作を終了する場合は（ＳＴＥＰ１７，ＹＥＳ）、動作を終了する。

＜＜関係度＞＞
次に、上述した関係度の算出方法について、各実施例（算出に用いる各パラメータ）を挙げるとともに図面を参照して説明する。

［第１実施例］
本実施例では、主要被写体及び副被写体間の距離Ｒ１に基づいて関係度を設定する。例えば、上述の顔検出処理を行うことによって設定される矩形の顔検出枠を用いて距離Ｒ１を算出することとしても構わない。

距離Ｒ１の算出方法の一例について図７を参照して説明する。図７は、関係度の算出方法の第１実施例について説明する入力画像の模式図である。図７では、入力画像５０中に、主要被写体Ｍと副被写体Ｓとが含まれる場合について示している。また、主要被写体Ｍの顔検出枠５１の左上の頂点Ｐ₁の座標を（ｘ₁，ｙ₁）、副被写体Ｓの顔検出枠５２の左上の頂点Ｐ₂の座標を（ｘ₂，ｙ₂）とする。なお、ｘ₁，ｘ₂は水平方向（図中の左右方向）の座標、ｙ₁，ｙ₂は垂直方向（図中の上下方向）の座標をそれぞれ示すものとする。

本例の場合、主要被写体Ｍ及び副被写体Ｓ間の距離Ｒ１は、下記式（１）のように表すことができる。

以上のようにして算出される主要被写体Ｍ及び副被写体Ｓ間の距離Ｒ１は、小さいほど主要被写体Ｍ及び副被写体Ｓが近くに位置することとなる。そのため、主要被写体Ｍ及び副被写体Ｓの関係が強いと想定される。したがって、距離Ｒ１が小さいほど関係度が大きくなるように設定する。

なお、上記式（１）は入力画像５０の平面的な２次元距離であるが、奥行き方向の座標を用いた３次元距離で主要被写体Ｍ及び副被写体Ｓ間の距離Ｒ１を表現することも可能である。下記式（１ａ）は、主要被写体Ｍ及び副被写体Ｓ間の距離Ｒ１を３次元距離として算出したものである。なお、主要被写体Ｍの奥行き方向の座標をｚ₁、副被写体Ｓの奥行き方向の座標をｚ₂とする。

奥行き方向の座標ｚ₁，ｚ₂は、例えば、顔の大きさを利用して算出することができる。図７に示す場合では、入力画像５０中で比較的顔が大きい主要被写体Ｍは手前に位置し、比較的顔が小さい副被写体Ｓは奥に位置することとなる。特に、顔検出枠５１，５２のそれぞれの大きさに基づいて、奥行き方向の座標ｚ₁及びｚ₂をそれぞれ算出しても構わないし、顔検出枠５１，５２の大きさを比較して、（ｚ₁−ｚ₂）を算出することとしても構わない。

また、ＡＦ（Auto Focus）の結果を利用して奥行き方向の座標ｚ₁，ｚ₂を算出することも可能である。例えば、撮像装置１，１ａから主要被写体Ｍ及び副被写体Ｓのそれぞれまでの合焦距離を利用して、奥行き方向の座標ｚ₁，ｚ₂を算出しても構わない。合焦距離は、例えば、画像処理部６，６ａに入力される画像における所定の領域毎の高周波成分を積算したＡＦ評価値を算出するとともに、主要被写体Ｍ及び副被写体Ｓが属するそれぞれの領域で、ＡＦ評価値を最大としたときの焦点距離を求めることによって、算出することができる。

［第２実施例］
本実施例では、主要被写体及び副被写体の顔の向きの相関性を示す顔向き度Ｒ２に基づいて関係度を設定する。例えば、上述の顔検出処理を行うことによって設定される矩形の顔検出枠の位置と、顔検出処理によって得られる顔の向きと、を用いて顔向き度Ｒ２を算出することとしても構わない。なお、顔検出処理によって主要被写体及び副被写体の顔の向きを検出する場合、例えば、種々の方向を向いた顔のサンプルを用いてマッチングを行うこととしても構わない。

顔向き度Ｒ２の算出方法の一例について図８を参照して説明する。図８は、関係度の算出方法の第２実施例について説明する入力画像の模式図である。なお、図８に示す入力画像５０は、図７に示す入力画像５０と同様の画像である。そのため、図８中、図７と同じ部分には同じ符号を付してその詳細な説明については省略する。

図８において、主要被写体Ｍの顔の向きをＤ₁、副被写体Ｓの顔の向きをＤ₂とする。Ｄ₁（ｄｘ₁，ｄｙ₁，ｄｚ₁）及びＤ₂（ｄｘ₂，ｄｙ₂，ｄｚ₂）はいずれもベクトルであり、水平方向の成分をｄｘ₁，ｄｘ₂、垂直方向の成分をｄｙ₁，ｄｙ₂、奥行き方向の成分をｄｚ₁，ｄｚ₂とする３次元の方向を示すものとする。

このとき、主要被写体Ｍから副被写体Ｓへの方向（ベクトル）Ｖ₁を、顔検出枠５１，５２の位置Ｐ₁，Ｐ₂を用いて表すと、Ｖ₁＝Ｐ₂―Ｐ₁となる。同様に、副被写体Ｓから主要被写体Ｍへの方向Ｖ₂は、Ｖ₂＝Ｐ₁―Ｐ₂となる。したがって、主要被写体Ｍの顔の向きＤ₁と主要被写体Ｍから副被写体Ｓへの方向Ｖ₁とが成す角度Ｔ₁（ｒａｄ）は、下記式（２ａ）に示すようになる。同様に、副被写体Ｓの顔の向きＤ₂と副被写体Ｓから主要被写体Ｍへの方向Ｖ₂とが成す角度Ｔ₂は、下記式（２ｂ）に示すものとなる。ただし、（０≦Ｔ₁≦π）及び（０≦Ｔ₂≦π）であるものとする。また、下記式（２ａ）及び（２ｂ）中、Ｖ₁・Ｄ₁、Ｖ₂・Ｄ₂は、それぞれ内積を示すものとする。また、Ｐ₁＝Ｐ₂となる場合は、Ｔ₁＝Ｔ₂＝０とする。

上記式（２ａ）及び（２ｂ）の角度Ｔ₁，Ｔ₂を用いて、下記式（２）に示すように主要被写体Ｍ及び副被写体Ｓの顔向き度Ｒ２を算出する。顔向き度Ｒ２は、主要被写体Ｍ及び副被写体Ｓが互いの方向を見ている（即ち、Ｔ₁，Ｔ₂が小さくなる）場合に１に近づき、逆の方向を見ている（即ち、Ｔ₁，Ｔ₂が大きくなる）場合に０に近づく。

以上のようにして算出される顔向き度Ｒ２は、大きいほど（１に近いほど）主要被写体Ｍ及び副被写体Ｓが向き合うものとなる。そのため、主要被写体Ｍ及び副被写体Ｓの関係が強いと想定される。したがって、顔向き度Ｒ２が大きいほど関係度が大きくなるように設定する。

なお、上述した顔向き度Ｒ２は、奥行き方向の成分を用いて３次元的に算出したものであるが、奥行き方向の成分を用いずに２次元的に算出することとしても構わない。

［第３実施例］
本実施例では、集音部５で集音されて得られる音声信号の有無を示す音声関係度Ｒ３を用いて関係度を設定する。例えば、図２に示す被写体検出部６１が音声信号を取得可能な構成として、被写体情報に音声信号の有無を示す情報を含ませることとしても構わない。

具体的に例えば、主要被写体か副被写体かを問わず、所定の大きさ以上の音声信号が得られた場合に音声関係度Ｒ３を１とする。また、所定の大きさ以上の音声信号が得られない場合は、音声関係度Ｒ３を０とする。

以上のようにして算出される音声関係度Ｒ３は、大きいほど（１に近いほど）主要被写体と副被写体とが音声を発してやりとり（例えば会話）をしている可能性が高くなる。そのため、主要被写体及び副被写体の関係が強いと想定される。したがって、音声関係度Ｒ３が大きいほど関係度が大きくなるように設定する。

なお、集音部５で集音される音声の到来方向に基づいて、音声関係度Ｒ３の値を決定しても構わない。音声の到来方向については、例えば、集音部５を複数のマイクを備えたマイクアレイとするとともに、各マイクで集音されて得られた音声信号を比較（例えば、位相のずれや時間のずれを比較）することによって、特定することが可能となる。そして例えば、主要被写体及び副被写体が存在する方向から到来した音声を集音した場合に、音声関係度Ｒ３の値を大きくすることとしても構わない。このように構成すると、主要被写体及び副被写体が発する音声であるか否かを厳密に判定することが可能となる。

［第４実施例］
本実施例では、主要被写体と副被写体との顔の類似性を示す顔類似度Ｒ４に基づいて関係度を設定する。例えば、上述の顔認識処理を行うことによって、主要被写体と副被写体との顔類似度Ｒ４を算出することとしても構わない。

具体的に例えば、主要被写体に最も類似する顔のサンプル（顔認識の結果、最もスコアが高くなったサンプル）を用いて、副被写体の顔認識処理を行った場合におけるスコアによって、主要被写体と副被写体との顔の類否を判定する。特に、副被写体の顔認識を行った際のスコアが高いほど、主要被写体と副被写体とが類似していると判定することができる。ただし、顔類似度Ｒ４は、０≦Ｒ４≦１を満たす値になるものとする。

スコアは、例えば顔のサンプルの種々の特徴点を、主要被写体の顔からそれぞれ検出するとともに、検出結果を合算することで算出することができる。また、特徴点毎に重みを与え、ある特徴点が主要被写体や副被写体から検出された場合に特にスコアが大きくなるように構成しても構わない。

以上のようにして算出される顔類似度Ｒ４は、大きいほど（１に近いほど）主要被写体と副被写体とが類似しており、親戚などの縁者である可能性が高くなる。そのため、主要被写体及び副被写体の関係が強いと想定される。そのため、顔類似度Ｒ４が大きいほど関係度が大きくなるように設定する。

［第５実施例］
本実施例では、主要被写体及び副被写体の移動方向の類似性を示す移動方向類似度Ｒ５に基づいて関係度を設定する。例えば、順次入力される入力画像から検出される主要被写体及び副被写体の位置の変化により、それぞれの移動方向を算出することによって、移動方向類似度Ｒ５を算出することとしても構わない。

移動方向類似度Ｒ５の算出方法の一例について図９を参照して説明する。図９は、関係度の算出方法の第５実施例について説明する入力画像の模式図である。なお、図９に示す入力画像５０は、図７に示す入力画像５０と同様の画像である。そのため、図９中、図７と同じ部分には同じ符号を付してその詳細な説明については省略する。

図９において、主要被写体Ｍの移動方向をＡ₁、副被写体Ｓの移動方向をＡ₂とする。Ａ₁（ａｘ₁，ａｙ₁，ａｚ₁）及びＤ₂（ａｘ₂，ａｙ₂，ａｚ₂）はいずれもベクトルであり、水平方向の成分をａｘ₁，ａｘ₂、垂直方向の成分をａｙ₁，ａｙ₂、奥行き方向の成分をａｚ₁，ａｚ₂とする３次元の方向を示すものとする。

このとき、移動方向Ａ₁，Ａ₂を用いて、下記式（３）に示すように主要被写体Ｍ及び副被写体Ｓの移動方向類似度Ｒ５を算出する。移動方向類似度Ｒ５は、主要被写体Ｍ及び副被写体Ｓの移動方向が同じ方向となる場合に１に近づき、逆の方向となる場合に０に近づく。また、いずれか一方が移動していない場合（即ち、移動方向Ａ₁またはＡ₂が０となる場合）は、移動方向類似度Ｒ５が１になることとする。また、下記式（３）中、Ａ₁・Ａ₂は内積を示すものとする。

以上のようにして算出される移動方向類似度Ｒ５は、大きいほど（１に近いほど）主要被写体Ｍ及び副被写体Ｓの移動方向が近いものとなる。そのため、主要被写体Ｍ及び副被写体Ｓの関係が強いと想定される。したがって、移動方向類似度Ｒ５が大きいほど関係度が大きくなるように設定する。

なお、上述した移動方向類似度Ｒ５は、奥行き方向の成分を用いて３次元的に算出したものであるが、奥行き方向の成分を用いずに２次元的に算出することとしても構わない。

［第６実施例］
本実施例では、主要被写体と副被写体との色の類似性を示す色類似度Ｒ６に基づいて関係度を設定する。例えば、上述の顔認識処理を行うことによって設定される顔検出枠に基づいて、主要被写体と副被写体との全体がそれぞれ含まれる被写体領域をそれぞれ設定し、被写体領域内のそれぞれの色情報を用いて色類似度Ｒ６を算出することとしても構わない。

色類似度Ｒ６の算出方法の一例について図１０を参照して説明する。図１０は、関係度の算出方法の第６実施例について説明する入力画像の模式図である。なお、図１０に示す入力画像５０は、図７に示す入力画像５０と同様の画像である。そのため、図１０中、図７と同じ部分には同じ符号を付してその詳細な説明については省略する。

図１０において、被写体領域５３，５４は、例えば、図７に示した顔検出枠５１,５２を、それぞれ所定の倍率で下方及び左右方向に拡大するなどして設定される。そして、被写体領域５３，５４内の色情報を取得し、比較することで色類似度Ｒ６を算出する。

色情報として、例えば、被写体領域５３，５４内の色情報を平均化した値を用いることが可能である。また、色情報は、ＲＧＢの色ベクトルで表現したものとすることができる。ここで、主要被写体Ｍの被写体領域５３の色情報をＣ₁、副被写体Ｓの被写体領域５４の色情報をＣ₂とし、Ｃ₁（Ｒ₁，Ｇ₁，Ｂ₁）、Ｃ₂（Ｒ₂，Ｇ₂，Ｂ₂）とする。

このとき、色情報Ｃ₁，Ｃ₂を用いて、下記式（４）に示すように主要被写体Ｍ及び副被写体Ｓの色類似度Ｒ６を算出する。色類似度Ｒ６は、主要被写体Ｍ及び副被写体Ｓの色が似ている場合に１に近づき、異なる場合に０に近づく。また、下記式（４）中、Ｃ₁・Ｃ₂は内積を示すものとする。

以上のようにして算出される色類似度Ｒ６は、大きいほど（１に近いほど）主要被写体Ｍ及び副被写体Ｓの色が似ており、例えば同じ服装や帽子などを身につけている可能性が高くなる。そのため、主要被写体Ｍ及び副被写体の関係が強いと想定される。したがって、色類似度Ｒ６が大きいほど関係度が大きくなるように設定する。

なお、色情報Ｃ₁，Ｃ₂を、ＲＧＢの信号を用いたものとしたが、ＹＵＶの信号を用いたものとしても構わないし、Ｈ（Hue）Ｓ（Saturation）Ｂ（Brightness）などの信号を用いたものとしても構わない。また、色情報Ｃ₁，Ｃ₂を、被写体領域５３，５４の色情報を平均化したものとしたが、一部を抽出したもの（例えば、最頻出の色）としても構わない。

また、上記式（４）のように、主要被写体Ｍ及び副被写体Ｓの色情報の差を色ベクトルの角度差で表現しないものとしても構わない。例えば、画素値の２乗差や絶対値差などを用いて色情報の差を算出しても構わない。

［第７実施例］
本実施例では、入力画像中の副被写体が特定の被写体として認識されるか否かを示す特定被写体存在度Ｒ７に基づいて関係度を設定する。例えば、特定の被写体の顔をサンプルとして予め記録して顔認識処理を行い、副被写体の顔が特定の被写体の顔として認識されるか否かで特定被写体存在度Ｒ７を算出しても構わない。

具体的に例えば、特定の被写体の顔のサンプルを用いて副被写体の顔認識処理を行った場合におけるスコアによって、顔認識度Ｒ７を設定する。特に、スコアが所定の値以上である場合、副被写体が特定の被写体であるとして、特定被写体存在度Ｒ７を１に設定する。一方、スコアが所定の値より小さいものである場合、副被写体が特定の被写体ではないとして、特定被写体存在度Ｒ７を０に設定する。

以上のようにして算出される特定被写体存在度Ｒ７は、大きいほど（１に近いほど）ユーザが主要被写体とともに切り出し画像内に含めたいと考える特定被写体が含まれる可能性が高いものとなる。そのため、主要被写体と副被写体との関係が強いと想定される。したがって、特定被写体存在度Ｒ７が大きいほど関係度が大きくなるように設定する。

なお、副被写体に対して特定の顔のサンプルを用いて行った顔認識処理のスコアに応じて、特定被写体存在度Ｒ７の値を設定しても構わない。特に、スコアが高いほど特定被写体存在度Ｒ７が大きくなるように設定しても構わない。ただし、特定被写体存在度Ｒ７は、０≦Ｒ７≦１を満たす値になるものとする。

［第８実施例］
本実施例では、副被写体の出現割合を示す出現度Ｒ８に基づいて関係度を設定する。例えば、切り出し処理部６０に順次入力される入力画像中の副被写体が含まれる入力画像の割合に基づいて、出現度Ｒ８を算出することとしても構わない。

具体的に例えば、本実施例を画像記録時に適用する場合、関係度算出部６２が関係度を算出する時点までに入力された入力画像の数で、これらの入力画像の中で副被写体が含まれていた数を除算することによって、出現度Ｒ８を算出する。また例えば、本実施例を画像再生時に適用する場合、表示する全ての入力画像の数（例えば、ある動画ファイルに含まれる全ての画像数）で、これらの入力画像の中で副被写体が含まれている数を除算することによって、出現度Ｒ８を算出する。このように設定される出現度Ｒ８は、０≦Ｒ８≦１を満たす値となる。

以上のようにして算出される出現度Ｒ８は、大きいほど（１に近いほど）副被写体が主要被写体とともに入力画像内に含まれることとなる。そのため、主要被写体と副被写体との関係が強いと想定される。したがって、出現度Ｒ８が大きいほど関係度が大きくなるように設定する。

なお、再生時に切り出し処理を行う場合において、画像の記録時に副被写体の検出を行って出現度Ｒ８を求め、画像とともに出現度Ｒ８を外部メモリ１０に記録することとしても構わない。また、再生を開始する前に、全ての入力画像（例えば、ある動画ファイルに含まれる全ての画像）から副被写体を検出して、出現度Ｒ８を算出することとしても構わない。

［変形例］
なお、上述の第１、２及び５実施例では、主要被写体及び副被写体の位置を顔検出枠で示すこととしたが、主要被写体及び副被写体の全体を含む領域で位置を示すこととしても構わない。例えば、第６実施例において示した被写体領域としても構わない。また、顔検出枠の左上以外の頂点や中心点を用いて主要被写体及び副被写体の位置を示すこととしても構わない。

また、上述の実施例は組み合わせて実施することができる。即ち、下記式（５）に示すように、上述した各パラメータ値Ｒ１〜Ｒ８のそれぞれに重み付けを行うとともに合算して、関係度Ｙを算出することとしても構わない。なお、下記式（５）中のＷ１〜Ｗ８のそれぞれは、各パラメータ値Ｒ１〜Ｒ８に乗算される重み係数である。また、距離Ｒ１のみ小さいほど関係度が大きくなるものであるため、距離Ｒ１は逆数１／Ｒ１に重み係数Ｗ１が乗算されて合算される。

上記式（５）は、第１〜第８実施例に示した各値Ｒ１〜Ｒ８を全て用いて関係度Ｙを算出する場合について示しているが、この中のいずれかの値を用いないこととしても構わない。また、これ以外の主要被写体及び副被写体の関係の強さを示す値を加えても構わない。

このように、種々の値を用いて関係度Ｙを規定することとすると、関係度Ｙを多面的な値として設定することが可能となる。したがって、より精密に関係度を算出することが可能となる。

＜切り出し処理の具体例＞
次に、上述した関係度を用いた切り出し処理の具体例について、図面を参照して説明する。特に、図２の切り出し領域設定部６３による切り出し領域の設定方法について説明する。

図１１は、切り出し領域の設定方法の一例を示す入力画像の模式図である。なお、図１１に示す入力画像５０は、図７に示す入力画像５０と同様の画像である。そのため、図１１中、図７と同じ部分には同じ符号を付してその詳細な説明については省略する。なお、図１１は、再生時に切り出し処理を行う場合について示すものとする。

また、図１１に示す例では、入力画像（即ち、図１の外部メモリ１０に記録されている画像）の大きさが６４０×４８０であるものとする。また、再生用画像（即ち、図６のＳＴＥＰ３５において大きさが変換された後の画像）の大きさも６４０×４８０であるものとする。さらに、図１１に示す入力画像について、左上の画素の座標を（０，０）とする。また、右下の画素の座標を（６３９，４７９）とする。

図１１に示す主要被写体Ｍについて、顔検出枠５１の大きさが（２４０，２４０）、左上の頂点の座標Ｐ₁が（３６０，８０）、顔の向きＤ₁が（−１０，２）、色情報Ｃ₁が（１５０，１５０，５０）であるものとする。また、副被写体Ｓについて、顔検出枠５２の大きさが（１８０，１８０）、左上の頂点の座標Ｐ₂が（６０，１００）、顔の向きＤ₂が（１０，２）、色情報Ｃ₂が（１５０，１５０，５０）であるものとする。

さらに、入力される音声信号があり、主要被写体Ｍ及び副被写体Ｓの移動はないものとする。また、主要被写体Ｍ及び副被写体Ｓの顔はわずかに類似しており、副被写体Ｓは記録していた特定の顔のサンプルに類似していたものとする。そして、再生する入力画像１００枚中、９０枚に副被写体Ｓが含まれていたこととする。

上記の場合、各パラメータ値Ｒ１〜Ｒ８は図１１の表Ｌａに示す値となる。即ち、Ｒ１＝３０１、Ｒ２＝０．９４、Ｒ３＝１、Ｒ４＝０．１、Ｒ５＝１、Ｒ６＝０．９９、Ｒ７＝１、Ｒ８＝０．９となる。また、重み係数Ｗ１〜Ｗ８は、Ｗ１＝１００、Ｒ２＝１、Ｗ３＝１、Ｗ４＝０．５、Ｗ５＝０．５、Ｗ６＝０．５、Ｗ７＝０．５、Ｗ８＝１とする。この場合、上記式（５）に示すように関係度を算出することとすると、関係度Ｙａ＝４．７２となる。

図２に示す切り出し領域設定部６３は、例えばある所定の閾値ＴＨ＿Ｙ（例えば、３．０）と関係度Ｙａとを比較して、切り出し領域の設定方法を決定する。図１１に示すように、関係度Ｙａ（＝４．７２）が閾値ＴＨ＿Ｙ（＝３．０）以上となる場合、主要被写体Ｍ及び副被写体Ｓの入力画像中の位置に基づいて切り出し領域を設定する。特に、主要被写体Ｍ及び副被写体Ｓが含まれるような切り出し領域１１３を設定する。

例えば、切り出し領域１１３の中心が、顔検出枠５１，５２のそれぞれの中心である（１５０，１９０）及び（４８０，２００）の中間位置（３１５，１９５）と一致するように、切り出し領域１１３を設定する。また、再生用画像のアスペクト比（本例では、６４０：４８０＝４：３）と略等しく、かつ顔検出枠５１，５２が全て含まれるように、切り出し領域１１３を設定する。その結果、図１１に示す例では、５７０×４２８の大きさとなる切り出し領域１１３が設定される。

切り出し領域１１３は、再生用画像よりも小さいものとなるため、上述のように拡大処理が施される。例えば、補間処理が施されることによって画素数が増大されて、６４０×４８０の画素数を備える切り出し画像が生成される。

また、図１２に、切り出し領域の設定方法の別例を示す、図１２は、切り出し領域の設定方法の別例を示す入力画像の模式図である。なお、図１２に示す入力画像１２０は、図７に示す入力画像５０と同様の画像であるが、主要被写体Ｍ及び副被写体Ｓの位置や向きなどが異なっている。なお、図１２中、図７と同じ部分には同じ符号を付してその詳細な説明については省略する。また、図１２は、図１１に示した例と同様の条件（切り出し処理が再生時、入力画像及び再生用画像の大きさが６４０×４８０）で切り出し領域を設定する場合について示すものとする。

図１２に示す主要被写体Ｍについて、顔検出枠１２１の大きさが（２４０，２４０）、左上の頂点の座標Ｐ₃が（３００，８０）、顔の向きＤ₃が（１０，２）、色情報Ｃ₃が（１５０，１５０，５０）であるものとする。また、副被写体Ｓについて、顔検出枠１２２の大きさが（１８０，１８０）、左上の頂点の座標Ｐ₄が（２０，１００）、顔の向きＤ₄が（−１０，２）、色情報Ｃ₄が（１５０，１５０，５０）であるものとする。

さらに、入力される音声信号がなく、主要被写体Ｍ及び副被写体Ｓの移動もないものとする。また、主要被写体Ｍ及び副被写体Ｓの顔はわずかに類似しており、副被写体Ｓは記録していた特定の顔のサンプルに類似していたものとする。そして、再生する入力画像１００枚中、９０枚に副被写体Ｓが含まれていたこととする。

上記の場合、各パラメータ値Ｒ１〜Ｒ８は図１２の表Ｌｂに示す値となる。即ち、Ｒ１＝２８１、Ｒ２＝０．０６、Ｒ３＝０、Ｒ４＝０．１、Ｒ５＝１、Ｒ６＝０．９９、Ｒ７＝１、Ｒ８＝０．９となる。また、重み係数Ｗ１〜Ｗ８は、Ｗ１＝１００、Ｒ２＝１、Ｗ３＝１、Ｗ４＝０．５、Ｗ５＝０．５、Ｗ６＝０．５、Ｗ７＝０．５、Ｗ８＝１とする。この場合、上記式（５）に示すように関係度を算出することとすると、関係度Ｙｂ＝２．８６となる。

上述のように、図２に示す切り出し領域設定部６３は、例えばある所定の閾値ＴＨ＿Ｙ（例えば、３．０）と関係度Ｙｂとを比較して、切り出し領域の設定方法を決定する。図１２に示すように関係度Ｙｂ（＝２．８６）が閾値ＴＨ＿Ｙ（＝３．０）より小さくなる場合、主要被写体Ｍの入力画像中の位置に基づいて切り出し領域を設定する。特に、主要被写体Ｍが略中心に位置するような切り出し領域１２３を設定する。

例えば、切り出し領域１２３の中心が、顔検出枠１２１の中心（即ち、（４２０，２００））と一致するように設定する。また、出力する画像のアスペクト比（本例では、６４０：４８０＝４：３）と略等しく、かつ顔検出枠１２１が全て含まれるような切り出し領域１２３を設定する。その結果、図１２に示す例では、３２０×２４０の大きさとなる切り出し領域１２３が設定される。

切り出し領域１２３は、出力する画像よりも小さいものとなるため、上述のように拡大処理が施される。例えば、補間処理が施されることによって画素数が増大されて、６４０×４８０の画素数を備える切り出し画像が生成される。

以上のように切り出し領域を設定し、切り出し処理を行うこととすると、主要被写体と副被写体との関係の強さに応じて切り出し画像の構図を変更することが可能となる。特に、主要被写体と副被写体との関係が強い場合、主要被写体と副被写体とが含まれる構図の切り出し画像を得ることができる。したがって、主要被写体の挙動が明確となる切り出し画像を得ることが可能となる。

一方、主要被写体と副被写体との関係が弱い場合は、主要被写体が略中心となる構図の切り出し画像を得ることができる。したがって、無用な副被写体が切り出し画像に含まれることを抑制し、主要被写体を強調した切り出し画像を得ることが可能となる。

なお、入力画像中に含まれる副被写体が１つである場合を具体例として挙げたが、入力画像中に複数の副被写体が含まれることとしても構わない。また、複数の副被写体が含まれる場合、副被写体と主要被写体との関係度をそれぞれ算出するとともに、切り出し画像に含めるか否かをそれぞれ設定することとしても構わない。

さらに、切り出し画像に含める複数の副被写体のそれぞれの中心位置を、主要被写体との関係度によって重み付けして平均化した位置を、複数の副被写体の重心位置としても構わない。そして、主要被写体の中心位置と複数の副被写体の重心位置との中間位置が、中心位置となるような切り出し領域を設定しても構わない。

また、主要被写体及び副被写体の位置を、顔検出枠を用いて表現する場合を例示したが、図１０に示すような被写体領域を用いて表現することとしても構わない。

また、上記のように切り出し画像に拡大処理を施す場合、入力される縮小画像の画素数を増やすために例えば補間処理を行うこととしたが、補間処理に加えて（または代えて）超解像処理を行うこととしても構わない。

超解像処理を行うこととすると、拡大処理して得られる画像（記録用画像または再生用画像）の画質を向上させることが可能となる。なお、以下では、超解像処理の一種であるＭＡＰ（Maximum A Posterior）法を用いる場合を例に挙げるとともに、図面を参照して説明する。図１３及び図１４は、超解像処理の概要を示す図である。

また、以下においては説明を簡単にするため、切り出し画像のある１方向に整列した複数の画素について考えることとする。また、２つの切り出し画像を合成することで超解像処理を行う場合であり、合成する画素値が輝度値である場合を例に挙げて説明する。

図１３（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図１３（ｂ）及び（ｃ）のそれぞれは、図１３（ａ）に示す被写体を撮像して得られる切り出し画像の輝度分布である。また、図１３（ｄ）は、図１３（ｃ）に示す縮小画像を所定の位置だけずらしたものである。なお、図１３（ｂ）に示す切り出し画像（以下、低解像度実画像Ｆａとする）と図１３（ｃ）に示す切り出し画像（以下、低解像度実画像Ｆｂとする）とは、撮像された時間が異なる。

図１３（ｂ）に示すように、図１３（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図１３（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ブレなどが原因となりその位置にズレが生じているものとする。即ち、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。

図１３（ｂ）に示す低解像度実画像Ｆａについて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値を、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３とする。同様に、図１３（ｃ）に示す低解像度実画像Ｆｂについて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３とする。

ここで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準（注目画像）として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを、低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）だけ位置ズレ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図１３（ｄ）に示すようになる。

次に、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図１４に示す。まず、図１４（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素が、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３と、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、を備えるものとする。

低解像度実画像Ｆａの画素Ｐ４の画素値は、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択される。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択される。

その後、図１４（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。なお、図１４（ｂ）では、ｎ回目の処理によって推定された高解像度画像Ｆｘｎより生成される低解像度推定画像Ｆａｎ，Ｆｂｎを示している。

例えば、ｎ＝１のとき、図１４（ａ）に示す高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。そして、図１４（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、低解像度実画像Ｆａ，Ｆｂのそれぞれとの間における差分を求め、この差分を合成することで高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図１４（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎを示している。

例えば、差分画像ΔＦａ１は、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）がＰ１〜Ｐ３の画素値となり、差分画像ΔＦｂ１は、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）がＰ１〜Ｐ３の画素値となる。そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ法を用いる場合では、二乗誤差を評価関数として用いる。即ち、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値を評価関数とする。この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となる。そのため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。

その後、図１４（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図１３（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図１４（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）を示している。

上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が図１３（ａ）に示す輝度分布の被写体に近い画素値に収束される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎを、超解像処理後の画像（記録用画像または再生用画像）とする。

また、上記の処理において動き量（位置ズレ量）を求める際に、例えば以下に示すような、代表点マッチング法と１画素内動き量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内動き量検出について図面を参照して説明する。図１５及び図１６は、代表点マッチング法について示す図である。図１５は、画像の各領域の分割方法について示す画像の模式図であり、図１６は、基準画像及び非基準画像について示す模式図である。

代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図１５に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。また、図１６（ａ）に示すように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｑとして設定される。一方、図１６（ｂ）に示すように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｕとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｕとしても構わない）。

以上のように小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｕの画素値と基準画像の代表点Ｑの画素値との差が、各サンプリング点Ｕでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｕの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｕにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｑとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｕの相関値が累積加算されることで、サンプリング点Ｕの個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｕとする場合、ａ×ｂ個の累積相関値が得られることとなる）。

各検出領域Ｅに対して、各サンプリング点Ｕに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｑと相関性が最も高いと考えられるサンプリング点Ｕ（即ち、累積相関値が最小となるサンプリング点Ｕ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｕと代表点Ｑとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。

次に、１画素内動き量検出について図面を参照して説明する。図１７は、１画素内動き量検出について示す基準画像及び非基準画像の模式図であり、図１８は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。

上述のように、例えば代表点マッチング法を用いるなどして画素単位の動き量を検出した後、さらに、下記に示す方法を用いて１画素内の動き量を検出することができる。例えば、小領域ｅ毎に基準画像の代表点Ｑの画素の画素値と、代表点Ｑと相関性の高いサンプリング点Ｕｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の動き量を検出することができる。

図１７に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｑの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｕｘの画素値Ｌｂと、サンプル点Ｕｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｕｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。

また、図１８（ａ）に示すように、サンプル点Ｕｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図１８（ｂ）に示すように、サンプル点Ｕｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。

このようにして、小領域ｅそれぞれにおける１画素内での動き量を求める。そして、求めた動き量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。

＜＜変形例＞＞
また、本発明の実施形態における撮像装置１，１ａについて、画像処理部６，６ａ，６ｂや切り出し処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１及び図５の撮像装置１，１ａや、図２の切り出し処理部６０は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ａや切り出し処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力画像を切り出して所望の切り出し画像を得る画像処理装置や画像処理方法、デジタルビデオカメラに代表される撮像装置などの電子機器に関する。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる切り出し処理部の構成を示すブロック図である。 は、切り出し処理部の動作の一例について説明するフローチャートである。 は、顔検出処理の一例について示す画像の模式図である。 は、本発明の実施形態における撮像装置の別例の構成を示すブロック図である。 は、切り出し処理部の動作の別例について説明するフローチャートである。 は、関係度の算出方法の第１実施例について説明する入力画像の模式図である。 は、関係度の算出方法の第２実施例について説明する入力画像の模式図である。 は、関係度の算出方法の第５実施例について説明する入力画像の模式図である。 は、関係度の算出方法の第６実施例について説明する入力画像の模式図である。 は、切り出し領域の設定方法の一例を示す入力画像の模式図である。 は、切り出し領域の設定方法の別例を示す入力画像の模式図である。 は、超解像処理の概要を示す図である。 は、超解像処理の概要を示す図である。 は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。 は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。

符号の説明

１，１ａ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６，６ａ，６ｂ 画像処理部
６０ 切り出し処理部
６１ 被写体検出部
６２ 関係度算出部
６３ 切り出し領域設定部
６４ 切り出し部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス

Claims (6)

1. 入力画像の一部を切り出して切り出し画像を生成する切り出し処理部を備える画像処理装置において、
   前記切り出し処理部が、
   前記入力画像から所定の被写体を検出するとともに、検出した前記被写体の一つを主要被写体として設定し、他を副被写体として設定する被写体検出部と、
   前記被写体検出部で検出される前記主要被写体と前記副被写体との関係の強さを示す関係度を算出する関係度算出部と、
   前記入力画像中の前記主要被写体及び前記副被写体の位置と、前記関係度と、に基づいて、前記入力画像に対して切り出し領域を設定する切り出し領域設定部と、
   前記入力画像から前記切り出し領域を切り出して前記切り出し画像を生成する切り出し部と、
   を備えることを特徴とする画像処理装置。
2. 前記切り出し領域設定部が、
   前記主要被写体と、前記主要被写体との前記関係度が所定の値以上である前記副被写体と、が含まれる前記切り出し領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体検出部が、顔を検出することによって前記被写体を検出するものであり、
   前記入力画像中最も大きい顔と、前記入力画像中最も中央に近い顔と、特定の顔として認識される顔と、外部より入力される選択信号によって指定される顔と、
   の少なくとも一つに該当する顔を有する前記被写体を、前記主要被写体として設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記関係度算出部が、
   前記主要被写体と前記副被写体との距離と、前記主要被写体及び前記副被写体のそれぞれの顔の向きと、前記主要被写体及び前記副被写体が発する音と、前記主要被写体及び前記副被写体の顔が類似する程度と、前記主要被写体及び前記副被写体の色が類似する程度と、前記副被写体の顔が特定の顔であると認識される程度と、順次入力される前記入力画像中に前記副被写体が含まれる割合と、
   の少なくとも一つに基づいて前記関係度を算出することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 請求項１〜請求項４のいずれかに記載の画像処理装置を備え、
   前記画像処理装置から出力される前記切り出し画像を記録または表示することを特徴とする電子機器。
6. 入力画像から所定の被写体を検出するとともに、検出した前記被写体の一つを主要被写体として設定し、他を副被写体として設定する第１ステップと、
   前記第１ステップで設定された前記主要被写体と前記副被写体との関係の強さを示す関係度を算出する第２ステップと、
   前記入力画像中の前記主要被写体及び前記副被写体の位置と、前記第２ステップで算出される前記関係度と、に基づいて、前記入力画像に対して切り出し領域を設定する第３ステップと、
   前記入力画像から前記第３ステップで設定された前記切り出し領域を切り出して切り出し画像を生成する第４ステップと、
   を備えることを特徴とする画像処理方法。

Images