JP6245802B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、撮影の結果得られた画像データのトリミング制御に関する。

従来、デジタルカメラなどの撮像装置による撮影の結果得られた画像データをトリミングする際には、ユーザがそのトリミング範囲を指定する必要がある。このため、ユーザは画像データのトリミングを行う際には煩雑な操作を行わなければならないことがある。

そこで、ユーザの操作負担を低減するため、フォーカス領域に応じて自動的にトリミング処理を行って、トリミング画像を得るようにしたものがある（特許文献１参照）。

特開２００７−１９８９３号公報

しかしながら、フォーカス領域（フォーカス位置）のみに基づいてトリミング領域を決定すると、撮影シーンによっては、メインとなる被写体と背景領域との境界が分かりづらくなり、全体的にぼんやりとした構図になってしまうことがある。

例えば、背景領域がボケていない場合に背景領域を広くすると、主題がはっきりとしない構図になることが多い。逆に、背景領域がボケている場合には、背景領域を少し広めにすることで主題を際立たせることができる。

従って、本発明の目的は、ユーザの操作負担が増加することなく、メインとなる被写体が際立つようにトリミング処理を自動的に行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミング手段を有し、前記トリミング手段は、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする。

本発明による制御方法は、画像データをトリミング処理する画像処理装置の制御方法であって、前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを有し、前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする。

本発明による制御プログラムは、画像データをトリミング処理する画像処理装置で用いられる制御プログラムであって、画像処理装置が備えるコンピュータに、前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを実行させ、前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする。

本発明によれば、ユーザの操作負担が増加することなく、メインとなる被写体が際立つようにトリミング処理を自動的に行うことができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像装置による撮影動作を説明するためのフローチャートである。 本発明の第２の実施形態による撮像装置における評価値の決定の一例を説明するための図である。 本発明の第２の実施形態による撮像装置で行われる画素評価値の算出を説明するための図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置１００は、例えば、デジタルカメラであり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０を有している。撮影レンズ１０の後段には絞り機能を備えるシャッター１２が配置されている。そして、シャッター１２の後側には、光学像を電気信号に変換するＣＣＤ又はＣＭＯＳ素子などの撮像素子１４が配置されている。撮像素子１４の出力であるアナログ信号はＡ／Ｄ変換器１６によってデジタル信号（画像信号）に変換される。

なお、撮影レンズ１０の前面側にはバリア１０２が配置されており、このバリア１０２は撮影レンズ１０、シャッター１２、および撮像素子１４などを覆って、その汚れおよび破損を防止するためのものである。

タイミング発生回路１８は撮像素子１４、Ａ／Ｄ変換器１６、およびＤ／Ａ変換器２６にクロック信号又は制御信号を供給する。このタイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。

画像処理回路２０はＡ／Ｄ変換器１６の出力である画像データ、又はメモリ制御回路２２から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行う。

システム制御回路５０は当該演算結果に基づいて露光制御部４０および測距制御部４２を制御して露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。

さらに、画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６からの出力である画像データは、画像処理回路２０およびメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、画像表示メモリ２４又はメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６でＤ／Ａ変換されて画像表示部２８に送られる。これにより、画像表示部２８には画像データに応じた画像が表示される。

なお、画像表示部２８に撮像によって得られた画像を逐次表示すれば、電子ファインダ機能を実現することができる。また、画像表示部２８を用いて再生表示機能および各種表示機能を利用することができる。画像表示部２８は、システム制御回路５０の制御によってその表示をオン／オフすることが可能であり、表示をオフにした場合は、撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０には、撮影の結果得られた静止画像又は動画像が格納される。メモリ３０は、所定枚数の静止画像又は所定時間の動画像を格納するための十分な記憶容量を有している。このメモリ３０を用いれば、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合においても、高速に大量の画像を保存することができる。また、メモリ３０はシステム制御回路５０の作業領域としても用いられる。

圧縮伸張回路３２は、適応離散コサイン変換（ＡＤＣＴ）などによって画像データを圧縮又は伸張する。圧縮伸張回路３２は、例えば、シャッター１２の動作をトリガとしてメモリ３０に格納された画像データを読み込んで圧縮処理を行い、圧縮処理後の画像データをメモリ３０に書き込む。

また、圧縮伸張回路３２は記録媒体２００又は２１０からメモリ３０に読み込まれた圧縮処理後の画像データを読み込んで伸張処理を行って、伸張処理後の画像データをメモリ３０に書き込む。圧縮伸張回路３２によってメモリ３０に書き込まれた画像データは、システム制御回路５０においてファイル化されて、インタフェース９０又は９４を介して記録媒体２００又は２１０に記録される。

露光制御部４０はシステム制御回路５０の制御下でシャッター１２の制御を行う。さらに、露光制御部４０はストロボ４８と連携してフラッシュ調光を行う。測距制御部４２はシステム制御回路５０の制御下で撮影レンズ１０のフォーカシングを制御する。前述のように、システム制御回路５０は、画像処理回路２０による演算結果に基づいて露光制御部４０および測距制御部４２を制御して、ＴＴＬ方式の露光制御および測距制御を行う。

ズーム制御部４４はシステム制御回路５０の制御下で撮影レンズ１０のズーミングを制御する。また、バリア制御部４６はシステム制御回路５０の制御下でバリア１０２の動作を制御する。

ストロボ４８はシステム制御回路５０によって制御され、ピント合わせを行うためのＡＦ補助光の投光を行う。なお、ストロボ４８は、単一でもよく、閃光発光用にキセノン管、微小長秒発光用のＬＥＤなどの発光部を複数設けて、本発光の際に切り替えて制御するようにしてもよい。

システム制御回路５０は撮像装置１００全体の制御を司る。メモリ５２にはシステム制御回路５０の動作用の定数、変数、およびプログラムなどが記憶される。また、メモリ５２にはＡＥで用いられるプログラム線図が格納される。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値との関係を定義したテーブルである。

表示部５４は、例えば、液晶表示装置およびスピーカなどを有しており、システム制御回路５０によるプログラムの実行に応じて、表示部５４には文字、画像、および音声などによって動作状態およびメッセージなどが表示される。

表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数で又は複数箇所に設置され、例えば、ＬＣＤ、ＬＥＤ、および発音素子などの組み合わせにより構成されている。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭなどで構成される。

モードダイヤルスイッチ６０は、例えば、システム制御回路５０の動作モードをプログラムＡＥモードなどの自動露出モード、全自動モード、マニュアル露出モード、再生モード、又はＰＣ接続モードなどに切り替える際に用いられる。

シャッターボタン６２が操作途中（半押し）であると、第１のシャッタースイッチＳＷ１がオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御回路５０に与えられる。これによって、システム制御回路５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの撮影準備動作を開始する。

シャッターボタン６２が操作完了（全押し）されると、第２のシャッタースイッチＳＷ２がオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御回路５０に与えられる。これによって、システム制御回路５０は撮像素子１４の信号読み出しからメモリ３０に画像データを書き込む露光処理、画像処理回路２０およびメモリ制御回路２２による演算を用いた現像処理、そして、メモリ３０から画像データを読み出して圧縮伸長回路３２で圧縮を行った後記録媒体２００に画像データを書き込む記録処理などの一連の撮像処理を開始する。操作部６６は各種ボタンおよびタッチパネルなどを有している。

メニューボタンが操作されると、システム制御回路５０は各種設定を行うためのメニュー画面を表示部２８に表示する。ユーザは表示部２８に表示されたメニュー画面を見て、各種ボタンの操作によって直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えている。そして、電源制御部８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部３９は上記の検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、所定の電圧を必要な期間の間記録媒体２００および２１０を含む各部に供給する。

電源８６はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。そして、電源８６はコネクタ８２および８４によって電源制御部８０に接続される。

インタフェース（Ｉ／Ｆ）９０および９４はそれぞれ記録媒体２００および２１０とのインタフェースである。

同様に、インタフェース９４はコネクタ９６によって記録媒体２１０に備えられたコネクタ２１６に接続される。記録媒体２１０はインタフェース２１４および記録部２１２を有しており、記録部２１２として半導体メモリ又は磁気ディスクが用いられる。

記録媒体着脱検知部９８は、コネクタ９２および９６にそれぞれ記録媒体２００および２１０が装着されているか否かを検知して、その結果をシステム制御回路５０に通知する。

なお、図示の例では、記録媒体を装着するインタフェースおよびコネクタが２系統備えられているが、記録媒体を装着するインタフェースおよびコネクタは、単数又は複数のいずれでもよい。また、互いに異なる規格のインタフェースおよびコネクタを組み合わせて備えるようにしてよい。インタフェースおよびコネクタとして、例えば、ＰＣＭＣＩＡカード又はＣＦ（コンパクトフラッシュ（登録商標））カードなどの規格に準拠したものを用いるようにしてもよい。

インタフェース９０および９４、そして、コネクタ９２および９６としてＰＣＭＣＩＡカード又はＣＦカードなどの規格に準拠したものを用いた場合には、ＬＡＮカード、モデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、又はＰＨＳなどの通信カードを接続することによって、他のコンピュータ又はプリンタなどの周辺機器との間で画像データおよび画像データに付属した管理情報を転送することができる。

通信部１１０は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、又は無線通信などに係る各種通信処理を行う。コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０をプリンタなどの外部機器と接続する。コネクタ１１２にプリンタが接続された場合、例えば、記録媒体２００に記録された画像ファイル（画像データ）がプリンタに転送されて、ＰＣなどを用いることなく直接プリンタによって画像の印刷を行うことができる。

光学ファインダ１０４を用いれば、画像表示部２８による電子ファインダ機能を使用することなく撮影を行うことが可能である。また、光学ファインダ１０４には表示部５４の一部に表示される表示内容の一部、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、および露出補正表示が表示される。

システム制御回路５０は、モードダイヤルスイッチ６０が撮影可能なモードにおいて電源８６のオンが行われると、各種撮影準備動作を行う。そして、撮影準備動作が完了すると、システム制御回路５０はメモリ制御回路２２を制御して画像表示部２８にスルー画像を表示する。

ここで、スルー画像とは、静止画を撮影する前後においてファインダ機能を実行するため撮像素子１４によって撮像された画像のことをいう。スルー画像表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、およびメモリ制御回路２２を介して画像表示メモリ２４に逐次書き込まれた画像データが、メモリ制御回路２２およびＤ／Ａ変換器２６を介して画像表示部２８に逐次送られる。これによって、電子ビューファインダ（ＥＶＦ）機能が行われる。

図２は、図１に示す撮像装置１００による撮影動作を説明するためのフローチャートである。について説明する。なお、図２に示す処理は、システム制御回路５０が不揮発性メモリ５６に記録されたプログラムを、ＲＡＭなどのメモリ５２のワークエリアに展開して実行することによって行われる。

システム制御回路５０はシャッターボタン６２が半押しされて、第１のシャッタースイッチＳＷ１がオンとなったか否かを判定する（ステップＳ２０１）。第１のシャッタースイッチＳＷ１がオンでないと（ステップＳ２０１においてＮＯ）、システム制御回路５０は待機する。

一方、第１のシャッタースイッチＳＷ１がオンとなると（ステップＳ２０１において、ＹＥＳ）、システム制御回路５０は測距制御部４２を制御して測距処理を行い、撮影レンズ１０の焦点を被写体に合わせる。そして、システム制御回路５０は測光処理を行なって絞り値およびシャッター時間を決定する（ステップＳ２０２）。

続いて、システム制御回路５０はシャッターボタン６２の半押しが解除されて、第１のシャッタースイッチＳＷ１がオフ（つまり、ＳＷ１解除）となったか否かを判定する（ステップＳ２０３）。第１のシャッタースイッチＳＷ１が解除されると（ステップＳ２０３において、ＹＥＳ）、システム制御回路５０はステップＳ２０１の処理に戻る。

第１のシャッタースイッチＳＷ１が解除さないと（ステップＳ２０３において、ＮＯ）、システム制御回路５０はシャッターボタン６２が全押しされて、第２のシャッタースイッチＳＷ２がオンとなったか否かを判定する（ステップＳ２０４）。第２のシャッタースイッチＳＷ２がオンでないと（ステップＳ２０４において、ＮＯ）、システム制御回路５０はステップＳ２０３の処理に戻る。

第２のシャッタースイッチＳＷ２がオンとなると（Ｓ２０４において、ＹＥＳ）、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、およびメモリ制御回路２２を介して或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影の結果得られた画像データを書き込む露光処理を行う。さらに、システム制御回路５０はメモリ制御回路２２、そして、必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理を行う（ステップＳ２０５）。これら露光処理および現像処理は撮影処理と呼ばれる。

次に、システム制御回路５０はメモリ制御回路２２を介して画像処理回路２０を制御して、入力された画像データのボケ領域の検出を行う（ステップＳ２０６）。ボケ領域の検出の当たっては既知の手法が用いられる。例えば、コントラストが低い領域を簡易的にボケ領域として検出するようにしてもよい。

さらには、画像処理回路２０はシステム制御回路５０の制御下で、入力された画像データにソフトウェア処理によるぼかし処理を施して、当該ぼかし処理を施した領域をボケ領域とするようにしてもよい。

ぼかし処理に用いられる手法は既知の手法を用いるようにすればよく、例えば、画像データ（基画像データ）から画像全体にぼかし処理を施したぼかし画像データを生成する。そして、画像処理回路２０は基画像データに付随する距離情報および色情報を検出して、少なくとも距離情報に基づいて情報に基づいてメインとなる被写体の領域と背景の領域を分ける。続いて、メインの被写体領域を基画像データとし、背景領域（つまり、特定の領域）をぼかし画像データとして画像合成を行う。

なお、画像合成の際に合成比率を変化させてボケの強さ（ボケレベル）を変更するようにしてもよい。例えば、メインの被写体領域との距離が遠い背景領域ほどぼかし画像データの比率を高くしてボケレベルを強くしてもよいし、メインの被写体領域との距離が近い背景領域ほどぼかし画像データの比率を低くしてボケレベルを弱くしてもよい。さらには、ぼかし処理を施す際に、ぼかし処理の手法を変えてボケの種類の異なる画像を生成するようにしてもよい。

次に、システム制御部５０は、メモリ３０に書き込まれた画像データを読み出して、画像処理回路２０によって当該画像データのトリミング処理を行う（ステップＳ２０７）。そして、システム制御回路５０はトリミング処理後の画像データをメモリ３０に書き込む。この際、ボケ具合（ぼかし具合を含む）に応じて、システム制御回路５０はトリミング処理の範囲を変える。なお、トリミング処理後の画像データは１枚でもよいし、複数枚でもよい。

ここで、ボケ具合には、例えば、トリミング処理の範囲に占めるボケ領域の割合、ボケ領域の位置、ボケ領域におけるボケの度合いを示すボケレベル、およびボケの種類などがある。具体的には、システム制御回路５０は次の（１）〜（４）の処理を行う。

（１）トリミング処理の範囲内に占めるボケ領域の割合をメインの被写体に応じて変化させる。

例えば、被写体が人物であるか花であるかに応じて、トリミング処理の範囲に含まれるボケ領域の割合を変化させることが考えられる。花は接近して撮影されることが多いため、ボケ領域の割合を少なめにし、人物は上半身が映るようにある程度離れて撮影されることが多いため、ボケ領域の割合を多くする。被写体が人物であるか花であるかの判定は、画像を解析することで判断しても良いし、ポートレートモードやマクロモードなどの撮影モードに応じて判断するようにしてもよい。

（２）メインの被写体が向いている方向にボケ領域が含まれやすくする。

例えば、正面を向いている人物であれば、その人物の左右に均等にボケ領域が含まれるようにし、右を向いている人物であれば、その人物の左側よりも右側に位置するボケ領域の割合が多くなるようにトリミング処理の範囲を設定する。

（３）ボケレベルの高い領域を含む構図が優先的に選ばれやすくする。

例えば、人物の左側の後方に木が存在し、右側の後方に遠方の山が存在する場合には、より遠くに位置する山のほうが木よりもボケレベルは高くなる。そのため、木よりも山が存在するボケ領域の割合が多くなるようにトリミング処理の範囲を設定する。

このようにして、システム制御回路５０は入力された画像データに応じて選ばれやすい構図を変えるようにする。

なお、トリミング処理の範囲を変更する際には、例えば、トリミング処理の範囲にボケ領域が含まれるようにトリミング処理の範囲の大きさは変えずにその位置を変えるようにしてもよく、ボケ領域が含まれるようにトリミング処理の範囲を広げるようにしてもよい。

続いて、システム制御回路５０は、メモリ３０に書き込まれた画像データを読み出して、メモリ制御回路２２、そして、必要に応じて画像処理回路２０を用いて各種画像処理を行う。続いて、システム制御回路５０は圧縮伸長回路３２を用いて設定されたモードに応じた画像圧縮処理を行った後、記録媒体２００又は２１０に画像データの書き込みを行う記録処理を実行して（ステップＳ２０８）、撮影動作を終了する。

このように、本発明の第１の実施形態では、撮影の結果得られた画像データにおけるボケ領域を検出して、ボケ具合に応じて適切なトリミング範囲を決定するようにしたので、ユーザを煩わせることなく良好なトリミング画像を得ることができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備える撮像装置の一例について説明する。なお、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。

第２の実施形態による撮像装置では、図２に示すステップＳ２０７のトリミング処理が第１の実施形態による撮像装置と異なる。ここでは、トリミング処理の際には切り出す構図を決定するため評価値が用いられる。切り出す構図を決定する際、切り出す構図のアスペクト比、画素数、および座標などを決定する必要がある。これらアスペクト比、画素数、および座標を決定する際には、複数の切り出す構図の候補のそれぞれに対して評価値を、例えば、１から１００のように算出して、最終的に各評価値を総合して一つ又は所定数の切り出す構図を決定する。

一例として、アスペクト評価値、画素数評価値、および切り出し座標評価値を、被写体を示す被写体情報と切り出す構図に係る情報に応じて算出し、全ての評価値を乗算して最終評価値を算出する。

なお、最終評価値が毎回同一の値にならないようにランダム値を乗算するようにしてもよく、被写体が人物であるか否かなどの被写体の種類に応じて評価値を変動させるようにしてもよい。

アスペクト評価値を、例えば、被写体の形状に応じて変える手法があり、被写体が縦長であれば、縦長のアスペクト比の評価値が高くなるようにする。また、画素数評価値を、例えば、切り出し構図中の被写体の占める割合に応じて変える手法がある。切り出し構図中の被写体の大きさの望ましい範囲が予め設定されており、被写体の大きさがこの予め設定された範囲に比べて大きすぎるか又は小さすぎる場合には、画素数評価値を小さくする。

さらに、切り出し座標評価値を、切り出し構図中の被写体の重心位置に応じて変える手法があり、被写体の重心位置が切り出す構図の縦横のいずれかを三分割した座標近傍にある場合又は縦横のいずれかの中央近傍にある場合に、切り出し座標評価値を高くする。

複数のトリミング画像を生成する際には、最終評価値（総合評価値ともいう）の高いものから順に選択するようにしてもよい。

第２の実施形態では、例えば、構図の画素数評価値を算出する際、同一の画素数であってもボケの有無に応じて評価値を変えることができる。

図３は、本発明の第２の実施形態による撮像装置における評価値の決定の一例を説明するための図である。

図３では、基画像データとトリミング枠との関係が示されており、基画像データ（基画像）３０には、メイン被写体３１、サブ１被写体３２、およびサブ２被写体３３が存在し、トリミング領域３４でメイン被写体３１にピントを合わせるものとする。そして、メイン被写体３１以外はボケ領域であるとする。

この場合、トリミング領域３４のサイズであるトリミングサイズとメイン被写体３１についてトリミング領域３４に含まれる領域であるトリミング被写体領域のサイズ（トリミング被写体領域サイズ）との比に応じて、システム制御回路５０は画素数評価値を算出する。トリミング被写体領域サイズは正確な面積ではなく、トリミング被写体（つまり、トリミング被写体領域）内に含まれる最大サイズの矩形面積のように簡易的なものとしてもよい。

ここで被写体サイズ比を次のように定義する。

被写体サイズ比＝トリミング被写体領域サイズ／トリミングサイズ
図４は、本発明の第２の実施形態による撮像装置で行われる画素評価値の算出を説明するための図である。

図４には、被写体サイズ比と評価値との関係が示されており、閾値Ｔｈ１＞閾値Ｔｈ１’、そして、閾値Ｔｈ２＞閾値Ｔｈ２’とすることによってボケなし画像よりボケ画像の方が背景領域の大きい構図において評価値が大きくなりやすくなって、ボケた背景が切り出す構図に入りやすくなる。これによって、主題が際立った構図になりやすくなる。

このように、本発明の第２の実施形態では、ボケの有無に応じて定量的に評価を行ってトリミング範囲を決定することができる。

なお、第２の実施形態では、ボケの有無に応じて評価値を決定するようにしたが、さらにボケ具合に応じて図４に示すパラメータ（つまり、閾値）を変化させるようにしてもよい。また、同様にして、アスペクト比および切り出し座標を決定する際においてもボケの有無またはボケ具合に応じたパラメータを準備して、これら評価値を変動させるようにしてもよい。

上述の説明から明らかなように、図１に示す例においては、少なくとも画像処理回路２０およびシステム制御回路５０が画像処理装置を構成する。そして、画像処理回路２０およびシステム制御回路５０はボケ領域検出手段、トリミング手段、および距離情報取得手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
４０ 露光制御部
４２ 測距制御部
４４ ズーム制御部
５０ システム制御回路
６０ モードダイヤルスイッチ
６２ シャッターボタン

Claims (15)

1. 画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミング手段を有し、
   前記トリミング手段は、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする画像処理装置。
2. 画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミング手段を有し、
   前記トリミング手段は、前記画像データに含まれる被写体が人物である場合に、前記トリミング範囲のうち前記被写体が向いている方向における前記ボケ領域の割合を、前記被写体が向いていない方向における前記ボケ領域の割合より多くすることを特徴とする画像処理装置。
3. 画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミング手段を有し、
   前記トリミング手段は、前記画像データに含まれる被写体の背景に、ボケのレベルが異なる複数の背景の領域が存在する場合には、ボケのレベルが高い方の背景の領域の割合が多くなるように前記トリミング範囲を設定することを特徴とする画像処理装置。
4. 前記トリミング手段は、複数のトリミング範囲の候補のそれぞれに対して評価値を求め、当該求めた評価値に基づいて、前記トリミング範囲を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記トリミング手段は、前記トリミング範囲の候補に含まれる被写体のアスペクト比、前記画像において検出されたメインとなる被写体が占める領域の割合、および前記被写体の重心位置の少なくともいずれかを用いて前記評価値を求めることを特徴とする請求項４に記載の画像処理装置。
6. 画像データが示す画像に複数のトリミング範囲を設定し、設定した複数のトリミング範囲のそれぞれに対して評価値を求め、前記複数のトリミング範囲のうち、前記評価値が高いものから順に一つ又は複数の所定数のトリミング範囲を選択し、該選択したトリミング範囲に応じて前記画像の一部の領域を切り出してトリミング処理を行うトリミング手段を有し、
   前記トリミング手段は、前記トリミング範囲に含まれる被写体領域のサイズと該トリミング範囲のサイズ比に基づいて前記評価値を求め、前記サイズ比が所定の範囲である場合には、前記トリミング範囲の背景にボケ領域を含む場合の方を、前記トリミング範囲の背景にボケ領域を含まない場合に比べて前記評価値を大きくすることを特徴とする画像処理装置。
7. 前記画像を撮影した際の被写体と撮像装置との距離を示す距離情報を取得する距離情報取得手段を備え、
   前記ボケ領域は、前記距離情報に応じてぼかし処理が施された領域であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像データをトリミング処理する画像処理装置の制御方法であって、
   前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを有し、
   前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする制御方法。
9. 画像データをトリミング処理する画像処理装置の制御方法であって、
   前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを有し、
   前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合に、前記トリミング範囲のうち前記被写体が向いている方向における前記ボケ領域の割合を、前記被写体が向いていない方向における前記ボケ領域の割合より多くすることを特徴とする制御方法。
10. 画像データをトリミング処理する画像処理装置の制御方法であって、
    前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを有し、
    前記トリミングステップでは、前記画像データに含まれる被写体の背景に、ボケのレベルが異なる複数の背景の領域が存在する場合には、ボケのレベルが高い方の背景の領域の割合が多くなるように前記トリミング範囲を設定することを特徴とする制御方法。
11. 画像データをトリミング処理する画像処理装置の制御方法であって、
    前記画像データが示す画像に複数のトリミング範囲を設定し、設定した複数のトリミング範囲のそれぞれに対して評価値を求め、前記複数のトリミング範囲のうち、前記評価値が高いものから順に一つ又は複数の所定数のトリミング範囲を選択し、該選択したトリミング範囲に応じて前記画像の一部の領域を切り出してトリミング処理を行うトリミングステップを有し、
    前記トリミングステップでは、前記トリミング範囲に含まれる被写体領域のサイズと該トリミング範囲のサイズ比に基づいて前記評価値を求め、前記サイズ比が所定の範囲である場合には、前記トリミング範囲の背景にボケ領域を含む場合の方を、前記トリミング範囲の背景にボケ領域を含まない場合に比べて前記評価値を大きくすることを特徴とする制御方法。
12. 画像データをトリミング処理する画像処理装置で用いられる制御プログラムであって、
    画像処理装置が備えるコンピュータに、
    前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを実行させ、
    前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合の前記トリミング範囲に含まれる前記ボケ領域の割合を、前記画像データに含まれる被写体が人物でない場合の前記トリミング範囲に含まれる前記ボケ領域の割合より多くすることを特徴とする制御プログラム。
13. 画像データをトリミング処理する画像処理装置で用いられる制御プログラムであって、
    画像処理装置が備えるコンピュータに、
    前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを実行させ、
    前記トリミングステップでは、前記画像データに含まれる被写体が人物である場合に、前記トリミング範囲のうち前記被写体が向いている方向における前記ボケ領域の割合を、前記被写体が向いていない方向における前記ボケ領域の割合より多くすることを特徴とする制御プログラム。
14. 画像データをトリミング処理する画像処理装置で用いられる制御プログラムであって、
    画像処理装置が備えるコンピュータに、
    前記画像データが示す画像に含まれるボケ領域に基づいて、前記画像データのトリミング処理を行うトリミング範囲を設定し、当該トリミング範囲に応じて前記画像の一部の領域を切り出して前記トリミング処理を行うトリミングステップを実行させ、
    前記トリミングステップでは、前記画像データに含まれる被写体の背景に、ボケのレベルが異なる複数の背景の領域が存在する場合には、ボケのレベルが高い方の背景の領域の割合が多くなるように前記トリミング範囲を設定することを特徴とする制御プログラム。
15. 画像データをトリミング処理する画像処理装置で用いられる制御プログラムであって、
    画像処理装置が備えるコンピュータに、
    前記画像データが示す画像に複数のトリミング範囲を設定し、設定した複数のトリミング範囲のそれぞれに対して評価値を求め、前記複数のトリミング範囲のうち、前記評価値が高いものから順に一つ又は複数の所定数のトリミング範囲を選択し、該選択したトリミング範囲に応じて前記画像の一部の領域を切り出してトリミング処理を行うトリミングステップを実行させ、
    前記トリミングステップでは、前記トリミング範囲に含まれる被写体領域のサイズと該トリミング範囲のサイズ比に基づいて前記評価値を求め、前記サイズ比が所定の範囲である場合には、前記トリミング範囲の背景にボケ領域を含む場合の方を、前記トリミング範囲の背景にボケ領域を含まない場合に比べて前記評価値を大きくすることを特徴とする制御プログラム。

Images