JP4493631B2

JP4493631B2 - トリミング装置および方法並びにプログラム

Info

Publication number: JP4493631B2
Application number: JP2006217854A
Authority: JP
Inventors: 哲矢辻
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-08-10
Filing date: 2006-08-10
Publication date: 2010-06-30
Anticipated expiration: 2026-08-10
Also published as: JP2008042800A

Description

本発明は、人物を含む画像をトリミングするための構図を決定するトリミング装置および方法並びにトリミング方法をコンピュータに実行させるためのプログラムに関するものである。

人物を撮影する際には、好ましい構図となるように撮影を行うが、撮影時に構図を適切に定めることは熟練を要するため、撮影により取得された画像が必ずしも所望とする構図を有するものとはならない場合が多い。例えば、全く関係ない人物が画像に含まれたり、人物が画像の端に位置してしまう場合がある。このため、人物を含む画像から人物を含む領域を自動的にトリミングする手法が提案されている（特許文献１参照）。この手法によれば、撮影時に構図を適切に定めることができなくても、好ましい位置に人物を含む構図を有する画像を得ることができる。
特開２００５−２６７４５４号公報

しかしながら、上記特許文献１の手法では、人物の顔領域のみに基づいてトリミングする構図を決定している。このため、人物の体の一部がトリミング枠から欠落してしまったり、画像にランドマーク等の重要な背景が含まれている場合にその背景がトリミング枠から欠落してしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、人体や重要な背景を欠落させることなくトリミングを行うことができるようにすることを目的とする。

本発明によるトリミング装置は、少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出する情報検出手段と、
前記主要被写体の位置、並びに前記人体領域の位置、前記空領域の位置、前記消失点の位置および前記高彩度領域の位置の少なくとも１つに基づいて、前記画像をトリミングする構図を決定する構図決定手段とを備えたことを特徴とするものである。

顔検出手段は画像から顔を検出するものであればその手法を問わず、例えばブースティングアルゴリズム、ＳＶＭ（Support Vector Machine）アルゴリズム等公知の顔検出技術を用いることができる。なお、画像に複数の顔画像が含まれているとき、画像上にあるすべての顔画像を検出するものである。また、あらかじめ設定された設定しきい値以上の大きさを有する顔画像のみを検出するようにしてもよい。

なお、本発明によるトリミング装置においては、前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断する判断手段をさらに備え、
前記構図決定手段は、前記画像が非集合写真画像である場合、前記人物の顔のうち前記画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置することを目標として前記構図を決定し、前記画像が集合写真画像である場合、前記主要被写体が略中央に位置することを目標として前記構図を決定する手段としてもよい。

ここで、画像が非集合写真画像の場合、指定されたアスペクト比となることを前提として、以下の条件を満たすように構図を決定することが好ましい。

（１）主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）主要被写体の人体の上下左右に、主要被写体の顔の平均サイズ（平均顔サイズ）以上のスペースを確保する。
（４）空領域が検出された場合に最小限の空領域を残す。
（５）消失点が検出された場合に消失点の周囲の所定範囲の領域を残す。
（６）高彩度領域が検出された場合に高彩度領域を残す。
（７）主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
（８）主要被写体の左右に同一のスペースを確保する。

なお、上記（１）〜（８）の条件は、数字が若い順に優先度が高いものであり、同時に複数の条件を満たさない場合には、数字が若い条件を優先的に採用して構図を決定するものとする。

また、画像が集合写真画像の場合、指定されたアスペクト比となることを前提として、以下の条件を満たすように構図を決定することが好ましい。

（１）主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）主要被写体の人体の左右に同一のスペースを確保する。
（４）主要被写体の人体の上下左右に、主要被写体の顔の平均顔サイズ以上のスペースを確保する。
（５）空領域が検出された場合に最小限の空領域を残す。
（６）消失点が検出された場合に消失点の周囲の所定範囲の領域を残す。
（７）高彩度領域が検出された場合に高彩度領域を残す。
（８）主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。

本発明によるトリミング方法は、少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出し、
前記主要被写体の位置、並びに前記人体領域の位置、前記空領域の位置、前記消失点の位置および前記高彩度領域の位置の少なくとも１つに基づいて、前記画像をトリミングする構図を決定することを特徴とするものである。

なお、本発明によるトリミング方法をコンピュータに実行させるためのプログラムとして提供してもよい。

画像に含まれる主要被写体の人体領域が欠落することは構図上好ましくない。また、空領域、消失点および高彩度領域は、画像上において見る者の目を引くため、画像から欠落すると撮影者の意図とは異なる構図となってしまうおそれがある。

本発明によれば、画像に含まれる少なくとも１つの人物の顔が検出され、少なくとも１つの顔から少なくとも１つの主要被写体が特定され、さらに、画像から主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つが検出される。そして、主要被写体の位置、並びに人体領域の位置、空領域の位置、消失点の位置および高彩度領域の位置の少なくとも１つに基づいて、画像をトリミングする構図が決定される。このため、人物の顔のみに基づいてトリミングする構図を決定する場合と比較して、人体領域の位置、空領域の位置、消失点の位置および高彩度領域の位置が考慮されることから、画像に含まれる人体、空、消失点および高彩度領域が欠落しないようにトリミングする構図を決定することができる。

以下、図面を参照して本発明のトリミング装置の実施形態について説明する。図１は本実施形態によるトリミング装置の構成を示す概略ブロック図である。なお、図１に示すトリミング装置１の構成は、補助記憶装置に読み込まれたトリミングプログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。なお、このトリミングプログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。またはトリミングプログラムをデジタルカメラ内のプロセッサにより実装することにより実現されたものであってもよい。

トリミング装置１は、画像Ｐから少なくとも１つの顔画像ＦＰを検出する顔検出部１０と、少なくとも１つの顔画像から少なくとも１つの主要被写体ＭＰを特定する主要被写体特定部１２と、画像Ｐから主要被写体ＭＰの人体領域、空領域、消失点および高彩度領域を検出する情報検出部１４と、主要被写体ＭＰの位置、並びに人体領域の位置、空領域の位置、消失点の位置および高彩度領域の位置の少なくとも１つの情報に基づいて、画像をトリミングする構図を決定する構図決定部１６とを備える。

情報検出部１４は、画像Ｐから主要被写体ＭＰの人体領域を検出する人体領域検出部１４Ａ、画像Ｐに含まれる空領域を検出する空領域検出部１４Ｂ、画像Ｐに含まれる消失点を検出する消失点検出部１４Ｃ、および画像Ｐに含まれる高彩度領域を検出する高彩度領域検出部１４Ｄを備える。

顔検出部１０は、画像Ｐの入力を受け付け、例えばShihong LAO等、「高速全方向顔検出」、画像の識別・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月等に開示されたアダブースティングアルゴリズムを用いた顔検出、ＳＶＭ（Support Vector Machine）アルゴリズム、Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔を検出する。

なお、複数の顔が画像Ｐに含まれている場合には、顔検出部１０はすべての顔画像ＦＰを検出する。

主要被写体特定部１２は、画像Ｐから検出されたすべての顔画像ＦＰの大きさを算出して最も大きいサイズの顔画像ＦＰを特定し、最も大きいサイズの顔画像ＦＰの所定の割合（例えば０．４倍）を設定しきい値として算出する。そして、この設定しきい値以上のサイズを有する顔画像を主要被写体候補ＣＰとして検出する（第１の検出処理）。例えば図２に示すように、画像Ｐ内に３つの顔画像ＦＰ１〜ＦＰ３が存在する場合、顔検出部１０は３つの顔画像ＦＰ１〜ＦＰ３を検出する。主要被写体特定部１２は、３つの顔画像ＦＰ１〜ＦＰ３のうちサイズが最も大きい顔画像ＦＰ１を特定し、顔画像ＦＰ１の０．４倍の大きさを設定しきい値として算出し、設定しきい値以上のサイズを有する顔領域ＦＰ１、ＦＰ２を主要被写体候補ＣＰとして検出する。なお、設定値未満のサイズを有する顔領域ＦＰ３は非主要被写体とされる。

また、主要被写体特定部１２は、第１の検出処理により検出された主要被写体候補ＣＰについてボケの程度を解析し、相対的にボケた顔を非主要被写体とする（第２の検出処理）。例えば図３に示すように画像Ｐ内に主要被写体候補ＣＰとして検出された３つの顔画像ＦＰ４〜ＦＰ６が存在する場合において、顔画像ＦＰ４，ＦＰ５にのみ焦点が合い、最も手前に位置する顔画像ＦＰ６には焦点が合っていないとすると、顔画像ＦＰ６は顔画像ＦＰ４，ＦＰ５と比較してボケたものとなる。したがって、主要被写体特定部１２は、顔画像ＦＰ６を非主要被写体として検出し、顔画像ＦＰ４,ＦＰ５を主要被写体候補ＣＰとして検出する。なお、ボケの程度の解析は、顔画像ＦＰに対して周波数解析を施し、高周波成分の現れ方を比較することに行う等、公知の種々の手法を用いることができる。

さらに、主要被写体特定部１２は、第１および第２の検出処理により検出された主要被写体候補ＣＰのうち、画像Ｐの左右端近傍に位置し、横を向いている主要被写体候補ＣＰを非主要被写体とする（第３の検出処理）。例えば図４に示すように画像Ｐ内に主要被写体候補ＣＰとして検出された５つの顔画像ＦＰ７〜ＦＰ１１が存在する場合において、すべての顔画像ＦＰ７〜ＦＰ１１に対して両目を検出する処理を行い、両目が検出されなかった顔画像ＦＰ１０，ＦＰ１１を、横を向いているものとして非主要被写体として検出し、両目が検出された顔画像ＦＰ７〜ＦＰ９を、正面を向いているものとして主要被写体候補ＣＰとして検出する。なお、画像Ｐの左右端の検出は、画像Ｐに含まれる顔画像ＦＰの頭頂部方向を向き、顔画像ＦＰのサイズを大きさとするベクトルを求め、ベクトルをすべての顔画像ＦＰについて加算することにより得られる加算ベクトルの方向に直交する方向を横方向とし、横方向にエッジを探索することにより行う。

そして、主要被写体特定部１２は、第１から第３の検出処理により検出された主要被写体候補ＣＰの数をカウントし、主要被写体候補ＣＰが３未満の場合にはすべての主要被写体候補ＣＰを主要被写体ＭＰとして検出する。主要被写体候補ＣＰが３以上の場合には、画像Ｐの左右端に離れて写っている主要被写体候補ＣＰを非主要被写体とするか否かを判断し、非主要被写体と判断する主要被写体候補ＣＰ以外の主要被写体候補ＣＰを主要被写体ＭＰとして検出する（第４の検出処理）。

例えば、図５に示すように画像Ｐが主要被写体候補ＣＰとして検出された５つの顔画像ＦＰ１２〜ＦＰ１６を含む場合において、すべての顔画像ＦＰ１２〜ＦＰ１６の位置について画像Ｐの横方向における標準偏差σ０を算出する。そして、両端にある顔画像ＦＰ１２，ＦＰ１６をそれぞれ除いた場合における標準偏差σ１，σ２をそれぞれ算出する。すなわち、顔画像ＦＰ１３〜ＦＰ１６の位置の標準偏差σ１と、顔画像ＦＰ１２〜ＦＰ１５の位置の標準偏差σ２とをそれぞれ算出する。

そして、標準偏差σ１，σ２と標準偏差σ０と比較し、標準偏差σ０との差が所定値未満である標準偏差を求めた際に画像の左端または右端にある主要被写体候補ＣＰを非主要被写体とする。図５に示す画像の場合、標準偏差σ１は標準偏差σ０よりも小さくなるが、標準偏差σ２は標準偏差σ０とそれほど変わらない。したがって、顔画像ＦＰ１２を非主要被写体とし、顔画像ＦＰ１３〜ＦＰ１６を主要被写体ＭＰとして検出する。

情報検出部１４の人体領域検出部１４Ａは、主要被写体特定部１２が特定した主要被写体ＭＰの位置およびサイズ（すなわち顔画像のサイズ）に基づいて、顔検出部１０と同様にブースティング、ＳＶＭの手法を用いて主要被写体ＭＰの人体領域を検出する。なお、複数の主要被写体ＭＰが検出されている場合には、すべての主要被写体ＭＰの人体領域を検出する。

空領域検出部１４Ｂは、画像Ｐにおける主要被写体ＭＰおよびその人体領域以外の背景領域から空領域を検出する。具体的には画像Ｐの上方の領域において空の色または空のテクスチャを有する領域を空領域として検出する。なお、空領域が検出された場合、空領域が画像Ｐの横方向の全体に亘るものであるか否かも同時に判定し、さらに、空領域の境界の位置も検出する。

具体的には、画像Ｐの上方から見た空領域の最下点における画素を画像中の横方向の全体に亘って求め、求めた画素の集合を境界線として検出する。そして、境界線が画像Ｐの横方向の全体に亘って存在する場合には空領域が画像Ｐの横方向の全体に亘って存在すると判定する。また、境界線が画像Ｐの横方向の全体に亘って存在しない場合には空領域が画像Ｐの横方向の全体に亘って存在しないと判定する。

例えば図６（ａ）に示す画像Ｐについては空領域ＳＫＹ１が横方向の全体に亘り、図６（ｂ）に示す画像Ｐについては空領域ＳＫＹ１が全体に亘らないものと判定する。

なお、検出した顔画像の向きに応じて画像Ｐが縦長であるか横長であるかが分かるため、縦長の場合には画像を９０度回転し、回転した画像の上方の領域において空領域を検出する処理を行う。

消失点検出部１４Ｃは、画像Ｐの消失点を検出する。ここで、消失点とは画像Ｐ中に含まれる直線が最も多く交わる点のことであり、以下のようにして求めることができる。まず特開平６−３１４３３９号公報に記載された方法のように、画像中の直線成分を求める。この方法は、画像Ｐに対して微分処理を施して画像中のエッジ成分を抽出し、抽出されたエッジ成分の点列に対してハフ変換を施し、ハフ変換の関数値にしたがうヒストグラムを作成し、そのヒストグラムの頻度のピーク点を検出して、画像中からその検出されたピーク点に対応する直線成分を抽出するものである。そして、抽出された直線成分の交点を求め、最も多くの直線が交点となっている点を消失点として検出する。例えば画像Ｐが図７に示すものの場合、図７に示す点Ｌを消失点として検出する。

高彩度領域検出部１４Ｄは、画像Ｐにおける主要被写体ＭＰ、人体領域および空領域（空領域が検出された場合）以外の背景領域から高彩度領域を検出する。具体的には、背景領域における各画素の彩度を算出し、所定のしきい値以上の彩度を有し、かつ一定以上の面積を有する領域を高彩度領域として算出する。なお、所定のしきい値は色相に応じて設定してもよく、画像Ｐ内の最大彩度に対する所定割合の値としてもよい。

なお、例えばプールに浮かんでいる人物の画像や、彩度の高い壁を背景としている画像の場合、高彩度領域が画像Ｐの全体に亘ってしまうこととなる。このため、背景領域を複数のブロックに分割し、各ブロックの彩度のヒストグラムを算出し、各ブロックのヒストグラムにおける分散が比較的狭い範囲にある場合には、背景領域の略全体が高彩度であるとして、画像Ｐに含まれる高彩度となる背景を高彩度領域として検出しないようにすることが好ましい。

以下、構図決定部１６が行う構図決定の処理について説明する。まず、構図決定部１６は、主要被写体ＭＰの数に応じて画像Ｐが集合写真の画像（集合写真画像）であるか非集合写真の画像（非集合写真画像）であるか否かを判断する。本実施形態においては、主要被写体ＭＰが４以上あれば集合写真画像、３以下であれば非集合写真画像と判断する。そして、構図決定部１６は、集合写真画像および非集合写真画像のそれぞれについて、空領域、消失点および高彩度領域の有無に応じてトリミング枠の構図を決定する。以下、集合写真画像および非集合写真画像のそれぞれの構図の決定について個別に説明を行う。

まず、非集合写真画像の構図の決定について説明する。非集合写真画像については、指定されたアスペクト比となることを前提として、以下の条件を満たすように構図を決定する。

なお、上記（１）〜（８）の条件は、数字が若いほど優先度が高いものであり、同時に複数の条件を満たさない場合には、数字が若い条件を優先的に採用して構図を決定するものとする。また、アスペクト比は不図示の入力部から構図決定部１６にあらかじめ入力されているものとする。

ここで、三分割構図法について説明する。図８は三分割構図法を説明するための図である。図８に示すように三分割構図法は、画像を縦横それぞれ三分割することにより得られる分割線の４つの交点Ｃ１〜Ｃ４に画像中の主要被写体ＭＰを配置することにより、見た目に好ましい構図を有する画像が得られるという経験に基づく構図の決定方法である。

具体的には、主要被写体ＭＰの人体領域を欠落させないように、画像Ｐ中の最も上位にある（すなわち画像Ｐを見たときに最も上端に近い）最上位主要被写体の上下のスペースが１：２に配分されるようにトリミング枠の上端および下端を決定する。

以下、非集合写真画像の構図の決定の具体例について説明する。まず、図９に示すように非主要被写体を含まないが、３つの主要被写体ＭＰ１〜ＭＰ３を含む画像Ｐの場合、条件（１）を満たすように３つの主要被写体ＭＰ１〜ＭＰ３の人体領域を残し、さらに、条件（３）を満たすように画像Ｐ中の最も下位にある（すなわち画像Ｐを見たときに最も下端に近い）最下位主要被写体ＭＰ１の人体領域の下方に、主要被写体ＭＰ１〜ＭＰ３の平均顔サイズのスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。また、左端の主要被写体ＭＰ１に左側、および右端の主要被写体ＭＰ３の右側のそれぞれに平均顔サイズ分のスペースＳＰ１が確保される位置をトリミング枠の左端および右端に決定する。

ここで、図９に示す画像Ｐにおいては、非主要被写体、空領域、消失点および高彩度領域は検出されていない。このため、次に条件（７）を満たすように構図を決定する。具体的には、右端の主要被写体ＭＰ３が画像Ｐ中最上位にあるため、主要被写体ＭＰ３の上下のスペースＳＰ２，ＳＰ３が１：２に配分されるようにトリミング枠の上端および下端を決定する。これにより、最も目につく最上位主要被写体が三分割構図法における交点に配置されるように構図が決定される。

このように条件（７）を満たすようにトリミング枠を決定した場合、指定されたアスペクト比とするためには、左端および右端の主要被写体ＭＰ１，ＭＰ３の左側および右側に平均顔サイズよりも多くのスペースが必要となる。このため、条件（８）を満たすように左端および右端に存在する主要被写体ＭＰ１，ＭＰ３のそれぞれの人体領域からトリミング枠の左端および右端までのスペースＳＰ４，ＳＰ５が左右で等しくなり、かつ指定されたアスペクト比となるようにトリミング枠の構図を決定する。

ここで、条件（７）および（８）を満たすトリミング枠の構図は、条件（１）〜（３）をも満たすこととなる。したがって、条件（７）および（８）を満たすトリミング枠Ｔに構図が決定される。

また、図１０に示すように非主要被写体を含まないが、３つの主要被写体ＭＰ１〜ＭＰ３が含まれる画像Ｐの場合、左端の主要被写体ＭＰ１の人体領域が途中でとぎれている。この場合、条件（１）および（３）を満たすことができない。また、図１０に示す画像Ｐにおいては、非主要被写体、空領域、消失点および高彩度領域は検出されていない。したがって、図１０に示す画像Ｐにおいては、トリミング枠の下端を画像Ｐの下端と一致させて上記三分割構図法によりトリミング枠の上端および下端を決定する。これにより、図１０に示すようにトリミング枠Ｔの構図が決定される。

また、画像Ｐ中の最下位主要被写体の人体領域の下方に、画像Ｐに含まれる主要被写体ＭＰの平均顔サイズ分のスペースが確保される位置をトリミング枠の下端に決定し、最上位主要被写体ＭＰ２の上下のスペースが１：２に配分されるように構図を決定した場合、図１１に示すように、トリミング枠の上端が画像Ｐの上端を超えてしまう場合がある。このような場合には、画像Ｐの上端からはみ出したトリミング枠のスペースＳＰ６の分、トリミング枠の上端のみを下方に移動して、トリミング枠の上端を画像Ｐの上端と一致させてトリミング枠の上端および下端を決定する。そしてスペースＳＰ６の分、左右のスペースＳＰ４，ＳＰ５を調整することにより指定されたアスペクト比となるようにトリミング枠Ｔの構図を決定する。

次に、集合写真画像の構図の決定について説明する。集合写真画像の構図の決定に際しては、指定されたアスペクト比となることを前提として、以下の条件を満たすように構図を決定する。

以下、集合写真画像の構図の決定の具体例について説明する。まず、図１２に示すように非主要被写体を含まないが、多数の主要被写体ＭＰを含む画像Ｐの場合、条件（１）を満たすようにすべての主要被写体ＭＰの人体領域を残し、さらに条件（３），（４）を満たすように左端および右端の主要被写体ＭＰ１，ＭＰ２の左右において、すべての主要被写体ＭＰの顔の平均顔サイズ分のスペースＳＰ１１を確保する位置をトリミング枠の左端および右端に決定する。また、最上位および最下位の主要被写体の上方および下方においても平均顔サイズ分のスペースＳＰ１１を確保する位置をトリミング枠の上端および下端に決定する。

ここで、図１２に示す画像Ｐにおいては、非主要被写体、空領域、消失点および高彩度領域は検出されていない。このため、次に条件（８）を満たすように構図を決定する。具体的には最上位の主要被写体ＭＰ３の上下のスペースＳＰ１５，ＳＰ１６が１：２に配分されるようにトリミング枠の上端および下端を決定する。このように条件（８）を満たすトリミング枠の上端および下端の位置は、条件（４）も満たすため、条件（８）を満たすトリミング枠の上端および下端の位置が採用される。

なお、このようにスペースＳＰ１５，ＳＰ１６を確保しても、トリミング枠が指定されたアスペクト比とはならないため、左端および右端の主要被写体ＭＰ１，ＭＰ２の左右のスペースが平均顔サイズ以上確保されるようにトリミング枠Ｔの構図を決定する。

ここで、図１３に示すように、左端の主要被写体ＭＰ１の左側に平均顔サイズ分のスペースを確保できない場合には、すべての主要被写体ＭＰの人体領域を残した上で、左端の主要被写体ＭＰ１から画像Ｐの左端までのスペースと同一のスペースを右端の主要被写体ＭＰ２の右側に確保し、指定されたアスペクト比となるようにトリミング枠Ｔの構図を決定する。

なお、非集合写真画像および集合写真画像において空領域が検出された場合、非集合写真画像については条件（４）を、集合写真画像については条件（５）を満たすように、空領域を考慮してトリミング枠の構図を決定する。

ここで、空領域が画像Ｐの横方向の全体に亘るということは、空領域の境界線に接している被写体（建物、人物等）がすべて画像Ｐに含まれていることを意味する。このような場合、その被写体の一部分が欠落することは構図上好ましくない。

したがって、空領域が画像Ｐの横方向の全体に亘って存在する場合には、空領域の境界線の最上位の位置から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。なお、所定のスペースとしては、横長画像の場合は短辺の１／８を、縦長画像の場合には長辺の１／８を最低限確保する。これにより、図１４に示すような非集合写真の画像Ｐの場合、空領域ＳＫＹ１の境界線の最上位の位置Ｘ１から所定のスペースＳＰ２１上方の位置をトリミング枠の上端に決定する。

また、空領域が画像Ｐの横方向の全体に亘って存在しない場合には、空領域の境界線に接している被写体の一部が欠落していることを意味する。この場合、空領域をすべて欠落させると画像の奥行き感が失われてしまい好ましくない。

したがって、空領域が存在する場合には、空領域の境界線の最下位の位置から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。なお、所定のスペースとしては、横長画像の場合は短辺の１／８を、縦長画像の場合には長辺の１／８を最低限確保する。これにより、図１５に示すような非集合写真の画像Ｐの場合、空領域ＳＫＹ１の境界線の最下位の位置Ｘ１から所定のスペースＳＰ２１上方の位置をトリミング枠の上端に決定する。

なお、上記のようにトリミング枠の上端を決定した場合において、優先度が高い条件を満たさないこととなる場合には、優先度が高い条件が優先される。例えば、非集合写真画像について、図１４に示すようにトリミング枠の上端を決定することにより、条件（１）〜（３）を満たさないこととなる場合には、条件（４）を満たすように決定したトリミング枠は無視され、条件（１）〜（３）を優先させてトリミング枠の構図を決定する。

また、消失点が検出された場合には、非集合写真画像については条件（５）を、集合写真画像については条件（６）を満たすように、消失点を考慮してトリミング枠を決定する。ここで、消失点が検出された場合、消失点の周囲の領域は画像に奥行き感を与えるのに重要な役割を果たしているため欠落させることは好ましくない。このため、消失点が検出された場合には、消失点を中心とした所定領域（消失点領域とする）を欠落させないようにトリミング枠を決定する。ここで、所定領域としては、消失点を中心として、左右に長辺の１／５の長さを、上下に短辺の１／４の長さを有する領域とする。

なお、図１６に示すように消失点Ｌ０が画像の左右端に近い位置にあるために、消失点領域ＬＡ０が画像Ｐの左端からはみ出してしまう場合には、画像Ｐの左端をトリミング枠の左端とする。

ここで、図１６に示す非集合写真の画像Ｐのように主要被写体ＭＰ１および消失点Ｌ０を含む場合、主要被写体ＭＰ１の人体が途中でとぎれているため、条件（１）および（３）の下端の条件を満たすことができない。このような場合、まず、主要被写体ＭＰ１の上および左右に平均顔サイズ分（この場合、主要被写体ＭＰ１の顔サイズ）のスペースが確保される位置をトリミング枠の左端および右端に決定する。

また、図１６に示す画像Ｐにおいては、非主要被写体および空領域は検出されていない。また、高彩度領域が検出されているがそれは人体領域と一致している。このため、主要被写体ＭＰ１の人体領域を残し、かつ条件（５）を満たすべく消失点領域ＬＡ１が欠落しないようにトリミング枠を決定する。

次に条件（７）を満たすように、トリミング枠の下端を画像Ｐの下端と一致させて上記三分割構図法によりトリミング枠の上端および下端を決定する。なお、このようにトリミング枠の上端および下端を決定することにより消失点領域ＬＡ１が欠落してしまう場合には、条件（７）については無視する。そして、主要被写体ＭＰ１の左右に平均顔サイズ以上のスペースを確保して指定されたアスペクト比となるようにトリミング枠を決定する。これにより、図１６に示すように主要被写体ＭＰ１および消失点を含む画像Ｐは結果としてトリミングされないこととなる。

なお、上記のように消失点領域を考慮してトリミング枠を決定した場合において、優先度が高い条件を満たさないこととなる場合には、優先度が高い条件が優先される。例えば、非集合写真画像について、消失点領域を考慮してトリミング枠を決定することにより、条件（１）〜（４）を満たさないこととなる場合には、条件（５）を満たすように決定したトリミング枠は無視され、条件（１）〜（４）を優先させてトリミング枠の構図を決定する。

また、高彩度領域が検出された場合には、非集合写真画像については条件（６）を、集合写真画像については条件（７）を満たすように、高彩度領域を考慮してトリミング枠を決定する。ここで、高彩度領域は重要な被写体であることが多い。このため、高彩度領域が検出された場合には高彩度領域を欠落させないようにトリミング枠の構図を決定する。これにより、トリミングされた画像をバランスがとれたものとすることができる。

例えば、図１７に示すように非主要被写体を含まないが、主要被写体ＭＰ１の左側に高彩度の模様を有する看板が含まれた非集合写真の画像Ｐの場合、主要被写体ＭＰ１の人体は途中でとぎれているため、条件（１）および（３）の下端の条件を満たすことができない。このような場合、まず、主要被写体ＭＰ１の上および左右に平均顔サイズ分（この場合、主要被写体ＭＰ１の顔サイズ）のスペースが確保される位置をトリミング枠の左端および右端に決定する。

ここで、図１７に示す画像Ｐにおいては、非主要被写体、空領域および消失点は検出されていない。このため、主要被写体ＭＰ１の人体領域を残し、かつ条件（６）を満たすべく高彩度領域Ｈ１が欠落しないようにトリミング枠を決定する。

次に条件（７）を満たすように、トリミング枠の下端を画像Ｐの下端と一致させて上記三分割構図法によりトリミング枠の上端および下端を決定する。なお、このようにトリミング枠の上端および下端を決定することにより高彩度領域Ｈ１が欠落してしまう場合には、条件（７）については無視する。

そして、主要被写体ＭＰ１の左右に平均顔サイズ以上のスペースを確保して指定されたアスペクト比となるようにトリミング枠の構図を決定する。これにより、図１７に示すように主要被写体ＭＰ１および高彩度領域Ｈ１を欠落させないようにトリミング枠Ｔの構図を決定することができる。

なお、上記のように高彩度領域を考慮してトリミング枠を決定した場合においても、優先度が高い条件を満たさないこととなる場合には、優先度が高い条件が優先される。例えば、非集合写真画像について、高彩度領域を考慮してトリミング枠を決定することにより、条件（１）〜（５）を満たさないこととなる場合には、条件（６）を満たすように決定したトリミング枠は無視され、条件（１）〜（５）を優先させてトリミング枠を決定する。

次いで、非主要被写体を含む場合の構図の決定について説明する。例えば、図１８に示すように、主要被写体ＭＰ１、非主要被写体ＮＭ１および空領域を含む画像Ｐの場合、条件（１）を満たすように主要被写体ＭＰ１の人体領域を残し、次いで条件（２）を満たすように非主要被写体ＮＭ１を欠落させることが優先されるため、空領域ＳＫＹ１は非主要被写体ＮＭ１とともに欠落されて、主要被写体ＭＰ１の左右のスペースＳＰ４１，ＳＰ４２が同一となるように、指定されたアスペクト比を有するトリミング枠Ｔが決定される。

また、図１９に示すように複数の主要被写体ＭＰおよび非主要被写体ＮＭ１を含む画像Ｐの場合についても、非主要被写体ＮＭ１が欠落され、かつ主要被写体ＭＰの左右のスペースが同一となるように、指定されたアスペクト比を有するトリミング枠Ｔが決定される。

なお、上記実施形態においては、主要被写体の人体領域、空領域、消失点および高彩度領域のすべてを検出しているが、これらの少なくとも１つを検出し、主要被写体の位置、並びに人体領域の位置、空領域の位置、消失点の位置および高彩度領域の位置の少なくとも１つの情報に基づいて、トリミング枠の構図を決定するようにしてもよい。

この場合、使用する情報に応じて、非集合写真画像および集合写真画像における構図決定のための条件を変更することが好ましい。

本実施形態によるトリミング装置の構成を示す概略ブロック図顔検出および主要被写体の特定を説明するための図主要被写体の特定を説明するための図（その１）主要被写体の特定を説明するための図（その２）主要被写体の特定を説明するための図（その３）空領域の検出を説明するための図消失点の検出を説明するための図三分割構図法を説明するための図構図の決定の具体例を説明するための図（その１）構図の決定の具体例を説明するための図（その２）構図の決定の具体例を説明するための図（その３）構図の決定の具体例を説明するための図（その４）構図の決定の具体例を説明するための図（その５）構図の決定の具体例を説明するための図（その６）構図の決定の具体例を説明するための図（その７）構図の決定の具体例を説明するための図（その８）構図の決定の具体例を説明するための図（その９）構図の決定の具体例を説明するための図（その１０）構図の決定の具体例を説明するための図（その１１）

符号の説明

１トリミング装置
１０顔検出部
１２主要被写体特定部
１４情報検出部
１４Ａ人体領域検出部
１４Ｂ空領域検出部
１４Ｃ消失点検出部
１４Ｄ高彩度領域検出部
１６構図決定部

Claims

少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出する情報検出手段と、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断する判断手段と、
前記画像が非集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の上下左右に、該主要被写体の平均顔サイズ以上のスペースを確保する。
（４）前記空領域が検出された場合に最小限の該空領域を残す。
（５）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（６）前記高彩度領域が検出された場合に該高彩度領域を残す。
（７）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
（８）前記主要被写体の左右に同一のスペースを確保する。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定する構図決定手段とを備えたことを特徴とするトリミング装置。
少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出する情報検出手段と、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断する判断手段と、
前記画像が集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の左右に同一のスペースを確保する。
（４）前記主要被写体の人体の上下左右に、該主要被写体の顔の平均顔サイズ以上のスペースを確保する。
（５）前記空領域が検出された場合に最小限の該空領域を残す。
（６）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（７）前記高彩度領域が検出された場合に該高彩度領域を残す。
（８）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定する構図決定手段とを備えたことを特徴とするトリミング装置。
少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出し、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断し、
前記画像が非集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の上下左右に、該主要被写体の平均顔サイズ以上のスペースを確保する。
（４）前記空領域が検出された場合に最小限の該空領域を残す。
（５）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（６）前記高彩度領域が検出された場合に該高彩度領域を残す。
（７）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
（８）前記主要被写体の左右に同一のスペースを確保する。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定することを特徴とするトリミング方法。
少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出し、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断し、
前記画像が集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の左右に同一のスペースを確保する。
（４）前記主要被写体の人体の上下左右に、該主要被写体の顔の平均顔サイズ以上のスペースを確保する。
（５）前記空領域が検出された場合に最小限の該空領域を残す。
（６）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（７）前記高彩度領域が検出された場合に該高彩度領域を残す。
（８）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定することを特徴とするトリミング方法。
少なくとも１の人物を含む画像のトリミング方法をコンピュータに実行させるためのプログラムであって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する手順と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する手順と、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出する手順と、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断する手順と、
前記画像が非集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の上下左右に、該主要被写体の平均顔サイズ以上のスペースを確保する。
（４）前記空領域が検出された場合に最小限の該空領域を残す。
（５）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（６）前記高彩度領域が検出された場合に該高彩度領域を残す。
（７）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
（８）前記主要被写体の左右に同一のスペースを確保する。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定する手順とを有することを特徴とするプログラム。
少なくとも１の人物を含む画像のトリミング方法をコンピュータに実行させるためのプログラムであって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する手順と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する手順と、
前記画像から前記主要被写体の人体領域、空領域、複数の構造線が１点で交わる消失点および高彩度領域の少なくとも１つを検出する手順と、
前記人物の顔の数に応じて、前記画像が集合写真画像か非集合写真画像かを判断する手順と、
前記画像が集合写真画像である場合、
（１）前記主要被写体およびその人体領域を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の人体の左右に同一のスペースを確保する。
（４）前記主要被写体の人体の上下左右に、該主要被写体の顔の平均顔サイズ以上のスペースを確保する。
（５）前記空領域が検出された場合に最小限の該空領域を残す。
（６）前記消失点が検出された場合に該消失点の周囲の所定範囲の領域を残す。
（７）前記高彩度領域が検出された場合に該高彩度領域を残す。
（８）前記主要被写体の顔のうち画像の最も上位に位置する最上位顔が、三分割構図法における４つの交点のうち上方の２点のいずれかに位置するようにする。
の条件について、前記（１）〜（８）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をトリミングする構図を決定する手順とを有することを特徴とするプログラム。