JP4493632B2

JP4493632B2 - トリミング装置および方法並びにプログラム

Info

Publication number: JP4493632B2
Application number: JP2006217855A
Authority: JP
Inventors: 哲矢辻
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-08-10
Filing date: 2006-08-10
Publication date: 2010-06-30
Anticipated expiration: 2026-08-10
Also published as: JP2008042801A

Description

本発明は、人物を含む画像を、とくにパノラマサイズにトリミングするための構図を決定するトリミング装置および方法並びにトリミング方法をコンピュータに実行させるためのプログラムに関するものである。

人物を撮影する際には、好ましい構図となるように撮影を行うが、撮影時に構図を適切に定めることは熟練を要するため、撮影により取得された画像が必ずしも所望とする構図を有するものとはならない場合が多い。例えば、全く関係ない人物が画像に含まれたり、人物が画像の端に位置してしまう場合がある。このため、人物を含む画像から人物を含む領域を自動的にトリミングする手法が提案されている（特許文献１参照）。この手法によれば、撮影時に構図を適切に定めることができなくても、好ましい位置に人物を含む構図を有する画像を得ることができる。
特開２００５−２６７４５４号公報

ところで、画像をパノラマサイズにトリミングすることにより、広がり感のある画像を得ることができる。しかしながら、上記特許文献１の手法では、パノラマサイズのトリミングを意識したものではないため、トリミング後の画像を広がり感のあるものとすることができない。とくに、特許文献１の手法では、人物の顔領域のみに基づいてトリミングする構図を決定しているため、画像の広がり感に影響を与える画像中に含まれる空領域がトリミング枠から欠落してしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、とくに空領域を考慮して画像をパノラマサイズにトリミングできるようにすることを目的とする。

本発明によるトリミング装置は、少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から空領域を検出する空領域検出手段と、
前記空領域が検出された場合には前記主要被写体の位置および前記空領域の位置に基づいて、前記空領域が検出されなかった場合には前記主要被写体の位置に基づいて、前記画像をパノラマサイズにトリミングする構図を決定する構図決定手段とを備えたことを特徴とするものである。

「パノラマサイズ」としては、画像のアスペクト比が２．０以上、好ましくは２．４程度となるサイズである。

顔検出手段は画像から顔を検出するものであればその手法を問わず、例えばブースティングアルゴリズム、ＳＶＭ（Support Vector Machine）アルゴリズム等公知の顔検出技術を用いることができる。なお、画像に複数の顔画像が含まれているとき、画像上にあるすべての顔画像を検出するものである。また、あらかじめ設定された設定しきい値以上の大きさを有する顔画像のみを検出するようにしてもよい。

ここで、本発明においては、画像が指定されたパノラマサイズのアスペクト比となることを前提として、以下の条件に基づいて構図を決定することが好ましい。

（１）主要被写体および画像の最も下位に位置する最下位顔の下方に、主要被写体の顔の平均サイズ（平均顔サイズ）の１．５倍以上のスペースを確保する。なお、アスペクト比の制約により１．５倍以上のスペースを確保することができない場合には、最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず、最下位顔を残す。
（２）空領域が検出された場合に最小限の空領域を残す。
（３）サイズが大きい非主要被写体を欠落させる。
（４）主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。

なお、上記（１）〜（４）の条件は、数字が若い順に優先度が高いものであり、同時に複数の条件を満たさない場合には、数字が若い条件を優先的に採用して構図を決定するものとする。

本発明によるトリミング方法は、少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から空領域を検出し、
前記空領域が検出された場合には前記主要被写体の位置および前記空領域の位置に基づいて、前記空領域が検出されなかった場合には前記主要被写体の位置に基づいて、前記画像をパノラマサイズにトリミングする構図を決定することを特徴とするものである。

なお、本発明によるトリミング方法をコンピュータに実行させるためのプログラムとして提供してもよい。

画像に空領域が含まれる場合、空領域は画像に広がり感を与える重要な被写体となる。

本発明によれば、画像に含まれる少なくとも１つの人物の顔が検出され、少なくとも１つの顔から少なくとも１つの主要被写体が特定され、さらに、画像から空領域が検出される。そして、空領域が検出された場合には、主要被写体の位置および空領域の位置に基づいて画像がパノラマサイズにトリミングされる。一方、空領域が検出されなかった場合には、主要被写体の位置に基づいて画像がパノラマサイズにトリミングされる。このため、空領域が含まれる場合には空領域を欠落させないようにトリミングする構図を決定でき、これにより、広がり感のあるパノラマサイズの画像を得ることができる。

以下、図面を参照して本発明のトリミング装置の実施形態について説明する。図１は本実施形態によるトリミング装置の構成を示す概略ブロック図である。なお、図１に示すトリミング装置１の構成は、補助記憶装置に読み込まれたトリミングプログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。なお、このトリミングプログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。またはトリミングプログラムをデジタルカメラ内のプロセッサにより実装することにより実現されたものであってもよい。

トリミング装置１は、画像Ｐから少なくとも１つの顔画像ＦＰを検出する顔検出部１０と、少なくとも１つの顔画像から少なくとも１つの主要被写体ＭＰを特定する主要被写体特定部１２と、画像Ｐから空領域を検出する空領域検出部１４と、空領域の検出の有無に応じて画像をパノラマサイズにトリミングする構図を決定する構図決定部１６とを備える。

なお、パノラマサイズとしては、アスペクト比が２．０以上、好ましくは２．４程度を有するものとする。

顔検出部１０は、画像Ｐの入力を受け付け、例えばShihong LAO等、「高速全方向顔検出」、画像の識別・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月等に開示されたアダブースティングアルゴリズムを用いた顔検出、ＳＶＭ（Support Vector Machine）アルゴリズム、Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔を検出する。

なお、複数の顔が画像Ｐに含まれている場合には、顔検出部１０はすべての顔画像ＦＰを検出する。

主要被写体特定部１２は、画像Ｐから検出されたすべての顔画像ＦＰの大きさを算出して最も大きいサイズの顔画像ＦＰを特定し、最も大きいサイズの顔画像ＦＰの所定の割合（例えば０．４倍）を設定しきい値として算出する。そして、この設定しきい値以上のサイズを有する顔画像を主要被写体候補ＣＰとして検出する（第１の検出処理）。例えば図２に示すように、画像Ｐ内に３つの顔画像ＦＰ１〜ＦＰ３が存在する場合、顔検出部１０は３つの顔画像ＦＰ１〜ＦＰ３を検出する。主要被写体特定部１２は、３つの顔画像ＦＰ１〜ＦＰ３のうちサイズが最も大きい顔画像ＦＰ１を特定し、顔画像ＦＰ１の０．４倍の大きさを設定しきい値として算出し、設定しきい値以上のサイズを有する顔領域ＦＰ１、ＦＰ２を主要被写体候補ＣＰとして検出する。なお、設定値未満のサイズを有する顔領域ＦＰ３は非主要被写体とされる。

また、主要被写体特定部１２は、第１の検出処理により検出された主要被写体候補ＣＰについてボケの程度を解析し、相対的にボケた顔を非主要被写体とする（第２の検出処理）。例えば図３に示すように画像Ｐ内に主要被写体候補ＣＰとして検出された３つの顔画像ＦＰ４〜ＦＰ６が存在する場合において、顔画像ＦＰ４，ＦＰ５にのみ焦点が合い、最も手前に位置する顔画像ＦＰ６には焦点が合っていないとすると、顔画像ＦＰ６は顔画像ＦＰ４，ＦＰ５と比較してボケたものとなる。したがって、主要被写体特定部１２は、顔画像ＦＰ６を非主要被写体として検出し、顔画像ＦＰ４,ＦＰ５を主要被写体候補ＣＰとして検出する。なお、ボケの程度の解析は、顔画像ＦＰに対して周波数解析を施し、高周波成分の現れ方を比較することに行う等、公知の種々の手法を用いることができる。

さらに、主要被写体特定部１２は、第１および第２の検出処理により検出された主要被写体候補ＣＰのうち、画像Ｐの左右端近傍に位置し、横を向いている主要被写体候補ＣＰを非主要被写体とする（第３の検出処理）。例えば図４に示すように画像Ｐ内に主要被写体候補ＣＰとして検出された５つの顔画像ＦＰ７〜ＦＰ１１が存在する場合において、すべての顔画像ＦＰ７〜ＦＰ１１に対して両目を検出する処理を行い、両目が検出されなかった顔画像ＦＰ１０，ＦＰ１１を、横を向いているものとして非主要被写体として検出し、両目が検出された顔画像ＦＰ７〜ＦＰ９を、正面を向いているものとして主要被写体候補ＣＰとして検出する。なお、画像Ｐの左右端の検出は、画像Ｐに含まれる顔画像ＦＰの頭頂部方向を向き、顔画像ＦＰのサイズを大きさとするベクトルを求め、ベクトルをすべての顔画像ＦＰについて加算することにより得られる加算ベクトルの方向に直交する方向を横方向とし、横方向にエッジを探索することにより行う。

そして、主要被写体特定部１２は、第１から第３の検出処理により検出された主要被写体候補ＣＰの数をカウントし、主要被写体候補ＣＰが３未満の場合にはすべての主要被写体候補ＣＰを主要被写体ＭＰとして検出する。主要被写体候補ＣＰが３以上の場合には、画像Ｐの左右端に離れて写っている主要被写体候補ＣＰを非主要被写体とするか否かを判断し、非主要被写体と判断する主要被写体候補ＣＰ以外の主要被写体候補ＣＰを主要被写体ＭＰとして検出する（第４の検出処理）。

例えば、図５に示すように画像Ｐが主要被写体候補ＣＰとして検出された５つの顔画像ＦＰ１２〜ＦＰ１６を含む場合において、すべての顔画像ＦＰ１２〜ＦＰ１６の位置について画像Ｐの横方向における標準偏差σ０を算出する。そして、両端にある顔画像ＦＰ１２，ＦＰ１６をそれぞれ除いた場合における標準偏差σ１，σ２をそれぞれ算出する。すなわち、顔画像ＦＰ１３〜ＦＰ１６の位置の標準偏差σ１と、顔画像ＦＰ１２〜ＦＰ１５の位置の標準偏差σ２とをそれぞれ算出する。

そして、標準偏差σ１，σ２と標準偏差σ０と比較し、標準偏差σ０との差が所定値未満である標準偏差を求めた際に画像の左端または右端にある主要被写体候補ＣＰを非主要被写体とする。図５に示す画像の場合、標準偏差σ１は標準偏差σ０よりも小さくなるが、標準偏差σ２は標準偏差σ０とそれほど変わらない。したがって、顔画像ＦＰ１２を非主要被写体とし、顔画像ＦＰ１３〜ＦＰ１６を主要被写体ＭＰとして検出する。

空領域検出部１４は、画像Ｐにおける主要被写体ＭＰおよびその人体領域以外の背景領域から空領域を検出する。具体的には画像Ｐの上方の領域において空の色または空のテクスチャを有する領域を空領域として検出する。なお、空領域が検出された場合、空領域が画像Ｐの横方向の全体に亘るものであるか否かも同時に判定し、さらに、空領域の境界の位置も検出する。

具体的には、画像Ｐの上方から見た空領域の最下点における画素を画像中の横方向の全体に亘って求め、求めた画素の集合を境界線として検出する。そして、境界線が画像Ｐの横方向の全体に亘って存在する場合には空領域が画像Ｐの横方向の全体に亘って存在すると判定する。また、境界線が画像Ｐの横方向の全体に亘って存在しない場合には空領域が画像Ｐの横方向の全体に亘って存在しないと判定する。

例えば図６（ａ）に示す画像Ｐについては空領域ＳＫＹ１が横方向の全体に亘り、図６（ｂ）に示す画像Ｐについては空領域ＳＫＹ１が全体に亘らないものと判定する。

なお、検出した顔画像の向きに応じて画像Ｐが縦長であるか横長であるかが分かるため、縦長の場合には画像を９０度回転し、回転した画像の上方の領域において空領域を検出する処理を行う。

以下、構図決定部１６が行う構図決定の処理について説明する。ここで、本実施形態における構図の決定の処理は、元の画像の横方向の長さを変更することなく、縦方向の範囲を決定することにより、パノラマサイズのトリミング枠の構図を決定するものである。

このため、まず、構図決定部１６は、画像Ｐから空領域ＳＫＹ１が検出されたか否かを判断する。そして、検出されなかった場合および検出された場合のそれぞれについて、別個にパノラマサイズのトリミング枠の構図を決定する。

まず、空領域が検出されなかった場合の構図の決定について説明する。空領域が検出されなかった場合には、パノラマサイズのアスペクト比となることを前提として、以下の条件を満たすように構図を決定する。

（１）主要被写体および画像の最も下位に位置する最下位顔の下方に、主要被写体の顔の平均サイズ（平均顔サイズ）の１．５倍以上のスペースを確保する。なお、アスペクト比の制約により１．５倍以上のスペースを確保することができない場合には、最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず、最下位顔を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。

なお、上記（１）〜（３）の条件は、数字が若い順に優先度が高いものであり、同時に複数の条件を満たさない場合には、数字が若い条件を優先的に採用して構図を決定するものとする。

また、条件（３）は三分割構図法に基づく構図を決定するための条件である。以下、三分割構図法について説明する。図７は三分割構図法を説明するための図である。図７に示すように三分割構図法は、画像を縦横それぞれ三分割することにより得られる分割線の４つの交点Ｃ１〜Ｃ４に画像中の主要被写体ＭＰを配置することにより、見た目に好ましい構図を有する画像が得られるという経験に基づく構図の決定方法である。

具体的には、画像Ｐ中の最も上位にある（すなわち画像Ｐを見たときに最も上端に近い）最上位主要被写体の上下のスペースが１：２に配分されるようにトリミング枠の上端および下端を決定する。

以下、空領域を含まない場合の構図の決定の具体例について説明する。まず、図８に示すように２つの主要被写体ＭＰ１、ＭＰ２を含む画像Ｐの場合、条件（１）を満たすように画像Ｐ中の最も下位にある（すなわち画像Ｐを見たときに最も下端に近い）最下位主要被写体（図８の場合主要被写体ＭＰ１，ＭＰ２の双方）の下方に、主要被写体ＭＰ１、ＭＰ２の平均顔サイズの１．５倍のスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。なお、条件（２）については、非主要被写体を含まないため考慮されない。

次に条件（３）を満たすように構図を決定する。具体的には、２つの主要被写体ＭＰ１，ＭＰ２がともに画像Ｐ中最上位にあるため、主要被写体ＭＰ１，ＭＰ２の上下のスペースＳＰ２，ＳＰ３が１：２に配分されるようにトリミング枠の構図を決定する。これにより、最も目につく最上位主要被写体が三分割構図法における交点に配置されるように構図が決定される。

ここで、条件（３）を満たすトリミング枠の構図は、条件（１）をも満たすこととなる。したがって、最終的に条件（３）を満たすトリミング枠Ｔに構図が決定される。

また、図９に示すように複数の主要被写体ＭＰが含まれる画像Ｐの場合、条件（１）を満たすように画像Ｐ中の最下位主要被写体ＭＰ１の下方に、すべての主要被写体ＭＰの平均顔サイズの１．５倍のスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。なお、条件（２）については、非主要被写体を含まないため考慮されない。次に条件（３）を満たすように構図を決定する。具体的には、画像Ｐ中の最上位主要被写体ＭＰ２の上下のスペースが１：２に配分されるようにトリミング枠の構図を決定する。

これにより決定されるトリミング枠の上端は画像Ｐの上端よりも上方にある。したがって、条件（３）については無視され、最終的に条件（１）により決定された位置が下端となるようにトリミング枠Ｔの構図を決定する。

次に、空領域が検出された場合の構図の決定について説明する。空領域が検出された場合には、パノラマサイズのアスペクト比となることを前提として、以下の条件を満たすように構図を決定する。

（１）主要被写体および画像の最も下位に位置する最下位顔の下方に、主要被写体の顔の平均サイズ（平均顔サイズ）の１．５倍以上のスペースを確保する。なお、アスペクト比の制約により１．５倍以上のスペースを確保することができない場合には、最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず、最下位顔を残す。
（２）最小限の空領域を残す。
（３）サイズが大きい非主要被写体を欠落させる。
（４）主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。

ここで、空領域が画像Ｐの横方向の全体に亘るということは、空領域の境界線に接している被写体（建物、人物等）がすべて画像Ｐに含まれていることを意味する。このような場合、その被写体の一部分が欠落することは構図上好ましくない。

したがって、空領域が画像Ｐの横方向の全体に亘って存在する場合には、空領域の境界線の最上位の位置から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。なお、所定のスペースとしては、横長画像の場合は短辺の１／８を、縦長画像の場合には長辺の１／８を最低限確保する。

また、空領域が画像Ｐの横方向の全体に亘って存在しない場合には、空領域の境界線に接している被写体の一部が欠落していることを意味する。この場合、空領域をすべて欠落させると画像の奥行き感が失われてしまい好ましくない。

したがって、空領域が存在する場合には、空領域の境界線の最下位の位置から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。なお、所定のスペースとしては、横長画像の場合は短辺の１／８を、縦長画像の場合には長辺の１／８を最低限確保する。

以下、空領域を含む場合の構図の決定の具体例について説明する。まず、図１０に示すように１つの主要被写体ＭＰ１および空領域ＳＫＹ１を含む画像Ｐの場合、条件（１）を満たすように画像Ｐ中の最下位主要被写体（図１０の場合主要被写体ＭＰ１）の下方に、主要被写体ＭＰ１の平均顔サイズ（ここでは主要被写体ＭＰ１の顔のサイズ）の１．５倍のスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。しかしながら、トリミング枠の下端は画像Ｐの下端を超えてしまう。このように、主要被写体ＭＰ１の下方に平均顔サイズの１．５倍のスペースを確保できないことから、条件（１）については、最下位顔すなわち主要被写体ＭＰ１を残すために、主要被写体ＭＰ１の下端をトリミング枠の下端に決定する。

次に、図１０に示す画像Ｐは空領域ＳＫＹ１が画像の横方向の全体に亘るため、条件（２）については、空領域ＳＫＹ１の境界線の最上位の位置Ｘ１から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。これにより、図１０に示す画像Ｐの場合、空領域ＳＫＹ１の境界線の最上位の位置Ｘ１から所定のスペースＳＰ１１上方の位置をトリミング枠の上端に決定する。なお、これにより決定されるトリミング枠の下端は主要被写体ＭＰ１を欠落させるものとはならないため、条件（１）をも満たすこととなる。

次に、条件（３）については、非主要被写体を含まないため考慮されない。次に条件（４）を満たすように構図を決定する。具体的には、画像Ｐ中の最上位主要被写体ＭＰ１の上下のスペースＳＰ２，ＳＰ３が１：２に配分されるようにトリミング枠の構図を決定する。なお、これにより決定されるトリミング枠は、条件（２）を満たさないこととなる。このため、条件（４）は無視され、条件（２）を満たすトリミング枠が最終的なトリミング枠Ｔに決定される。

また、図１１に示すように１つの主要被写体ＭＰ１および空領域ＳＫＹ１を含む画像Ｐの場合、条件（１）を満たすように画像Ｐ中の最下位主要被写体（図１１の場合主要被写体ＭＰ１）の下方に、主要被写体ＭＰ１の平均顔サイズ（ここでは主要被写体ＭＰ１の顔のサイズ）の１．５倍のスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。

次に、図１１に示す画像Ｐは空領域ＳＫＹ１が画像の横方向の全体に亘るため、条件（２）については、空領域ＳＫＹ１の境界線の最上位の位置Ｘ１から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。これにより、図１１に示す画像Ｐの場合、空領域ＳＫＹ１の境界線の最上位の位置Ｘ１から所定のスペースＳＰ１１上方の位置をトリミング枠の上端に決定する。なお、これにより決定されるトリミング枠の下端は条件（１）を満たさない。このため、条件（２）については無視され、条件（１）が優先されることとなる。

次に、条件（３）については、非主要被写体を含まないため考慮されない。次に条件（４）を満たすように構図を決定する。具体的には、画像Ｐ中の最上位主要被写体ＭＰ１の上下のスペースＳＰ２，ＳＰ３が１：２に配分されるようにトリミング枠の構図を決定する。なお、これにより決定されるトリミング枠の上端は空領域ＳＫＹ１を含まないため、条件（２）を満たさないこととなる。このため、空領域ＳＫＹ１の一部を含み、かつ条件（１）を満たすトリミング枠が最終的なトリミング枠Ｔに決定される。

また、図１２に示すように２つの主要被写体ＭＰ１，ＭＰ２および空領域ＳＫＹ１を横方向の一部に含む画像Ｐの場合、条件（１）を満たすように画像Ｐ中の最下位主要被写体（図１２の場合主要被写体ＭＰ１）の下方に、主要被写体ＭＰ１、ＭＰ２の平均顔サイズの１．５倍のスペースＳＰ１が確保される位置をトリミング枠の下端に決定する。

次に、図１２に示す画像Ｐは空領域ＳＫＹ１が画像の横方向の全体に亘るものではないため、条件（２）については、空領域ＳＫＹ１の境界線の最下位の位置Ｘ２から上方に所定のスペースを確保するようにトリミング枠の上端を決定する。これにより、図１２に示す画像Ｐの場合、空領域ＳＫＹ１の境界線の最下位の位置Ｘ２から所定のスペースＳＰ１１上方の位置をトリミング枠の上端に決定する。なお、これにより決定されるトリミング枠の下端は条件（１）を満たすこととなる。

次に、条件（３）については、非主要被写体を含まないため考慮されない。次に条件（４）を満たすように構図を決定する。具体的には、画像Ｐ中の最上位主要被写体ＭＰ１の上下のスペースＳＰ２，ＳＰ３が１：２に配分されるようにトリミング枠の構図を決定する。ここで、これにより決定されるトリミング枠の上端は空領域ＳＫＹ１を含まないため、条件（２）を満たさないこととなる。このため、条件（２）を満たすトリミング枠が最終的なトリミング枠Ｔに決定される。

このように、本実施形態においては、空領域が含まれる場合には空領域を欠落させないようにトリミングする構図を決定できるため、トリミングにより広がり感のあるパノラマサイズの画像を得ることができる。

なお、上記実施形態において、トリミングを行う画像の上端および下端の近傍の双方に主要被写体ＭＰが含まれる場合には、パノラマサイズにてトリミングを行うことは非常に難しい。したがって、主要被写体ＭＰが画像の上端および下端の近傍の双方に分散して含まれる場合には、トリミングを行わないようにすることが好ましい。

本実施形態によるトリミング装置の構成を示す概略ブロック図顔検出および主要被写体の特定を説明するための図主要被写体の特定を説明するための図（その１）主要被写体の特定を説明するための図（その２）主要被写体の特定を説明するための図（その３）空領域の検出を説明するための図三分割構図法を説明するための図構図の決定の具体例を説明するための図（その１）構図の決定の具体例を説明するための図（その２）構図の決定の具体例を説明するための図（その３）構図の決定の具体例を説明するための図（その４）構図の決定の具体例を説明するための図（その５）

符号の説明

１トリミング装置
１０顔検出部
１２主要被写体特定部
１４空領域検出部
１６構図決定部

Claims

少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から空領域を検出する空領域検出手段と、
前記空領域が検出された場合には、前記主要被写体の位置および前記空領域の位置に基づいて、前記空領域が検出されなかった場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の顔のうち前記画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（３）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をパノラマサイズにトリミングする構図を決定する構図決定手段とを備えたことを特徴とするトリミング装置。
少なくとも１の人物を含む画像のトリミング装置であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する顔検出手段と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する主要被写体特定手段と、
前記画像から空領域を検出する空領域検出手段と、
前記空領域が検出された場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）最小限の前記空領域を残す。
（３）サイズが大きい非主要被写体を欠落させる。
（４）前記主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（４）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記空領域が検出されなかった場合には前記主要被写体の位置に基づいて、前記画像をパノラマサイズにトリミングする構図を決定する構図決定手段とを備えたことを特徴とするトリミング装置。
少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から空領域を検出し、
前記空領域が検出された場合には前記主要被写体の位置および前記空領域の位置に基づいて、前記空領域が検出されなかった場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の顔のうち前記画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（３）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をパノラマサイズにトリミングする構図を決定することを特徴とするトリミング方法。
少なくとも１の人物を含む画像のトリミング方法であって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出し、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定し、
前記画像から空領域を検出し、
前記空領域が検出された場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）最小限の前記空領域を残す。
（３）サイズが大きい非主要被写体を欠落させる。
（４）前記主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（４）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記空領域が検出されなかった場合には前記主要被写体の位置に基づいて、前記画像をパノラマサイズにトリミングする構図を決定することを特徴とするトリミング方法。
少なくとも１の人物を含む画像のトリミング方法をコンピュータに実行させるためのプログラムであって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する手順と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する手順と、
前記画像から空領域を検出する手順と、
前記空領域が検出された場合には前記主要被写体の位置および前記空領域の位置に基づいて、前記空領域が検出されなかった場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）サイズが大きい非主要被写体を欠落させる。
（３）前記主要被写体の顔のうち前記画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（３）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記画像をパノラマサイズにトリミングする構図を決定する手順とを有することを特徴とするプログラム。
少なくとも１の人物を含む画像のトリミング方法をコンピュータに実行させるためのプログラムであって、
前記画像に含まれる少なくとも１つの前記人物の顔を検出する手順と、
前記少なくとも１つの顔から少なくとも１つの主要被写体を特定する手順と、
前記画像から空領域を検出する手順と、
前記空領域が検出された場合には、
（１）前記主要被写体および前記画像の最も下位に位置する最下位顔の下方に、前記主要被写体の平均顔サイズの１．５倍以上のスペースを確保し、アスペクト比の制約により前記１．５倍以上のスペースを確保することができない場合には、前記最下位顔の下方に平均顔サイズの１．５倍のスペースを確保せず前記最下位顔を残す。
（２）最小限の前記空領域を残す。
（３）サイズが大きい非主要被写体を欠落させる。
（４）前記主要被写体の顔のうち写真画像の最も上位に位置する最上位顔の上下に１：２のスペースを確保する。
の条件について、前記（１）〜（４）の順に優先度を設定し、同時に複数の条件を満たさない場合には、優先度が高い条件を優先的に採用して、前記空領域が検出されなかった場合には前記主要被写体の位置に基づいて、前記画像をパノラマサイズにトリミングする構図を決定する手順とを有することを特徴とするプログラム。