JP4052128B2 - 画像トリミング装置、画像のトリミング方法、及びプログラム - Google Patents
画像トリミング装置、画像のトリミング方法、及びプログラム Download PDFInfo
- Publication number
- JP4052128B2 JP4052128B2 JP2003015106A JP2003015106A JP4052128B2 JP 4052128 B2 JP4052128 B2 JP 4052128B2 JP 2003015106 A JP2003015106 A JP 2003015106A JP 2003015106 A JP2003015106 A JP 2003015106A JP 4052128 B2 JP4052128 B2 JP 4052128B2
- Authority
- JP
- Japan
- Prior art keywords
- trimming
- image
- procedure
- attention
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のトリミング（画像の一部を切り取り、または切り抜き）を自動で行う、画像トリミング装置、画像のトリミング方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図６、図７または図８に示すように、画像の一部（画像中の注目領域）をトリミングして編集したい場合も多い。
【０００３】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）を切り取る（切り抜く）ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【０００４】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献１「画像合成装置」がある。
特許文献１で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像（主画像）を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【０００５】
【特許文献１】
特開２００２−１００５６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り（切り抜き）、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域（目立つ領域）を目視により確認しながら、注目領域を切り取る（切り抜く）作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像トリミング装置、画像のトリミング方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、画像のトリミングを行う画像トリミング装置であって、トリミングの対象となる画像を読み取る画像読取手段と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手段と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手段と、前記オブジェクト記憶手段に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手段と、トリミング手法を記憶するトリミング手法記憶手段と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手段と、前記トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングするトリミング手段とを具備し、前記トリミング手段が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手段を有することを特徴とする。
このような構成であれば、画像読取手段により、トリミングの対象となる画像を読み取り、注目領域算出手段により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手段（データベースなど）に予めオブジェクト（人間の顔など）を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手段により、オブジェクト記憶手段に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手段により、トリミング手法（トリミング形状など）を予め記憶しておき、トリミング手法決定手段により、注目領域算出手段によって得られた注目度と、オブジェクト指標とに従いトリミング手法を決定する。そして、トリミング手段により、トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
また、このような構成であれば、オブジェクト指標算出手段により求めたオブジェクト指標の値が所定の閾値を超えた領域をすべて含めるようにして画像のトリミングを行う。
これにより、オブジェクトが映っている場所（例えば顔画像など）が切れてしまうのを抑制できる。
【００１０】
また、本発明の画像トリミング装置は、前記トリミング手法記憶手段は、オブジェクト指標に基づいたトリミングのテンプレートと、該テンプレートの適用方法を記憶する手段であることを特徴とする。
このような構成であれば、トリミング手法記憶手段により、オブジェクト指標の値に応じて選択使用される様々なテンプレート（トリミング形状、適用方法などが記述されたテンプレート）が記憶される。
これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【００１１】
また、本発明の画像トリミング装置は、前記トリミング手法決定手段では、オブジェクト指標に基づいて、前記テンプレートからトリミングに使用するテンプレートを決定することを特徴とする。
このような構成であれば、トリミング手法決定手段により、オブジェクト指標の値に応じて、様々なテンプレート（トリミング形状、適用方法などが記述されたテンプレート）から、トリミングに使用する最適なテンプレートを決定する。これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【００１２】
また、本発明の画像トリミング装置は、前記オブジェクト指標算出手段により算出される指標が、顔画像を含むか否か判断するための指標であることを特徴とする。
このような構成であれば、オブジェクト指標算出手段では、予めに人間の顔について学習したオブジェクトモデルを参照し、顔画像であるか否かのオブジェクト指標を算出する。
これにより、顔が含まれて、なおかつ注目される領域が高いものを効果的にトリミングすることできる。
【００１３】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像トリミング装置における画像トリミング方法であって、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順とを含み、前記トリミング手順が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手順を有することを特徴とする。
このような手順であれば、画像読取手順により、トリミングの対象となる画像を読み取り、注目領域算出手順により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手順（データベースなど）に予めオブジェクト（人間の顔など）を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手順により、オブジェクト記憶手順に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手順により、トリミング手法（トリミング形状など）を予め記憶しておき、トリミング手法決定手順により、注目領域算出手順によって得られた注目度と、オブジェクト指標とに従いトリミング手法を決定する。そして、トリミング手順により、トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
【００１４】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像トリミング装置内のコンピュータに、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、該トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定して画像をトリミングするトリミング手順とを実行させるためのプログラム。
【００１５】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１６】
図１は、本発明の画像トリミング装置１００が備える手段の構成例を示すブロック図である。図１に示す画像トリミング装置１００に設けられた各手段は、以下に示す機能を有する。
（１）画像読取手段１０１
画像読取手段１０１は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
【００１７】
（２）注目領域算出手段１０２
注目領域算出手段１０２は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる（誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する）。
【００１８】
図２は、トリミングの処理対象となる第１の画像１１を模式的に示した図であり、図３は、図２に示す画像１１の注目度（誘目度）を算出し、注目領域のパターン画像１２として模式的に示した図であり、花の部分の注目領域１２ａと、人の部分の注目領域１２ｂが、注目度（誘目度）が高いと算出されたものである。
【００１９】
（３）オブジェクト記憶手段１０３
オブジェクト記憶手段１０３では、予め学習されたオブジェクトのモデルを記憶するための手段である。本実施の形態例では、オブジェクトモデルは、顔画像であるか否かが学習されているものとする。オブジェクトモデルは、例えば、ニューラルネットワークで学習されたモデルである。その他、Naive Bayesに代表されるような確率モデルであっても良いし、 M-H. Yang, D. Roth and N. Ahuja「A SNoW based Face Detector 、NIPS-12, Dec, 1999」に発表された手法で学習されたモデルでも良い。
例えば、SNoWの学習方法では、顔画像について、以下のようにしてオブジェクトの学習を行う。
▲１▼顔画像のデータベースを用意する。
▲２▼顔画像でないデータベース（例えば、車、食べ物）などを用意する。
▲３▼顔画像のデータを教師信号‘１’、顔画像でないデータを教師信号‘０’として、上記論文記載のSNoWの学習方法でオブジェクトモデルを繰り返し学習させる。
【００２０】
（４）オブジェクト指標算出手段１０４
オブジェクト指標算出手段１０４では、画像読取手段１０１から得られた画素を、オブジェクトモデルの入力画素分抽出し、オブジェクト指標を求めるスキャン処理を実施する。その後、少しずらした画素を読み取り、同様にオブジェクト指標値を算出し、画像全体に対して処理する。その結果、最もオブジェクト指標が高かった部分をオブジェクト指標算出手段１０４の処理結果として次の処理に渡す。
【００２１】
図４は、図２に示す画像のオブジェクト指標値の算出結果により、最もオブジェクト指標値の高かった領域を示す画像１３の例を示す図である。本実施の形態例では、図２の画像に対して、このオブジェクト指標値の算出処理を適用した結果、図４に示す領域１３ａが最も高かった領域として抽出されたものである。このときのオブジェクト指標値は、「オブジェクト指標値＝g（画像）」として計算されたものとする。
また、本実施の形態の例では、オブジェクト記憶手段１０３では、顔画像であるか否かが学習されたオブジェクトモデルが記憶されているものとし、オブジェクト指標値としては、その画像領域が顔画像であるか否かの指標が算出されるものとする。
また、オブジェクト指標値とは、画像が顔画像であるかの確からしさを表すものであり、“１”が最も顔画像らしい領域、“０”が顔画像でない領域を指し示す指標である。
なお、本実施の形態の例では、オブジェクト指標が最も高かった領域に対して、その領域をオブジェクト位置として決定するが、これに限らず、ある閾値以上の領域をすべてオブジェクト位置として決定してもよい。これにより、例えば、複数の顔画像が含まれる場合に、顔画像の位置をすべて特定できるようになる。
【００２２】
（５）トリミング手法記憶手段１０５
トリミングを行う方法を記憶するための手段であり、トリミング形状（テンプレート）、オブジェクト指標値、画像変換処理方法を記憶する。
【００２３】
図５は、トリミング手法記憶手段１０５に記憶されるデータの例を示す図である。図５に示すように、トリミング手法記憶手段１０５には、トリミング形状（テンプレート）、オブジェクト指標値、画像変換処理方法（拡大縮小、回転の可否）を保存している。
・パターン２１は、丸にトリミングし、顔指標が０．１より低い場合に適用され、拡大縮小は９０％〜１２０％まで可能、回転は許可しない、という条件を示している。
・パターン２２は、ハート形にトリミングし、顔指標が０．９より高い場合に適用され、拡大縮小は９０％〜１２０％まで可能、回転は許可しない、という条件を示している。
・パターン２３は、星形にトリミングし、顔指標が０．７〜０．８の間で適用され、拡大縮小はせず、回転も許可しない、という条件を示している。
【００２４】
（６）トリミング手法決定手段１０６
トリミング手法決定手段１０６は、オブジェクト指標算出手段１０４によって得られたオブジェクト指標（画像全体で最もオブジェクト指標が高かった値）を基に、トリミング手法記憶手段１０５から、トリミング手法（トリミング形状を示すテンプレートなど）を選択するための手段である。
例えば、オブジェクト指標算出手段１０４によって得られたオブジェクト指標が、「ｇ（画像）＝０．９２」とすると、トリミング手法決定手段１０６は、顔指標が０．９より大きいパターン２２（図５）を選択する。
また、同様に、「ｇ（画像）＝０．７５」であった場合は、パターン２３が選択される。
また、オブジェクト記憶手段１０３には、例えば、車画像のオブジェクトモデルが保存されているものとし、「ｇ（画像）＝０．０８」とする。この場合は、パターン２１が選択される。
【００２５】
（７）トリミング手段１０７
トリミング手段１０７は、トリミング手法決定手段１０６で決定されたトリミング手法（パターン）に従い、トリミング処理を実行する。また、トリミング処理を行う際には、オブジェクト指標算出手段１０４で決定されたオブジェクト領域を必ず含めるようにし、なおかつ、できる限り注目領域を含むようにトリミング処理が実施される。
【００２６】
図６は、図２に示す画像に図５に示すパターン２２を適用した例を示す図である。図７は、図２に示す画像に図５に示すパターン２３を適用した例を示す図である。また、図８は、図２に示す画像に図５に示すパターン２１を適用した例を示す図である。
図６に示す例では、パターン２２（図５）のトリミング形状で、オブジェクト領域を必ず含み、なおかつ、できる限り注目領域を含むようにトリミング処理を実施したものである。この結果、パターン２２を最大に拡張し（上限の１２０％）、図６に示すようなトリミング結果が得られる。
また、同様に、「ｇ（画像）＝０．７５」であった場合は、パターン２３（図５）が選択され、図７に示すようなトリミング結果が得られる。
また、オブジェクト記憶手段１０３には、車画像のオブジェクトモデルが保存されているものとし、ｇ（画像）＝０．０８」とすると、パターン２１が選択され、図８に示すトリミング結果が得られる。
【００２７】
なお、トリミング手段１０７には、以下の手段が含まれ、下記手段を使用して、上述したトリミング処理を行う。すなわち、顔画像とともに、注目領域ができるだけトリミング形状（テンプレート）内に含まれるようにトリミングを行う。・注目領域誤差算出手段１０７ａは、注目領域がパターンにまれる度合い（面積）を算出するための手段である。この注目領域誤差算出手段１０７ａを用いて場合、テンプレート内に含まれる注目領域の面積ができるだけ大きくなるようにテンプレートの位置などを決定する。
・画像スケーリング手段１０７ｂは、注目領域誤差算出手段１０７ａの算出結果を基に、トリミング形状、注目領域、または元画像のサイズを変更するための手段である。
・画像回転手段１０７ｃは、注目領域誤差算出手段１０７ａの算出結果を基に、トリミング形状、注目領域、または元画像を回転するための手段である。
【００２８】
このようにして、本発明の画像トリミング装置では、トリミング処理の対象となる画像に対して注目領域とオブジェクト指標を算出し、自動的なトリミングを行うことができる。また、人間の視覚的特性を利用した注目領域を含む、自動的なトリミングが可能になる。
【００２９】
図９は、本発明の画像トリミング装置における処理手順を示す図であり、オブジェクト指標を算出して、トリミング処理を行う手順を示すフローチャートである。以下、図９に示すフローチャートを参照して、本発明の画像トリミング装置で行われるトリミングの手順について説明する。
（１）ステップＳ１：処理対象となる画像の画素ごとの値を読み出す。
（２）ステップＳ２：注目領域算出手段１０２により注目度（誘目度）を算出する。
例えば、図２に示す画像１１の注目度（誘目度）を算出し、図３に示す注目領域のパターン画像１２を求める。
（３）ステップＳ３：オブジェクト指標値及びオブジェクト領域を算出する。
（４）ステップＳ４：オブジェクト指標値に従い、トリミングルールを決定する。
（５）ステップＳ５：トリミングを実行する。
【００３０】
図１０は、本発明の画像トリミング装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図１０において、１００は画像トリミング装置、１はインターネット網などの通信ネットワーク、１１１は画像トリミング装置と通信ネットワーク１とを接続する通信用インタフェース、１１２は画像トリミング装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像トリミング装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００３１】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１３からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部１２２は、トリミングを行う対象となる画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
【００３２】
・オブジェクト指標算出処理部１２４は、オブジェクトデータベース１１４に記憶されているオブジェクトモデルのデータを基に、画像内に映っているオブジェクトの指標を算出するための処理部である。
・トリミング手法決定処理部１２５は、注目領域算出処理部１２３により得られた注目度（誘目度）と、オブジェクト指標算出処理部１２４により得られたオブジェクト指標とを基に、トリミング手法データベース１１５に記録されたテンプレートデータを参照し、トリミング方法を決めるための処理部である。
【００３３】
・トリミング処理部１２６は、トリミング手法決定処理部１２５によって決められたトリミング手法に従い、画像をトリミングするための処理部である。また、トリミング処理を実行する際には、注目領域誤差算出処理部１２６ａ、画像スケーリング処理部１２６ｂ、及び画像回転処理部１２６ｃの機能を使用する。
・注目領域誤差算出処理部１２６ａは、注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための処理部である。テンプレートは、トリミング手法データベース１１５に記憶されたテンプレートのデータである。
【００３４】
・画像スケーリング処理部１２６ｂは、注目領域誤差算出処理部１２６ａの算出結果を基に、トリミング形状（テンプレート）、注目領域、または元画像のサイズを変更するための処理部である。
・画像回転処理部１２６ｃは、注目領域誤差算出処理部１２６ａの算出結果を基に、トリミング形状（テンプレート）、注目領域、または元画像を回転するための処理部である。
・表示処理部１２７は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部１２８は、トリミングした結果を印刷するための処理部である。また、画像データベース１１３には、トリミングを行う対象となる画像データ、及びトリミングを行った画像データが記憶され、オブジェクトデータベース１１４には、オブジェクトモデルのデータが記憶される。また、トリミング手法データベース１１５には、トリミングを行う方法を記述したテンプレートデータが記憶され、トリミング形状、オブジェクト指標値、画像変換処理方法などが記憶される。
【００３５】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像トリミング装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３６】
また、図１０に示す画像トリミング装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像トリミング装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３７】
以上、本発明の実施の形態について説明したが、本発明の画像トリミング装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３８】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３９】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】 本発明の画像トリミング装置が備える手段の構成例を示す図。
【図２】 トリミング処理の対象となる画像を模式的に示した図。
【図３】 図２に示す画像の注目領域（誘目度）を模式的に示した図。
【図４】 図２の画像の最もオブジェクト指標値の高い領域を示す図。
【図５】 トリミング手法記憶手段に記憶されるデータの例を示す図。
【図６】 図２の画像に図５に示すパターン２２を適用した例を示す図。
【図７】 図２の画像に図５に示すパターン２３を適用した例を示す図。
【図８】 図２の画像に図５に示すパターン２１を適用した例を示す図。
【図９】 本発明の画像トリミング装置における処理手順を示す図。
【図１０】 本発明の画像トリミング装置の構成例を示すブロック図。
【符号の説明】
１００ 画像トリミング装置、１０１ 画像読取手段
１０２ 注目領域算出手段、１０３ オブジェクト記憶手段
１０４ オブジェクト指標算出手段、１０５ トリミング手法記憶手段
１０６ トリミング手法決定手段、１０７ トリミング手段
１０７ａ 注目領域誤差算出手段、１０７ｂ 画像スケーリング手段
１０７ｃ 画像回転手段
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のトリミング（画像の一部を切り取り、または切り抜き）を自動で行う、画像トリミング装置、画像のトリミング方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図６、図７または図８に示すように、画像の一部（画像中の注目領域）をトリミングして編集したい場合も多い。
【０００３】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）を切り取る（切り抜く）ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【０００４】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献１「画像合成装置」がある。
特許文献１で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像（主画像）を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【０００５】
【特許文献１】
特開２００２−１００５６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り（切り抜き）、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域（目立つ領域）を目視により確認しながら、注目領域を切り取る（切り抜く）作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像トリミング装置、画像のトリミング方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、画像のトリミングを行う画像トリミング装置であって、トリミングの対象となる画像を読み取る画像読取手段と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手段と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手段と、前記オブジェクト記憶手段に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手段と、トリミング手法を記憶するトリミング手法記憶手段と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手段と、前記トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングするトリミング手段とを具備し、前記トリミング手段が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手段を有することを特徴とする。
このような構成であれば、画像読取手段により、トリミングの対象となる画像を読み取り、注目領域算出手段により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手段（データベースなど）に予めオブジェクト（人間の顔など）を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手段により、オブジェクト記憶手段に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手段により、トリミング手法（トリミング形状など）を予め記憶しておき、トリミング手法決定手段により、注目領域算出手段によって得られた注目度と、オブジェクト指標とに従いトリミング手法を決定する。そして、トリミング手段により、トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
また、このような構成であれば、オブジェクト指標算出手段により求めたオブジェクト指標の値が所定の閾値を超えた領域をすべて含めるようにして画像のトリミングを行う。
これにより、オブジェクトが映っている場所（例えば顔画像など）が切れてしまうのを抑制できる。
【００１０】
また、本発明の画像トリミング装置は、前記トリミング手法記憶手段は、オブジェクト指標に基づいたトリミングのテンプレートと、該テンプレートの適用方法を記憶する手段であることを特徴とする。
このような構成であれば、トリミング手法記憶手段により、オブジェクト指標の値に応じて選択使用される様々なテンプレート（トリミング形状、適用方法などが記述されたテンプレート）が記憶される。
これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【００１１】
また、本発明の画像トリミング装置は、前記トリミング手法決定手段では、オブジェクト指標に基づいて、前記テンプレートからトリミングに使用するテンプレートを決定することを特徴とする。
このような構成であれば、トリミング手法決定手段により、オブジェクト指標の値に応じて、様々なテンプレート（トリミング形状、適用方法などが記述されたテンプレート）から、トリミングに使用する最適なテンプレートを決定する。これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【００１２】
また、本発明の画像トリミング装置は、前記オブジェクト指標算出手段により算出される指標が、顔画像を含むか否か判断するための指標であることを特徴とする。
このような構成であれば、オブジェクト指標算出手段では、予めに人間の顔について学習したオブジェクトモデルを参照し、顔画像であるか否かのオブジェクト指標を算出する。
これにより、顔が含まれて、なおかつ注目される領域が高いものを効果的にトリミングすることできる。
【００１３】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像トリミング装置における画像トリミング方法であって、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順とを含み、前記トリミング手順が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手順を有することを特徴とする。
このような手順であれば、画像読取手順により、トリミングの対象となる画像を読み取り、注目領域算出手順により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手順（データベースなど）に予めオブジェクト（人間の顔など）を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手順により、オブジェクト記憶手順に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手順により、トリミング手法（トリミング形状など）を予め記憶しておき、トリミング手法決定手順により、注目領域算出手順によって得られた注目度と、オブジェクト指標とに従いトリミング手法を決定する。そして、トリミング手順により、トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
【００１４】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像トリミング装置内のコンピュータに、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、該トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定して画像をトリミングするトリミング手順とを実行させるためのプログラム。
【００１５】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１６】
図１は、本発明の画像トリミング装置１００が備える手段の構成例を示すブロック図である。図１に示す画像トリミング装置１００に設けられた各手段は、以下に示す機能を有する。
（１）画像読取手段１０１
画像読取手段１０１は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
【００１７】
（２）注目領域算出手段１０２
注目領域算出手段１０２は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる（誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する）。
【００１８】
図２は、トリミングの処理対象となる第１の画像１１を模式的に示した図であり、図３は、図２に示す画像１１の注目度（誘目度）を算出し、注目領域のパターン画像１２として模式的に示した図であり、花の部分の注目領域１２ａと、人の部分の注目領域１２ｂが、注目度（誘目度）が高いと算出されたものである。
【００１９】
（３）オブジェクト記憶手段１０３
オブジェクト記憶手段１０３では、予め学習されたオブジェクトのモデルを記憶するための手段である。本実施の形態例では、オブジェクトモデルは、顔画像であるか否かが学習されているものとする。オブジェクトモデルは、例えば、ニューラルネットワークで学習されたモデルである。その他、Naive Bayesに代表されるような確率モデルであっても良いし、 M-H. Yang, D. Roth and N. Ahuja「A SNoW based Face Detector 、NIPS-12, Dec, 1999」に発表された手法で学習されたモデルでも良い。
例えば、SNoWの学習方法では、顔画像について、以下のようにしてオブジェクトの学習を行う。
▲１▼顔画像のデータベースを用意する。
▲２▼顔画像でないデータベース（例えば、車、食べ物）などを用意する。
▲３▼顔画像のデータを教師信号‘１’、顔画像でないデータを教師信号‘０’として、上記論文記載のSNoWの学習方法でオブジェクトモデルを繰り返し学習させる。
【００２０】
（４）オブジェクト指標算出手段１０４
オブジェクト指標算出手段１０４では、画像読取手段１０１から得られた画素を、オブジェクトモデルの入力画素分抽出し、オブジェクト指標を求めるスキャン処理を実施する。その後、少しずらした画素を読み取り、同様にオブジェクト指標値を算出し、画像全体に対して処理する。その結果、最もオブジェクト指標が高かった部分をオブジェクト指標算出手段１０４の処理結果として次の処理に渡す。
【００２１】
図４は、図２に示す画像のオブジェクト指標値の算出結果により、最もオブジェクト指標値の高かった領域を示す画像１３の例を示す図である。本実施の形態例では、図２の画像に対して、このオブジェクト指標値の算出処理を適用した結果、図４に示す領域１３ａが最も高かった領域として抽出されたものである。このときのオブジェクト指標値は、「オブジェクト指標値＝g（画像）」として計算されたものとする。
また、本実施の形態の例では、オブジェクト記憶手段１０３では、顔画像であるか否かが学習されたオブジェクトモデルが記憶されているものとし、オブジェクト指標値としては、その画像領域が顔画像であるか否かの指標が算出されるものとする。
また、オブジェクト指標値とは、画像が顔画像であるかの確からしさを表すものであり、“１”が最も顔画像らしい領域、“０”が顔画像でない領域を指し示す指標である。
なお、本実施の形態の例では、オブジェクト指標が最も高かった領域に対して、その領域をオブジェクト位置として決定するが、これに限らず、ある閾値以上の領域をすべてオブジェクト位置として決定してもよい。これにより、例えば、複数の顔画像が含まれる場合に、顔画像の位置をすべて特定できるようになる。
【００２２】
（５）トリミング手法記憶手段１０５
トリミングを行う方法を記憶するための手段であり、トリミング形状（テンプレート）、オブジェクト指標値、画像変換処理方法を記憶する。
【００２３】
図５は、トリミング手法記憶手段１０５に記憶されるデータの例を示す図である。図５に示すように、トリミング手法記憶手段１０５には、トリミング形状（テンプレート）、オブジェクト指標値、画像変換処理方法（拡大縮小、回転の可否）を保存している。
・パターン２１は、丸にトリミングし、顔指標が０．１より低い場合に適用され、拡大縮小は９０％〜１２０％まで可能、回転は許可しない、という条件を示している。
・パターン２２は、ハート形にトリミングし、顔指標が０．９より高い場合に適用され、拡大縮小は９０％〜１２０％まで可能、回転は許可しない、という条件を示している。
・パターン２３は、星形にトリミングし、顔指標が０．７〜０．８の間で適用され、拡大縮小はせず、回転も許可しない、という条件を示している。
【００２４】
（６）トリミング手法決定手段１０６
トリミング手法決定手段１０６は、オブジェクト指標算出手段１０４によって得られたオブジェクト指標（画像全体で最もオブジェクト指標が高かった値）を基に、トリミング手法記憶手段１０５から、トリミング手法（トリミング形状を示すテンプレートなど）を選択するための手段である。
例えば、オブジェクト指標算出手段１０４によって得られたオブジェクト指標が、「ｇ（画像）＝０．９２」とすると、トリミング手法決定手段１０６は、顔指標が０．９より大きいパターン２２（図５）を選択する。
また、同様に、「ｇ（画像）＝０．７５」であった場合は、パターン２３が選択される。
また、オブジェクト記憶手段１０３には、例えば、車画像のオブジェクトモデルが保存されているものとし、「ｇ（画像）＝０．０８」とする。この場合は、パターン２１が選択される。
【００２５】
（７）トリミング手段１０７
トリミング手段１０７は、トリミング手法決定手段１０６で決定されたトリミング手法（パターン）に従い、トリミング処理を実行する。また、トリミング処理を行う際には、オブジェクト指標算出手段１０４で決定されたオブジェクト領域を必ず含めるようにし、なおかつ、できる限り注目領域を含むようにトリミング処理が実施される。
【００２６】
図６は、図２に示す画像に図５に示すパターン２２を適用した例を示す図である。図７は、図２に示す画像に図５に示すパターン２３を適用した例を示す図である。また、図８は、図２に示す画像に図５に示すパターン２１を適用した例を示す図である。
図６に示す例では、パターン２２（図５）のトリミング形状で、オブジェクト領域を必ず含み、なおかつ、できる限り注目領域を含むようにトリミング処理を実施したものである。この結果、パターン２２を最大に拡張し（上限の１２０％）、図６に示すようなトリミング結果が得られる。
また、同様に、「ｇ（画像）＝０．７５」であった場合は、パターン２３（図５）が選択され、図７に示すようなトリミング結果が得られる。
また、オブジェクト記憶手段１０３には、車画像のオブジェクトモデルが保存されているものとし、ｇ（画像）＝０．０８」とすると、パターン２１が選択され、図８に示すトリミング結果が得られる。
【００２７】
なお、トリミング手段１０７には、以下の手段が含まれ、下記手段を使用して、上述したトリミング処理を行う。すなわち、顔画像とともに、注目領域ができるだけトリミング形状（テンプレート）内に含まれるようにトリミングを行う。・注目領域誤差算出手段１０７ａは、注目領域がパターンにまれる度合い（面積）を算出するための手段である。この注目領域誤差算出手段１０７ａを用いて場合、テンプレート内に含まれる注目領域の面積ができるだけ大きくなるようにテンプレートの位置などを決定する。
・画像スケーリング手段１０７ｂは、注目領域誤差算出手段１０７ａの算出結果を基に、トリミング形状、注目領域、または元画像のサイズを変更するための手段である。
・画像回転手段１０７ｃは、注目領域誤差算出手段１０７ａの算出結果を基に、トリミング形状、注目領域、または元画像を回転するための手段である。
【００２８】
このようにして、本発明の画像トリミング装置では、トリミング処理の対象となる画像に対して注目領域とオブジェクト指標を算出し、自動的なトリミングを行うことができる。また、人間の視覚的特性を利用した注目領域を含む、自動的なトリミングが可能になる。
【００２９】
図９は、本発明の画像トリミング装置における処理手順を示す図であり、オブジェクト指標を算出して、トリミング処理を行う手順を示すフローチャートである。以下、図９に示すフローチャートを参照して、本発明の画像トリミング装置で行われるトリミングの手順について説明する。
（１）ステップＳ１：処理対象となる画像の画素ごとの値を読み出す。
（２）ステップＳ２：注目領域算出手段１０２により注目度（誘目度）を算出する。
例えば、図２に示す画像１１の注目度（誘目度）を算出し、図３に示す注目領域のパターン画像１２を求める。
（３）ステップＳ３：オブジェクト指標値及びオブジェクト領域を算出する。
（４）ステップＳ４：オブジェクト指標値に従い、トリミングルールを決定する。
（５）ステップＳ５：トリミングを実行する。
【００３０】
図１０は、本発明の画像トリミング装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図１０において、１００は画像トリミング装置、１はインターネット網などの通信ネットワーク、１１１は画像トリミング装置と通信ネットワーク１とを接続する通信用インタフェース、１１２は画像トリミング装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像トリミング装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００３１】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１３からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部１２２は、トリミングを行う対象となる画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
【００３２】
・オブジェクト指標算出処理部１２４は、オブジェクトデータベース１１４に記憶されているオブジェクトモデルのデータを基に、画像内に映っているオブジェクトの指標を算出するための処理部である。
・トリミング手法決定処理部１２５は、注目領域算出処理部１２３により得られた注目度（誘目度）と、オブジェクト指標算出処理部１２４により得られたオブジェクト指標とを基に、トリミング手法データベース１１５に記録されたテンプレートデータを参照し、トリミング方法を決めるための処理部である。
【００３３】
・トリミング処理部１２６は、トリミング手法決定処理部１２５によって決められたトリミング手法に従い、画像をトリミングするための処理部である。また、トリミング処理を実行する際には、注目領域誤差算出処理部１２６ａ、画像スケーリング処理部１２６ｂ、及び画像回転処理部１２６ｃの機能を使用する。
・注目領域誤差算出処理部１２６ａは、注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための処理部である。テンプレートは、トリミング手法データベース１１５に記憶されたテンプレートのデータである。
【００３４】
・画像スケーリング処理部１２６ｂは、注目領域誤差算出処理部１２６ａの算出結果を基に、トリミング形状（テンプレート）、注目領域、または元画像のサイズを変更するための処理部である。
・画像回転処理部１２６ｃは、注目領域誤差算出処理部１２６ａの算出結果を基に、トリミング形状（テンプレート）、注目領域、または元画像を回転するための処理部である。
・表示処理部１２７は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部１２８は、トリミングした結果を印刷するための処理部である。また、画像データベース１１３には、トリミングを行う対象となる画像データ、及びトリミングを行った画像データが記憶され、オブジェクトデータベース１１４には、オブジェクトモデルのデータが記憶される。また、トリミング手法データベース１１５には、トリミングを行う方法を記述したテンプレートデータが記憶され、トリミング形状、オブジェクト指標値、画像変換処理方法などが記憶される。
【００３５】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像トリミング装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３６】
また、図１０に示す画像トリミング装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像トリミング装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３７】
以上、本発明の実施の形態について説明したが、本発明の画像トリミング装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３８】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３９】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】 本発明の画像トリミング装置が備える手段の構成例を示す図。
【図２】 トリミング処理の対象となる画像を模式的に示した図。
【図３】 図２に示す画像の注目領域（誘目度）を模式的に示した図。
【図４】 図２の画像の最もオブジェクト指標値の高い領域を示す図。
【図５】 トリミング手法記憶手段に記憶されるデータの例を示す図。
【図６】 図２の画像に図５に示すパターン２２を適用した例を示す図。
【図７】 図２の画像に図５に示すパターン２３を適用した例を示す図。
【図８】 図２の画像に図５に示すパターン２１を適用した例を示す図。
【図９】 本発明の画像トリミング装置における処理手順を示す図。
【図１０】 本発明の画像トリミング装置の構成例を示すブロック図。
【符号の説明】
１００ 画像トリミング装置、１０１ 画像読取手段
１０２ 注目領域算出手段、１０３ オブジェクト記憶手段
１０４ オブジェクト指標算出手段、１０５ トリミング手法記憶手段
１０６ トリミング手法決定手段、１０７ トリミング手段
１０７ａ 注目領域誤差算出手段、１０７ｂ 画像スケーリング手段
１０７ｃ 画像回転手段
Claims (6)
- 画像のトリミングを行う画像トリミング装置であって、
トリミングの対象となる画像を読み取る画像読取手段と、
トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手段と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手段と、
前記オブジェクト記憶手段に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手段と、
トリミング手法を記憶するトリミング手法記憶手段と、
前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手段と、
前記トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングするトリミング手段と
を具備し、
前記トリミング手段が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手段を有することを特徴とする画像トリミング装置。 - 前記トリミング手法記憶手段は、オブジェクト指標に基づいたトリミングのテンプレートと、該テンプレートの適用方法を記憶する手段であること
を特徴とする請求項１に記載の画像トリミング装置。 - 前記トリミング手法決定手段では、オブジェクト指標に基づいて、前記テンプレートからトリミングに使用するテンプレートを決定すること
を特徴とする請求項２に記載の画像トリミング装置。 - 前記オブジェクト指標算出手段により算出される指標が、顔画像を含むか否か判断するための指標であること
を特徴とする請求項１から３のいずれかに記載の画像トリミング装置。 - 画像のトリミングを行う画像トリミング装置における画像トリミング方法であって、
トリミングの対象となる画像を読み取る画像読取手順と、
トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、
前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、
トリミング手法を記憶するトリミング手法記憶手順と、
前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、
前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順と
を含み、
前記トリミング手順が前記トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定する注目領域誤差算出手順を有することを特徴とする画像のトリミング方法。 - 画像のトリミングを行う画像トリミング装置内のコンピュータに、
トリミングの対象となる画像を読み取る画像読取手順と、
トリミングの対象となる画像を複数の領域に分離し、分離した領域毎に注目度を求めて、前記画像の注目領域を算出する注目領域算出手順と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、
前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、
トリミング手法を記憶するトリミング手法記憶手順と、
前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング手法を決定するトリミング手法決定手順と、
前記トリミング手法決定手順によって決められたトリミング手法に従い、該トリミング手法におけるテンプレート内に、前記オブジェクト指標の値が所定の閾値を超えた領域を含め、かつ前記テンプレート内に含まれる前記注目領域の面積の度合いが大きくなるよう、該テンプレートの位置を決定して画像をトリミングするトリミング手順と
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015106A JP4052128B2 (ja) | 2003-01-23 | 2003-01-23 | 画像トリミング装置、画像のトリミング方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015106A JP4052128B2 (ja) | 2003-01-23 | 2003-01-23 | 画像トリミング装置、画像のトリミング方法、及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004228995A JP2004228995A (ja) | 2004-08-12 |
| JP2004228995A5 JP2004228995A5 (ja) | 2006-03-02 |
| JP4052128B2 true JP4052128B2 (ja) | 2008-02-27 |
Family
ID=32902950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003015106A Expired - Fee Related JP4052128B2 (ja) | 2003-01-23 | 2003-01-23 | 画像トリミング装置、画像のトリミング方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4052128B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10540795B2 (en) | 2015-03-11 | 2020-01-21 | Fujifilm Corporation | Image combination apparatus, image combination method, image combination program, and recording medium storing image combination program |
| US20220237802A1 (en) * | 2019-10-03 | 2022-07-28 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4752409B2 (ja) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4765540B2 (ja) * | 2005-10-20 | 2011-09-07 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4672587B2 (ja) * | 2006-03-31 | 2011-04-20 | 富士フイルム株式会社 | 画像出力方法および装置ならびにプログラム |
| JP5061987B2 (ja) * | 2008-03-25 | 2012-10-31 | セイコーエプソン株式会社 | 画像処理方法およびそのプログラム並びに画像処理装置 |
| JP5016540B2 (ja) * | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
| JP5016541B2 (ja) * | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
| JP5016542B2 (ja) * | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置、画像記憶装置、および、画像処理装置のプログラム |
| JP5006839B2 (ja) * | 2008-05-27 | 2012-08-22 | 富士フイルム株式会社 | トリミングルール学習装置および方法並びにプログラム |
| JP5000781B1 (ja) | 2011-11-09 | 2012-08-15 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
| JP7392341B2 (ja) | 2019-09-17 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
-
2003
- 2003-01-23 JP JP2003015106A patent/JP4052128B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10540795B2 (en) | 2015-03-11 | 2020-01-21 | Fujifilm Corporation | Image combination apparatus, image combination method, image combination program, and recording medium storing image combination program |
| US20220237802A1 (en) * | 2019-10-03 | 2022-07-28 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
| US11443434B2 (en) | 2019-10-03 | 2022-09-13 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
| US11704807B2 (en) * | 2019-10-03 | 2023-07-18 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium storing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004228995A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3690391B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| US10810454B2 (en) | Apparatus, method and program for image search | |
| JP4643812B2 (ja) | ディジタル的な自動テキスト配置方法 | |
| US8139826B2 (en) | Device and method for creating photo album | |
| EP1372109B1 (en) | Method and system for enhancing portrait images | |
| US7486807B2 (en) | Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor | |
| JPH11328380A (ja) | 画像処理装置、画像処理方法およびその方法をコンピュ―タに実行させるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| JP4052128B2 (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| JP2001236497A (ja) | 写真画像のクロッピングされズームされた変形を自動的に形成する方法 | |
| JP2000069304A (ja) | 画像データ管理装置、画像データ管理方法および画像データ管理プログラムを記録した媒体 | |
| US20010005427A1 (en) | Method, apparatus and recording medium for image processing | |
| EP1431921A2 (en) | Image layout processing apparatus, method, and program | |
| JP2001209802A (ja) | 顔抽出方法および装置並びに記録媒体 | |
| JP4348956B2 (ja) | 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム | |
| JP4817882B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP3719247B2 (ja) | 画像編集装置、画像のトリミング方法、及びプログラム | |
| JP2004289706A (ja) | 画像処理方法および画像処理装置ならびにプログラム | |
| JP2011188237A (ja) | 画像処理方法、及び画像処理装置 | |
| JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
| JP2008159049A (ja) | 画像記録システム | |
| JP2004194197A (ja) | シーンチェンジ検出装置、シーンチェンジ検出方法、及びプログラム | |
| JPH1169179A (ja) | 画像情報記録媒体およびその記録媒体に記録された画像を再生する方法並びにシステム | |
| Segovia et al. | Aesthetic role of transparency and layering in the creation of photo layouts | |
| JP4500083B2 (ja) | 画像合成装置及びプログラム | |
| JP2851263B2 (ja) | ノイズレベル検出方法とその装置、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060112 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |