JP3719247B2

JP3719247B2 - Image editing apparatus, image trimming method, and program

Info

Publication number: JP3719247B2
Application number: JP2003015104A
Authority: JP
Inventors: 敏則長橋; 敦示永原
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-01-23
Filing date: 2003-01-23
Publication date: 2005-11-24
Anticipated expiration: 2023-01-23
Also published as: JP2004228993A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のトリミング（画像の一部を切り取り、または切り抜き）を自動で行う、画像編集装置、画像のトリミング方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図１１及び図１２に示すように、画像の一部（画像中の注目領域）をトリミングして編集したい場合も多い。
【０００３】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）を切り取る（切り抜く）ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【０００４】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献１「画像合成装置」がある。
特許文献１で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像（主画像）を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【０００５】
【特許文献１】
特開２００２−１００５６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り（切り抜き）、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域（目立つ領域）を目視により確認しながら、注目領域を切り取る（切り抜く）作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像編集装置、画像のトリミング方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像編集装置は、画像のトリミングを行う画像編集装置であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手段と、前記注目領域誤差算出手段の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手段と、前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段とを具備することを特徴とする。
【０００９】
このような構成であれば、注目領域算出手段により、トリミングする画像の注目領域を求め、テンプレート記憶手段からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手段により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手段により、注目領域が含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手段により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１０】
また、本発明の画像編集装置は、前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段をさらに具備することを特徴とする。
このような構成であれば、トリミング範囲またはテンプレートの中心と、注目領域の中心合わせを行った後に、注目領域誤差算出手段により、注目領域がテンプレート内に含まれる度合などを算出する。
これにより、注目領域誤差算出手段による算出が適切に行える。また、注目領域が、テンプレート内に適切にはめ込まれるようにすることができる。
【００１１】
また、本発明の画像編集装置は、前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすることを特徴とする。
このような構成であれば、注目領域を矩形で囲み、該矩形の対角線の交点を、注目領域の中心とする。また、候補となるテンプレートを矩形で囲み、該矩形の対角線の交点を、テンプレートの中心とする。
これにより、注目領域の中心と、テンプレートの中心を容易に求めることができる。
【００１２】
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の１／２に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
このような構成であれば、注目領域閾値手段では、求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行う。
これにより、トリミングしたい注目領域の注目度の程度を指定して、トリミングを行うことができる。
また、本発明の画像編集装置は、少なくとも、入力装置，画像装置および印刷装置のいずれかを有することを特徴とする。
【００１３】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像編集装置における画像のトリミング方法であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを含むことを特徴とする。
【００１４】
このような手順であれば、注目領域算出手順により、トリミングする画像の注目領域を求め、テンプレート記憶手順からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手順により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い（面積）を算出する。そして、テンプレート選択手順により、注目領域がテンプレート内に含まれる度合い（面積）が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手順により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【００１５】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像編集装置内のコンピュータに、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いまたは前記各テンプレートによって隠れる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、前記複数のテンプレートから選択するテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の画像編集装置１００が備える手段の構成例を示すブロック図である。図１に示す画像編集装置１００に設けられた各手段は、以下に示す処理を行う。
（１）画像選択手段１０１
画像選択手段１０１は、トリミングの対象となる画像を、画像記憶手段１１０から選択するための手段である。
（２）画像読取手段１０２
画像読取手段１０２は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
【００１８】
（３）注目領域算出手段１０３
注目領域算出手段１０３は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる（誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する）。
【００１９】
図２は、トリミングの処理対象となる第１の画像１１を模式的に示した図であり、図３は、図２に示す画像１１の注目度（誘目度）を算出し、注目領域のパターン画像１２として模式的に示した図である。図３に示す注目領域のパターン画像１２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２０】
図５は、トリミングの処理対象となる第２の画像を模式的に示した図であり、図６は、図５に示す画像２１の注目度（誘目度）を算出し、注目領域のパターン画像２２として模式的に示した図である。図６に示す注目領域のパターン画像２２では、注目度（誘目度）は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００２１】
（４）注目領域閾値手段１０４
注目領域閾値手段１０４は、注目領域算出手段１０３により求められた注目領域のうち、最も注目度（誘目度）が高い領域、あるいは最も高い注目度（誘目度）の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）と、領域のまとめを行うための手段である。トリミングの範囲を決定する場合など、トリミングの詳細を決める際には、この閾値処理された注目領域を用いる。
【００２２】
図４は、注目領域閾値手段１０４を使用し、図３に示した注目領域のパターン画像１２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの注目度（誘目度）以上の部分を切り取ったものである。図４に示す例では、領域Ｂと領域Ａが切り取られて、領域Ａと領域Ｂがまとめられ、トリミングの対象となる注目領域１３ａ及び１３ｂとなる。さらに、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
【００２３】
図７は、注目領域閾値手段１０４を使用し、図６に示した注目領域のパターン画像２２中の注目領域を、ある閾値（領域Ｂの誘目度）以上で切り取った例を示す図である。図７に示す例では、図６に示す注目領域の領域Ｂと領域Ａが切り取られ、領域Ａと領域Ｂが一つにまとめられ、トリミングの対象となる注目領域２３ａとなる。さらに、閾値処理された注目領域２３ａの中心を、注目領域２３ａを囲む矩形領域２４の中心（対角線の交点ａ）とする。
【００２４】
（５）注目領域誤差算出手段１０５
注目領域誤差算出手段１０５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための手段である。この場合、注目領域は、注目領域閾値手段１０４により求めた閾値処理された注目領域であり、テンプレートは、テンプレート記憶手段１１１に記憶された候補となる各テンプレートである。
【００２５】
図８、図９及び図１０は、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す図であり、注目領域の誤差算出は、候補となるテンプレート３１、３２、及び３３を使用して、以下のようにして行う。
・テンプレート記憶手段１１１に記憶されたトリミングに使用する候補となるテンプレートを順次読み出す。図８、図９及び図１０に、トリミングに使用する候補となるテンプレート３１、３２、及び３３の例を示す。
・次に、図４に示す閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。同様にして、図７に示す閾値処理された注目領域２３ａと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域２３ａが切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
なお、テンプレート３１、３２、及び３３の中心を求める方法は、図４及び図７に例示した方法と同様に、テンプレートを矩形で囲み、その対角線の交点をテンプレートの中心とする。
【００２６】
（６）テンプレート選択手段１０６
テンプレート選択手段１０６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレートに含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの画像の場合は、図８に示すテンプレート３１が選択される。同様にして、図７に示す閾値処理された注目領域２３ａの画像の場合は、図９に示すテンプレート３２が選択される。
（７）トリミング手段１０７
トリミング手段１０７は、テンプレート選択手段１０６により選択したテンプレートにより、対象となる画像のトリミング処理を行うための手段である。
（８）表示手段１０８
表示手段１０８は、トリミング結果を表示するための手段である。
（９）印刷手段１０９
印刷手段１０９は、トリミング結果を印刷するための手段である。
（１０）画像記憶手段１１０
画像記憶手段１１０は、トリミングを行う画像データ、及びトリミングを行った画像データを記憶するための手段である。
（１１）テンプレート記憶手段１１１
画像のトリミング形状を記述するテンプレート（候補となるテンプレート）を記憶するための手段である。
【００２７】
図１１は、図２に示す画像を図８に示すテンプレート３１にはめ込んだ例を示す図である。上述した各処理手段１０１乃至１０７を使用することにより、図２に示す画像１１は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
【００２８】
図１２は、図５に示す画像を図９に示すテンプレート３２にはめ込んだ例を示す図である。図５に示す画像２１は、図９に示すテンプレート３２にはめ込まれ、図１２に示す画像となる。
このようにして、本発明の画像編集装置では、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、画像のトリミング作業を行うことができる。
【００２９】
図１３は、本発明の画像編集装置における処理手順を示す図であり、テンプレートを選択して、トリミングする手順を示すフローチャートである。以下、図１３のフローチャートを参照して、本発明の画像編集装置で行われるトリミングの手順について説明する。
（１）ステップＳ１：注目領域算出手段１０３により注目度（誘目度）を算出する。
例えば、図２に示す画像１１の注目度（誘目度）を算出し、図３に示す注目領域のパターン画像１２を求める。図３に示す注目領域のパターン画像１２では、誘目度は領域Ａが最も高く算出され、領域Ｂ、領域Ｃの順に低く算出されている。
【００３０】
（２）ステップＳ２：注目領域閾値手段１０４により、閾値処理した注目度（誘目度）のパターン画像を生成する。
例えば、図３に示したパターン画像１２の注目領域をある閾値（領域Ｂの誘目度）以上で切り取る。すなわち、図３に示す注目領域のパターン画像１２おいて、領域Ｂの誘目度以上の部分を切り取り、領域Ｂと領域Ａが一つにまとめられ、図４に示す閾値処理された注目領域１３ａ及び１３ｂのパターン画像１３となる。
【００３１】
（３）ステップＳ３：閾値処理した注目領域の中心位置を求める。
例えば、図４に示すように、閾値処理された注目領域１３ａ及び１３ｂの中心を、注目領域１３ａ及び１３ｂを囲む矩形領域１４の中心（対角線の交点ａ）とする。
（４）ステップＳ４：テンプレート記憶手段１１１に記憶された、トリミングに使用する候補となるテンプレートの中から、１つのテンプレートを選択する。テンプレート記憶手段１１１に記憶された候補となるテンプレートは、例えば、図８、図９及び図１０に示すテンプレート３１、３２、及び３３などである。
（５）ステップＳ５：候補となるテンプレートの中心位置と、閾値処理された注目領域の中心位置を合わせた後、注目領域誤差算出手段１０５により閾値処理された注目領域が切り取られる程度（注目領域がテンプレート内に含まれる程度）を計算する。
例えば、図４に示す画像１３中の閾値処理された注目領域１３ａ及び１３ｂと、テンプレート３１、３２、及び３３のそれぞれを、中心位置を合わせて重ね合わせ、注目領域１３ａ及び１３ｂがテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の程度を求める。
（６）ステップＳ６：全ての候補となるテンプレートについて、閾値処理された注目領域がテンプレートにより切り取られる程度を計算したかどうかをチェックする。
（７）ステップＳ7：テンプレート選択手段１０６により、注目領域がテンプレートにより切り取られる面積（テンプレート内に含まれる面積）の最も大きなテンプレートを選択する。
例えば、図４に示す閾値処理された注目領域１３ａ及び１３ｂの場合は、図８に示すテンプレート３１が選択される。
（８）ステップＳ８：求めたテンプレートを使用して、処理対象となる画像をテンプレートにはめ込み、またはテンプレートによる切り取りを行う。
例えば、図２に示す画像は、図８に示すテンプレート３１にはめ込まれ、図１１に示す画像となる。
（９）ステップＳ９：トリミング結果の表示または印刷を行う。
【００３２】
図１４は、本発明の画像編集装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図１４において、１００は画像編集装置、１はインターネット網などの通信ネットワーク、１１４は画像編集装置と通信ネットワーク１とを接続する通信用インタフェース、１１５は画像編集装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像編集装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００３３】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１２からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部１２２は、トリミングを行う対象となる画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
【００３４】
・注目領域閾値処理部１２４は、注目領域算出処理部１２３により求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の２分の１より高い領域のみなど、閾値を決めて、注目領域の切り取り（切り抜き）を行い、切り取った注目領域を一つにまとめるための処理部である。
・注目領域誤差算出処理部１２５は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い（テンプレート内に含まれる度合い）を算出するための処理部である。この場合、注目領域は、注目領域閾値処理部１２４により求めた注目領域であり、テンプレートは、テンプレートデータベース１１３に記憶された候補となる各テンプレートである。
【００３５】
・テンプレート選択処理部１２６は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積（注目領域がテンプレート内に含まれる面積）が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択するための処理部である。
・トリミング処理部１２７は、テンプレート選択処理部１２６で選択したテンプレートにより、対象となる画像のトリミングを行うための処理部である。
・表示処理部１２８は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部１２９は、トリミングした結果を印刷するための処理部である。
また、画像データベース１１２には、トリミングを行う画像データ、及びトリミングを行った画像データが記憶される。また、テンプレートデータベース１１３には、候補となるテンプレートのデータが記憶される。
【００３６】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像編集装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３７】
また、図１４に示す画像編集装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像編集装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３８】
以上、本発明の実施の形態について説明したが、本発明の画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３９】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００４０】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】本発明の画像編集装置が備える手段の構成例を示す図。
【図２】トリミング処理の対象となる第１の画像を模式的に示した図。
【図３】図２に示す画像の注目領域（誘目度）を模式的に示した図。
【図４】図３に示す注目領域をある閾値以上で切り取った例を示す図。
【図５】トリミング処理の対象となる第２の画像を模式的に示した図。
【図６】図５に示す画像の注目領域（誘目度）を模式的に示した図。
【図７】図６に示す注目領域をある閾値以上で切り取った例を示す図。
【図８】トリミングに使う第１のテンプレートの例を示す図。
【図９】トリミングに使う第２のテンプレートの例を示す図。
【図１０】トリミングに使う第３のテンプレートの例を示す図。
【図１１】図２の画像を図８のテンプレートにはめ込んだ例を示す図。
【図１２】図５の画像を図９のテンプレートにはめ込んだ例を示す図。
【図１３】本発明の画像編集装置における処理手順を示す図。
【図１４】本発明の画像編集装置の構成例を示すブロック図。
【符号の説明】
１００画像編集装置、１０１画像選択手段、１０２画像読取手段
１０３注目領域算出手段、１０４注目領域閾値手段
１０５注目領域誤差算出手段、１０６テンプレート選択手段
１０７トリミング手段、１０８表示手段、１０９印刷手段
１１０画像記憶手段、１１１テンプレート記憶手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image editing apparatus, an image trimming method, and a program for automatically trimming a digital image (also simply referred to as “image”) taken by a digital camera or the like (a part of the image is cut or cut out). About.
[0002]
[Prior art]
Recently, digital cameras have become widespread, and it has become easy to take a digital image taken in a PC (personal computer), edit the digital image, and print it. For example, it has become possible to easily create travel albums by editing digital images taken with a digital camera at a travel destination.
When editing these digital images, as shown in FIGS. 11 and 12, there are many cases where it is desired to trim and edit a part of the image (the attention area in the image).
[0003]
Conventionally, in such trimming, human beings manually perform trimming by operating a mouse or the like so as to cut out (cut out) an attention area (a conspicuous area) in a digital image.
This manual trimming is less time-consuming and troublesome when the number of digital images is small, but manual trimming is fine when many digital images are trimmed and edited as an album. It becomes a troublesome work.
In addition, with the widespread use of digital cameras, the range of user groups has expanded, and some users are unfamiliar with PC operations, and it has been desired to provide an apparatus capable of trimming digital images more easily.
[0004]
As a prior art for trimming such a digital image, for example, there is Patent Document 1 “Image Synthesizer”.
The invention disclosed in Patent Document 1 is an image composition device for easily creating a composite image in which a main image is superimposed on a background image. In the overlay composition in this image composition device, the outer frame and the inner frame located inside the outer frame are displayed in the sub display area. Then, the captured background image is displayed in the main display area. In the main display area, a trimming frame corresponding to the outer frame of the sub display area is displayed, and the trimming frame is moved to designate a range to be combined. When the pasting operation is performed, the background image is pasted in the outer frame in the sub display area. Next, another image (main image) is captured and displayed in the main display area. In this main display area, a trimming frame corresponding to the inner frame of the sub display area is displayed, and the portion specified by this trimming frame is inserted into the inner frame of the sub display area, and the main image is superimposed on the background image. The synthesized image is completed.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-10056
[Problems to be solved by the invention]
However, the invention disclosed in Patent Document 1 is an invention in which the user himself manually cuts out (trips out) the trimming range of each image to be trimmed and synthesizes the images. That is, according to the present invention, it is necessary to perform an operation of cutting out (cutting out) the attention area while visually confirming the attention area (conspicuous area) in each image to be trimmed by the user. For this reason, when editing a large number of images by trimming, the work load becomes large, and a lot of work time is required, which is a troublesome work.
[0007]
The present invention has been made to solve such a problem, and its purpose is to automatically trim a region of interest in an image so that the image can be trimmed more easily and effectively. An image editing apparatus, an image trimming method, and a program are provided.
[0008]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and an image editing apparatus according to the present invention is an image editing apparatus that performs image trimming, and includes a plurality of candidates for determining an image trimming range. Template storage means for storing the template, attention area calculation means for calculating the attention area of the image to be trimmed, and the degree that the attention area is included in each candidate template or the degree of hiding by each template An attention area error calculation means for calculating, a template selection means for selecting from the plurality of templates based on the calculation result of the attention area error calculation means, and a template selected by the template selection means, Trimming means for performing trimming processing.
[0009]
With such a configuration, the attention area calculation means obtains the attention area of the image to be trimmed, and sequentially reads out templates as candidates for determining the trimming range from the template storage means. Then, the attention area error calculation means calculates the degree (area) that the attention area of the image to be trimmed is included in each candidate template. Then, the template selecting means selects a template having the largest degree (area) of including the region of interest, and uses the template to trim the image by the trimming means.
As a result, the image can be automatically trimmed. Further, it is possible to perform the trimming by calculating the attention area according to the human visual characteristics, automatically selecting the template to be trimmed.
[0010]
The image editing apparatus according to the present invention further includes means for centering the center of the attention area with the center of the template.
With such a configuration, after performing the centering of the attention area and the center of the trimming range or template, the attention area error calculation means calculates the degree of the attention area included in the template.
Thereby, the calculation by the attention area error calculation means can be performed appropriately. Further, the attention area can be appropriately fitted in the template.
[0011]
The image editing apparatus according to the present invention is characterized in that the center of the attention area is an intersection of rectangular diagonal lines surrounding the attention area, and the center of the template is an intersection of rectangular diagonal lines surrounding the template. To do.
With such a configuration, the region of interest is enclosed by a rectangle, and the intersection of the diagonal lines of the rectangle is the center of the region of interest. A candidate template is enclosed by a rectangle, and the intersection of diagonal lines of the rectangle is set as the center of the template.
As a result, the center of the attention area and the center of the template can be easily obtained.
[0012]
In the image editing apparatus according to the present invention, when the attention area is calculated by the attention area calculation unit, a threshold is determined based on an area having the highest degree of attraction, and an area equal to or greater than the threshold is determined as the attention area It further comprises an attention area threshold means.
Further, the image editing apparatus of the present invention determines a threshold value to be ½ of the highest degree of attraction when calculating the attention area by the attention area calculation unit, and determines an area equal to or greater than the threshold as the attention area. It further comprises an attention area threshold means.
In such a configuration, the attention area threshold means determines a threshold value such as a region having the highest degree of attraction or only a region higher than one half of the highest degree of attraction among the calculated attention areas, Cut out (cut out) the region of interest.
Thereby, it is possible to perform trimming by designating the degree of attention of the attention area to be trimmed.
The image editing apparatus according to the present invention includes at least one of an input device, an image device, and a printing device.
[0013]
The image trimming method of the present invention is an image trimming method in an image editing apparatus for trimming an image, and a template storage procedure for storing a plurality of templates as candidates for determining the image trimming range; A region-of-interest calculation procedure for calculating a region of interest in an image to be trimmed, and a region-of-interest error calculation procedure for calculating the degree of inclusion of the region of interest in each candidate template or the degree of occlusion by each template A template selection procedure for selecting from the plurality of templates based on a calculation result of the attention area error calculation procedure, and a trimming procedure for performing a trimming process on the target image using the template selected by the template selection procedure. It is characterized by including.
[0014]
In such a procedure, the attention area of the image to be trimmed is obtained by the attention area calculation procedure, and templates that are candidates for determining the trimming range are sequentially read out from the template storage procedure. Then, the degree (area) of the attention area of the image to be trimmed included in each candidate template is calculated by the attention area error calculation procedure. Then, the template having the largest degree (area) of the attention area included in the template is selected by the template selection procedure, and the image is trimmed by the trimming procedure using the template.
As a result, the image can be automatically trimmed. Further, it is possible to perform the trimming by calculating the attention area according to the human visual characteristics, automatically selecting the template to be trimmed.
[0015]
The computer program of the present invention is a template storage procedure for storing a plurality of templates that are candidates for determining a trimming range of an image in a computer in an image editing apparatus that performs image trimming, and is a target of trimming. Attention area calculation procedure for calculating the attention area of the image, attention area error calculation procedure for calculating the degree that the attention area is included in each candidate template or the degree of hiding by each template, and the attention area error calculation A program for executing a template selection procedure for selecting from a plurality of templates based on a calculation result of the procedure, and a trimming procedure for performing a trimming process on the target image using the template selected by the template selection procedure. is there.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0017]
FIG. 1 is a block diagram illustrating a configuration example of means included in the image editing apparatus 100 of the present invention. Each means provided in the image editing apparatus 100 shown in FIG. 1 performs the following processing.
(1) Image selection means 101
The image selection unit 101 is a unit for selecting an image to be trimmed from the image storage unit 110.
(2) Image reading means 102
The image reading unit 102 is a unit for reading a value (RGB value or the like) for each pixel constituting the image.
[0018]
(3) Attention area calculation means 103
The attention area calculation means 103 is a means for calculating the attention area of the image to be trimmed, and separates the inside of the image into a plurality of areas, and the degree of attention is divided into two or more levels for each separated area. Sort. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Laid-Open No. 2001-127070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used (attraction) The degree will be outlined in the item “Supplementary explanation on degree of attraction” described later).
[0019]
FIG. 2 is a diagram schematically showing the first image 11 to be trimmed, and FIG. 3 calculates the attention level (attraction level) of the image 11 shown in FIG. It is the figure typically shown as the image 12. FIG. In the pattern image 12 of the attention area shown in FIG. 3, the attention degree (attraction degree) is calculated to be the highest in the area A and is calculated to be lower in the order of the area B and the area C.
[0020]
FIG. 5 is a diagram schematically showing a second image to be trimmed, and FIG. 6 calculates the attention level (attraction level) of the image 21 shown in FIG. FIG. In the attention area pattern image 22 shown in FIG. 6, the attention degree (attraction level) is calculated to be highest in the area A, and lower in the order of the area B and the area C.
[0021]
(4) Attention area threshold means 104
The attention area threshold means 104 is the only attention area obtained by the attention area calculation means 103. The attention area (attraction degree) is the highest attention area (attraction degree) or only the area with the highest attention degree (attraction degree) higher than half. For example, this is a means for deciding a threshold, cutting out (cutting out) the attention area, and summing up the areas. When determining the details of trimming, such as when determining the trimming range, the threshold-processed region of interest is used.
[0022]
FIG. 4 is a diagram showing an example in which the attention area in the pattern image 12 of the attention area shown in FIG. 3 is cut out with a certain threshold (attraction degree of the area B) using the attention area threshold means 104. In other words, in the pattern image 12 of the attention area shown in FIG. In the example illustrated in FIG. 4, the region B and the region A are cut out, and the region A and the region B are combined to become the attention regions 13 a and 13 b to be trimmed. Further, the centers of the attention regions 13a and 13b subjected to the threshold processing are set as the centers (intersections a of diagonal lines) of the rectangular regions 14 surrounding the attention regions 13a and 13b.
[0023]
FIG. 7 is a diagram showing an example in which the attention area in the pattern image 22 of the attention area shown in FIG. 6 is cut out with a certain threshold (attraction degree of the area B) using the attention area threshold means 104. In the example illustrated in FIG. 7, the region B and the region A of the attention region illustrated in FIG. 6 are cut out, and the region A and the region B are combined into one and become the attention region 23 a to be trimmed. Furthermore, the center of the attention area 23a subjected to the threshold processing is set as the center of the rectangular area 24 surrounding the attention area 23a (the intersection a of diagonal lines).
[0024]
(5) Region-of-interest error calculation means 105
The attention area error calculation means 105 is a means for calculating the degree of hiding or cutting out the attention area subjected to threshold processing by the template used for trimming (degree included in the template). In this case, the attention area is the attention area subjected to the threshold processing obtained by the attention area threshold means 104, and the template is each template that is a candidate stored in the template storage means 111.
[0025]
8, 9, and 10 are diagrams illustrating examples of templates 31, 32, and 33 that are candidates for use in trimming, and error calculation of a region of interest is performed by using candidate templates 31, 32, and 33 as candidates. Use and do as follows.
The candidate templates used for trimming stored in the template storage unit 111 are sequentially read out. 8, 9, and 10 show examples of templates 31, 32, and 33 that are candidates for use in trimming.
Next, the target regions 13a and 13b subjected to the threshold processing shown in FIG. 4 and the templates 31, 32, and 33 are overlapped with the center positions aligned, and the target regions 13a and 13b are cut out by the template ( The degree of area included in the template is obtained. Similarly, the threshold-processed attention area 23a shown in FIG. 7 and each of the templates 31, 32, and 33 are overlapped with the center position aligned, and an area (area included in the template) from which the attention area 23a is cut off is overlapped. ).
In addition, the method of calculating | requiring the center of the templates 31, 32, and 33 encloses a template with a rectangle similarly to the method illustrated in FIG.4 and FIG.7, and makes the intersection of the diagonal line the center of a template.
[0026]
(6) Template selection means 106
The template selection means 106 compares the areas in which the threshold-processed attention area is cut out by the template, and the template having the largest area (the area in which the attention area is included in the template) cut out of the attention area is used as a template to be used for trimming. select.
For example, in the case of the images of the attention regions 13a and 13b subjected to the threshold processing shown in FIG. 4, the template 31 shown in FIG. 8 is selected. Similarly, in the case of the image of the attention area 23a subjected to the threshold processing shown in FIG. 7, the template 32 shown in FIG. 9 is selected.
(7) Trimming means 107
The trimming unit 107 is a unit for performing a trimming process on a target image using the template selected by the template selection unit 106.
(8) Display means 108
The display unit 108 is a unit for displaying the trimming result.
(9) Printing means 109
The printing unit 109 is a unit for printing the trimming result.
(10) Image storage means 110
The image storage means 110 is means for storing image data to be trimmed and image data that has been trimmed.
(11) Template storage unit 111
This is a means for storing a template (candidate template) describing a trimming shape of an image.
[0027]
FIG. 11 is a diagram showing an example in which the image shown in FIG. 2 is inserted into the template 31 shown in FIG. By using each of the processing means 101 to 107 described above, the image 11 shown in FIG. 2 is inserted into the template 31 shown in FIG. 8 and becomes the image shown in FIG.
[0028]
12 is a diagram showing an example in which the image shown in FIG. 5 is inserted into the template 32 shown in FIG. The image 21 shown in FIG. 5 is inserted into the template 32 shown in FIG. 9 and becomes the image shown in FIG.
In this manner, the image editing apparatus according to the present invention can perform the image trimming operation by calculating the attention area according to the human visual characteristics, automatically selecting the template to be trimmed.
[0029]
FIG. 13 is a diagram showing a processing procedure in the image editing apparatus of the present invention, and is a flowchart showing a procedure for selecting and trimming a template. The trimming procedure performed by the image editing apparatus of the present invention will be described below with reference to the flowchart of FIG.
(1) Step S1: The attention level (attraction level) is calculated by the attention area calculation means 103.
For example, the attention level (attraction level) of the image 11 shown in FIG. 2 is calculated, and the pattern image 12 of the attention area shown in FIG. 3 is obtained. In the pattern image 12 of the attention area shown in FIG. 3, the degree of attraction is calculated to be highest in the area A, and is calculated to be lower in the order of the area B and the area C.
[0030]
(2) Step S2: The attention area threshold means 104 generates a pattern image of the degree of attention (attraction level) subjected to threshold processing.
For example, the attention area of the pattern image 12 shown in FIG. 3 is cut out at a certain threshold (attraction degree of the area B) or more. That is, in the pattern image 12 of the region of interest shown in FIG. 3, the region B and the region A that are not less than the attractiveness of the region B are cut out, and the region B and the region A are combined into one. The pattern image 13 of 13b is obtained.
[0031]
(3) Step S3: The center position of the attention area subjected to threshold processing is obtained.
For example, as shown in FIG. 4, the centers of the attention areas 13a and 13b subjected to the threshold processing are set as the centers (intersections a of diagonal lines) of the rectangular area 14 surrounding the attention areas 13a and 13b.
(4) Step S4: One template is selected from the templates stored in the template storage unit 111 and used as candidates for trimming. The candidate templates stored in the template storage unit 111 are, for example, the templates 31, 32, and 33 shown in FIGS.
(5) Step S5: After matching the center position of the candidate template with the center position of the attention area subjected to threshold processing, the attention area subjected to threshold processing by the attention area error calculation means 105 is cut off (the attention area is The degree of inclusion in the template).
For example, the attention regions 13a and 13b subjected to threshold processing in the image 13 shown in FIG. 4 and the templates 31, 32, and 33 are overlapped with the center positions aligned, and the attention regions 13a and 13b are cut out by the template. The degree of area (area included in the template) is obtained.
(6) Step S6: For all the templates that are candidates, it is checked whether or not the degree to which the threshold-processed attention area is cut out by the template has been calculated.
(7) Step S7: The template selecting means 106 selects a template having the largest area (area included in the template) where the region of interest is cut out by the template.
For example, in the case of the attention regions 13a and 13b subjected to the threshold processing shown in FIG. 4, the template 31 shown in FIG. 8 is selected.
(8) Step S8: Using the obtained template, the image to be processed is fitted into the template or cut out using the template.
For example, the image shown in FIG. 2 is fitted into the template 31 shown in FIG. 8 and becomes the image shown in FIG.
(9) Step S9: The trimming result is displayed or printed.
[0032]
FIG. 14 is a block diagram showing a configuration example of the image editing apparatus of the present invention, and shows only the part directly related to the present invention. In FIG. 14, 100 is an image editing apparatus, 1 is a communication network such as the Internet, 114 is a communication interface for connecting the image editing apparatus and the communication network 1, 115 is a control unit that performs overall control of the image editing apparatus, and 120. Indicates a processing program section. The image editing apparatus according to the present invention can also be realized using a PC (personal computer).
[0033]
Further, the processing program unit 120 includes the following processing units.
The image selection processing unit 121 is a processing unit for selecting an image to be trimmed from the image database 112.
The image reading processing unit 122 is a processing unit for reading a value (RGB value or the like) for each pixel constituting an image to be trimmed.
The attention area calculation processing section 123 is a processing section for calculating the attention area of the image to be trimmed. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each separated region. For the calculation of the attention area, for example, “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-127070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used.
[0034]
The attention area threshold processing unit 124 determines thresholds only for the attention area obtained by the attention area calculation processing unit 123, such as the area with the highest degree of attraction or the area with a higher degree of attraction than one half. This is a processing unit for cutting out (cutting out) the attention area and collecting the cut attention areas into one.
The attention area error calculation processing section 125 is a processing section for calculating the degree of hiding or cutting out the attention area subjected to the threshold processing by the template used for trimming (degree included in the template). In this case, the attention area is the attention area obtained by the attention area threshold processing unit 124, and the template is each candidate template stored in the template database 113.
[0035]
The template selection processing unit 126 compares the areas in which the threshold-processed attention area is cut out by the template, and uses the template having the largest area to be cut out of the attention area (the area in which the attention area is included in the template) for trimming. It is a processing part for selecting as a template to perform.
The trimming processing unit 127 is a processing unit for trimming a target image using the template selected by the template selection processing unit 126.
The display processing unit 128 is a processing unit for displaying the trimmed result on the display device.
The print processing unit 129 is a processing unit for printing the trimmed result.
The image database 112 stores image data to be trimmed and image data that has been trimmed. The template database 113 stores candidate template data.
[0036]
The processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). The function may be realized by loading a program (not shown) for realizing the function of the unit into a memory and executing the program. Further, it is assumed that an input device, a display device, a printing device, and the like (all not shown) are connected to the image editing device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0037]
Further, the program for realizing the functions of the image editing apparatus 100 shown in FIG. 14 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Processing necessary for the image editing apparatus 100 of the invention may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if the WWW system is used.
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system.
Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, it is intended to include those that hold a program for a certain period of time, such as a volatile memory inside a computer system that becomes a server or a client in that case (transmission medium or transmission wave).
The program may be for realizing a part of the functions described above, and further, a program that can realize the functions described above in combination with a program already recorded in a computer system, a so-called difference file (difference). Program).
[0038]
Although the embodiments of the present invention have been described above, the image editing apparatus of the present invention is not limited to the above-described illustrated examples, and various modifications can be made without departing from the scope of the present invention. Of course.
[0039]
[Supplementary explanation about degree of attraction]
In the embodiment of the present invention, the “attraction level” is used as the reference for extracting the attention area. An example of a method for calculating the “attraction level” is disclosed in Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction device And an automatic composition determination apparatus using the same).
Here, only the outline will be described.
In order to extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter that matches human subjectivity. In the extraction of the attention area, the area that stands out from the evaluation result is extracted as the attention area. That is, in the evaluation of the attention area, since the evaluation according to the human subjectivity is performed according to the physical characteristics, the attention area suitable for the human subjectivity can be extracted.
For example, when the physical feature includes a degree of color heterogeneity, the degree of attraction can be evaluated based on the difference in color of each region.
In addition to the color heterogeneity, the physical feature further includes a shape heterogeneity, an area heterogeneity, and a texture (pattern) heterogeneity, and therefore, based on at least one of these four heterogeneities. If the degree of attraction is evaluated, the degree of attraction can be accurately evaluated according to the characteristics of the original image.
In the case where the three elements of color (hue, saturation, and lightness) are also evaluated, a region close to a conspicuous color (red) by human subjectivity can be evaluated as the most prominent region.
Furthermore, if the spatial frequency and the area of each region in the original image are also evaluated, the most prominent region can be judged more accurately.
[0040]
The degree of attraction is evaluated according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a figure area and a picture area. For this region segmentation method, the boundary detection method based on “edge flow” described in “Edge Flow: A Framework of Boundary Detection and Image Segmentation” by WYMa and BSManjunath et al. In 1997 IEEE is applied.
(2) Next, the divided figure area is extracted, and the attractiveness of the area is evaluated.
The degree of attraction is evaluated as follows.
・ First, determine the degree of heterogeneity in each area. In this case, the heterogeneity of the color, the heterogeneity of the texture, the heterogeneity of the shape, and the heterogeneity of the area are obtained, and a weight coefficient is assigned to each to linearly combine to obtain the heterogeneity attraction of each region.
-Next, the degree of feature attraction in each area is obtained. In this case, the attractiveness of the color, the attractiveness of the spatial frequency, and the attractiveness of the area are obtained, and a weighting coefficient is assigned to each to linearly combine to obtain the feature attractiveness of each region.
Next, the heterogeneity attractiveness degree and the feature attractiveness degree of each region are added to obtain a feature amount integrated value, and this feature amount integrated value is evaluated by a predetermined beta function to calculate the attractiveness degree.
(3) Moreover, the pattern figure which evaluated the attractiveness degree from the original image is produced | generated.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of means included in an image editing apparatus according to the present invention.
FIG. 2 is a diagram schematically illustrating a first image to be subjected to trimming processing.
3 is a diagram schematically showing a region of interest (attraction level) of the image shown in FIG. 2. FIG.
4 is a diagram showing an example in which the region of interest shown in FIG. 3 is cut out at a certain threshold value or more. FIG.
FIG. 5 is a diagram schematically illustrating a second image to be subjected to trimming processing.
6 is a diagram schematically showing a region of interest (attraction level) of the image shown in FIG.
7 is a diagram showing an example in which the region of interest shown in FIG. 6 is cut out at a certain threshold value or more.
FIG. 8 is a diagram showing an example of a first template used for trimming.
FIG. 9 is a diagram showing an example of a second template used for trimming.
FIG. 10 is a diagram showing an example of a third template used for trimming.
11 is a view showing an example in which the image of FIG. 2 is inserted into the template of FIG. 8;
12 is a diagram showing an example in which the image of FIG. 5 is inserted into the template of FIG.
FIG. 13 is a diagram showing a processing procedure in the image editing apparatus of the present invention.
FIG. 14 is a block diagram illustrating a configuration example of an image editing apparatus according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 Image editing apparatus, 101 Image selection means, 102 Image reading means 103 Attention area calculation means, 104 Attention area threshold means 105 Attention area error calculation means, 106 Template selection means 107 Trimming means, 108 Display means, 109 Printing means 110 Image storage Means, 111 template storage means

Claims

An image editing apparatus for trimming an image,
Template storage means for storing a plurality of templates as candidates for determining a trimming range of an image;
Attention area calculating means for calculating the attention area of the image to be trimmed;
Attention area error calculation means for calculating the degree that the attention area is included in each candidate template or the degree of hiding by each template;
Based on the calculation result of the attention area error calculation means, a template selection means for selecting from the plurality of templates,
An image editing apparatus comprising: a trimming unit that performs a trimming process on the target image using a template selected by the template selection unit.

The image editing apparatus according to claim 1, further comprising means for centering the center of the region of interest and the center of the template.

The image editing apparatus according to claim 2, wherein the center of the attention area is an intersection of rectangular diagonal lines surrounding the attention area, and the center of the template is an intersection of rectangular diagonal lines surrounding the template. .

When the attention area is calculated by the attention area calculation means, a threshold value is determined based on an area having the highest degree of attraction, and attention area threshold means for determining an area equal to or higher than the threshold value as the attention area is further provided. The image editing apparatus according to claim 1, wherein the image editing apparatus is an image editing apparatus.

When calculating the attention area by the attention area calculation means, the information processing apparatus further comprises attention area threshold means for determining a threshold value to ½ of the highest degree of attraction and determining an area equal to or greater than the threshold value as the attention area. The image editing apparatus according to claim 1, wherein the image editing apparatus is an image editing apparatus.

6. The image editing apparatus according to claim 1, further comprising at least one of an input device, an image device, and a printing device.

An image trimming method in an image editing apparatus for trimming an image,
A template storage procedure for storing a plurality of templates as candidates for determining a trimming range of an image;
Attention area calculation procedure for calculating the attention area of the image to be trimmed,
A region-of-interest error calculation procedure for calculating a degree that the region of interest is included in each candidate template or a degree that the region of interest is hidden by each template;
Based on the calculation result of the attention area error calculation procedure, a template selection procedure for selecting from the plurality of templates,
And a trimming procedure for trimming the target image using a template selected by the template selection procedure.

To the computer in the image editing device that performs image trimming,
A template storage procedure for storing a plurality of templates as candidates for determining a trimming range of an image;
Attention area calculation procedure for calculating the attention area of the image to be trimmed,
A region-of-interest error calculation procedure for calculating a degree that the region of interest is included in each candidate template or a degree that the region of interest is hidden by each template;
Based on the calculation result of the attention area error calculation procedure, a template selection procedure for selecting from the plurality of templates,
A program for executing a trimming procedure for performing a trimming process on the target image using a template selected by the template selection procedure.