JP4348956B2 - Image layout apparatus, image layout method, and program in image layout apparatus - Google Patents

Image layout apparatus, image layout method, and program in image layout apparatus Download PDF

Info

Publication number
JP4348956B2
JP4348956B2 JP2003024375A JP2003024375A JP4348956B2 JP 4348956 B2 JP4348956 B2 JP 4348956B2 JP 2003024375 A JP2003024375 A JP 2003024375A JP 2003024375 A JP2003024375 A JP 2003024375A JP 4348956 B2 JP4348956 B2 JP 4348956B2
Authority
JP
Japan
Prior art keywords
image
layout
template
degree
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003024375A
Other languages
Japanese (ja)
Other versions
JP2004234500A (en
Inventor
敦示 永原
敏則 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003024375A priority Critical patent/JP4348956B2/en
Publication of JP2004234500A publication Critical patent/JP2004234500A/en
Application granted granted Critical
Publication of JP4348956B2 publication Critical patent/JP4348956B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影された複数のデジタル画像(単に「画像」ともいう)を注目度を基にして順序づけを行うと共に、複数の画像のレイアウト(画像の配置)を自動的に行うことができる画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラムに関し、またさらに、複数の画像について、各画像の注目度を算出し、画像の順序づけを自動的に行うことのできる画像編集装置に関するものである。
【0002】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をPC(パーソナルコンピュータ)内に取り込み、PC画面上でデジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
このPC画面上でデジタル画像の編集を行う際には、図7に示すように、複数の画像を、1つの画像にレイアウトするような場合がある。このようなレイアウトにおいては、従来は、人間が手動で、各画像の内の注目領域(目立つ領域)の内容を考慮して、できるだけインパクト(強い印象を与える)のある画像となるように、マウス等を操作してレイアウトを行っていた。
この手動によるレイアウトは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をアルバムとして編集するような場合には、手動によるレイアウト作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはPC操作に不慣れな人もおり、複数の画像のレイアウトが、より簡単に行える装置の提供が望まれていた。
【0003】
このようなデジタル画像のレイアウトについての先行技術として、例えば、特許文献1「画像処理方法、装置及び記憶媒体」がある。
特許文献1で開示された発明は、画像に対して施された複数の編集情報や、画像を選択するときの選択条件にレイアウト名称を対応付けて登録することにより、そのレイアウト名称の指示に応じてそれらの情報を再利用することを可能とする。これにより、異なる画像に、同じレイアウトを指定するときの操作性を向上することができる。また、複数の画像情報のなかから所望の画像情報を選択するための選択条件を入力するときの操作性を向上することができる。
【0004】
【特許文献1】
特開2000−261649号公報
【0005】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された発明は、オペレータ自身が手動で画像をレイアウトすることを基本とし、そのレイアウト情報を再利用することを目的とした発明である。見た目を考慮したレイアウトを自動的に行いたい場合、レイアウトテンプレートには、レイアウト順番を指定することができたが、レイアウトすべき画像の順序づけは人手で行う必要があった。
【0006】
本発明はこのような問題を解決するためになされたもので、その目的は、複数の画像をレイアウトする場合に、レイアウトテンプレートにおけるレイアウト順序を指定すると共に、画像の注目領域を算出して、レイアウトすべき画像の順序づけを自動的に行うことができる、画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラムを提供することにある。
またさらには、複数の画像について、各画像の注目度を算出し、画像の順序づけを自動的に行う画像編集装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像レイアウト装置は、複数の画像をレイアウトする画像レイアウト装置であって、レイアウト対象となる画像を記憶する画像記憶手段と、前記画像記憶手段により記憶された画像の中から、レイアウトする複数の画像を選択する画像選択手段と、前記選択した画像を読み取る画像読取手段と、画像の注目度を算出する注目領域算出手段と、レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手段と、前記テンプレート記憶手段により記憶されたテンプレートの中から、レイアウトに使用するテンプレートを選択するためのテンプレート選択手段と、前記レイアウト対象となる画像を、テンプレートに記載されているレイアウト順序と、画像の注目度の順序に従いレイアウトするレイアウト手段とを具備することを特徴とする。
【0008】
このような構成であれば、画像選択手段により、画像記憶手段に記憶された画像の中から、レイアウトの対象となる複数の画像を選択する。そして、画像読取手段により、レイアウト対象となる画像を読み取り、注目領域算出手段により、レイアウト対象となる画像の注目度と注目度の領域(注目領域)を算出する。また、テンプレート選択手段により、テンプレート記憶手段に記憶されたレイアウト用のテンプレート(レイアウト順序情報を含む)の中から、レイアウトに使用するテンプレートを選択する。そして、レイアウト手段により、レイアウト対象となる画像を、テンプレートに記載されているレイアウト順序と、画像の注目度の順序に従いレイアウトする。
これにより、レイアウト対象となる画像を、テンプレートのレイアウト順序に従い、注目度合が高い画像が優先順位が高くなるようにレイアウトできる。すなわち、目に付き易い画像の順から、指定されたレイアウト順序に従いレイアウトされるため、よりインパクト(強い印象を与える)のある画像のレイアウトが実現できる。
【0009】
また、本発明の画像レイアウト装置は、前記注目領域算出手段によって得られた注目度と、注目領域の面積を基に画像評価値を算出する画像評価値算出手段と、前記画像評価値により画像の注目度の順序を決定する画像順序決定手段とを具備することを特徴とする。
このような構成であれば、レイアウトする画像を評価する場合に、画像評価値算出手段では、注目領域算出手段により得られた注目度、注目領域の面積に応じて、例えば、注目度と面積を掛け算するなどして、画像評価値を算出する。そして、画像順序決定手段では、画像評価値の大小に応じて、レイアウトする画像の順序づけを行う。
これにより、画像の順序づけを行う際に、人間の視覚特性に合った形で、画像の注目度による順序づけを行うことができる。
【0010】
また、本発明の画像レイアウト装置は、前記テンプレートのレイアウト順序は、レイアウト枠の大きさに従い順序付られていることを特徴とする。
このような構成であれば、レイアウト枠の大きなものに、注目度(または画像評価値)の高い画像が配置される。
これにより、注目すべき画像を大きくしてレイアウトできる。
【0011】
また、本発明の画像レイアウト方法は、複数の画像をレイアウトする画像レイアウト装置における画像レイアウト方法であって、レイアウト対象となる画像を記憶する画像記憶手順と、前記画像記憶手順により記憶された画像の中から、レイアウトする複数の画像を選択する画像選択手順と、前記選択した画像を読み取る画像読取手順と、画像の注目度を算出する注目領域算出手順と、レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手順と、前記テンプレート記憶手順により記憶されたテンプレートの中から、レイアウトに使用するテンプレートを選択するためのテンプレート選択手順と、前記レイアウト対象となる画像を、テンプレートに記載されているレイアウト順序と、画像の注目度の順序に従いレイアウトするレイアウト手順とを含むことを特徴とする。
【0012】
このような手順であれば、画像選択手順により、画像記憶手順により記憶された画像の中から、レイアウトの対象となる複数の画像を選択する。そして、画像読取手順により、レイアウト対象となる画像を読み取り、注目領域算出手順により、レイアウト対象となる画像の注目度と注目度の領域(注目領域)を算出する。また、テンプレート選択手順により、テンプレート記憶手順により記憶されたレイアウト用のテンプレート(レイアウト順序情報を含む)の中から、レイアウトに使用するテンプレートを選択する。そして、レイアウト手順により、レイアウト対象となる画像を、テンプレートに記載されているレイアウト順序と、画像の注目度の順序に従いレイアウトする。
これにより、レイアウト対象となる画像を、テンプレートのレイアウト順序に従い、注目度合が高い画像が優先順位が高くなるようにレイアウトできる。すなわち、目に付き易い画像の順から、指定されたレイアウト順序に従いレイアウトされるため、よりインパクトのある画像のレイアウトが実現できる。
【0013】
また、本発明の画像レイアウト装置におけるコンピュータプログラムは、複数の画像をレイアウトする画像レイアウト装置内のコンピュータに、レイアウト対象となる画像を記憶する画像記憶手順と、前記画像記憶手順により記憶された画像の中から、レイアウトする複数の画像を選択する画像選択手順と、前記選択した画像を読み取る画像読取手順と、画像の注目度を算出する注目領域算出手順と、レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手順と、前記テンプレート記憶手順により記憶されたテンプレートの中から、レイアウトに使用するテンプレートを選択するためのテンプレート選択手順と、前記レイアウト対象となる画像を、テンプレートに記載されているレイアウト順序と、画像の注目度の順序に従いレイアウトするレイアウト手順とを実行させるためのプログラムである。
【0014】
また、本発明の画像編集装置は、複数の画像の順序づけを行う画像編集装置であって、順序づけの対象となる画像を記憶する画像記憶手段と、前記画像記憶手段により記憶された画像の中から、順序づけを行う画像を選択する画像選択手段と、前記選択した画像を読み取る画像読取手段と、画像の注目領域を算出する注目領域算出手段と、前記注目領域算出手段によって得られた注目度に従い、画像を順序づけする画像順序決定手段とを具備することを特徴とする。
【0015】
このような構成であれば、画像選択手段により、画像記憶手段に記憶された画像の中から、レイアウトの対象となる複数の画像を選択する。そして、画像読取手段により、レイアウト対象となる画像を読み取り、注目領域算出手段により、レイアウト対象となる画像の注目度と注目度の領域(注目領域)を算出する。そして、画像順序決定手段により、前記注目領域算出手段によって得られた注目度に従い、画像を順序づけする
これにより、画像の注目度の程度により、画像を順序づけすることができ、例えば、注目度を指標とした画像の登録や検索などに利用できる。
【0016】
また、本発明の画像編集装置は、前記注目領域算出手段によって得られた注目度と、注目領域の面積とを基に画像評価値を算出する画像評価値算出手段と、前記画像評価値により画像の注目度の順序を決定する画像順序決定手段とをさらに具備することを特徴とする。
このような構成であれば、画像を評価する場合に、画像評価値算出手段では、注目領域算出手段により得られた注目度、注目領域の面積に応じて、例えば、注目度と面積を掛け算するなどして、画像評価値を算出する。そして、画像順序決定手段では、画像評価値の大小に応じて、画像の順序づけを行う。
これにより、画像の順序づけを行う際に、人間の視覚特性に合った形で、画像の注目度による順序づけを行うことができる。
【0017】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【0018】
図1は、本発明の画像レイアウト装置100が備える手段の構成例を示す図である。図1に示す画像レイアウト装置100に設けられた各手段は、以下に示す処理を行う。
(1)画像記憶手段101は、レイアウトの対象となる画像を記憶するための手段であり、画像データベースなどである。
(2)画像選択手段102
画像選択手段102は、画像記憶手段101から、レイアウトする画像を選択するための手段である(図3及び図5参照)。
(3)画像読取手段103
画像読取手段103は、レイアウトの対象となる画像を構成する画素ごとの値(RGB値等)を読み出すための手段である。
(4)注目領域算出手段104
注目領域算出手段104は、レイアウトの対象となる画像の注目領域を算出するための手段である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる。なお、誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
以下、注目領域算出手段104により算出された注目領域の具体例について、図3乃至図6により、説明する。
【0019】
図3は、レイアウト対象となる第1の画像1を示す図であり、人物が左端に配置されている画像の例を模式的に示した画像の例である。図4は、図3に対応する誘目度のパターンを模式的に示した図である。誘目度は領域Aが最も高く算出され、領域B、領域Cがこの順に低く算出されている。
【0020】
図5は、レイアウト対象となる第2の画像2を示す図であり、花が右端に配置されている画像の例を模式的に示した画像の例である。図6は、図5に対応する誘目度のパターンを模式的に示した図である。誘目度は領域A’が最も高く算出され、領域B’、領域C’がこの順に低く算出されている。
【0021】
そして、例えば、図4に示す誘目度のパターン画像において、算出された誘目度は、それぞれ、f(領域A)、f(領域B)、f(領域C)として表されるものとする。
また、図6に示す誘目度のパターン画像において、算出された誘目度は、それぞれ、f(領域A’)、f(領域B’)、f(領域C’)として表されるものとする。
そして、f(領域A)とf(領域A’)の関係は、以下のようになっているものとする。
f(領域A)<f(領域A’)
【0022】
(5)画像評価値算出手段105
注目領域算出手段104で算出された注目度(誘目度)に基づいて、画像評価値を算出する。画像評価値の算出方法としては、例えば、以下に示す方法を使用することができる。
・第1の画像評価値算出方法
画像評価値をh(画像)で表すとすると、図3に示す画像1に対する画像評価値は、
h(画像1)= Max(f(領域i))
として算出される。また、画像1の領域A、領域B、領域Cの関係は、
f(領域A)>f(領域B)>f(領域C)
となっており、Max(f(領域i))は、f(領域A)となっているものとする。つまり、h(画像1)は、
h(画像1)= f(領域A) となる。
同様にして、
h(画像2)= f(領域A’) となる。
【0023】
・第2の画像評価値算出方法
第1の画像評価値算出方法では、領域A〜領域Cまででf関数が最大となる場合のみに着目したが、これに限らず、
h(画像1)=X×f(領域A)+Y×f(領域B)+Z×f(領域C)
(X,Y,Zは重み係数)
のように、すべての領域を加味した算術式で画像評価値を算出してもよい。これにより、すべての領域を加味した評価値となり、より画像全体の注目度(誘目度)が反映できるようになる。
【0024】
・第3の画像評価値算出方法
また、領域Aの面積をk(領域A)とすると、誘目度f’は、
f’(領域A)=f(領域A)× k(領域A)
として、算出され、画像評価値hは、
h(画像1)= f’(領域A)
として求められる。このように注目領域の面積の要素を加味して、画像評価値を算出することもできる。また、第2の画像評価値算出方法における係数(X、Y、Z)を面積に関する係数とすることもできる。
【0025】
なお、本実施の形態例では、第1の画像評価値算出方法を用いると、
[h(画像1)=f(領域A)]<[h(画像2)=f(領域A’)]
となるが、
第3の画像評価値算出方法(注目領域の面積を考慮)を用いると、
[h(画像1)=f(領域A)×k(領域A)]
>[h(画像2)=f(領域A’)×k(領域A’)]
と、注目領域の面積により、画像の評価値が反対になる場合もある。
【0026】
(6)画像順序決定手段106は、画像評価値算出手段105により求めた画像評価値を基に、画像の注目度の順序を決定するための手段である。
(7)テンプレート記憶手段107
テンプレート記憶手段107は、レイアウトに使用するテンプレートを記憶するための手段であり、テンプレートデータベースなどである。
(8)テンプレート選択手段108
テンプレート記憶手段107に記憶されているテンプレートを1つ選択する。テンプレートの選択方法は、ユーザがテンプレートを指定するようにしてもよいし、上述した画像評価値hの合計によってテンプレートを選択するなど、自動選択するようにしてもよい。
例えば、テンプレートの選択条件として、画像評価値の合計「h(画像1)+h(画像2)」が、0.2以下ならばテンプレートAを、1.0以上ならばテンプレートBを選択するなど、画像評価値の合計によりテンプレートを自動的に選択するようにもできる。
以下、テンプレートの具体的な例を図2により説明する。
【0027】
図2は、テンプレートの例を示す図であり、ある主題を持った画像(在学期間、旅行期間、旅行場所など)で撮影した画像をレイアウトする例である。図2に示す例では、予め決まっているテンプレートにしたがって、2枚の画像、(撮影し、格納しておいた写責)を配置する。本実施の形態例では、図2に示すテンプレートが選択されたものとする。また、図2に示すテンプレートでは、レイアウト枠aの画像位置▲1▼、レイアウト枠bの画像位置▲2▼の順番で優先度が順序付けられているものとする。この優先順位は、予めテンプレートの作成者が付与しても良いし、テンプレートの各画像位置の面積(レイアウト枠の面積)の大小によって優先度の順序付けが自動的に行われてもよい。面積の大きいものが優先度が高いとすると、注目度の大きな画像が大きくレイアウトされることとなり、よりインパクトの強い、良いレイアウトが自動的に実現できるようになる。
【0028】
(9)レイアウト手段109
テンプレート内の画像位置(レイアウト枠)の優先順位と、画像評価値によって順序付けられた画像とに従い、レイアウト処理を実行するための手段である。今、図3に示す画像1、図5に示す画像2の画像評価値の関係が、
h(画像1)>h(画像2)
であったとした場合、テンプレートの画像位置▲1▼には画像1が、画像位置▲2▼には画像2がレイアウトされる。なお、画像1及び画像2をテンプレート内にはめ込む場合には、各画像は、レイアウト枠内に適切に収まるように拡大または縮小されることがある。レイアウト結果の例を図7に示す。
【0029】
図7は、図3に示す画像1と、図5に示す画像2を、図2に示すテンプレートにレイアウトをした例を示す図であり、画像評価値の高い画像1が、レイアウト枠の大きな画像位置▲1▼に配置される。また、画像評価値の低い画像2が、レイアウト枠の小さな画像位置▲2▼に配置される。このように、画像1と画像2が画像評価値に応じて配置され、よりインパクトのあるレイアウトを実現できることになる。
【0030】
(10)表示手段110
表示手段110は、表示装置にレイアウトした結果を表示するための手段である。
(11)印刷手段111
印刷手段111は、レイアウトした結果を印刷するための手段である。
【0031】
また、図8は、本発明の画像レイアウト装置における処理手順を示す図であり、注目度(誘目度)を利用したレイアウトの手順を示すフローチャートである。
(1)ステップS1:画像選択手段102により、画像記憶手段101からレイアウトする画像を選択する。
(2)ステップS2:画像読取手段103により、レイアウトする画像を読みより、画像の注目度(誘目度)を算出し、例えば、図4または図6に示す注目領域のパターン画像を作成する。
(3)ステップS3:画像評価値算出手段105により、図4または図6に示す注目領域のパターン画像から、画像評価値を算出する。
(4)ステップS4:テンプレート選択手段108により、テンプレート記憶手段107からテンプレートを選択する。
(5)ステップS5:レイアウト手段109により、テンプレート内のレイアウト位置の順序と、画像評価値に従い、レイアウト処理を実行する。
(6)ステップS6:レイアウトした結果を表示または印刷する。
【0032】
また、図9は、画像レイアウト装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図9において、100は画像レイアウト装置、10はインターネット網などの通信ネットワーク、112は画像レイアウト装置と通信ネットワーク10とを接続する通信用インタフェース、113は画像レイアウト装置全体を統括制御する制御部、114はレイアウトされる画像のデータを記憶する画像データベース、115はレイアウトに使用するテンプレートを記憶するテンプレートデータベース、120は処理プログラム部を示している。なお、本発明による画像レイアウト装置は、PC(パーソナルコンピュータ)を使用しても実現できるものである。
【0033】
また、処理プログラム部120には、以下の処理部が含まれている。
・画像選択処理部121は、画像データベース114からレイアウトする画像を選び出すための処理部である。
・画像読取処理部122は、画像を構成する画素ごとの値(RGB値等)を読み出すための処理部である。
・注目領域算出処理部123は、注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる。
・画像評価値算出処理部124は、注目領域算出処理部123で算出された注目度(誘目度)に基づいて、画像評価値を算出するための処理部である。
・画像順序決定処理部125は、画像評価値算出処理部124により求めた画像評価値を基に、画像の注目度の順序を決定するための処理部である。
・テンプレート選択処理部126は、画像のレイアウトを記述するテンプレートを、テンプレートデータベース115から選択するための処理部である。
・レイアウト処理部127は、テンプレート選択処理部126で選択したテンプレートと画像評価値に基づいて、複数の画像を、テンプレートに配置するための処理部である。
・表示処理部128は、表示装置にレイアウトした結果を表示するための処理部である。
・印刷処理部129は、レイアウトした結果を印刷するための処理部である。
【0034】
なお、この処理プログラム部120は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびCPU(中央処理装置)等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム(図示せず)をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像レイアウト装置100には、周辺機器として入力装置、表示装置、印刷装置等(いずれも図示せず)が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、CRT(Cathode Ray Tube)や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【0035】
[第2の実施の形態]
以上、本発明の画像レイアウト装置の実施の形態について説明したが、本発明の技術的思想としての、注目度(誘目度)による画像の順序づけは、さらに、より広い用途に使用することができる。例えば、予め画像を注目度により順序づけして、あるいは、注目度の数値を付与して、データベースに登録しておき、画像の注目度を指標として画像を検索する用途などに使用することもできる。
【0036】
図10は、本発明による画像編集装置が備える手段の構成例を示す図であり、画像の注目度(誘目度)の評価と、画像の順序づけを行うための装置である。図10に示す画像編集装置100aは、画像記憶手段101、画像選択手段102、画像読取手段103、注目領域算出手段104、画像評価値算出手段105、及び画像順序決定手段106から構成される。なお、画像記憶手段101、画像選択手段102、画像読取手段103、注目領域算出手段104、画像評価値算出手段105、及び画像順序決定手段106は図1に示すものと同じであり、その説明は省略する。ただし、図10に示す画像編集装置100aでは、図1に示す画像レイアウト装置100と比較して、画像順序決定手段106から出力される順序づけされた画像の情報が、画像記憶手段101に記憶される点が異なる。
【0037】
また、図11は、本発明の画像編集装置像の構成例を示すブロック図であり、画像編集装置100aを構成する、通信用インタフェース112、制御部113、画像データベース114は、図9に示す画像レイアウト装置100と同じものである。
また、処理プログラム部120a内の、画像選択処理部121、画像読取処理部122、注目領域算出処理部123、画像評価値算出処理部124、画像順序決定処理部125も、図9に示す各処理部と同じであり、図9と同様に、画像の注目度による評価と、画像の順序づけを行うための処理部である。
【0038】
以上、本発明の実施の形態について説明したが、図9に示す画像レイアウト装置100、及び図11に示す画像編集装置100aの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像レイアウト装置100及び画像編集装置100aに必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0039】
以上、本発明の実施の形態について説明したが、本発明の画像レイアウト装置及び画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0040】
[誘目度についての補足説明]
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の3要素(色相、彩度、明度)についても評価する場合であれば、人間の主観による目立つ色(赤色)に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【0041】
また、誘目度の評価は、以下の手順により行う。
(1)最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、1997IEEEにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度,テクスチャの異質度,形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
(3)また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図1】 本発明の画像レイアウト装置が備える手段の構成例を示す図。
【図2】 テンプレートの例を示す図。
【図3】 レイアウト対象となる第1の画像1を示す図。
【図4】 図3に対応する誘目度のパターンを模式的に示した図。
【図5】 レイアウト対象となる第2の画像2を示す図。
【図6】 図5に対応する誘目度のパターンを模式的に示した図。
【図7】 画像1と画像2をレイアウトをした例を示す図。
【図8】 画像レイアウト装置における処理手順を示す図。
【図9】 画像レイアウト装置の構成例を示すブロック図。
【図10】 本発明の画像編集装置が備える手段の構成例を示す図。
【図11】 画像編集装置の構成例を示すブロック図。
【符号の説明】
100 画像レイアウト装置、101 画像記憶手段、102 画像選択手段
103 画像読取手段、104 注目領域算出手段、
105 画像評価値算出手段、106 画像順序決定手段
107 テンプレート記憶手段、108 テンプレート選択手段
109 レイアウト手段、110 表示手段、111 印刷手段
[0001]
BACKGROUND OF THE INVENTION
The present invention orders a plurality of digital images (also simply referred to as “images”) taken by a digital camera or the like based on the degree of attention, and automatically performs a plurality of image layouts (image arrangements). The present invention relates to an image layout apparatus, an image layout method, and a program in the image layout apparatus. Further, the present invention relates to an image editing apparatus capable of calculating the degree of attention of each image for a plurality of images and automatically ordering the images. Is.
[0002]
[Prior art]
Recently, digital cameras have become widespread, and it has become possible to easily capture a digital image taken in a PC (personal computer), edit the digital image on a PC screen, and print it. For example, it has become possible to easily create travel albums by editing digital images taken with a digital camera at a travel destination.
When editing a digital image on the PC screen, there are cases where a plurality of images are laid out into one image as shown in FIG. Conventionally, in such a layout, a mouse is manually manipulated so that an image having an impact (a strong impression) can be obtained as much as possible in consideration of the contents of a region of interest (a conspicuous region) in each image. Etc. were used for layout.
This manual layout is less time-consuming and troublesome when the number of digital images is small, but when editing a large number of digital images as an album, manual layout is a rather cumbersome task. Become.
In addition, with the spread of digital cameras, the range of user groups has expanded, and some users are unfamiliar with PC operation, and it has been desired to provide a device that can more easily layout multiple images. .
[0003]
As a prior art regarding the layout of such a digital image, for example, Patent Document 1 “Image Processing Method, Apparatus, and Storage Medium” is known.
The invention disclosed in Patent Document 1 responds to an instruction for a layout name by registering the layout name in association with a plurality of editing information applied to the image or a selection condition for selecting an image. It is possible to reuse such information. Thereby, the operability when the same layout is designated for different images can be improved. In addition, it is possible to improve operability when inputting a selection condition for selecting desired image information from among a plurality of pieces of image information.
[0004]
[Patent Document 1]
JP 2000-261649 A
[0005]
[Problems to be solved by the invention]
However, the invention disclosed in Patent Document 1 is based on the principle that an operator manually lays out an image and aims to reuse the layout information. When it is desired to automatically perform a layout considering the appearance, the layout order can be designated in the layout template, but the images to be laid out must be ordered manually.
[0006]
The present invention has been made to solve such a problem, and an object of the present invention is to specify a layout order in a layout template and calculate an attention area of an image to lay out a plurality of images when laying out a plurality of images. An object is to provide an image layout apparatus, an image layout method, and a program in the image layout apparatus that can automatically order images to be processed.
Still another object of the present invention is to provide an image editing apparatus that calculates the degree of attention of each image for a plurality of images and automatically orders the images.
[0007]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and an image layout apparatus of the present invention is an image layout apparatus that lays out a plurality of images, and an image storage unit that stores an image to be laid out; An image selection means for selecting a plurality of images to be laid out from the images stored by the image storage means; an image reading means for reading the selected image; an attention area calculation means for calculating the degree of attention of the image; Template storage means for storing a layout template including layout order information, template selection means for selecting a template to be used for layout from the templates stored by the template storage means, and the layout target Images are arranged in the layout order described in the template, and the images Characterized by comprising a layout section for laying in the order of attention.
[0008]
With such a configuration, the image selection means selects a plurality of images to be laid out from the images stored in the image storage means. Then, the image to be laid out is read by the image reading means, and the attention level and the attention level area (attention area) of the image to be laid out are calculated by the attention area calculation means. Further, the template selection means selects a template to be used for the layout from the layout templates (including layout order information) stored in the template storage means. Then, the layout means lays out the image to be laid out according to the layout order described in the template and the order of the attention degree of the image.
As a result, the image to be laid out can be laid out in accordance with the layout order of the template so that an image with a high degree of attention has a higher priority. In other words, since the images are laid out according to the designated layout order from the order of the images that are easily noticeable, it is possible to realize a layout of an image having a higher impact (giving a strong impression).
[0009]
The image layout apparatus of the present invention includes an image evaluation value calculation unit that calculates an image evaluation value based on the attention level obtained by the attention region calculation unit and the area of the attention region, and the image evaluation value based on the image evaluation value. And image order determining means for determining the order of the attention degrees.
With such a configuration, when evaluating an image to be laid out, the image evaluation value calculation unit calculates, for example, the attention level and the area according to the attention level obtained by the attention area calculation unit and the area of the attention area. An image evaluation value is calculated by, for example, multiplying. Then, the image order determining means orders the images to be laid out according to the magnitude of the image evaluation value.
Thereby, when ordering images, it is possible to perform ordering according to the degree of attention of images in a form that matches human visual characteristics.
[0010]
The image layout apparatus of the present invention is characterized in that the layout order of the templates is ordered according to the size of the layout frame.
With such a configuration, an image with a high degree of attention (or an image evaluation value) is arranged in a large layout frame.
As a result, it is possible to increase the layout of the image to be noticed.
[0011]
The image layout method of the present invention is an image layout method in an image layout apparatus that lays out a plurality of images, and includes an image storage procedure for storing an image to be laid out, and an image stored by the image storage procedure. An image selection procedure for selecting a plurality of images to be laid out, an image reading procedure for reading the selected image, an attention area calculation procedure for calculating the attention level of the image, and a layout template including layout order information. A template storing procedure for storing, a template selecting procedure for selecting a template to be used for layout from the templates stored by the template storing procedure, and a layout in which the image to be laid out is described in the template According to the order and the order of attention of the images Characterized in that it comprises a layout procedure of layouts.
[0012]
In such a procedure, a plurality of images to be laid out are selected from the images stored by the image storage procedure by the image selection procedure. Then, the image to be laid out is read by the image reading procedure, and the attention level and the attention level region (target region) of the image to be laid out are calculated by the attention region calculation procedure. Further, the template used for the layout is selected from the layout templates (including the layout order information) stored by the template storage procedure by the template selection procedure. Then, according to the layout procedure, the image to be laid out is laid out in accordance with the layout order described in the template and the order of attention of the images.
As a result, the image to be laid out can be laid out in accordance with the layout order of the template so that an image with a high degree of attention has a higher priority. That is, since the images are laid out according to the designated layout order from the order of the images that are easily noticeable, a more impactful image layout can be realized.
[0013]
The computer program in the image layout apparatus of the present invention stores an image storage procedure for storing an image to be laid out in a computer in the image layout apparatus for laying out a plurality of images, and an image stored by the image storage procedure. An image selection procedure for selecting a plurality of images to be laid out, an image reading procedure for reading the selected image, an attention area calculation procedure for calculating the attention level of the image, and a layout template including layout order information. A template storing procedure for storing, a template selecting procedure for selecting a template to be used for layout from the templates stored by the template storing procedure, and a layout in which the image to be laid out is described in the template Order and image attention In the order of a program for executing the layout procedure for layout.
[0014]
An image editing apparatus according to the present invention is an image editing apparatus that orders a plurality of images, and stores an image storage unit that stores images to be ordered, and an image stored by the image storage unit. In accordance with the degree of attention obtained by the image selection means for selecting images to be ordered, the image reading means for reading the selected image, the attention area calculation means for calculating the attention area of the image, and the attention area calculation means, And image order determining means for ordering the images.
[0015]
With such a configuration, the image selection means selects a plurality of images to be laid out from the images stored in the image storage means. Then, the image to be laid out is read by the image reading means, and the attention level and the attention level area (attention area) of the image to be laid out are calculated by the attention area calculation means. Then, the image order determining means orders the images according to the attention degree obtained by the attention area calculating means.
As a result, the images can be ordered according to the degree of attention of the images, and can be used, for example, for registration and search of images using the attention as an index.
[0016]
The image editing apparatus according to the present invention includes an image evaluation value calculating unit that calculates an image evaluation value based on the degree of attention obtained by the attention region calculating unit and the area of the attention region, and an image based on the image evaluation value. And an image order determining means for determining the order of the degree of attention.
With such a configuration, when evaluating an image, the image evaluation value calculation unit multiplies the attention level and the area, for example, according to the attention level obtained by the attention region calculation unit and the area of the attention region. Thus, the image evaluation value is calculated. Then, the image order determining means orders the images according to the magnitude of the image evaluation value.
Thereby, when ordering images, it is possible to perform ordering according to the degree of attention of images in a form that matches human visual characteristics.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 is a diagram showing a configuration example of means included in the image layout apparatus 100 of the present invention. Each means provided in the image layout apparatus 100 shown in FIG. 1 performs the following processing.
(1) The image storage unit 101 is a unit for storing an image to be laid out, such as an image database.
(2) Image selection means 102
The image selection unit 102 is a unit for selecting an image to be laid out from the image storage unit 101 (see FIGS. 3 and 5).
(3) Image reading means 103
The image reading unit 103 is a unit for reading a value (RGB value or the like) for each pixel constituting an image to be laid out.
(4) Attention area calculation means 104
The attention area calculation means 104 is a means for calculating the attention area of the image to be laid out. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each separated region. For the calculation of the attention area, for example, “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-127070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used. An overview of the degree of attraction will be described in the item “Supplementary explanation about degree of attraction” described later.
Hereinafter, specific examples of the attention area calculated by the attention area calculation unit 104 will be described with reference to FIGS.
[0019]
FIG. 3 is a diagram showing the first image 1 to be laid out, and is an example of an image schematically showing an example of an image in which a person is arranged at the left end. FIG. 4 is a diagram schematically showing an attractiveness pattern corresponding to FIG. The degree of attraction is calculated to be highest in the region A, and the regions B and C are calculated to be lower in this order.
[0020]
FIG. 5 is a diagram showing the second image 2 to be laid out, and is an example of an image schematically showing an example of an image in which flowers are arranged at the right end. FIG. 6 is a diagram schematically showing an attractiveness pattern corresponding to FIG. The degree of attractiveness is calculated to be highest in the region A ′, and the region B ′ and the region C ′ are calculated to be lower in this order.
[0021]
For example, in the pattern image of the degree of attraction shown in FIG. 4, the calculated degree of attraction is expressed as f (area A), f (area B), and f (area C), respectively.
In the pattern image of the degree of attraction shown in FIG. 6, the calculated degrees of attraction are represented as f (area A ′), f (area B ′), and f (area C ′), respectively.
The relationship between f (region A) and f (region A ′) is as follows.
f (region A) <f (region A ′)
[0022]
(5) Image evaluation value calculation means 105
An image evaluation value is calculated based on the attention level (attraction level) calculated by the attention area calculation unit 104. As a method for calculating the image evaluation value, for example, the following method can be used.
First image evaluation value calculation method
If the image evaluation value is represented by h (image), the image evaluation value for the image 1 shown in FIG.
h (image 1) = Max (f (region i))
Is calculated as In addition, the relationship between region A, region B, and region C of image 1 is as follows:
f (region A)> f (region B)> f (region C)
Max (f (region i)) is assumed to be f (region A). That is, h (image 1) is
h (image 1) = f (region A).
Similarly,
h (image 2) = f (region A ′).
[0023]
Second image evaluation value calculation method
In the first image evaluation value calculation method, attention is paid only to the case where the f function is maximized in the region A to the region C.
h (image 1) = X × f (region A) + Y × f (region B) + Z × f (region C)
(X, Y, and Z are weighting factors)
As described above, the image evaluation value may be calculated by an arithmetic expression that considers all the regions. Thereby, it becomes an evaluation value which considered all the areas, and the attention degree (attraction degree) of the whole image can be reflected more.
[0024]
Third image evaluation value calculation method
If the area of the region A is k (region A), the attractiveness f ′ is
f ′ (region A) = f (region A) × k (region A)
And the image evaluation value h is calculated as
h (image 1) = f ′ (region A)
As required. In this way, the image evaluation value can also be calculated in consideration of the element of the area of the attention area. In addition, the coefficients (X, Y, Z) in the second image evaluation value calculation method may be used as the area-related coefficients.
[0025]
In this embodiment, when the first image evaluation value calculation method is used,
[H (image 1) = f (region A)] <[h (image 2) = f (region A ′)]
But
When the third image evaluation value calculation method (considering the area of the attention area) is used,
[H (image 1) = f (region A) × k (region A)]
> [H (image 2) = f (region A ′) × k (region A ′)]
Depending on the area of the region of interest, the evaluation value of the image may be opposite.
[0026]
(6) The image order determining unit 106 is a unit for determining the order of attention levels of images based on the image evaluation values obtained by the image evaluation value calculating unit 105.
(7) Template storage means 107
The template storage unit 107 is a unit for storing a template used for layout, and is a template database or the like.
(8) Template selection means 108
One template stored in the template storage means 107 is selected. As a template selection method, the user may specify a template, or may automatically select a template by selecting the template based on the total of the image evaluation values h described above.
For example, as a template selection condition, if the total of image evaluation values “h (image 1) + h (image 2)” is 0.2 or less, template A is selected, and if it is 1.0 or more, template B is selected. A template can be automatically selected based on the sum of image evaluation values.
A specific example of the template will be described below with reference to FIG.
[0027]
FIG. 2 is a diagram showing an example of a template, and is an example in which an image taken with an image having a certain subject (such as a student period, a travel period, a travel location, etc.) is laid out. In the example shown in FIG. 2, two images (photographed and stored copy responsibility) are arranged according to a predetermined template. In the present embodiment, it is assumed that the template shown in FIG. 2 is selected. In the template shown in FIG. 2, it is assumed that the priorities are ordered in the order of the image position {circle around (1)} of the layout frame a and the image position {circle around (2)} of the layout frame b. This priority order may be given in advance by the creator of the template, or priorities may be automatically ordered according to the size of each template image position (area of the layout frame). Assuming that a large area has a high priority, an image with a high degree of attention is laid out in a large size, and a good layout with a higher impact can be automatically realized.
[0028]
(9) Layout means 109
This is a means for executing layout processing in accordance with the priority order of image positions (layout frames) in the template and images ordered by image evaluation values. Now, the relationship between the image evaluation values of the image 1 shown in FIG. 3 and the image 2 shown in FIG.
h (image 1)> h (image 2)
, The image 1 is laid out at the image position {circle around (1)} of the template, and the image 2 is laid out at the image position {circle around (2)}. Note that when the image 1 and the image 2 are fitted in the template, each image may be enlarged or reduced so as to fit within the layout frame. An example of the layout result is shown in FIG.
[0029]
7 is a diagram showing an example in which the image 1 shown in FIG. 3 and the image 2 shown in FIG. 5 are laid out on the template shown in FIG. 2. An image 1 having a high image evaluation value is an image having a large layout frame. It is arranged at position (1). Further, the image 2 having a low image evaluation value is arranged at the image position {circle around (2)} of the layout frame. As described above, the image 1 and the image 2 are arranged according to the image evaluation value, and a layout having a higher impact can be realized.
[0030]
(10) Display means 110
The display unit 110 is a unit for displaying the layout result on the display device.
(11) Printing means 111
The printing unit 111 is a unit for printing the layout result.
[0031]
FIG. 8 is a diagram showing a processing procedure in the image layout apparatus of the present invention, and is a flowchart showing a layout procedure using the attention level (attraction level).
(1) Step S1: The image selection means 102 selects an image to be laid out from the image storage means 101.
(2) Step S2: The image reading means 103 reads the image to be laid out, calculates the attention level (attraction level) of the image, and creates, for example, a pattern image of the attention area shown in FIG. 4 or FIG.
(3) Step S3: The image evaluation value calculation means 105 calculates an image evaluation value from the pattern image of the region of interest shown in FIG. 4 or FIG.
(4) Step S4: The template selection unit 108 selects a template from the template storage unit 107.
(5) Step S5: The layout unit 109 executes layout processing according to the layout position order in the template and the image evaluation value.
(6) Step S6: Display or print the layout result.
[0032]
FIG. 9 is a block diagram showing a configuration example of the image layout apparatus, and shows only a part directly related to the present invention. In FIG. 9, 100 is an image layout apparatus, 10 is a communication network such as the Internet, 112 is a communication interface for connecting the image layout apparatus and the communication network 10, 113 is a control unit for performing overall control of the image layout apparatus, 114 Is an image database for storing data of images to be laid out, 115 is a template database for storing templates used for layout, and 120 is a processing program section. The image layout apparatus according to the present invention can also be realized using a PC (personal computer).
[0033]
Further, the processing program unit 120 includes the following processing units.
The image selection processing unit 121 is a processing unit for selecting an image to be laid out from the image database 114.
The image reading processing unit 122 is a processing unit for reading out values (RGB values and the like) for each pixel constituting the image.
The attention area calculation processing unit 123 is a processing unit for calculating the attention area. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each separated region. For the calculation of the attention area, for example, “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-127070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used.
The image evaluation value calculation processing unit 124 is a processing unit for calculating an image evaluation value based on the attention level (attraction level) calculated by the attention area calculation processing unit 123.
The image order determination processing unit 125 is a processing unit for determining the order of attention levels of images based on the image evaluation values obtained by the image evaluation value calculation processing unit 124.
The template selection processing unit 126 is a processing unit for selecting a template describing an image layout from the template database 115.
The layout processing unit 127 is a processing unit for arranging a plurality of images on the template based on the template selected by the template selection processing unit 126 and the image evaluation value.
The display processing unit 128 is a processing unit for displaying the layout result on the display device.
The print processing unit 129 is a processing unit for printing the layout result.
[0034]
The processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). The function may be realized by loading a program (not shown) for realizing the function of the unit into a memory and executing the program. Further, it is assumed that an input device, a display device, a printing device, and the like (all not shown) are connected to the image layout device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0035]
[Second Embodiment]
Although the embodiment of the image layout apparatus of the present invention has been described above, the ordering of images based on the degree of attention (attraction) as the technical idea of the present invention can be used for a wider range of applications. For example, images can be ordered in advance according to the degree of attention, or a numerical value of the degree of attention can be assigned and registered in a database, and used for searching for images using the degree of attention of the image as an index.
[0036]
FIG. 10 is a diagram illustrating a configuration example of means included in the image editing apparatus according to the present invention, and is an apparatus for evaluating the attention level (attraction level) of images and ordering images. An image editing apparatus 100 a shown in FIG. 10 includes an image storage unit 101, an image selection unit 102, an image reading unit 103, an attention area calculation unit 104, an image evaluation value calculation unit 105, and an image order determination unit 106. The image storage unit 101, the image selection unit 102, the image reading unit 103, the attention area calculation unit 104, the image evaluation value calculation unit 105, and the image order determination unit 106 are the same as those shown in FIG. Omitted. However, in the image editing apparatus 100 a shown in FIG. 10, the information on the ordered images output from the image order determining unit 106 is stored in the image storage unit 101 as compared with the image layout apparatus 100 shown in FIG. 1. The point is different.
[0037]
FIG. 11 is a block diagram illustrating a configuration example of an image editing apparatus image according to the present invention. The communication interface 112, the control unit 113, and the image database 114 included in the image editing apparatus 100a are the images illustrated in FIG. This is the same as the layout apparatus 100.
Further, the image selection processing unit 121, the image reading processing unit 122, the attention area calculation processing unit 123, the image evaluation value calculation processing unit 124, and the image order determination processing unit 125 in the processing program unit 120a are also shown in FIG. This is a processing unit for performing evaluation based on the degree of attention of images and ordering of images, as in FIG.
[0038]
Although the embodiment of the present invention has been described above, the program for realizing the functions of the image layout apparatus 100 shown in FIG. 9 and the image editing apparatus 100a shown in FIG. 11 is recorded on a computer-readable recording medium. The image recording apparatus 100 and the image editing apparatus 100a according to the present invention may perform necessary processes by causing the computer system to read and execute the program recorded on the recording medium. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if the WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a general medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system.
Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, it is intended to include those that hold a program for a certain period of time, such as a volatile memory inside a computer system that becomes a server or a client in that case (transmission medium or transmission wave).
The program may be for realizing a part of the functions described above, and further, a program that can realize the functions described above in combination with a program already recorded in a computer system, a so-called difference file (difference). Program).
[0039]
Although the embodiments of the present invention have been described above, the image layout apparatus and the image editing apparatus of the present invention are not limited to the above illustrated examples, and various modifications can be made without departing from the gist of the present invention. Of course, can be added.
[0040]
[Supplementary explanation about degree of attraction]
In the embodiment of the present invention, the “attraction level” is used as the reference for extracting the attention area. An example of a method for calculating the “attraction level” is disclosed in Japanese Patent Application Laid-Open No. 2001-127070 (attention area extraction device). And an automatic composition determination apparatus using the same).
Here, only the outline will be described.
In order to extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter that matches human subjectivity. In the attention area extraction, the area that stands out from the evaluation result is extracted as the attention area. That is, in the evaluation of the attention area, since the evaluation according to the human subjectivity is performed according to the physical characteristics, it is possible to extract the attention area suitable for the human subjectivity.
For example, when the physical feature includes a degree of color heterogeneity, the degree of attraction can be evaluated based on the difference in color of each region.
In addition to the color heterogeneity, the physical characteristics further include a shape heterogeneity, an area heterogeneity, and a texture (pattern) heterogeneity, and therefore based on at least one of these four heterogeneities. If the degree of attraction is evaluated, the degree of attraction can be accurately evaluated according to the characteristics of the original image.
In the case of evaluating the three elements of color (hue, saturation and lightness), an area close to a conspicuous color (red) according to human subjectivity can be evaluated as the most prominent area.
Furthermore, if the spatial frequency and the area of each region in the original image are also evaluated, the most prominent region can be judged more accurately.
[0041]
The degree of attraction is evaluated according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a figure area and a picture area. For this region segmentation method, a boundary detection method based on “edge flow” described in “Edge Flow: A Framework of Boundary Detection and Image Segmentation” by WYMa and BSManjunath et al. In 1997 IEEE is applied.
(2) Next, the divided figure area is extracted, and the attractiveness of the area is evaluated.
The degree of attraction is evaluated as follows.
・ First, determine the degree of heterogeneity in each area. In this case, the heterogeneity of the color, the heterogeneity of the texture, the heterogeneity of the shape, and the heterogeneity of the area are obtained, and a weight coefficient is assigned to each to linearly combine to obtain the degree of heterogeneity attraction in each region.
-Next, the degree of feature attraction in each area is obtained. In this case, the attractiveness of the color, the attractiveness of the spatial frequency, and the attractiveness of the area are obtained, and a weighting coefficient is assigned to each to linearly combine to obtain the feature attractiveness of each region.
Next, the heterogeneity attractiveness degree and the feature attractiveness degree of each region are added to obtain a feature amount integrated value, and this feature amount integrated value is evaluated by a predetermined beta function to calculate the attractiveness degree.
(3) Moreover, the pattern figure which evaluated the attractiveness degree from the original image is produced | generated.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of means included in an image layout apparatus of the present invention.
FIG. 2 is a diagram showing an example of a template.
FIG. 3 is a diagram showing a first image 1 to be laid out.
4 is a diagram schematically showing an attractiveness pattern corresponding to FIG. 3. FIG.
FIG. 5 is a diagram showing a second image 2 to be laid out.
6 is a diagram schematically showing an attractiveness pattern corresponding to FIG. 5. FIG.
FIG. 7 is a diagram showing an example in which images 1 and 2 are laid out.
FIG. 8 is a diagram showing a processing procedure in the image layout apparatus.
FIG. 9 is a block diagram illustrating a configuration example of an image layout apparatus.
FIG. 10 is a diagram showing a configuration example of means included in the image editing apparatus of the present invention.
FIG. 11 is a block diagram illustrating a configuration example of an image editing apparatus.
[Explanation of symbols]
100 image layout device, 101 image storage means, 102 image selection means
103 image reading means, 104 attention area calculation means,
105 image evaluation value calculating means, 106 image order determining means
107 template storage means, 108 template selection means
109 layout means, 110 display means, 111 printing means

Claims (5)

複数の画像をレイアウトする画像レイアウト装置であって、
前記画像毎の誘目度を算出する注目領域算出手段と、
レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手段と、
計算された前記画像の前記誘目度の合計値に対応したテンプレートを、前記テンプレート記憶手段から選択するテンプレート選択手段と、
選択された前記テンプレートに記載されているレイアウト順序に従い、算出された誘目度の高い順番に、前記画像各々を、テンプレート内のレイアウト枠に配置することでレイアウトするレイアウト手段と
を具備することを特徴とする画像レイアウト装置。
An image layout apparatus for laying out a plurality of images,
Attention area calculation means for calculating the degree of attraction for each image;
Template storage means for storing a template for layout including layout order information;
A template selection unit that selects a template corresponding to the calculated total value of the degree of attraction of the image from the template storage unit;
Layout means for laying out the images by arranging them in a layout frame in the template in the order of the calculated attractiveness according to the layout order described in the selected template. An image layout apparatus.
前記注目領域算出手段が、前記画像の誘目度を算出する際、当該画像を複数の領域に分割し、分割した領域毎に誘目度を算出し、
前記領域において最も高い誘目度を、前記レイアウト手段が誘目度に用いる前記画像の画像評価値として算出する画像評価値算出手段を具備することを特徴とする請求項1記載の画像レイアウト装置。
When the attention area calculation means calculates the degree of attraction of the image, it divides the image into a plurality of areas, calculates the degree of attraction for each divided area,
2. The image layout apparatus according to claim 1, further comprising an image evaluation value calculating unit that calculates the highest degree of attraction in the area as an image evaluation value of the image used by the layout unit for the degree of attraction.
前記注目領域算出手段が、前記画像の誘目度を算出する際、当該画像を複数の領域に分割し、分割した領域毎に誘目度を算出し、
前記領域の誘目度と、前記領域の面積を乗算し、画像毎に加算し、前記レイアウト手段が誘目度に用いる前記画像の画像評価値として算出する画像評価値算出手段を具備することを特徴とする請求項1に記載の画像レイアウト装置。
When the attention area calculation means calculates the degree of attraction of the image, it divides the image into a plurality of areas, calculates the degree of attraction for each divided area,
Multiplying the degree of attraction of the area by the area of the area, adding for each image, and comprising image evaluation value calculating means for calculating the image evaluation value of the image used by the layout means for the degree of attraction. The image layout apparatus according to claim 1.
複数の画像をレイアウトする画像レイアウト装置における画像レイアウト方法であって、
注目領域算出手段が、前記画像毎の誘目度を算出する注目領域算出過程と、
テンプレート選択手段が、レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手段から、計算された前記各画像の前記誘目度の合計値に対応したテンプレートを選択するテンプレート選択過程と、
レイアウト手段が、選択された前記テンプレートに記載されているレイアウト順序に従い、算出された誘目度の高い順番に、前記画像各々を、テンプレート内のレイアウト枠に配置することでレイアウトするレイアウト過程と
を含むことを特徴とする画像レイアウト方法。
An image layout method in an image layout apparatus for laying out a plurality of images,
Attention area calculation means for calculating the attention degree for each image, attention area calculation process,
A template selection step in which a template selection unit selects a template corresponding to the calculated total value of the degree of attraction of each image from a template storage unit that stores a layout template including layout order information;
A layout step of laying out each of the images in a layout frame within the template according to a layout order described in the selected template, and in order of the calculated attractiveness. An image layout method characterized by the above.
複数の画像をレイアウトする画像レイアウト装置内のコンピュータに、
注目領域算出手段が、前記画像毎の誘目度を算出する注目領域算出処理と、
テンプレート選択手段が、レイアウト順序情報を含むレイアウト用のテンプレートを記憶するテンプレート記憶手段から、計算された前記各画像の前記誘目度の合計値に対応したテンプレートを選択するテンプレート選択処理と、
レイアウト手段が、選択された前記テンプレートに記載されているレイアウト順序に従い、算出された誘目度の高い順番に、前記画像各々を、テンプレート内のレイアウト枠に配置することでレイアウトするレイアウト処理と
を実行させるためのプログラム。
To the computer in the image layout device that lays out multiple images,
An attention area calculation unit calculates an attention degree for each image, and attention area calculation processing;
A template selection unit that selects a template corresponding to the calculated total value of the degree of attraction of each image from a template storage unit that stores a template for layout including layout order information;
A layout unit executes a layout process for laying out the images by arranging them in a layout frame in the template in the order of the calculated attractiveness according to the layout order described in the selected template. Program to let you.
JP2003024375A 2003-01-31 2003-01-31 Image layout apparatus, image layout method, and program in image layout apparatus Expired - Fee Related JP4348956B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003024375A JP4348956B2 (en) 2003-01-31 2003-01-31 Image layout apparatus, image layout method, and program in image layout apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003024375A JP4348956B2 (en) 2003-01-31 2003-01-31 Image layout apparatus, image layout method, and program in image layout apparatus

Publications (2)

Publication Number Publication Date
JP2004234500A JP2004234500A (en) 2004-08-19
JP4348956B2 true JP4348956B2 (en) 2009-10-21

Family

ID=32952924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003024375A Expired - Fee Related JP4348956B2 (en) 2003-01-31 2003-01-31 Image layout apparatus, image layout method, and program in image layout apparatus

Country Status (1)

Country Link
JP (1) JP4348956B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215097A (en) * 2006-02-13 2007-08-23 Matsushita Electric Ind Co Ltd Display data generating apparatus
JP4642695B2 (en) * 2006-05-18 2011-03-02 富士フイルム株式会社 Album creating system, album creating method, program, and album creating apparatus
JP5095501B2 (en) * 2008-05-27 2012-12-12 富士フイルム株式会社 Attention degree calculating device, method, and program
US8271871B2 (en) * 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
JP5388683B2 (en) 2009-05-12 2014-01-15 キヤノン株式会社 Image arrangement apparatus, image arrangement method, program, and storage medium
US9438766B2 (en) 2014-07-28 2016-09-06 Kyocera Document Solutions Inc. Information processing apparatus, information processing method
JP6525645B2 (en) * 2015-03-06 2019-06-05 キヤノン株式会社 INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING METHOD
JP6363547B2 (en) * 2015-03-30 2018-07-25 株式会社Nttドコモ Information processing apparatus and sentence imaging program
WO2022045170A1 (en) * 2020-08-31 2022-03-03 武藤工業株式会社 Raster image conversion device, program, and printing system

Also Published As

Publication number Publication date
JP2004234500A (en) 2004-08-19

Similar Documents

Publication Publication Date Title
JP3747589B2 (en) Image feature amount comparison device and recording medium storing image feature amount comparison program
JP4120724B2 (en) Image data management apparatus, image data management method, and medium on which image data management program is recorded
JP3690391B2 (en) Image editing apparatus, image trimming method, and program
US6927874B1 (en) Image processing method, apparatus and storage medium therefor
JP4029636B2 (en) Object layout device, image layout device, object layout program, image layout program, object layout method, and image layout method
JP2005202469A (en) Image processor, image processing method and program
JP2009509248A (en) Framed art visualization software
JP2004199248A (en) Image layouting device, method and program
JP4348956B2 (en) Image layout apparatus, image layout method, and program in image layout apparatus
JP2006350936A (en) Image forming device and image forming program
JP4052128B2 (en) Image trimming apparatus, image trimming method, and program
JP5413143B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2014044595A (en) Line drawing coloring system
JPH09190546A (en) Automatic image editing device
JP4032202B2 (en) Image data processing apparatus, computer-readable recording medium storing image data processing program, and image data processing method
JP2011061860A (en) Image-data processor, medium with image-data set recorded, medium with image-data processing program recorded and method for processing image data
JP2001052011A (en) Method and device for picture retrieval
JP2001056867A5 (en)
JP2006350462A (en) Album image preparation device and album image preparation program
JP3719247B2 (en) Image editing apparatus, image trimming method, and program
JP2004192121A (en) Image retrieval device, image classification method, image retrieval method, and program
JP4433040B2 (en) Image data management apparatus, image data management method, and image data management program
JP4507673B2 (en) Image processing apparatus, image processing method, and program
JP2006171942A (en) Significance setting device and method and program
JP4715950B2 (en) Image data processing apparatus, recording medium, and image data processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20030204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090713

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees