JP4929215B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は複数の画像を表示する画像処理装置及び画像処理装置の制御方法に関するものである。

近年、デジタルカメラの普及により専用端末やＰＣなどを利用して電子的なアルバムを作成し、アルバムの画面表示や印刷を行うシステムが普及してきている。このシステムは、ユーザがアルバム化したい画像を選択し、アルバムのテンプレート上に画像を配置することで電子的なアルバムを作成し、これを表示したり印刷したりするものである。

しかし、デジタルカメラでは大量に画像を撮影してしまう傾向にあり、大量の画像の中からユーザが画像を選択し、見栄えの良いレイアウトを考えながら配置していくのは大変な手間が掛かる作業である。

このため、ユーザの手間を軽減するために、特許文献１では画像を配置する配置枠に付加された属性情報と一致する属性情報を持った画像のみを選択対象として画面に表示するというものが提案されている。これにより、画像の配置枠に合った画像の候補が絞り込まれて表示されるため、ユーザは画像選択の手間が軽減されるというものである。

また、特許文献２ではページ内で主画像となるべき画像を自動的に選択し、次に主画像との関連性により従画像を自動的に抽出し、同一ページ内にレイアウトするというものが提案されている。これにより、画像選択と画像配置という作業の自動化が可能となる。
特開２００６−２７７０６５号公報 特開２００６−２９３９８６号公報

しかし、特許文献１に提案された方法では、テンプレートに設定された属性情報と一致する画像を選択するため、テンプレートデザイナーの意図通りの画像が抽出されないという問題がある。例えば、アップの画像を選択したい場合、アップというのを仮に焦点距離が１００ｍｍとして設定しても、１００ｍｍと一致する画像がある可能性は低い。また、望遠レンズを多用している場合は、１００ｍｍではアップの画像とは言えず、意図した画像が選択されないことになる。

また、特許文献２に提案された方法では、主画像に対して同じページ内に配置される従画像は同じ観点で抽出された画像が配置されるため、似た画像ばかりになってしまう可能性が高い。このため、ページ内にストーリー性を持たせたり、一部に全然観点の違うアクセント画像を入れたりといった調整を行うことができないという問題がある。

よって、本発明は上記を鑑みてなされたものであり、意図した通りの画像を自動配置することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は、以下の構成を備える。即ち、枠群に配置する画像群の相対関係を示す条件と関連付けられた枠群の情報を取得する取得手段と、前記取得手段によって取得された枠群の情報に関連付けられた条件を満たす画像群を複数の画像から抽出する抽出手段と、前記抽出手段によって抽出された画像群を、前記取得手段で取得された情報に対応する枠群に配置する配置手段と、ユーザの指示に応じて、前記配置手段により配置された画像の１つを他の画像に変更する変更手段と、前記変更手段により前記配置手段により配置された画像の１つが前記他の画像に変更されると、前記他の画像が配置された枠以外の枠に配置されている画像も変更するか否かをユーザに問い合わせる問合手段と、前記問合手段による問い合わせに対するユーザ指示に従って、前記他の画像を基準とし、前記取得手段により取得された枠群の情報に関連付けられた条件に基づいて、前記他の画像が配置された枠以外の枠に配置する画像を複数の画像から再抽出する再抽出手段と、前記再抽出手段により再抽出された画像を、前記他の画像が配置された枠以外の枠に再配置する再配置手段とを備えることを特徴とする。

また、上記目的を達成するために、本発明の一態様による画像処理装置の制御方法は、枠群に配置する画像群の相対関係を示す条件と関連付けられた枠群の情報を取得手段が取得する取得工程と、前記取得手段によって取得された枠群の情報に関連付けられた条件を満たす画像群を複数の画像から抽出手段が抽出する抽出工程と、前記抽出手段によって抽出された画像群を、前記取得手段で取得された情報に対応する枠群に配置手段が配置する配置工程と、ユーザの指示に応じて、前記配置手段により配置された画像の１つを他の画像に変更手段が変更する変更工程と、前記変更手段により前記配置工程において配置された画像の１つが前記他の画像に変更されると、前記他の画像が配置された枠以外の枠に配置されている画像も変更するか否かを問合手段がユーザに問い合わせる問合工程と、前記問合手段による問い合わせに対するユーザ指示に従って、前記他の画像を基準とし、前記取得工程により取得された枠群の情報に関連付けられた条件に基づいて、前記他の画像が配置された枠以外の枠に配置する画像を複数の画像から再抽出手段が再抽出する再抽出工程と、 前記再抽出手段により再抽出された画像を、前記他の画像が配置された枠以外の枠に再配置する再配置工程と
を備えることを特徴とする。

本発明によれば、意図した通りの画像を自動選択し、意図した通りに画像の自動配置を可能とするので、ユーザの操作を軽減できる。また、相対的関係を条件として設定できるため、固定値の設定を必要とせず、条件設定が容易となる。また、ユーザの希望により、１つの画像を変更しただけで他の画像も自動的に変更することも、自動配置トされた画像の１つだけど変更することもでき、ユーザの意図に合った画像配置にすることができる。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。なお、本発明は、この実施形態により何ら限定されるものではない。

（第１の実施形態）
本実施形態においては、特定の画像を配置する配置枠群に関連付けて一方の画像の値と他方の画像の値との相対的関係の条件が設定されていた場合に、その条件に基づいて画像が自動的に配置されるようにするための実施形態を、図面を参照しながら説明する。

図１は本発明における画像処理装置のハードウェア構成の一例を示す図である。

１０２はＣＰＵであり、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。本装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。該メモリはＲＯＭ１０３であっても良いし外部記憶装置などからプログラムがロードされるＲＡＭ１０４であっても良い。

１０５は本発明に係るデータやプログラムを記憶しておくためのハードディスクなどの記憶装置である。また、画像群や複数の枠が設定されたテンプレートを保持しておく為にも利用する。ただし、画像群やテンプレートを保持しておくものとしては、外部接続やネットワークに接続された外部記憶装置１０６を用いても良い。１０７はユーザからの指示を入力するための入力装置である。ユーザは入力装置１０７により、ユーザからの指示を得るものとする。

１０８は出力のための回路を含む出力装置であり、ＣＲＴや液晶表示器、テレビなどの表示装置や、プリンターや複合機などの印刷装置のことである。表示装置上には画像やテンプレートなどの電子アルバムの作成に必要な情報が表示されるものとする。作成された電子アルバムは、表示装置に表示しても良いし、印刷装置にてプリントアウトしても良い。

図２は本発明における画像処理装置のソフトウェア構成の一例を示すブロック図である。

図において、２００は画像処理装置全体である。２０１は画像情報管理部であり、画像群の情報を管理し、他のモジュールの要求に応じて情報を提供する。ここで、画像群とは、例えば内部記憶装置に蓄積された画像群や外部記憶装置に蓄積された画像群のことを指す。また、外部記憶装置は、例えば直接接続されたストレージ機器やネットワーク接続されたストレージ機器、デジタルカメラのような画像データを保持できる機器のことを指す。さらに画像群は、Ｗｅｂ上に公開された画像群であっても良い。

画像情報管理部２０１はこれらの機器に格納された画像自身や、画像に付加された属性情報、画像認識を行った際の情報を管理するものである。２０２はテンプレート管理部であり、画像をどのように配置するかを示した配置枠が定義されたテンプレートを管理し、他のモジュールの要求に応じて情報を提供する。テンプレートには、定義された配置枠群に関連付けて、配置される画像群の相対的関係が条件として保持されている。画像群の相対的関係とは、それぞれの画像が有する属性値の相対関係を表す情報である。具体例は後述するが、例えば画像Ａと画像Ｂの焦点距離の関係を表す情報等である。

２０３は画像抽出部であり、テンプレート管理部２０２の情報を基に、必要な画像群を画像情報管理部２０１を介して抽出する。２０４は画像配置部であり、テンプレート管理部２０２からテンプレート情報を取得し、テンプレート情報に定義された配置枠群に対して、画像抽出部２０３が抽出した画像群を配置する。２０５は画面表示部であり、画像配置部２０４で生成された画像がテンプレート上に配置された情報や、入力処理部２０６からのユーザの操作内容を、出力装置１０８の描画ＲＡＭ上に描画データとして書き込みを行う。２０６は入力処理部であり、ユーザからの操作指示を受付け、操作内容を画面表示部２０５に依頼して画面表示を行う。また、入力装置１０７からのユーザの操作を解析し、選択操作、データの入力などを処理し、ユーザからの指示内容を画像配置部２０４に伝え、動作制御を行う。

図３は本発明におけるテンプレートの設定内容の一例を表す図である。

３００は画像を配置するためのテンプレートであり、ここではアルバムの１ページのテンプレートを想定した一例を示している。テンプレートは複数ページを一括して管理しているものであっても良い。ここでの例では便宜上、１ページのテンプレートを例に挙げて説明する。３０１、３０２、３０３はテンプレートに定義された画像を配置する配置枠である。ここに画像が配置されることでアルバムの１ページが構成される。配置枠の位置や大きさは固定でなくても良く、例えば画像の大きさやアスペクト比に合わせて大きさを変えたり、大きさが変わったことにより位置をずらしたりしても良いものとする。

３０４、３０５、３０６は、配置枠群に関連付けられた相対的関係を表す条件である。ここでの例では２つの配置枠間に関連付けて条件を設定している。３０４の条件ではＡの配置枠である３０１と、Ｂの配置枠である３０２の間に、「ＡはＢより焦点距離の値が大きい」つまり、ＡはＢの画像よりアップで撮影されたという相対的関係を示す条件が設定されている。これは反対の「ＢはＡより焦点距離の値が小さい」という条件も同時に意味している。ここで利用している焦点距離は画像に付加された属性情報の中に保持されており、画像情報管理部２０１を利用して取得できる。

３０５の条件は３０４と同様にＡとＣの配置枠の間に焦点距離の相対的関係が条件として設定されている。３０６の条件では、Ｂの配置枠である３０２と、Ｃの配置枠である３０３の間に、「ＢはＣより撮影日時の値が小さい」という相対的関係を示す条件が設定されている。これについても反対の「ＣはＢより撮影日時の値が大きい」という条件も同時に意味している。ここで利用している撮影日時も、画像に付加された属性情報から取得できる。

この他に相対的関係を示す条件の例として、以下にいくつか記述する。属性情報を利用できる例として、ＡはＢより絞りの値が大きい。ＡはＢより露出の値が大きい。ＡはＢより画像解像度の値が大きい。ＡはＢより被写体までの距離が小さいなどが考えられる。このように、属性情報内で値として扱われているものであれば全て相対的関係を示す条件として設定可能である。

また、属性情報として画像認識の結果を利用してもよい。この場合、予め画像認識を行った結果を属性情報として画像に付与しておいても良いし、画像を配置する際に画像認識を行ってもよい。条件の例として、ＡはＢより写っている人数が多い。ＡはＢより笑顔度を示す値が大きい。ＡはＢより明るさの値が大きい。ＡはＢよりある色の色合いを示す値が大きい。ＡはＢよりブレの値が小さいなどが考えられる。このように、画像認識においても値として取れるものであれば全て相対的関係を示す条件として設定可能である。また、値の大小の条件に範囲を持たせても良く、値がいくつ以上大きいというような設定をしても良い。

図４は、本発明における画像配置の一例を示した図である。

この図の例では、図３のテンプレートを基に画像抽出して配置した場合の例を示している。４０１、４０２、４０３はそれぞれ図３における３０１、３０２、３０３の配置枠に画像が配置された状態を示している。図３の３０１と３０２、３０３のそれぞれの配置枠間には３０１に配置される画像の方が焦点距離の値が大きいという条件設定がされているため、４０１のように４０２、４０３に比べてアップの画像が配置されている。このように、メインの配置枠には他の配置枠の画像よりもアップで目立つ画像を配置することができ、メリハリを付けることができる。

この他にも、例えば絞りの値を利用することでポートレート撮影された画像をメインに配置したり、被写体までの距離を利用してクローズアップ撮影された画像をメインに配置してもメリハリのある配置が可能である。さらに、メインの配置枠には笑顔を示す値が大きいものや、画像解像度の値が大きいものなどが配置されるように設定するのも効果的である。

また、これら複数の条件を同じ配置枠群に関連付けて設定しておくことも可能である。こうすることで、意図通りの画像が配置される精度を高めることもできる。次に、３０２と３０３の配置枠間には３０２に配置される画像の方が撮影日時の値が小さいという条件設定がされているため、４０２のように４０３よりも撮影時間が早い画像が配置される。このように、時間的な順番を守るように配置されることで、時間的な前後が入れ替わったり、時間軸がバラバラに画像が並ぶといった不自然な配置を回避することができる。

図５は本発明におけるストーリー性のある画像配置の一例を表す図である。

テンプレート３００に定義された配置枠群に関連付けて、図５の例では５０１から５０３の相対的関係を条件として設定している。条件の詳細は５０４に記述している。ここでの例ではより前面にあり、より大きい配置枠ほど、被写体との距離の値が小さく、撮影日時の値が大きくなる画像が配置されるように条件を設定している。この例ように、同一の配置枠群に対して複数の条件を関連付けることも可能である。このような設定を行うことで、図５の例のように、徐々に被写体が近付いてきた画像を連続写真のように配置することができる。このように、配置枠の順番を考慮して相対的関係の条件を設定すれば、配置枠の順を追ったストーリー性を持たせることも可能である。

図６は本発明における画像配置処理の一例を示すフローチャートである。図６のフローの各ステップはＣＰＵ１０２の制御に基づいて実行される。

図において、Ｓ６０１〜Ｓ６０４は各ステップを表す。Ｓ６０１では、図２におけるテンプレート管理部２０２よりテンプレート情報を取得する処理を行っている。ここで、テンプレートに定義された配置枠群の中から、相対的関係が条件として設定された配置枠群のリストを取得する。Ｓ６０２はループ処理の判定部であり、Ｓ６０１にて取得した配置枠群のリストにまだ処理すべき配置枠群が存在するかどうかの判定を行っている。

ここで、処理すべき配置枠群が存在すればＳ６０３に進み、存在しなければ処理を終了する。Ｓ６０３以降の処理は、配置枠群のリスト中の一つについて処理を行う。Ｓ６０３は、図２における画像抽出部２０３の処理であり、配置枠群に関連付けられた相対的関係を示す条件を満たすような画像を図２における画像情報管理部２０１より抽出する。画像を抽出する方法の一例としては、どれかひとつの画像を基準とし、その画像に対して設定された相対的関係の条件を満たす他の画像を抽出するという方法が考えられる。仮に条件を満たす画像が存在しなかった場合には、基準とした画像を別の画像に置き換えて再度条件を満たす画像を抽出するという方法が考えられる。

Ｓ６０４は、図２における画像配置部２０４の処理であり、Ｓ６０３によって抽出された画像を、配置枠群に関連付けられた相対的関係を示す条件に従ってそれぞれの配置枠に画像を配置する。Ｓ６０４の処理を終えると、配置枠群のリストに格納されている次の配置枠群に処理を移し、Ｓ６０２の処理から繰り返す。

また、図６の例では相対的関係の条件を満たす画像を全て自動的に配置しているが、ユーザが手動で配置した画像に基づいて残りの配置枠に対して自動的に相対的関係の条件を満たす画像を配置するとしても良い。また、自動的に配置するタイミングとして、テンプレートを選択した時点でも良いし、枠を選択した時点や、ページを選択した時点で配置しても良い。また、Ｓ６０１で相対的関係が条件として設定された配置枠群をリストとして取得したが、配置枠群を先頭から順に処理していくようにして相対的関係が設定された条件を取得しても構わない。

以上のように、本実施形態の画像処理装置においては、一方の画像の値より他方の画像の値の方が大きい、又は小さいというような大小関係の相対的関係に基づいて画像が配置されることで、メインの画像を目立たせるといったメリハリのある画像配置が可能となる。また、配置する順番を考慮して相対的関係の条件を設定しておけば、ストーリー性を持たせた画像の配置も可能となる。

（第２の実施形態）
本実施形態においては、ユーザが手動で配置した１以上の画像に基づいて残りの配置枠に対して自動的に相対的関係の条件を満たす画像を配置するとした場合の一例を説明する。この時に、条件を満たす画像は存在しないが、反対の条件を満たす画像は存在している場合には、画像を入れ替えて配置枠に配置するという実施形態を、図面を参照しながら説明する。第２の実施形態における画像処理装置装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

図７は本発明における画像入れ替えの一例を表す図である。

図７の（ａ）では、ユーザの指示により図３のテンプレートの配置枠３０１に対して７０１の画像を配置しようとしている。この際に、３０２の配置枠に対して条件３０４に基づいて画像７０１よりも焦点距離が小さい画像を配置しようとしたところ、焦点距離が画像７０１よりも小さい画像が存在しなかった場合を示している。しかし、条件３０４の反対の条件が成り立つ、画像７０１よりも焦点距離が大きい画像７０２が存在したため、この２つの画像を入れ替えて、図７の（ｂ）に示すように画像７０２を配置枠３０１に、画像７０１を配置枠３０２に配置している。こうすることで、ユーザに対してより好適と言える画像の配置を提供できる。また、反対の条件が成り立つ画像が複数ある場合には、お勧めの画像配置候補として順次配置する画像を入れ替えてユーザに提示できるようにしても良い。

図８は本発明における画像入れ替え確認ダイアログの一例を表す図である。

８０１は図７にて説明したように、より好適と言えるお勧めの画像の配置例があった際に表示するダイアログである。８０２は「お勧めの画像配置に変える」ことを意味するボタンである。ボタン８０２が押下された場合には、図７の（ｂ）のような画像配置で確定される。８０３は「お勧めの画像配置にしない」ことを意味するボタンである。ボタン８０３が押下された場合には、図７の（ｂ）のような画像配置にせず、ユーザの指定通りに図７の（ａ）において画像７０１を配置枠３０１に配置する。このようなダイアログにてユーザに画像の入れ替えを行うかどうかを選択させることで、勝手に画像を入れ替えられたくない場合にも対応できるようになる。

以上のように、本実施形態の画像処理装置においては、相対的関係の条件を満たす画像が存在しなくとも、反対の条件を満たす画像が存在すればそれをユーザに提示し、より良い画像配置を提供することが可能となる。また、条件に反してでも置きたい画像がある場合についてはそれを選択できるようにすることで柔軟に対応できるようになる。

（第３の実施形態）
本実施形態においては、相対的関係を表す条件として、一方の画像の値と他方の画像の値との差が一定の基準を満たしているかどうかという条件が設定されていた場合の実施形態を、図面を参照しながら説明する。第３の実施形態における画像処理装置装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

図９は本発明におけるテンプレートの一例を表す概念図である。

９０１、９０２、９０３はテンプレートに定義された配置枠である。９０４、９０５、９０６は配置枠群に関連付けて設定された相対的関係の条件である。ここでは、図３の例にある３０４、３０５、３０６の条件に新たな条件を追加したものを例に挙げて説明する。条件９０４においては、条件３０４に対して「ＡとＢは撮影場所の値が近い」という条件と、「ＡとＢは撮影日時の値が近い」という相対的関係を条件に追加している。ここでいう撮影場所の値が近いというのは、例えば画像の属性情報にある緯度・経度の情報を利用して、画像間の緯度・経度の値の差が規定の範囲内に収まっているかという判定で実現できる。撮影日時が近いというのも、画像間の撮影日時の差が規定よりも小さいかどうかを判定すれば良い。

このような条件を追加することで、ＡとＢの配置枠では近い場所、近い時間の画像が配置され、同じイベント内で撮影されたと思われる画像が並ぶことになる。このように、全然関係のない画像が同じページに配置されることを防ぎ、同じページ内には同じイベント内の画像が並ぶことでまとまりのあるページ構成が実現できる。

また、条件９０５では図３における条件３０５に対して前述の撮影場所と撮影日時の相対的関係の他に、「ＡとＣは撮影方向の値が遠い」という相対的関係を表す条件を追加している。これは、例えば画像間の撮影した方向の値の差が規定よりも大きいかどうかで判定すれば良い。撮影方向の値が遠いという条件を入れることで、ＡとＣでは別のアングルで撮影した画像が配置されることになる。このため、ＡとＣの配置枠の間で似たような画像が並ぶことがなくなる。こうすることでさらにメリハリのある画像配置が可能となる。

この他にも例えば、画像の色合いの値を比べてみたり、画像の特徴量の値を比べてみたりすることでも見た目に違う画像を配置することが可能である。値の差を規定する条件としては、前述のような差が規定よりも大きい、小さいという設定だけではなく、他にもいくつか考えられる。例えば、値の差がなく、同じ値であるという設定も考えられる。これにより、同じ場所とか同じ被写体といった設定も可能となる。

さらに、値の差の条件には範囲を持たせても良く、値の差がどこからどこまでの間に収まるという設定をしても良い。これにより、ある程度厳密に抽出される画像を絞り込むことができる。また、ここでは値の差が規定の範囲に収まる画像を配置する例を挙げたが、規定の範囲に収まる画像が存在しない場合も考えられる。その場合は、規定の範囲により近い画像を配置することとしても良い。

さらに、ここでの例では２つの配置枠間に関連付けて条件を設定しているが、複数の配置枠群に対して条件を設定しても良い。例えば「ＡとＢとＣの撮影場所が同じ。ＡとＢとＣの撮影方向の値が遠い」という設定を行えば、３つの配置枠に同じ場所から撮影した別アングルの画像を並べるといったことも可能となる。これにより、例えば同じ展望台から撮影した別アングルの画像を並べるといったような使い方ができる。

以上のように、本実施形態の画像処理装置においては、配置枠群に対して画像群の値の差が一定の基準を満たすように配置することで、同じイベントの画像を同じページに並べたり、同じイベント内でも他とは少し違った画像を並べたりすることが可能となる。このため、同一ページの配置枠においては関連のある画像を並べつつ、一部の配置枠にはアクセント画像を配置するというような使い方が可能となる。

（第４の実施形態）
本実施形態においては、相対的関係の条件を満たす画像が存在しなかった場合の対処法の実施形態を、図面を参照しながら説明する。条件を満たす画像が存在しなかった場合の対処方の例としては、条件を満たせなかった配置枠には画像を配置しないという方法が考えられる。その他には、条件を無視して画像を配置するという方法が考えられる。第４の実施形態における画像処理装置装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

まずは、条件を満たせなかった配置枠には画像を配置しないという方法についての例を説明する。

図１０は本発明における条件を満たせなかった配置枠には画像を配置しない一例を表す図である。

図１０（ａ）において、１００１、１００２、１００３は図２における画像情報管理部２０１が管理している画像群であり、ここでは便宜上３枚としている。１００７はＡの配置枠とＢの配置枠に関連付けて設定された相対的関係を表す条件であり、「ＡはＢより焦点距離が大きい」、「ＡはＢより撮影日時の値が大きい」という条件が設定されている。

この条件を満たす画像を先の画像群から抽出すると、焦点距離が大きい画像は１００３の画像しかないため、Ａの配置枠には画像１００３しか当てはまらない。Ｂの配置枠には画像１００１、画像１００２ともに画像１００３より焦点距離が小さく、撮影時刻が小さいため、どちらでも当てはまる。ここでの例では、図１０の（ｂ）に示すように、画像１００１がＢの配置枠に配置されたとする。

１００８は、Ａの配置枠とＣの配置枠に関連付けて設定された相対的関係を表す条件であり、「ＡはＣより焦点距離が大きい」、「ＡはＣより撮影日時の値が小さい」という条件が設定されている。しかし、配置枠Ａに配置された画像１００３よりも焦点距離が小さく、撮影時刻が大きい画像は先の画像群の中に存在しないため、Ｃの配置枠には画像を配置することができない。この場合、図１０の（ｂ）に示すように、Ｃの配置枠には画像が配置されないようにする。この後、１枚画像が減ったために不自然な配置となるため、Ｂの配置枠を右にずらして中央に持ってくるなどの処理を行っても良い。その他に、空いたＣの配置枠にはユーザに別途画像を配置してもらうという方法もある。

次に、条件を無視して画像を配置するという方法についての例を説明する。

図１１は本発明における条件を満たせなかった配置枠には条件を無視して画像を配置する一例を表す図である。

ここでの例は図１０の例とほとんど同じであるが、図１０と違うのは図１１の（ｂ）に示すように、条件１００８を満たしていない画像１００２をＣの配置枠に配置していることである。このように、条件を無視して画像を配置することで、配置枠の空きを作らないという方法もある。

図１２は本発明における条件を満たせなかった際に表示するダイアログの一例を表す図である。

図１２の（ａ）の１２０１は、図１１にて説明したように条件を満たしていない画像を配置しても良いかをユーザに問い合わせる確認ダイアログである。１２０２は「条件を満たしていない画像を配置しても良い」ことを意味するボタンである。１２０３は「条件を満たしていない画像は配置しない」ことを意味するボタンである。このようなダイアログをユーザに提示することで、条件を満たさない画像を勝手に配置されたくないという要求にも対応できる。

図１２の（ｂ）の１２０４は、図１０の説明にて条件を満たした画像が存在しなかった配置枠が空になっている状態にある場合に、その旨を伝える警告ダイアログである。このようなダイアログをユーザに提示することで、配置されていない配置枠があることを知らせ、抜けが生じるのを防ぐことができる。また、この後に画像が配置されていない配置枠を表示して、配置を促すのも良いと考える。また、画像が配置されていない配置枠が複数ある場合に、その配置枠を順次表示していけるようにしても良い。

以上のように、本実施形態の画像処理装置においては、相対的関係の条件を満たす画像が存在しない場合であっても、配置枠の数を調整したり、なるべく画像を配置するようにしたり、つじつまが合うように調整を行うことができる。また、ユーザにはダイアログを表示することで、ユーザの意図しない処理を行うのを防いだり、ユーザに対して注意を促すことができる。

（第５の実施形態）
本実施形態においては、相対的関係の条件が関連付けられた配置枠群のうち一部の配置枠に配置されている画像を変更する場合の実施形態を、図面を参照しながら説明する。第５の実施形態における画像処理装置装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

図１３は本発明における一部の配置枠に配置されている画像を変更する一例を表す図である。

ここでは、図９にて説明したテンプレートを利用した場合を例に挙げて説明する。画像１３０１、１３０２、１３０３は、設定された条件に従って、それぞれ近い場所、時間で撮影された画像が配置されるようになっている。また、画像１３０１のように、大きい配置枠には他よりもアップの画像が入るように条件が設定されている。ここで、１３０１の画像は例えば友達の家に行った時の写真とする。そして、その後友達を一緒にピクニックに行ったとして、その時に撮影した画像１３０４があったとする。

図１３の（ａ）は、ユーザの指示によりピクニックで撮影した画像１３０４を１３０１の画像と置き換えようとしているところを示している。この時、変更しようとしている画像１３０４を基準として、配置枠群に関連付けられた相対関係の条件に基づいて再度配置をし直すことも可能である。この場合の例が図１３の（ｂ）である。大きい配置枠に１３０４が配置され、１３０５、１３０６には近い場所、近い時間、すなわちピクニック中の画像が選択され、その中でも１３０４の画像よりもロングで撮影された画像が配置されている。このように、一部の配置枠の画像を変更したとしても、配置枠群に関連付けられた相対関係の条件を満たすような好適な画像配置を提示することができる。

図１４は本発明における画像変更時の再配置確認ダイアログの一例を表す図である。

１４０１は一部の配置枠に配置された画像が変更された際に、変更された画像を基準に配置枠群に関連付けられた相対的関係の条件に従って他の配置枠も再配置し直すかを問い合わせる確認ダイアログである。１４０２は「再配置を行う」ことを意味するボタンである。１４０３は「再配置を行わない」ことを意味するボタンである。このような確認ダイアログによりユーザの意思を確認することで、変更を加えた配置枠の画像のみを変えたい場合にも対応できる。

以上のように、本実施形態の画像処理装置においては、一部の配置枠の画像を変更したとしても、相対関係の条件を崩さずに変更した画像に合わせて他の配置枠の画像も変更することができる。これにより、ページのテーマを変えようとした場合においても、１枚の画像を変更するだけで、他の配置枠の画像も相対的関係の条件に基づいて、同じテーマの画像に自動的に変更することが可能となる。また、単に１枚だけ画像を変更したい場合においても、確認ダイアログを表示することでユーザの意図しない他の画像の変更を防ぐことができる。

＜他の実施形態＞
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

本発明における画像処理装置のハードウェア構成の一例を示す図である。 本発明における画像処理装置のソフトウェア構成の一例を示すブロック図である。 本発明におけるテンプレートの設定内容の一例を表す図である。 本発明における画像配置の一例を示した図である。 本発明におけるストーリー性のある画像配置の一例を表す図である。 本発明における画像配置処理の一例を示すフローチャートである。 本発明における画像入れ替えの一例を表す図である。 本発明における画像入れ替え確認ダイアログの一例を表す図である。 本発明におけるテンプレートの一例を表す図である。 本発明における条件を満たせなかった配置枠には画像を配置しない一例を表す図である。 本発明における条件を満たせなかった配置枠には条件を無視して画像を配置する一例を表す図である。 本発明における条件を満たせなかった際に表示するダイアログの一例を表す図である。 本発明における一部の配置枠に配置されている画像を変更する一例を表す図である。 本発明における画像変更時の再配置確認ダイアログの一例を表す図である。

符号の説明

１０１ バス
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 記憶装置
１０６ 外部記憶装置
１０７ 入力装置
１０８ 出力装置

Claims (15)

1. 枠群に配置する画像群の相対関係を示す条件と関連付けられた枠群の情報を取得する取得手段と、
   前記取得手段によって取得された枠群の情報に関連付けられた条件を満たす画像群を複数の画像から抽出する抽出手段と、
   前記抽出手段によって抽出された画像群を、前記取得手段で取得された情報に対応する枠群に配置する配置手段と、
   ユーザの指示に応じて、前記配置手段により配置された画像の１つを他の画像に変更する変更手段と、
   前記変更手段により前記配置手段により配置された画像の１つが前記他の画像に変更されると、前記他の画像が配置された枠以外の枠に配置されている画像も変更するか否かをユーザに問い合わせる問合手段と、
   前記問合手段による問い合わせに対するユーザ指示に従って、前記他の画像を基準とし、前記取得手段により取得された枠群の情報に関連付けられた条件に基づいて、前記他の画像が配置された枠以外の枠に配置する画像を複数の画像から再抽出する再抽出手段と、
   前記再抽出手段により再抽出された画像を、前記他の画像が配置された枠以外の枠に再配置する再配置手段
   を備えることを特徴とする画像処理装置。
2. 前記条件は、同一の枠群に対して複数の条件が設定されたものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記条件は、前記画像群の有する属性情報の値の相対関係を示すものであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記属性情報とは、画像認識を行った結果の値を含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記属性情報の値の相対関係とは、大小関係であることを特徴とする請求項３に記載の画像処理装置。
6. 前記属性情報の値の相対関係とは、一方の値と他方の値との差が一定の基準を満たす関係であることを特徴とする請求項３に記載の画像処理装置。
7. 前記抽出手段は、前記条件を満たす画像が抽出できなかった場合に、前記条件に近い画像を抽出することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。
8. 前記抽出手段は、前記条件を満たす画像が抽出できなかった場合に、前記条件を満たさない画像を抽出することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。
9. 前記抽出手段で、前記条件を満たす画像が抽出できなかった場合に、前記配置手段は、画像を配置しないことを特徴とする請求項１に記載の画像処理装置。
10. 前記抽出手段で、前記条件を満たす画像が抽出できなかった場合に、警告を提示する提示手段を更に有することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。
11. ユーザが指定した画像をユーザが指定した枠に配置する指示手段を更に有し、前記取得手段は、前記枠群の内、少なくとも１以上の枠が、該指示手段によって指定された枠群の情報を取得することを特徴とする請求項１乃至１０何れか１項に記載の画像処理装置。
12. 前記抽出手段は、前記条件を満たす画像が抽出できなかった場合に、該条件と反対の条件を満たす画像を抽出することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。
13. 枠群に配置する画像群の相対関係を示す条件と関連付けられた枠群の情報を取得手段が取得する取得工程と、
    前記取得手段によって取得された枠群の情報に関連付けられた条件を満たす画像群を複数の画像から抽出手段が抽出する抽出工程と、
    前記抽出手段によって抽出された画像群を、前記取得手段で取得された情報に対応する枠群に配置手段が配置する配置工程と、
    ユーザの指示に応じて、前記配置手段により配置された画像の１つを他の画像に変更手段が変更する変更工程と、
    前記変更手段により前記配置工程において配置された画像の１つが前記他の画像に変更されると、前記他の画像が配置された枠以外の枠に配置されている画像も変更するか否かを問合手段がユーザに問い合わせる問合工程と、
    前記問合手段による問い合わせに対するユーザ指示に従って、前記他の画像を基準とし、前記取得工程により取得された枠群の情報に関連付けられた条件に基づいて、前記他の画像が配置された枠以外の枠に配置する画像を複数の画像から再抽出手段が再抽出する再抽出工程と、
    前記再抽出手段により再抽出された画像を、前記他の画像が配置された枠以外の枠に再配置する再配置工程と
    を有することを特徴とする画像処理装置の制御方法。
14. 請求項１３に記載された画像処理装置の制御方法をコンピュータに実行させるプログラム。
15. 請求項１３に記載された画像処理装置の制御方法をコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images