JP4398726B2 - １つまたは複数の画像の自動フレーム選択およびレイアウトならびにフレームによって境界付けされた画像の生成 - Google Patents

Description

本発明は、画像にフレームを付すように作用するかまたは表示される画像の領域を画定する役割を果たす画像境界を画定する方法と、データプロセッサで実行される場合に、そのデータプロセッサに対して画像境界を画定する方法を実行させるコンピュータプログラム製品と、画像境界を画定し表示するために１つまたは複数の境界付けされた画像を提示する画像処理システムと、に関する。

ユーザに対し、画像境界内に取込画像を配置し、それによって画像をクロップ（すなわち、一部を排除）してグリーティングカードまたはフォトモンタージュレイアウトあるいは他の同様の製品を生成することを可能にする、ソフトウェアおよび画像処理システムがすでに存在する。画像境界の形状は、ユーザが選択する。画像境界の形状の選択は、環境によっては、ユーザには特に厄介である。たとえば、ユーザは、グリーティングカードを生成したい場合、複数の異なる包括的画像境界形状のうちの１つを選択しなければならない。満足のいく最終結果を生成するために任意の特定の画像に対して画像境界の形状を適当に選択することは、時間がかかるかまたはユーザの芸術的能力を超える場合がある。さらにまたは代替的に、ユーザは単に、可能な限り短時間でグリーティングカードを生成したい場合がある。

また、フォトモンタージュを提供することも知られている。フォトモンタージュは、境界全体（表示領域の範囲を画定する）内に個々に配置されおよび／または互いにオーバーラップするように配置された複数の個々の画像である。結果としてのフォトモンタージュが複数の画像を提示する特に満足のいく方法であることが分かっているが、適当な画像を手作業で選択し、選択した画像を物理的にかまたは電子的に「カット・アンド・ペースト」しスケーリングすることによって完成モンタージュを生成するためにかかる時間は、多くのユーザにとって極端に長くなる可能性がある。

したがって、グリーティングカード、フォトモンタージュ等を作成するためおよびかかるグリーティングカードまたはフォトモンタージュのために適当な画像境界を自動的に画定するために画像の選択を自動化する方法および装置を提供することが有利である。

かかる方法およびシステムにおいて主に必要なことは、適当な画像境界を、複数の事前定義された画像輪郭を参照するかまたは単純に画像自体に関連して画定することである。

本発明の第１の態様によれば、表示領域内に少なくとも１つの画像を配置する方法であって、少なくとも１つの事前定義された構図ルールにしたがってその画像または各画像を分析するステップと、その画像または各画像に対し、上記分析にしたがって形状が該画像に最良適合する画像境界を選択するステップと、境界を上記少なくとも１つの画像に適用するステップであって、それにより処理済み画像を生成する、適用するステップと、上記少なくとも１つの処理済み画像を上記表示領域内に配置するステップと、を含む方法を提供する。

好ましくは、分析するステップは、構図的に意味のある１つまたは複数の特徴を識別することおよび／または画像内に複数の関心領域を識別することを含む。関心領域は、概して、画像内の何らかの特徴を示す。構図的に意味のある領域は、関心領域であっても、興味を起こさせない領域、たとえば背景であってもよい。そして、単一領域かまたは領域の組合せを選択し、関心領域の選択された組合せ内およびそれに隣接して位置する構図的に意味のある特徴に対し、上記少なくとも１つの構図ルールを適用する。これにより、画像または画像の下位部分を分析することによって、包含する領域と排除する領域とを識別することが可能になる。画像のその部分を、画像の包含する特徴および排除する特徴を識別する構図マップとみなすことができる。

好ましくは、構図マップにおいて領域の各組合せに対し最適に「包含」領域を包含し最適に「排除」領域を排除する画像境界の形状を、最良適合として画定する。

好ましくは、画像境界の形状の１つまたは複数パラメータを、この最良適合を最適化するように調整してもよい。好ましくは、画像境界形状を、複数の幾何学的形状から選択する。

好ましくは、処理画像が生成されると、それを、少なくとも１つの所定配置ルールにしたがって表示領域に配置する。

表示領域は、画像境界の事前定義された配置を含んでもよい。代替的に、ユーザが、画像境界の数、位置およびサイズのうちの１つまたは複数を定義してもよい。ユーザはまた、たとえば、表示領域のすべての画像境界に対して使用される単一の包括的形状（矩形、楕円形等）を指定して、表示領域の全スタイルを制御するように表示領域の１つまたは複数のパラメータを制御してもよい。

画像（排他的ではないが特にグリーティングカードの場合）に対し、色およびスタイルが自動的に選択される枠を付加してもよい。枠の色を、画像における優勢な色に基づいて選択してもよい。このため、たとえば、選択する枠の色を、画像の対象によって着用された赤いドレス等、画像における非常に顕著な（salient）色に一致するように自動的に選択することができる。

代替的に、枠色を、画像の最も広い領域の色に一致するように選択してもよい。

代替的に、枠色を、画像の色の最大領域のうちの１つと故意に対照的であるように選択してもよい。明るい画像に対して暗いフレームを選択すること等である。

代替的に、ルックアップテーブルかまたは何らかの他のカラーマッピング方法が、画像の優勢な色に対して調和する色を提供することができる。

望ましい場合は、画像における意味のある色を分析することにより枠色を選択する他の多くの自動化方法を実現することも可能である。

枠のスタイル（パターン）もまた、自動的に選択することができる。このため、たとえば、スタイルは、選択肢のセットからのランダムな選択であってもよく、ユーザが先に記録した選好（preference）に基づく選択であってもよく、あるいは画像のテクスチャ全体に基づいて選択してもよい。テクスチャのあらゆる測定が適用可能である。たとえば、画像が直線の優位性を含むか否かにより、含む場合、比較的平坦でまっすぐな枠スタイルを使用する。含まない場合、わずかにパターン化された枠スタイルを使用する。

好ましくは、表示領域内に配置された画像境界の数は、原画像の数に等しい。しかしながら、画像と画像境界との数は、一致する必要はない。このため、たとえば、モンタージュテンプレートにおいて穴より多くの画像が利用可能である場合、いくつかの画像は利用することができず破棄しなければならない。これを行う１つの基礎は、画像をその中の関心領域のサイズによってランク付けし、関心領域がわずかしかない画像を排除する、ということであってもよい。モンタージュテンプレートに充填するより多くの穴がある場合、各画像を一度使用する。そして、画像からの代替クロップの探索を実行してもよい。たとえば、関心領域を再分析して表示される下位領域を画定してもよい。このため、人間のグループが１つの関心領域を表した場合、下位領域は、人間のうちの一人の顔のクローズアップであってもよい。

このため、表示領域内にＮ個（Ｎは０より大きい正の整数）の画像を配置する方法であって、
ｉ．Ｉ番目（Ｉは１〜Ｎの範囲の正の整数、１およびＮも含む）を選択するステップと、
ｉｉ．画像構図の少なくとも１つのルールにしたがってＩ番目の画像を分析するステップであって、それにより少なくとも１つの包含領域と少なくとも０の排除領域とを画定する、分析するステップと、
ｉｉｉ． すべての画像に対しステップｉおよびｉｉを繰返すステップと、
ｉｖ．Ｉ番目の画像に対し、Ｉ番目の画像に適用される場合に、境界内の包含領域のうちの少なくとも１つを包含しいかなる排除領域も排除するが、画像と画像境界との配置を最適化するために画像のうちの他のものも考慮する画像境界を、選択するステップと、
ｖ．Ｉ番目の画像に対し画像境界を適用するステップであって、それによりＩ番目の処理済み画像を生成する、適用するステップと、
ｖｉ．少なくとも１つの配置ルールにしたがって表示領域内にＩ番目の画像を配置するステップと
を含む方法を提供することが可能である。

かかる方法は、画像が定義されたテンプレートに配置されるモンタージュを生成する場合に有用である。

分析はまた、「ドントケア」領域も識別してもよく、そこでは、それらの領域またはそれらの領域の一部を、境界内の包含領域の配置を支援するために画像境界内に包含してもよい。

モンタージュの生成において直面する制約および問題がある。穴の配置をモンタージュテンプレートによって事前定義する場合、最適化問題は、画像を穴に割付けるというものである。穴のアスペクト比およびサイズを、テンプレートによって固定する。そして、いずれの画像を、いずれの穴を充填するために使用すべきかを判断することは、発見的最適化の問題である。このため、風景に対しては幅が広く細い穴が適している場合があり、顔に対しては小さい正方形の穴がより適している場合がある。本発明は、画像を、利用可能な穴と比較し、各あり得る穴／画像の組合せに対して最良のクロップを生成し、その後、すべての穴が適度に良いクロップで充填されるように最良の全セットを選択する。このように、最適化は、すべての画像に亙って大域的（global）である。

しかしながら、テンプレートが単にガイドとしての役割を果たし、テンプレート内の個々の穴がサイズおよびアスペクト比に関して調整可能であってもよい、ということも可能である。

たとえば、矩形穴によって作成されるテンプレートを考慮する。穴サイズを調整可能とすることが可能であってもよい。しかしながら、テンプレートの全外観を維持するために、穴間の境界のサイズに対して制約を課すこともまた必要であってもよい。これは、穴間の最大および最小距離を画定すること（または固定距離を画定することさえ）を含んでもよい。このため、いかなる穴のサイズの変更が、モンタージュにおける他の穴の１つまたは複数のサイズに影響を与えてもよい。

このように、すべての適合が合わせて最適化される必要があるという点で、適合問題は大域的であり得る。

システムが、穴の配置、すなわち、使用する包括的形状、形状の数、サイズの選択およびアスペクト比を生成する際に幾分かの許容範囲を有する、オーバーラップしないモンタージュの場合、最適化問題はより多くの自由度を有する。そのため、問題は、各画像を独立してクロップし、その後結果としてのクロップを表示領域に再配置することほど単純ではない。しかしながら、この手法を使用することができる。より適当な手法は、大域的な制約を使用して、適当な範囲の形状があることを保証し、モンタージュが興味をそそる種々の形状を有することを保証し、また形状が満足のいく方法で互いに適合することを保証することである。これを達成する１つの方法は、キー画像のサブセット、通常は５未満を選択し、これらに対して最良の独立したクロップを生成した後、それらを表示領域に、大きくかつかなりよく分散されるように配置する、ということである。そして、より小さいクロップ境界のセットを生成して、表示領域の残りの空間を充填する。次いで、穴に対する残りの画像の割付を、所定テンプレートに対するものと同様の方法で最適化する。

本発明の一実施形態では、オーバーラップするモンタージュの生成に関して、複数の画像境界を、各画像境界がオーバーラップするかまたは別の画像境界の少なくとも一部によってオーバーラップされるように表示領域内に配置することにより、画像のオーバーラップするモンタージュを形成する。この場合、分析するステップは、さらに、構図マップの「ドントケア」領域を識別することを含む。「ドントケア」領域は、任意に処理済み画像から排除してもよい関心領域の選択された組合せの領域かまたはそれらに隣接する領域である。好ましくは、画像モンタージュのオーバーラップ部分は、「ドントケア」領域を含む。ドントケア領域は、残り物であるため、「包含」および「排除」領域が画定される場合、明示的に計算する必要はない。

本発明の第２の態様によれば、表示領域内に複数の画像を配置する方法であって、少なくとも１つの構図のルールにしたがって上記複数の画像の各々を分析するステップであって、それにより該画像から排除される各画像の１つまたは複数の領域を識別する、分析するステップと、上記表示領域内に上記分析された画像を配置するステップであって、それによりいくつかの画像が少なくとも１つの他の画像の一部とオーバーラップするようにし、それによって該オーバーラップ部分が排除する上記領域のうちの１つまたは複数を覆い隠す、配置するステップとを含む方法を提供する。

好ましくは、それら自体オーバーラップ部分によって覆い隠されない、画像から排除する領域を、画像からクロップする。好ましくは、本発明のこの第２の態様の分析するステップは、本発明の第１の態様に関するものと同じであり、画像から排除する領域を識別する。

好ましくは、分析はまた、部分的にまたは全体的に別の画像によってオーバーラップされてもよい「ドントケア」領域も識別する。

好ましくは、表示領域内におけるオーバーラップする画像の配置を、画像の１つまたは複数のパラメータによって確定する。かかるパラメータには、画像の構図、画像の全体の明度、または画像の関心領域と画像の残り部分とのコントラストが含まれてもよい。これらのパラメータは、ユーザによって調整可能であってもよい。

本発明の第３の態様によれば、表示領域内に複数の画像を配置する画像処理装置であって、該画像を受取るように構成された入力と、該入力に連結され、本発明の第１または第２の態様による方法にしたがって該画像を配置するように構成された画像プロセッサと、該画像プロセッサに連結され表示領域内の画像の該配置を出力するように構成された出力と、を備える画像処理装置を提供する。

本発明の第４の態様によれば、本発明の第３の態様の画像処理装置を、画像取込装置と組合せて提供し、画像処理システムの入力を、画像取込装置からの取込画像を受取るように構成する。

好ましくは、画像処理システムの出力を画像記憶装置に連結する。画像記憶装置は、別々のコンピュータ、コンピュータハードディスクまたは他の任意の適当な記憶媒体であってもよい。

好ましくは、画像処理システムの出力をプリンタに連結し、それによって画像の配置のハードコピーをプリントアウトすることができるようにする。

本発明の第５の態様によれば、コンピュータに対し本発明の第１または第２の態様の方法を実行させるコンピュータ読取可能命令を含むコンピュータプログラム製品を提供する。

ここで、本発明を、例として添付図面を参照して説明する。

図１は、本発明の実施形態の動作をグリーティングカード等の生成に関連して概略的に示す。ユーザは、グリーティングカードの主題となる画像１を提示する。画像を、カメラからダウンロードしてもよく、あるいはユーザの画像の「アルバム」から選択するかまたは画像の予め用意した蓄積から選択してもよい。図１において、画像１は、構図的に意味のある４つの別個の領域、すなわち、空２と、実質的に画像の中心にある建物３と、地面４と、画像の左側の端にある部分的な木５とを有する。図示する画像１は、画像の極めて縁に近い部分から部分的な重要領域、この場合は木５を取除くことにより、画像の構図を改善することができる、特定の実施例を示す。構図的に意味のある領域または特徴は、構図のルールによって使用してもよい画像の任意の領域または特徴である。かかる意味のある特徴には、関心領域と、水平線位置と、画像の領域間の著しく対照的な境界と、色または明度の強い領域と、輝度、明度またはコントラストが低い領域（すなわち、おそらくは特に興味を起こさせない（boring）領域）と、画像の「混んでいる（busy）」領域とが含まれてもよい。関心領域は、主題を構成する画像の領域である。画像は、複数の関心領域を含んでもよい。

画像を、分析する（後述するように）ことにより、関心領域と構図的に意味のある領域とを識別し、識別した領域に基づいて画像に対し１つまたは複数の構図のルールを適用する。かかる構図のルールは、画像を、三目並べ盤（nought）のように２つの平行な水平ラインと２つの平行な垂直ラインとにより細分し、包含されるべき意味のある領域をその水平および垂直ラインの交差部分にまたは交差部分に近接して配置する、３分割法（rule of thirds）であってもよい。別のあり得る構図のルールは、全画像の極めて縁に近い部分に位置する意味のある領域をすべて取除く、というものである。

この分析を行った後、画像に対して１つまたは複数の構図マップを生成する。各構図マップは、関心の「包含」領域と意味のある「排除」領域との組合せを画定する。「包含」および「排除」領域を、意味のある領域の特定の組合せに対して適当な構図的に意味のある特徴に関連して選択された構図のルールを適用することにより、確定する。複数の異なる「ランキング」を有するより精密な割付システムを適用してもよい、ということが理解されよう。

画像境界６〜１１として提供される複数の事前定義された包括的形状を示す。これらには、正方形６と、矩形７と、楕円形８と、円形９と、星形１０と、三角形１１とが含まれる。このリストは網羅的ではなく、より複雑で実際には非幾何学的な形状を提供してもよい。

関心領域の画像境界との組合せの最良適合を確定するために、包括的画像境界６〜１１の各々に対して整合プロセスを適用する。最良適合は、可能な限り多くの画像の「包含」領域を含む一方で可能な限り多くの「排除」領域を排除する、包括的画像境界と構図マップとの組合せである。すなわち、最良適合を、構図の選択されたルールに最もよく従う画像を提供する画像境界のその形状によって提供する。最良適合は、必ずしもではないが、概して、「排除」領域を排除し「包含」領域を包含するだけでなく、画像の広い興味を起こさせない領域を最小化する、画像境界の包括的形状である。最良適合を、境界付けされた画像に対して、境界付けされた画像に対して「ペナルティ」を生成する発見的ルールのセットを適用することによって、確定してもよい。各ルールによって生成されるペナルティを、画像に対する重み付き合計および最良適合を確定するために使用する各画像／境界の組合せに対する重み付き合計として結合してもよい。１つのかかる方法は、本出願人の同時係属中の英国特許出願ＧＢ００３１４２３．７号において説明されている。当業者には、この方法の代りにまたはそれに加えて、画像評価の他の既知の方法を使用してもよい、ということを理解するであろう。アスペクト比を含む画像境界の形状のパラメータを、これを最適に達成するように変更してもよい。画像境界形状パラメータは、包括的形状によって変化する。たとえば、矩形７の場合は、アスペクト比を変更してもよいが、星形１０の場合は、腕の数と星形サイズに対するそれらの長さとを変更してもよい。

事前定義された画像境界６〜１１の最良適合を、最終画像境界として選択する。そして、その境界を使用して、処理済み画像を作成するために画像をクロップする。そして、処理済み画像を、グリーティングカードの場合は通常カードの矩形正面である、利用可能な表示領域に適用する。表示領域レイアウト、すなわち表示領域上のその処理済み画像または各処理済み画像の配置もまた、変更することができる。各処理済み画像の、表示領域上のその画像境界によって画定されるような位置およびサイズを、変更してもよい。画像境界がすでに画像の構図マップに整合している場合、表示領域上の画像境界のサイズを調整することにより、画像境界内の画像の対応するスケーリングがもたらされる。

このように、図１の画像１に自動分析を適用したとすると、構図ルールは、構図的に意味のある領域２、３、４および５を識別する。これらのうち、領域３および５、すなわち城および部分的な木を、関心領域として識別し、領域２および４、すなわち空および地面を、興味を起こさせない領域として識別する。そして、分析は以下のように領域を識別する。
領域 状態
２ ドントケア
３ 包含
４ ドントケア
５ 排除

そして、アルゴリズムは、画像分析と目標表示領域の形状とに基づき、包括的形状から境界を適用しようとしてもよい。この場合、目標表示領域を、グリーティングカードの周囲１２によって画定する。

適合プロセスは、包括的形状をスケーリングするかまたは回転させてもよい。このため、たとえば、図２に示すように、城３をフレームに入れ木５を排除する画像境界１３を生成するための楕円形８の１／４回転を、完成カードとしてユーザに対して提示してもよい。

完成カードの枠（ボーダー）１２ａの色およびテクスチャ／パターンもまた、自動的にまたは半自動的に選択してもよい。このため、構図ルールを使用して、画像の優勢なまたは顕著な色を識別することができる。そして、枠を、一般に受入れられているカラーマッチングルール（世界中の地理的地域によって異なる可能性がある）の知識に基づくかまたはユーザの選好を知ることにより、画像と一致するか、画像を補完するかまたは画像と対照するように選択してもよい。かかるユーザ選好データを、ユーザが、セットアップモードで入力してもよく、あるいは以前ユーザが枠を選択した時から推理してもよい。

同様に、枠のパターンまたは装飾を、画像の内容の分析と枠選択に関するルールの使用とに基づいて自動的に選択してもよい。

上述したこのような本発明の実施形態では、プロセス全体を自動的に実行するが、他の実施形態では、ユーザがプロセスに対して何らかの入力を提供してもよい。たとえば、ユーザは、使用される画像境界の特定の包括的形状を選択してもよい。さらにまたは代替的に、最終選択として、ユーザに対し画像境界形状と関心領域組合せとの複数の代替的な組合せを提示してもよい。

図３は、フォトモンタージュの生成に対する本発明の適用を示す。複数の画像境界１５が配置される事前定義されたフォトモンタージュテンプレート１４を示す。画像テンプレート１４を、完全に事前定義してもよく、あるいは、ユーザが１つまたは複数のテンプレートパラメータを制御することによってテンプレート１４を生成することができてもよい。また、テンプレートを、ソース画像の内容とユーザの選好との組合せに基づいて自動的にまたは半自動的に作成してもよい。適当なテンプレートパラメータには、画像境界に対する１つまたは複数の包括的形状の選択、許可される境界形状の変形の範囲、使用される境界の最小および／または最大数、または個々の境界の間の距離が含まれてもよい。このリストを、網羅的であるものとみなすべきではない。画像境界は、たとえば、図３に示すような幾何学的形状であってもよい。この実施例では、画像境界はすべて楕円形であるが、他の形状、たとえば矩形を使用しても形状の混合を使用してもよい。また、２つの画像１６および１８も示す。実際には、より多くの画像が利用可能となり、それら画像の数は、フォトモンタージュテンプレート１４内に含まれる画像境界１５の数と実質的に同じである。しかしながら、テンプレート１４内にある画像境界１５と正確に同じ数の画像を有する必要はない。各画像を、図１および図２に関して説明した方法と同じ方法で分析し、モンタージュテンプレート１４を構成する画像境界１５の各々を、分析された画像の各々に適合させるかまたはその逆を行う。このように、最も適当な画像を最も適当な画像境界に整合させる。たとえば、楕円形２０（鎖線で示す）は、第１の画像１６に対して最も適当な画像境界であり得る。同じく、円形２２（鎖線で示す）は、第２の画像１８に対して最も適当な画像境界であり得る。画像の総数がモンタージュテンプレートの画像輪郭１５の総数より少ない場合、同じ画像を複数回使用してもよい。この場合、構図マップによって画定されるように、異なる関心領域の組合せを、複数の異なる画像境界１５が単一画像に適合することが可能であるように選択してもよい。たとえば、画像が２つの別個の関心「包含」領域を有する場合、２つの別々の画像境界を、各々の領域に対して適合させてもよく、各処理済み画像境界をモンタージュに適用してもよい。また、利用可能な画像の総数がモンタージュテンプレート１４において利用可能な画像境界の数を超える場合、関心領域の組合せと画像境界１５との最も不十分な適合を有する画像を破棄する。画像の境界への適合を、クロップペナルティ分析を使用して実行してもよい。このため、各画像／穴組合せの最良クロップに対してクロップペナルティ測定基準を取得してもよい。「包含」領域がクロップされるようにするかまたは穴内に空間を残す、いかなる画像／穴の組合せに対しても、ペナルティを与える。排他領域が包含されるようにする組合せを、自動的に破棄するか、または適合問題に対する最良解のうちの１つにおいて重要な役割を果たす場合を考慮して、非常に大きいペナルティを与えて維持してもよい。そして、各穴が１つの画像によって充填され、必要な画像を再使用することができるかまたは幾分かを排除することができる場合であっても、異なる穴において異なる画像が提示されるような、画像の穴に対する割付を見つける。クロップペナルティを最小化する画像の組合せと穴との組合せは、モンタージュ配置に対する恐らくは最良解である。このため、画像の穴に対する割付を、モンタージュに対して大域的に最適化する。

ユーザは、いくつかの画像を「キー」画像として選択してもよい。これらの画像に対し、全表示領域に対してそれらが構成する比率が増大するように優先的に重み付けしてもよい。このようにして、「キー」画像はモンタージュの大きい穴に割付されがちである。

いくつかの画像をキーとしてマークすることに加えて、ユーザはまた、重要性の順序により画像をランク付けしおよび／または画像のいくつかの領域を「包含すべき」としてマークするか、もしくは画像のいくつかをいずれに配置すべきかを画定することができてもよい。

本発明の好ましい実施態様では、テンプレートがそれ自体を自動的に変更することにより、利用可能な画像の数が穴の数に一致する（または妥当な範囲内でおよそ一致する）ことを保証することができる。

テンプレートにおける包含領域と穴とのアスペクト比もまた、およそ一致するが、上述したように、テンプレートはさらにそこで画定される穴のパラメータ（アスペクト比等）を変更するように調整可能であってもよい。

図４は、本発明の実施形態による「自由形式」フォトモンタージュの生成を示す。「自由形式」フォトモンタージュは、互いに縁がオーバーラップする複数の画像を含み、（概して）画像間に空間が無い。各画像が互いとオーバーラップする量を、視界から画像の望ましくない部分をマスクするように選択する。本発明のこの実施形態では、まず中心画像２４を選択するが、この場合、中心画像を、たとえば大きく、非常に対照的な対象であるという理由で選択する。この選択を、ユーザが手作業で行ってもよく、あるいは、利用可能な画像の分析を、画像プロセッサが、上述した構図ルールのうちの１つまたは複数とそのように選択された適当な画像とにしたがって実行してもよい。

選択の方法に係らず、上述したように、中心画像を分析して「包含」および「排除」領域（および暗に「ドントケア」領域）を確定しなければならない。そして、さらなる画像２６を同様に分析して、さらなる画像２６に対する「包含」および「排除」領域を画定する。２つの画像は、後に、画像のうちの一方の「排除」領域が、他方の画像の一部によって視界からマスクされるようにオーバーラップする。後続するさらなる画像２８、３０、３２および３４を同様に分析して付加し、さらにモンタージュに付加する。このため、「自由形式」フォトモンタージュの場合、各個々の画像に対する画像境界を、オーバーラップする画像の縁によって画定する。

後に付加される画像が既存の画像の最上部に重なる場合、付加される画像を、好ましくは、その面からいかなる「排除」領域もおよび任意に「ドントケア」領域の一部またはすべてを除去するように、既存のモンタージュをカバーする領域に沿ってクロップする。たとえば、後の画像２６が、中心画像２４に付加される最初の画像であるとする。ハッチング領域４０は、中心画像２４の、「排除」領域を構成する部分を表す。しかしながら、後続する画像２６の右側の小さい領域４２は、付加画像２６の「排除」領域である。

この付加領域４２を、画像２６を中心画像２４の上に配置しハッチング領域４０にオーバーラップさせる前に、その画像２６からクロップしなければならない。このため、付加画像２６の「排除」領域を、クロップすることによって除去しており、中心画像２４の「排除」領域が、付加画像２６の残りの部分に重なることにより視界から隠れている。

クロッピングを、矩形であるように示したが、これは必ずしもそうではない。クロッピングを、曲線状経路に沿って、たとえば人の形等の「包含」対象の縁に沿ってかまたは隣接して、あるいは図１および図２に関して論考したタイプの境界、すなわち他の幾何学的形状に沿って、行ってもよい。

画像のすべてをモンタージュに付加した場合、モンタージュの縁における残りのいずれの「排除」領域も、クロップすることによって除去する。画像分析に基づくモンタージュの生成において、あらゆる付加的な特徴を含めてもよい。たとえば、モンタージュを構成する個々の画像のサイズを、中心から縁に向って徐々に低減してもよい。さらなる実施例は、中心から縁に向ってまたは上部から下部に向ってモンタージュの全色調を徐々に暗くする、モンタージュ用の画像を選択することである。

本発明のさらなる実施形態では、利用可能な画像のすべてのサブセットを、キー画像として選択してもよい。選択は、画像分析に基づいてもよく、あるいは単にユーザによる手作業による選択であってもよい。そして、各キー画像に対する最も適当な画像境界を、上述したように選択し、比較的優勢に表示領域に配置する。そして、それに続き、画像境界を、すでに配置されたキー画像境界間の間隙を充填するためのより小さい領域に対して画定する。画像分析は、好ましくは、「１つずつ」で行うものではなく、利用可能な画像の「大域的な」適合である。この手法を、オーバーラップするモンタージュとオーバーラップしないモンタージュとの両方に対して使用することができる。

「自由形式」モンタージュを生成する代替実施形態も考慮する。複数の画像がある場合、各画像を、図１および図２に関して上述したものと同じ方法で分析する。上述したように、複数の包括的画像境界形状が利用可能であり、各画像と画像境界との最良適合を生成する。

上述したように「包含」および「排除」領域を識別することに加えて、この実施形態では、さらに「ドントケア」領域も識別する。これらは、「包含」および「排除」領域を識別するために使用される発見的ルールにそれほど従わない画像の領域であり、画像または関心領域の組合せの画像境界に対する全適合を最適化するために、任意に画像境界に包含されてもそこから排除されてもよい領域である。

そして、画像境界を、１つの画像境界の１つまたは複数の部分が少なくとも１つの他の画像境界にオーバーラップするように、表示領域に配置する。オーバーラップしそのため視界から覆い隠される画像境界のそれらの領域は、単に、残りの先に識別された「ドントケア」領域であってもよい。

画像境界の配置を、覆い隠される「ドントケア」領域の数を最適化することにより、完全に自動化し確定してもよい。代替的に、ユーザが画像境界の配置を制御してもよいが、オーバーラップの程度はまだ、「ドントケア」領域を使用して確定してもよい。

本発明の上述した実施形態では、画像分析には、各個々の画像から関心領域を選択することが必要である。

電子的に取込まれた画像から関心領域を選択するために、あらゆる方式が知られている。１つのかかる既知の方式は、「automatic cropping of electronic images」と題された本出願人による同時係属中の英国特許出願第００３１４２３．７号に述べられている。ここで、完全にするために、ＧＢ００３１４２３．７に述べられている方式の簡単な要約を説明する。

図５は、画像のおよそ中心にいるブランコの上の少女５２を示す電子画像５０を示す。画像の左下の方に、前景においていくつかの花５４が目立っている領域もある。さらに、画像の右縁５６に、小さい少年と大人の腕の一部も見える。再現を支援するためにグレイスケール画像のみを使用して示すが、原画像はカラーであることが理解されるであろう。

まず、画像５０を、色、輝度およびテクスチャの類似する領域が一様の色および輝度を有する領域に併合されるように処理する。これを、図６に関して見ることができる。花５４の主な部分を、少女の顔６４およびズボン６２と同様に一様の色の領域５８に併合した。背景の大きい領域、たとえば画像の左側の木６０もまた、一様の色の領域に併合した。色の類似する領域を併合する技術は既知である。たとえば、画像を、圧縮色変化を有するフォーマットに変換してもよく、その後、色または輝度の類似する隣接領域を併合してもよい。同様に、色または輝度の類似するより大きい領域によって包囲される小さい領域もまた、その大きい方の領域に併合してもよい。

そして、画像の隣接部分を互いに比較し、画像の各部分に対し画像の隣接部分間の色および輝度の差を示す格付けを割当てることにより、結果としての画像をさらに処理する。この格付けを使用して、画像の領域の明度が、隣接領域の平均化された色および輝度の差に比例するか、また、色が背景色に対して判断された色と異なる量の関数である、顕著（saliency）画像とよぶさらなる画像を生成する。図５の画像に対する顕著画像を、図７に示す。少女５２と花５４とが、画像の他の領域より著しく明るいことが分かる。また、少女が実世界では単一物であるが、顕著画像では少女の顔および衣服は異なる値によって表される、ということも留意すべきである。望ましい場合、たとえば、単一の実世界の物体を多くの異なる物体として識別しないように、顔検出あるいは近接または類似グループ化等のさらなる分析を適用してもよい。

画像内の意味のある領域を識別したが、「包含」および「排除」領域を識別するために、顕著画像に対して１つまたは複数の構図ルールを適用する。たとえば、画像の極めて縁に近い部分に位置する関心領域を、不完全画素として解釈してもよく、したがって、「排除」領域として示す。画像から関心領域を選択する他の既知の方法も、本発明にたいして等しく適用してもよい。

図８は、本発明の実施形態を構成する画像処理システムを概略的に示す。画像処理システム６６は、２つの入力、すなわち画像７０を受取るように構成された画像入力６８と画像境界入力７２とを有する。画像入力６８を、１つまたは複数の画像ソースに接続する。図８に示す実施形態では、画像入力６８を、電子カメラ８０と、１つまたは複数の先に取込まれた画像が電子的に格納されているハードディスクドライブまたはメモリカード等の記憶装置８２とに接続する。画像境界入力７２を、所定の画像領域のうちの１つまたは複数を、ユーザが定義した境界および定義されたモンタージュテンプレートとともに、受取るように構成する。これらを、画像境界メモリ７４に格納する。２つの入力と画像境界メモリとを、画像分析と画像境界の画像７０への適合とを実行する画像プロセッサ７６に接続する。処理の結果を、適当な画像境界によって境界付けされた画像に提供するように構成された画像出力７８に渡す。画像出力７８を、１つまたは複数の出力装置に接続する。図示する実施形態では、画像出力を、さらなる記憶装置８４と印刷装置８６とに接続する。画像処理システムは、画像取込システムと一体的であってもよく、その場合、フレーム付きまたはモンタージュ画像を、プリンタまたはコンピュータ等の別の装置に直接ダウンロードしてもよい。実際には、画像処理システムは、フレーム付きまたはモンタージュ画像を直ちに印刷することができるように、プリンタ自体と一体的であってもよい。また、上記装置を、自由形式モンタージュの生成に使用することも可能である。

このように、画像または複数の画像を枠またはモンタージュ内に配置する自動化された方法および装置を提供することができる。

グリーティングカードを生成する本発明の実施形態の適用を概略的に示す。 完成グリーティングカードを概略的に示す。 フォトモンタージュの生成に対する本発明の実施形態の適用を概略的に示す。 自由形式フォトモンタージュを生成する本発明の実施形態を概略的に示す。 本発明の実施形態を適用することができる画像を示す。 色および輝度が平均化された領域が互いに併合されている図５の画像を示す。 図５に示す画像の構図的意味マップを示す。 本発明の実施形態を構成する画像処理システムを概略的に示す。

Claims (1)

1. 表示領域内に複数の画像を配置する画像処理システムであって、
   事前定義された構図ルールにしたがって前記複数の画像の各々を分析することにより、前記画像から排除すべき各画像の１つまたは複数の領域を識別し、前記分析された画像を、いくつかの画像が少なくとも１つの他の画像の一部にオーバーラップするように表示領域内に配置し、それにより前記オーバーラップ部分が、前記排除すべき領域のうちの１つまたは複数を覆い隠すように構成されるデータプロセッサであって、前記構図ルールは前記画像の極めて縁に近い部分に位置する構図的に意味のある領域を前記排除すべき領域とするというルールである、データプロセッサを備える、画像処理システム。

Images