JP4029636B2 - オブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラム及び画像レイアウトプログラム、並びにオブジェクトレイアウト方法及び画像レイアウト方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の候補画像のなかから選択した画像をレイアウトする装置およびプログラム、並びに方法に係り、特に、手間や労力を低減し、画像の内容に応じて見栄えのよいレイアウトを実現するのに好適なオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法に関する。
【０００２】
【従来の技術】
ディジタルカメラ等で画像を撮影した場合、ユーザは、撮影した画像をパソコンに取り込み、レイアウトを行った後にプリンタで印刷することがある。パソコン上のアプリケーションでは、多くの場合、印刷したい画像をいくつか選択すると、規定のテンプレートに選択画像を当てはめて自動レイアウトしてくれる。
【０００３】
従来、画像を自動レイアウトする技術としては、例えば、特開2000-261649号公報に開示された画像処理方法（以下、第１の従来例という。）があった。そのほか、これに関連した技術として、静止画像または動画像を抽出、選択または印刷する技術があり、代表的なものとしては、例えば、特開平11-321029号公報に開示された画像プリンタ装置（以下、第２の従来例という。）、特開平10-126724号公報に開示されたダイレクトプリンタアダプタ（以下、第３の従来例という。）、特開平11-250104号公報に開示された画像情報検索装置（以下、第４の従来例という。）、特開平07-170473号公報に開示されたビデオプリンタ（以下、第５の従来例という。）、特開平06-253197号公報に開示された映像切出方法（以下、第６の従来例という。）、および特開平07-038845号公報に開示されたビデオ映像のシーン抽出方法（以下、第７の従来例という。）があった。
【０００４】
第１の従来例は、画像に対して施された複数の編集情報や、画像を選択するときの選択条件にレイアウト名称を対応付けて登録することにより、そのレイアウト名称の指示に応じてそれらの情報を再利用することを可能とする。
これにより、異なる画像に、同じレイアウトを指定するときの操作性を向上することができる。また、複数の画像情報のなかから所望の画像情報を選択するための選択条件を入力するときの操作性を向上することもできる。
【０００５】
第２の従来例は、画像プリンタ装置に着脱可能な記録媒体としてのスマートメディア（登録商標）カードが未装着な状態から装着されると、その装着動作を検出し、記録媒体のロケーション領域をチェックしてファイル名の拡張子から印刷可能なファイルの有無を判断する印刷可能ファイルチェック処理を行い、印刷可能ファイルと判断したファイルに対しては読み出して印刷用に画像伸張処理を行い、印刷画像を作成して印刷処理を行うことにより、手軽に画像印刷を行う。
【０００６】
これにより、デジタルカメラ等で画像データを記録した記録媒体を装着することにより画像印刷することができる。
第３の従来例では、選択画像表示部は、ビデオモニタにデジタルカメラからの複数のサムネイル画像を整列させて表示する。カーソル部は、ビデオモニタの画面内で自在に移動可能にカーソルを表示しその位置（座標）を得る。画像選択部は、カーソルを停止させた位置にある画像を印刷出力画像候補とし、確認入力があると選択画像として、それに対応する高解像度の画像をデジタルカメラからメモリに取込み、ビデオモニタに表示する。インデックス付与部は、表示された画像にインデックスを付し、画像とインデックスを対応させたテーブルを作成する。
【０００７】
これにより、画像データを取込んで高品質の画像をプリンタに直接出力でき、かつ操作性のよい印刷画像選択等を実現することができる。
第４の従来例では、ビデオデータベースは、ビデオデータベースのビデオ成分を伴うクローズドキャプション（closed captioning）用語を使用して索引付けられる。ビデオデータベースに対してクワィアリが実行されると、クワィアリに関連するビデオ成分に一致するヒットのリストが、ヒットリストにおける各ビデオ成分から代表画像を選択し、対応するクローズドキャプション（closed captioned）テキストを伴うサムネイル画像の配列でユーザに代表画像を表示することで、ユーザに表示される。
【０００８】
これにより、ビデオ情報へのユーザアクセスを改善することができる。
第５の従来例は、まず、インデックスコード検波器にてテレビ信号に重畳されたインデックスコードを検波する。そして、インデックスコードが検波されたときに、メインＣＰＵが、インデックスコードが重畳された画像をフレームメモリに記録する制御を行うとともにメカニズム部にて印刷する制御を行う。
【０００９】
これにより、テレビ番組の最初から最後まで見ることなく、必要な画像のみを適宜得ることが可能になる。
第６の従来例は、映像の物理的特徴解析部により映像の構図を決める空間的物理特徴の時間的な振る舞いである動き構成を検出し、切り出す位置と大きさの時空間連続性と時空間変化率の滑らかさを条件として、切り出される映像の持つ時空間的特徴が与えられた条件を満たすように、規定部により映像の切り出し位置と大きさを自動的に規定して、映像を切り出す。
【００１０】
これにより、よい映像表現でしかも複数の動き、複数の撮影位置に対応した映像を自動的に切り出すことができる。
第７の従来例は、ビデオ機器でテープ再生中に、テープに記録されている時間データを一定周期で読み取り、時間データの値に断絶が有ることを検出すると、映像信号から少なくとも１フレームの映像を取込みディジタイズして、その時間データとともに保存するようにする。また別の方法として、ビデオ機器にインデックスサーチを指示し、ビデオ機器がインデックスを検出してポーズ状態になると、映像信号から少なくとも１フレームの映像を取込みディジタイズし、そのときのテープカウンタの値を読み込んで、ともに保存するようにする。
【００１１】
これにより、一巻のビデオテープのなかの意味のある一連の映像を抽出するにあたって、シーンの抽出を自動的に行なうことにより、ビジュアルインデックスを自動的に作ることができる。
【００１２】
【発明が解決しようとする課題】
画像をレイアウトする場合、パソコン上でのアプリケーションまたは第１の従来例のように、規定のテンプレートに選択画像を当てはめて自動レイアウトする技術は、広く知られている。
しかしながら、規定のテンプレートに選択画像を一律に当てはめる技術その他の従来技術にあっては、選択画像の内容を考慮せずにレイアウトを行うため、例えば、特定の人物や背景が写っている選択画像だけを大きく表示したいといった場合、または特定のシーンが写っている画像をレイアウト領域の特定箇所に配置したいといった場合のように、画像の内容に応じて見栄えのよいレイアウトを実現するのは大変困難であった。この方式により見栄えのよいレイアウトを実現するためには、ユーザは、手動で行う必要がある。例えば、異なる複数のテンプレートのなかから適切なものを選択し、一つ一つの画像を見ながらテンプレートの適切な位置に配置する。したがって、レイアウトに手間や労力を要する。
【００１３】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、手間や労力を低減し、画像の内容に応じて見栄えのよいレイアウトを実現するのに好適なオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法を提供することを目的としている。
【００１４】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１のオブジェクトレイアウト装置は、
レイアウト対象となるオブジェクトをレイアウトするにあたって当該オブジェクトのレイアウトを決定する装置であって、
前記オブジェクトを評価するオブジェクト評価手段と、前記オブジェクト評価手段の評価結果に基づいて前記オブジェクトのレイアウトを決定するレイアウト手段とを備えることを特徴とする。
【００１５】
このような構成であれば、オブジェクト評価手段により、オブジェクトが評価され、レイアウト手段により、オブジェクト評価手段の評価結果に基づいて、オブジェクトのレイアウトが決定される。
ここで、オブジェクトには、画像に限らず、文字、図表その他のレイアウト対象が含まれる。以下、発明３２のオブジェクトレイアウトプログラム、および発明３６のオブジェクトレイアウト方法において同じである。
【００１６】
また、レイアウト手段は、オブジェクトのレイアウトを決定するようになっているものであり、オブジェクトを実際にレイアウトすることまでは必ずしも要しない。以下、発明３２のオブジェクトレイアウトプログラムにおいて同じである。
〔発明２〕
一方、上記目的を達成するために、発明２の画像レイアウト装置は、
レイアウト対象となる複数の候補画像のなかから画像を選択し、選択した画像をレイアウトするにあたって当該選択画像のレイアウトを決定する装置であって、
前記候補画像を評価する画像評価手段と、前記複数の候補画像のなかから画像を選択する画像選択手段と、前記画像評価手段の評価結果に基づいて前記画像選択手段で選択した選択画像のレイアウトを決定するレイアウト手段とを備えることを特徴とする。
【００１７】
このような構成であれば、画像評価手段により、候補画像が評価される。また、画像選択手段により、複数の候補画像のなかから画像が選択される。そして、レイアウト手段により、画像評価手段の評価結果に基づいて、選択画像のレイアウトが決定される。
ここで、画像評価手段は、候補画像を評価するようになっていればどのような構成であってもよく、例えば、すべての候補画像を評価するようになっていてもよいし、候補画像のうち画像選択手段で選択したものを評価するようになっていてもよい。以下、発明３３の画像レイアウトプログラムにおいて同じである。
【００１８】
また、レイアウト手段は、選択画像のレイアウトを決定するようになっているものであり、選択画像を実際にレイアウトすることまでは必ずしも要しない。以下、発明３３の画像レイアウトプログラムにおいて同じである。
〔発明３〕
さらに、発明３の画像レイアウト装置は、発明２の画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、レイアウトの枠組みを構成する異なる複数のテンプレートのなかから前記テンプレートを選択し、選択したテンプレートに基づいて、前記選択画像をレイアウトするようになっていることを特徴とする。
【００１９】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、異なる複数のテンプレートのなかからテンプレートが選択され、選択されたテンプレートに基づいて、選択画像がレイアウトされる。
〔発明４〕
さらに、発明４の画像レイアウト装置は、発明２および３のいずれかの画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、レイアウト領域における前記選択画像の位置を決定するようになっていることを特徴とする。
【００２０】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、レイアウト領域における選択画像の位置が決定される。
〔発明５〕
さらに、発明５の画像レイアウト装置は、発明２ないし４のいずれかの画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、レイアウト領域に対する前記選択画像の大きさを決定するようになっていることを特徴とする。
【００２１】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、レイアウト領域に対する選択画像の大きさが決定される。
〔発明６〕
さらに、発明６の画像レイアウト装置は、発明２ないし５のいずれかの画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、異なる複数の背景画像のなかから前記背景画像を選択し、選択した背景画像を前記選択画像の背景として前記選択画像と合成するようになっていることを特徴とする。
【００２２】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、異なる複数の背景画像のなかから背景画像が選択され、選択された背景画像が選択画像の背景として選択画像と合成される。
〔発明７〕
さらに、発明７の画像レイアウト装置は、発明２ないし６のいずれかの画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、前記選択画像に装飾効果を付加するか否かを決定するようになっていることを特徴とする。
【００２３】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、選択画像に装飾効果を付加するか否かが決定される。
〔発明８〕
さらに、発明８の画像レイアウト装置は、発明２ないし７のいずれかの画像レイアウト装置において、
前記レイアウト手段は、前記画像評価手段の評価結果に基づいて、異なる複数の装飾効果のなかから前記装飾効果を選択し、選択した装飾効果を前記選択画像に付加するようになっていることを特徴とする。
【００２４】
このような構成であれば、レイアウト手段により、画像評価手段の評価結果に基づいて、異なる複数の装飾効果のなかから装飾効果が選択され、選択された装飾効果が選択画像に付加される。
〔発明９〕
さらに、発明９の画像レイアウト装置は、発明２ないし８のいずれかの画像レイアウト装置において、
前記画像評価手段は、前記複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出手段と、前記画像特徴情報抽出手段で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出手段とを有し、
前記レイアウト手段は、前記評価値算出手段で算出した評価値に基づいて、前記選択画像のレイアウトを決定するようになっていることを特徴とする。
【００２５】
このような構成であれば、画像特徴情報抽出手段により、複数の候補画像のそれぞれについて画像特徴情報が抽出され、評価値算出手段により、抽出された画像特徴情報に基づいて評価値が算出される。そして、レイアウト手段により、算出された評価値に基づいて、選択画像のレイアウトが決定される。
〔発明１０〕
さらに、発明１０の画像レイアウト装置は、発明９の画像レイアウト装置において、
前記画像選択手段は、前記評価値算出手段で算出した評価値に基づいて、前記複数の候補画像のなかから画像を選択するようになっていることを特徴とする。
【００２６】
このような構成であれば、画像選択手段により、算出された評価値に基づいて、複数の候補画像のなかから画像が選択される。
〔発明１１〕
さらに、発明１１の画像レイアウト装置は、発明９および１０のいずれかの画像レイアウト装置において、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００２７】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場が求められ、得られた視覚の誘導場に関する特徴量を含む画像特徴情報が抽出される。
〔発明１２〕
さらに、発明１２の画像レイアウト装置は、発明１１の画像レイアウト装置において、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場の強さを算出し、算出した視覚の誘導場の強さを示す誘導場特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００２８】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場の強さが算出され、算出された視覚の誘導場の強さを示す誘導場特徴量を含む画像特徴情報が抽出される。
〔発明１３〕
さらに、発明１３の画像レイアウト装置は、発明１１および１２のいずれかの画像レイアウト装置において、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場を算出し、算出した視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度を示す複雑度特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００２９】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場が算出され、算出された視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度を示す複雑度特徴量を含む画像特徴情報が抽出される。
〔発明１４〕
さらに、発明１４の画像レイアウト装置は、発明１１ないし１３のいずれかの画像レイアウト装置において、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場のエネルギを算出し、算出した視覚の誘導場のエネルギを示すエネルギ特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００３０】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場のエネルギが算出され、算出された視覚の誘導場のエネルギを示すエネルギ特徴量を含む画像特徴情報が抽出される。
〔発明１５〕
さらに、発明１５の画像レイアウト装置は、発明９ないし１４のいずれかの画像レイアウト装置において、
前記評価値の算出に関する評価値算出条件を取得する評価値算出条件取得手段を備え、
前記評価値算出手段は、前記評価値算出条件取得手段で取得した評価値算出条件および前記画像特徴情報抽出手段で抽出した画像特徴情報に基づいて、前記評価値を算出するようになっていることを特徴とする。
【００３１】
このような構成であれば、評価値算出条件取得手段により、評価値算出条件が取得され、評価値算出手段により、取得された評価値算出条件および抽出された画像特徴情報に基づいて評価値が算出される。
〔発明１６〕
さらに、発明１６の画像レイアウト装置は、発明９ないし１５のいずれかの画像レイアウト装置において、
画像の選択に関する画像選択条件を取得する画像選択条件取得手段を備え、
前記画像選択手段は、前記画像選択条件取得手段で取得した画像選択条件に基づいて、前記複数の候補画像のなかから画像を選択するようになっていることを特徴とする。
【００３２】
このような構成であれば、画像選択条件取得手段により、画像選択条件が取得され、画像選択手段により、取得された画像選択条件に基づいて、複数の候補画像のなかから画像が選択される。
〔発明１７〕
さらに、発明１７の画像レイアウト装置は、発明９ないし１６のいずれかの画像レイアウト装置において、
前記候補画像を取得する候補画像取得手段を備え、
前記画像選択手段は、前記候補画像取得手段で取得した候補画像のなかから画像を選択するようになっていることを特徴とする。
【００３３】
このような構成であれば、候補画像取得手段により、候補画像が取得され、画像選択手段により、取得された候補画像のなかから画像が選択される。
〔発明１８〕
さらに、発明１８の画像レイアウト装置は、発明１７の画像レイアウト装置において、
前記候補画像取得手段は、動画像が与えられたときは、与えられた動画像のなかから前記候補画像を取得するようになっていることを特徴とする。
【００３４】
このような構成であれば、動画像が与えられると、候補画像取得手段により、与えられた動画像のなかから候補画像が取得される。
〔発明１９〕
さらに、発明１９の画像レイアウト装置は、発明１７の画像レイアウト装置において、
前記候補画像取得手段は、静止画像および動画像を少なくとも含むマルチメディアデータが与えられたときは、与えられたマルチメディアデータから前記静止画像および前記動画像をそれぞれ抽出し、抽出した静止画像のなかから前記候補画像を取得するとともに、抽出した動画像のなかから前記候補画像を取得するようになっていることを特徴とする。
【００３５】
このような構成であれば、マルチメディアデータが与えられると、候補画像取得手段により、与えられたマルチメディアデータから静止画像および動画像がそれぞれ抽出され、抽出された静止画像のなかから候補画像が取得されるとともに、抽出された動画像のなかから候補画像が取得される。
〔発明２０〕
さらに、発明２０の画像レイアウト装置は、発明９ないし１９のいずれかの画像レイアウト装置において、
特定人の主観的評価に適合した画像特徴情報を特定人情報として記憶するための特定人情報記憶手段を備え、
前記評価値算出手段は、前記画像特徴情報抽出手段で抽出した画像特徴情報および前記特定人情報記憶手段の特定人情報に基づいて、前記評価値を算出するようになっていることを特徴とする。
【００３６】
このような構成であれば、評価値算出手段により、抽出された画像特徴情報および特定人情報記憶手段の特定人情報に基づいて評価値が算出される。
ここで、特定人には、本装置のユーザのほかに、著名な画家またはデザイナその他の特定人が含まれる。例えば、著名な画家である場合は、その画家の主観的評価に適合した画像をレイアウトする場合に適切なレイアウトを決定することができる。以下、発明２８の画像レイアウト装置において同じである。
【００３７】
また、主観的評価は、特定人の主観による評価であって、例えば、特定人の好み、趣向または趣味がこれに該当する。以下、発明２８の画像レイアウト装置において同じである。
また、特定人情報は、単一の特定人の主観的評価に適合した情報であってもよいし、複数の特定人の主観的評価に適合した情報であってもよい。後者の特定人情報を用いれば、例えば、「○○地方風」の画像、「イギリス風」の画像または「○○家風」の画像をレイアウトする場合に適切なレイアウトを決定することができる。以下、発明２８の画像レイアウト装置において同じである。
【００３８】
また、特定人情報は、例えば、視覚の誘導場の強さ、視覚の誘導場における等ポテンシャル線の複雑度または視覚の誘導場のエネルギの所定の閾値を含むことがある。この場合、特徴量が所定の閾値を超える場合に適切なレイアウトや所定の閾値を下回る場合に適切なレイアウトを決定することができる。さらに、特定人情報は、ピカソ等の特定作家の作風に適合した画像の特徴量、または特定作家の名称を含むことがある。この場合、特定作家の作風に適合する画像と同様の特徴量を有する候補画像をレイアウトする場合に適切なレイアウトを決定することができる。名称の場合は、名称をもとに該当の画像をネットワークやデータベース等から取得すればよい。もちろん、特定作家に限らず、特定の風景や地域等に関する画像の特徴量、またはそれらの名称を含むことがある。
【００３９】
また、特定人情報記憶手段は、特定人情報をあらゆる手段でかつあらゆる時期に記憶するものであり、特定人情報をあらかじめ記憶してあるものであってもよいし、特定人情報をあらかじめ記憶することなく、本装置の動作時に外部からの入力等によって特定人情報を記憶するようになっていてもよい。以下、発明２８の画像レイアウト装置において同じである。
〔発明２１〕
さらに、発明２１の画像レイアウト装置は、発明２０の画像レイアウト装置において、
前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場の強さを示す誘導場特徴量を含み、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場の強さを算出し、算出した視覚の誘導場の強さを示す誘導場特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００４０】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場の強さが算出され、算出された視覚の誘導場の強さを示す誘導場特徴量を含む画像特徴情報が抽出される。そして、評価値算出手段により、抽出された画像特徴情報および特定人情報記憶手段の特定人情報に基づいて評価値が算出される。ここで、特定人情報には、特定人の主観的評価に適合した画像について視覚の誘導場の強さを示す誘導場特徴量が含まれているので、評価値の算出では、抽出された画像特徴情報に含まれる誘導場特徴量、および特定人情報記憶手段の特定人情報に含まれる誘導場特徴量に基づいて評価値が算出される。
〔発明２２〕
さらに、発明２２の画像レイアウト装置は、発明２１の画像レイアウト装置において、
前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場における等ポテンシャル線の複雑度を示す複雑度特徴量を含み、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場を算出し、算出した視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度を示す複雑度特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００４１】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場が算出され、算出された視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度を示す複雑度特徴量を含む画像特徴情報が抽出される。ここで、特定人情報には、特定人の主観的評価に適合した画像について視覚の誘導場における等ポテンシャル線の複雑度を示す複雑度特徴量が含まれているので、評価値の算出では、抽出された画像特徴情報に含まれる誘導場特徴量および複雑度特徴量、並びに特定人情報記憶手段の特定人情報に含まれる誘導場特徴量および複雑度特徴量に基づいて評価値が算出される。
〔発明２３〕
さらに、発明２３の画像レイアウト装置は、発明２２の画像レイアウト装置において、
前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場のエネルギを示すエネルギ特徴量を含み、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場のエネルギを算出し、算出した視覚の誘導場のエネルギを示すエネルギ特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００４２】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像について視覚の誘導場のエネルギが算出され、算出された視覚の誘導場のエネルギを示すエネルギ特徴量を含む画像特徴情報が抽出される。ここで、特定人情報には、特定人の主観的評価に適合した画像について視覚の誘導場のエネルギを示すエネルギ特徴量が含まれているので、評価値の算出では、抽出された画像特徴情報に含まれる誘導場特徴量、複雑度特徴量およびエネルギ特徴量、並びに特定人情報記憶手段の特定人情報に含まれる誘導場特徴量、複雑度特徴量およびエネルギ特徴量に基づいて評価値が算出される。
〔発明２４〕
さらに、発明２４の画像レイアウト装置は、発明２３の画像レイアウト装置において、
前記特定人情報は、前記特定人の主観的評価に適合した画像について色彩の輝度値を示す輝度値特徴量を含み、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像から色彩の輝度値を得て、その輝度値を示す輝度値特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００４３】
このような構成であれば、画像特徴情報抽出手段により、各候補画像ごとに、その候補画像から色彩の輝度値を得て、その輝度値を示す輝度値特徴量を含む画像特徴情報が抽出される。ここで、特定人情報には、特定人の主観的評価に適合した画像について色彩の輝度値を示す輝度値特徴量が含まれているので、評価値の算出では、抽出された画像特徴情報に含まれる誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量、並びに特定人情報記憶手段の特定人情報に含まれる誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量に基づいて評価値が算出される。
〔発明２５〕
さらに、発明２５の画像レイアウト装置は、発明２４の画像レイアウト装置において、
前記評価値算出手段は、前記画像特徴情報抽出手段で抽出した画像特徴情報に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量および前記輝度値特徴量を要素とした第１特徴ベクトルを構成し、前記特定人情報記憶手段の特定人情報に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量および前記輝度値特徴量を要素とした第２特徴ベクトルを構成し、前記第１特徴ベクトルと前記第２特徴ベクトルとをベクトル演算し、その演算結果を前記評価値として算出するようになっていることを特徴とする。
【００４４】
このような構成であれば、評価値算出手段により、抽出された画像特徴情報に基づいて誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を要素とした第１特徴ベクトルが構成されるとともに、特定人情報記憶手段の特定人情報に基づいて誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を要素とした第２特徴ベクトルが構成される。そして、第１特徴ベクトルと第２特徴ベクトルとがベクトル演算され、その演算結果が評価値として算出される。
〔発明２６〕
さらに、発明２６の画像レイアウト装置は、発明２４および２５のいずれかの画像レイアウト装置において、
ニューラルネットワークを用いて前記特定人情報を学習により構成する特定人情報学習手段を備え、
前記特定人情報学習手段は、前記特定人により選択された選択画像に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量および前記輝度値特徴量を算出し、算出した誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を入力値として前記ニューラルネットワークを用いた学習を行い、その学習結果を前記特定人情報として前記特定人情報記憶手段に記憶するようになっていることを特徴とする。
【００４５】
このような構成であれば、特定人情報学習手段により、特定人により選択された選択画像に基づいて誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量が算出され、算出された誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を入力値としてニューラルネットワークを用いた学習が行われ、その学習結果が特定人情報として特定人情報記憶手段に記憶される。
〔発明２７〕
さらに、発明２７の画像レイアウト装置は、発明２６の画像レイアウト装置において、
前記評価値算出手段は、前記画像特徴情報抽出手段で抽出した画像特徴情報から前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量および前記輝度値特徴量を得て、得られた誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力値を前記評価値として算出するようになっていることを特徴とする。
【００４６】
このような構成であれば、評価値算出手段により、抽出された画像特徴情報から誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量を得て、得られた誘導場特徴量、複雑度特徴量、エネルギ特徴量および輝度値特徴量がニューラルネットワークに入力される。その入力によりニューラルネットワークから出力があると、ニューラルネットワークのその出力値が評価値として算出される。
〔発明２８〕
さらに、発明２８の画像レイアウト装置は、発明９ないし１９のいずれかの画像レイアウト装置において、
特定人の主観的評価に適合した特定人情報を記憶するための特定人情報記憶手段を備え、
前記レイアウト手段は、前記特定人情報記憶手段の特定人情報および前記評価値算出手段で算出した評価値に基づいて、前記選択画像のレイアウトを決定するようになっていることを特徴とする。
【００４７】
このような構成であれば、レイアウト手段により、特定人情報記憶手段の特定人情報および算出された評価値に基づいて、選択画像のレイアウトが決定される。
〔発明２９〕
さらに、発明２９の画像レイアウト装置は、発明２８の画像レイアウト装置において、
ニューラルネットワークを用いて前記特定人情報を学習により構成する特定人情報学習手段を備え、
前記特定人情報学習手段は、前記特定人の利用により決定されたレイアウトを入力値として前記ニューラルネットワークを用いた学習を行い、その学習結果を前記特定人情報として前記特定人情報記憶手段に記憶するようになっていることを特徴とする。
【００４８】
このような構成であれば、特定人情報学習手段により、特定人の利用により決定されたレイアウトを入力値としてニューラルネットワークを用いた学習が行われ、その学習結果が特定人情報として特定人情報記憶手段に記憶される。
〔発明３０〕
さらに、発明３０の画像レイアウト装置は、発明９ないし２７のいずれかの画像レイアウト装置において、
レイアウトの枠組みを構成する異なる複数のテンプレートのなかから前記テンプレートを指定するテンプレート指定手段を備え、
前記レイアウト手段は、前記テンプレート指定手段で指定されたテンプレートおよび前記評価値算出手段で算出した評価値に基づいて、前記選択画像のレイアウトを決定するようになっていることを特徴とする。
【００４９】
このような構成であれば、テンプレート指定手段によりテンプレートが指定されると、レイアウト手段により、指定されたテンプレートおよび算出された評価値に基づいて、選択画像のレイアウトが決定される。
〔発明３１〕
さらに、発明３１の画像レイアウト装置は、発明２ないし３０のいずれかの画像レイアウト装置において、
前記レイアウト手段で決定したレイアウトに従って印刷を行う印刷手段を備えることを特徴とする。
【００５０】
このような構成であれば、印刷手段により、決定されたレイアウトに従って印刷が行われる。
〔発明３２〕
一方、上記目的を達成するために、発明３２のオブジェクトレイアウトプログラムは、
レイアウト対象となるオブジェクトをレイアウトするにあたって当該オブジェクトのレイアウトを決定するプログラムであって、
前記オブジェクトを評価するオブジェクト評価手段、および前記オブジェクト評価手段の評価結果に基づいて前記オブジェクトのレイアウトを決定するレイアウト手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００５１】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１のオブジェクトレイアウト装置と同等の作用が得られる。
〔発明３３〕
一方、上記目的を達成するために、発明３３の画像レイアウトプログラムは、レイアウト対象となる複数の候補画像のなかから画像を選択し、選択した画像をレイアウトするにあたって当該選択画像のレイアウトを決定するプログラムであって、
前記候補画像を評価する画像評価手段、前記複数の候補画像のなかから画像を選択する画像選択手段、および前記画像評価手段の評価結果に基づいて前記画像選択手段で選択した選択画像のレイアウトを決定するレイアウト手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００５２】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の画像レイアウト装置と同等の作用が得られる。
〔発明３４〕
さらに、発明３４の画像レイアウトプログラムは、発明３３の画像レイアウトプログラムにおいて、
前記画像評価手段は、前記複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出手段と、前記画像特徴情報抽出手段で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出手段とを有し、
前記レイアウト手段は、前記評価値算出手段で算出した評価値に基づいて、前記選択画像のレイアウトを決定するようになっていることを特徴とする。
【００５３】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明９の画像レイアウト装置と同等の作用が得られる。
〔発明３５〕
さらに、発明３５の画像レイアウトプログラムは、発明３４の画像レイアウトプログラムにおいて、
前記画像特徴情報抽出手段は、前記各候補画像ごとに、当該候補画像について視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出するようになっていることを特徴とする。
【００５４】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１１の画像レイアウト装置と同等の作用が得られる。
〔発明３６〕
一方、上記目的を達成するために、発明３６のオブジェクトレイアウト方法は、
レイアウト対象となるオブジェクトをレイアウトするにあたって当該オブジェクトのレイアウトを決定する方法であって、
前記オブジェクトを評価するオブジェクト評価ステップと、前記オブジェクト評価ステップの評価結果に基づいて前記オブジェクトのレイアウトを決定するレイアウトステップとを含むことを特徴とする。
【００５５】
また、レイアウトステップは、オブジェクトのレイアウトを決定するものであり、オブジェクトを実際にレイアウトすることまでは必ずしも要しない。
〔発明３７〕
一方、上記目的を達成するために、発明３７の画像レイアウト方法は、
レイアウト対象となる複数の候補画像のなかから画像を選択し、選択した画像をレイアウトするにあたって当該選択画像のレイアウトを決定する方法であって、
前記候補画像を評価する画像評価ステップと、前記複数の候補画像のなかから画像を選択する画像選択ステップと、前記画像評価ステップの評価結果に基づいて前記画像選択ステップで選択した選択画像のレイアウトを決定するレイアウトステップとを含むことを特徴とする。
【００５６】
ここで、画像評価ステップは、候補画像を評価すればどのような方法であってもよく、例えば、すべての候補画像を評価してもよいし、候補画像のうち画像選択手段で選択したものを評価してもよい。
また、レイアウトステップは、選択画像のレイアウトを決定するものであり、選択画像を実際にレイアウトすることまでは必ずしも要しない。
〔発明３８〕
さらに、発明３８の画像レイアウト方法は、発明３７の画像レイアウト方法において、
前記画像評価ステップは、前記複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出ステップと、前記画像特徴情報抽出ステップで抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出ステップとを含み、
前記レイアウトステップは、前記評価値算出ステップで算出した評価値に基づいて、前記選択画像のレイアウトを決定することを特徴とする。
〔発明３９〕
さらに、発明３９の画像レイアウト方法は、発明３８の画像レイアウト方法において、
前記画像特徴情報抽出ステップは、前記各候補画像ごとに、当該候補画像について視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出することを特徴とする。
【００５７】
【発明の実施の形態】
以下、本発明の第１の実施の形態を図面を参照しながら説明する。図１ないし図１０は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法の第１の実施の形態を示す図である。
【００５８】
本実施の形態は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法を、ディジタルカメラ等で撮影した複数の候補画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したものである。
【００５９】
本発明は、「視覚の誘導場」という概念を画像のレイアウト評価に用いて、最適なレイアウトとなる画像を選択すること、および選択画像を見栄えのよくレイアウトすることを実現するものである。まず、視覚の誘導場について簡単に説明する。
視覚の誘導場は、例えば、文字列上に存在する個々の文字の読み易さなどの評価を行うことで、その文字列全体の読み易さの指標などとして用いられている。
【００６０】
最初に、生理学および心理学的な知見に基づいた文字画像の視覚の誘導場の推定を行う例として、電子化によって得られた文字のディジタル画像から視覚の誘導場を推定する方法について説明する。
なお、文字列内の個々の文字が読み易い状態とは、個々の文字を囲む視覚の誘導場が、できるだけ干渉し合わないような間隔で配置されていることであるとされている。具体的には、個々の文字を囲む視覚の誘導場の閉曲線を考えたとき、その閉曲線のポテンシャル値が高いと他の文字との分離が難しく、読みにくいということである。このことから、視覚の誘導場の広がりを基準に、文字列内の個々の文字の読み易さを定量的に評価できると考えられる。なお、視覚の誘導場については、横瀬善正著の「形の心理学」（名古屋大学出版会(1986)）（以下、これを参考論文という。）に記載されている。
【００６１】
参考論文に示された視覚の誘導場（以下、単に誘導場と略記する。）とは、図形の周囲に波及する「場」を考えることにより、視覚現象を説明するものである。参考論文は、直線・円弧で構成された図形を対象としているため、任意のディジタル画像の誘導場は求められない。ここでは、最初に白黒２値のディジタル画像における誘導場の計算方法を示す。
【００６２】
誘導場は、基本的にクーロンポテンシャルと解釈できることから、パターンの外郭を構成する画素を点電荷と仮定し、それらが作るクーロンポテンシャルの集積から、ディジタル画像における誘導場の分布を計算する。
図１は、ディジタル画像の画素配列を示す図である。図１に示すように、ｎ個の点列から構成される曲線ｆ(ｓ)によって、任意の点Ｐに誘導場が形成されるとする。曲線ｆ(ｓ)は、線図形の線分や画図形の輪郭線に当たる。そして、曲線ｆ(ｓ)を構成する各点ｐ₁，ｐ₂，…，ｐ_i，…，ｐ_nを正電荷１の点電荷と仮定し、点Ｐから曲線ｆ(ｓ)上を走査して、曲線ｆ(ｓ)を構成するｎ個の点ｐ₁，ｐ₂，…，ｐ_i，…，ｐ_nが見つかり、走査して見つかった曲線ｆ(ｓ)上の各点までの距離をｒ_iとすると、点Ｐにおける誘導場の強さＭ_xyは、下式（１）により定義することができる。なお、Ｍ_xyの下付符号ｘｙは、点Ｐの画像中のｘ座標およびｙ座標を表している。
【００６３】
【数１】

【００６４】
上式（１）を用いることにより、任意のディジタル画像の誘導場を求めることができる。また、曲線が複数ある場合、点Ｐにおける誘導場の強さＭ_xyは、個々の曲線が点Ｐにつくる誘導場の和になる。なお、上式（１）は、点Ｐから発した光が直接当たる部分のみ和をとるという制約条件がつく。例えば、点Ｐに対して、曲線ｆ₁(ｓ)，ｆ₂(ｓ)，ｆ₃(ｓ)が図２に示すように存在しているとすると、点Ｐから見えない部分、つまり、この場合、曲線ｆ₁(ｓ)に遮蔽されて点Ｐから見えない範囲Ｚに存在する部分の和はとらない。図２の例では、曲線ｆ₃(ｓ)のすべてと曲線ｆ₂(ｓ)の一部の和はとらないことになる。これを遮蔽条件という。
【００６５】
図３（ａ）は、「Ａ」という文字について、上式（１）で計算した誘導場の例を示すものである。図３（ａ）の文字「Ａ」周辺に地図の等高線状に分布している細い線Ｌが誘導場の等ポテンシャル線であり、中央から外に行くほど誘導場の強さＭ_xyは弱くなりやがて０に近づく。
図３（ａ）の誘導場の分布の形状・強さにおける特徴、特に「Ａ」の頂点付近の分布が他より鋭角な特徴は、参考論文による四角形や三角形など、図形の角付近に関する誘導場の分布の心理実験結果と一致する。
【００６６】
また、図３（ｂ）は、遮蔽条件がなく、画素すべてを正電荷１の点電荷と仮定した誘導場の例であるが、誘導場の分布は、全体的に丸くなり、参考論文による心理実験結果と異なったものとなる。このように、遮蔽条件は、誘導場を特徴づける上で重要なものとなる。
このようにして、ある文字についての誘導場を得ることができる。なお、視覚の誘導場を用いた技術の例としては、例えば、「長石道博：「視覚の誘導場を用いた読み易い和文プロポーショナル表示」、映像メディア学会誌、Vol.52，No.12，pp.1865-1872(1998)」や、「三好正純、下塩義文、古賀広昭、井手口健：「視覚の誘導場理論を用いた感性にもとづく文字配置の設計」、電子情報通信学会論文誌、82-A，9，1465-1473（1999)」がある。
【００６７】
本発明は、このような誘導場を利用し、文字や写真、絵、図形などからなるひとまとまりの画像について、そのレイアウトが最適なレイアウトであるか否かを評価し、それによって、これまで人間の直感や手作業に頼っていたレイアウト評価を自動的に行おうとするものである。
本実施の形態では、レイアウトの良し悪しを評価する際、レイアウト対象となるひとまとまりの画像を１つの誘導場計算対象とみなして、その誘導場を計算し、それによって求められた等ポテンシャル線の形状に基づいてレイアウトの良し悪しを評価する。
【００６８】
今、レイアウト対象となるひとまとまりの画像が図４に示されるように、文字列と写真からなる画像であるとする。図４に示される画像は、新聞記事の一部を示すもので、文字列部分Ｃと写真Ｐ１，Ｐ２からなり、図４に示されるレイアウトは、新聞紙面専門のデザイナによってなされたものであり、多くの人が見やすく内容の理解がし易いとされるレイアウトであるとする。
【００６９】
図４に示すように、ある限られた表示範囲にレイアウトされるひとまとまりの画像全体について、上式（１）を用いて誘導場を計算すると、求められた誘導場によって、図５のような等ポテンシャル線Ｌが描かれる。なお、このようなレイアウト対象となる情報全体について誘導場を計算する際、図４で示した文字列部分Ｃは、図５に示すように、それぞれの文字列を単純な線で表し、写真Ｐ１，Ｐ２は、その外形を矩形枠で表して誘導場を計算する。
【００７０】
これは、レイアウトが各要素の位置関係や大きさで決まるため、各要素を単純化して表現することができるからであり、このように、各要素を単純化して表現した状態で誘導場を計算し、求められた誘導場から等ポテンシャル線を描けば、その等ポテンシャル線は、そのレイアウト全体の等ポテンシャル線を表すことができる。
【００７１】
なお、図４に示すレイアウトは、専門のデザイナによってデザインされた見やすく内容の理解がし易いとされるレイアウトであり、このようにレイアウトされた画像全体から得られた等ポテンシャル線Ｌは、全体に凹凸が少なく丸みを帯びたものとなる。
このことから、レイアウト対象となるひとまとまりの画像全体について誘導場を計算し、それによって得られた等ポテンシャル線の形状から、その画像のレイアウトの良し悪しを判断することができる。つまり、得られた等ポテンシャル線の凹凸の度合いがわかれば、それによって当該画像のレイアウトが良いレイアウトであるかどうかの評価を行うことができる。
【００７２】
そこで、本実施の形態では、この等ポテンシャル線の凹凸の度合いを等ポテンシャル線の複雑度として求め、その複雑度を当該画像のレイアウトの良し悪しを評価する指標として用いる。つまり、等ポテンシャル線が、凹凸が少なく丸みを帯びていればいるほど複雑度は小さくなり、等ポテンシャル線の凹凸が激しいほど複雑度は大きくなる。この複雑度は、ｉ番目の等ポテンシャル線の複雑度をＣ_iで表せば、下式（２）により定義することができる。下式（２）において、Ｌ_iはｉ番目の等ポテンシャル線の長さ、Ｓ_iはｉ番目の等ポテンシャル線で囲まれた面の面積を表している。なお、ｉ番目の等ポテンシャル線の長さＬ_iは、そのポテンシャル線を構成するドット数と考えることができ、ｉ番目の等ポテンシャル線で囲まれた面の面積Ｓ_iは、ｉ番目の等ポテンシャル線で囲まれた面に存在するドット数と考えることができる。
【００７３】
【数２】

【００７４】
上式（２）によれば、レイアウト対象となるひとまとまりの画像について計算された誘導場によって描かれた等ポテンシャル線の長さが長いほど（凹凸が激しいほど）複雑度Ｃ_iの値は大きくなるといえる。逆に言えば、等ポテンシャル線に凹凸が少なく円に近いほど複雑度Ｃ_iは小さな値となる。
ここで、図４で示したひとまとまりの画像を図６で示すように色々なレイアウトとしたときのそれぞれの複雑度を計算してみる。図６では、図５と同様に、文字列部分Ｃはそれぞれの文字列を単純な線で表し、写真Ｐ１，Ｐ２は単に矩形枠で表している。
【００７５】
図６において、同図（ａ）は、図４と同じレイアウト（これをレイアウトＡ１という。）であり、同図（ｂ）は、図４の写真Ｐ２を文字列の中に配置したレイアウト（これをレイアウトＡ２という。）、同図（ｃ）は、写真Ｐ１が右下、写真Ｐ２が左上となっているレイアウト（これをレイアウトＡ３という。）、同図（ｄ）は、２つの写真Ｐ１，Ｐ２を文字列の中に配置したレイアウト（これをレイアウトＡ４という。）である。
【００７６】
これらについて、まず、それぞれの誘導場を計算し、求められた誘導場によって描かれた等ポテンシャル線（それぞれのｉ番目のポテンシャル線）から、上式（２）によってそれぞれ複雑度を計算すると、図７のような結果が得られた。図７は、横軸にそれぞれのレイアウトＡ１〜Ａ６をとり、縦軸にそれぞれのレイアウトＡ１〜Ａ６に対して求められた複雑度をとっている。
【００７７】
図７によれば、デザイナによってレイアウトされた読みやすく内容の理解のし易いとされるレイアウトＡ１（基準レイアウトＡ１という。）の複雑度が最も小さく、他の３つのレイアウトＡ２，Ａ３，Ａ４はいずれも、基準レイアウトＡ１に比べると、その複雑度は大きな値となっている。特に、この例においては、レイアウトＡ３が最も大きな複雑度となっている。
【００７８】
これは、前述したように、基準レイアウトＡ１から求められた誘導場に凹凸が少なく全体的に丸みを帯びているためであり、他の３つのレイアウトＡ２〜Ａ４はそれぞれのレイアウトから求められた等ポテンシャル線に凹凸が大きいためである。
また、等ポテンシャル線を利用し、画像全体における誘導場のエネルギＥは、下式（３）により定義することができる。下式（３）において、ｉはｉ番目の等ポテンシャル線を、Ｓ_iはｉ番目の等ポテンシャル線で囲まれた面の面積を、Ｐ_iはｉ番目の等ポテンシャル線におけるポテンシャル値をそれぞれ表している。これは、誘導場を３次元的に考えたとき、その誘導場の体積を求めるのに相当し、その体積の大きさをエネルギと定義している。
【００７９】
【数３】

【００８０】
以上は、新聞などの記事（多くは文字列と写真などからなる）の一部をレイアウト対象のひとまとまりの画像とし、そのひとまとまりの画像をレイアウトする場合についての評価を行った場合であるが、レイアウト対象の画像としては、一般的な画像を用いた場合の評価も同様に考えることができる。
次に、本発明に係る画像レイアウト装置の構成を図８を参照しながら説明する。図８は、本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【００８１】
本発明に係る画像レイアウト装置は、図８に示すように、複数の候補画像のなかから画像を選択してレイアウトするレイアウト部１００と、ユーザの好みに適合した画像その他特定画像の特徴を学習する学習部２００と、レイアウト条件その他の条件を入力する条件入力部３００とで構成されている。より具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｆ等をバス接続した一般的なコンピュータとして構成し、ＣＰＵは、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従ってレイアウト部１００、学習部２００および条件入力部３００として実現される処理を実行する。
【００８２】
レイアウト部１００は、レイアウト対象となる複数の候補画像を取得する候補画像取得部１１０と、候補画像取得部１１０で取得した候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、ユーザの好みに適合した画像その他特定画像の特徴を示す画像特徴情報をユーザモデルとして記憶したユーザモデル記憶部１３０と、画像の評価値を算出する評価値算出部１４０と、候補画像取得部１１０で取得した候補画像のなかから画像を選択する画像選択部１５０と、レイアウトの枠組みを構成する異なる複数のテンプレートを記憶したテンプレート記憶部１６０と、画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７０と、印刷を行う印刷部１８０と、表示を行う表示部１８５とで構成されている。
【００８３】
候補画像取得部１１０は、複数の候補画像を記憶した候補画像記憶媒体５０が与えられたときは、与えられた候補画像記憶媒体５０から候補画像を取得するようになっている。ここで、候補画像記憶媒体５０としては、例えば、ＦＤ、ＣＤ、ＭＯ、メモリカードその他のリムーバブルメモリがある。
画像特徴情報抽出部１２０は、候補画像取得部１１０で取得した候補画像のそれぞれについて、誘導場の強さＭ_xy、等ポテンシャル線の複雑度Ｃ_i、誘導場のエネルギＥおよび画像を構成する各画素の三原色輝度値Ｎ_1xy，Ｎ_2xy，Ｎ_3xyを画像特徴情報として抽出するようになっている。誘導場の強さＭ_xy、等ポテンシャル線の複雑度Ｃ_iおよび誘導場のエネルギＥは、候補画像を白黒２値化処理した画像に基づいて算出する。本実施の形態では、画像特徴情報に含まれる各特徴量Ｍ_xy，Ｃ_i，Ｅ，Ｎ_1xy，Ｎ_2xyおよびＮ_3xyをそれぞれベクトルとして取り扱う。
【００８４】
ユーザモデル記憶部１３０は、複数のユーザモデルを記憶し、図９に示すように、ニューラルネットワーク４００により各ユーザモデルを記憶するようになっている。図９は、ニューラルネットワーク４００の構成を示す図である。なお、ユーザモデルとしては、ユーザの好みに適合した画像の特徴を示すユーザモデル、インパクトのある画像の特徴を示すユーザモデル、または特定画風の画像の特徴を示すユーザモデルが記憶されている。
【００８５】
ニューラルネットワーク４００は、図９に示すように、特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを入力するｉ個の入力層Ｉ_iと、各入力層Ｉ_iからの出力を入力するｊ個の中間層Ｈ_jと、各中間層Ｈ_jの出力を入力して嗜好値を出力する出力層Ｏ_kとから構成されている。そして、入力層Ｉ_iと中間層Ｈ_jとは結合係数Ｗ_ijのシナプスにより、中間層Ｈ_jと出力層Ｏ_kとは結合係数Ｗ_jkのシナプスによりそれぞれ結合されている。
【００８６】
また、ニューラルネットワーク４００は、後述の特徴学習部２３０によりユーザの好みに適合した画像その他特定画像の特徴を学習している。したがって、ユーザの好みに適合した画像その他特定画像から抽出した特徴量をニューラルネットワーク４００に入力したときは、嗜好値として比較的高い値が出力層Ｏ_kから出力され、ユーザの好みに適合しない画像その他特定画像以外の画像から抽出した特徴量をニューラルネットワーク４００に入力したときは、嗜好値として比較的低い値が出力層Ｏ_kから出力される。
【００８７】
評価値算出部１４０は、ユーザモデル記憶部１３０のなかから、後述の評価値算出条件入力部３１０で入力した評価値算出条件を満たすユーザモデルを選択する。そして、画像特徴情報抽出部１２０で抽出した画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを、選択したユーザモデルに係るニューラルネットワーク４００に入力し、ニューラルネットワーク４００の出力値を評価値として算出する。なお、評価値の算出は、各候補画像ごとに行う。
【００８８】
画像選択部１５０は、候補画像取得部１１０で取得した候補画像のなかから、評価値算出部１４０で算出した評価値が大きい順に所定数の候補画像を選択するようになっている。ここで、候補画像の選択は、さらに、後述の画像選択条件入力部３２０で入力した画像選択条件を満たすように行う。
テンプレート記憶部１６０は、図１０に示すように、異なる複数のテンプレートを記憶するようになっている。図１０は、テンプレートの構造を示す図である。
【００８９】
各テンプレートは、選択画像を格納するための画像格納枠を複数レイアウト領域に配置して構成されており、各画像格納枠には、選択画像を配置する優先順位が付されている。図１０（ａ）に示すテンプレートでは、優先順位として最も高い「１」を付した画像格納枠５０１がレイアウト領域上半分に大きく配置され、優先順位として「２」〜「５」を付した画像格納枠５０２〜５０５がレイアウト領域下半分の４区画にそれぞれ小さく配置されている。これは、評価値が最も高い選択画像を画像格納枠５０１に格納し、次いで評価値が高い順に４つの選択画像を画像格納枠５０２〜５０５にそれぞれ格納することを意味している。図１０（ｂ）のテンプレートでは、優先順位として「１」を付した画像格納枠５１１がレイアウト領域左半分に大きく配置され、優先順位として「２」〜「４」を付した画像格納枠５１２〜５１４がレイアウト領域右半分の３区画にそれぞれ小さく配置されている。これは、評価値が最も高い選択画像を画像格納枠５１１に格納し、次いで評価値が高い順に３つの選択画像を画像格納枠５１２〜５１４にそれぞれ格納することを意味している。図１０（ｃ）のテンプレートでは、レイアウト領域を縦４つ横２つに区画し、優先順位として「１」〜「８」を付した画像格納枠５２１〜５２８が、左から右、次いで上から下の順に各区画に配置されている。これは、評価値が高い順に８つの選択画像を画像格納枠５２１〜５２８にそれぞれ格納することを意味している。
【００９０】
画像レイアウト部１７０は、テンプレート記憶部１６０のなかから、後述のレイアウト条件入力部３３０で入力したレイアウト条件を満たすテンプレートを選択する。そして、画像選択部１５０で選択した選択画像を、評価値算出部１４０で算出した評価値のうちその選択画像に対応するものに基づいて、選択したテンプレートなかの画像格納枠に格納することにより選択画像をレイアウトする。具体的には、選択画像を、その評価値と一致する優先順位が付された画像格納枠に格納する。
【００９１】
印刷部１８０は、画像レイアウト部１７０でのレイアウト結果をプリンタ等で印刷するようになっている。これにより、ユーザは、画像レイアウト部１７０でのレイアウト結果を紙面にて確認することができる。
表示部１８５は、画像レイアウト部１７０でのレイアウト結果をディスプレイ等で表示するようになっている。これにより、ユーザは、画像レイアウト部１７０でのレイアウト結果を画面にて確認することができる。
【００９２】
学習部２００は、図８に示すように、候補画像取得部１１０で取得した候補画像のなかからユーザによる画像の指定を入力する画像指定入力部２１０と、候補画像取得部１１０で取得した候補画像のうち画像指定入力部２１０で入力した指定に係るものについて画像特徴情報を抽出する画像特徴情報抽出部２２０と、画像特徴情報抽出部２２０で抽出した画像特徴情報に基づいてユーザの好みに適合した画像その他特定画像の特徴を学習する特徴学習部２３０とで構成されている。
【００９３】
画像特徴情報抽出部２２０は、画像特徴情報抽出部１２０と同一機能を有して構成されており、候補画像取得部１１０で取得した候補画像のうち画像指定入力部２１０で入力した指定に係るものについて、誘導場の強さＭ_xy、等ポテンシャル線の複雑度Ｃ_i、誘導場のエネルギＥ、並びに画像を構成する各画素の三原色輝度値Ｎ_1xy，Ｎ_2xyおよびＮ_3xyを画像特徴情報として抽出するようになっている。
【００９４】
特徴学習部２３０は、ユーザモデル記憶部１３０のなかから、後述の評価値算出条件入力部３１０で入力した評価値算出条件を満たすユーザモデルを選択する。そして、画像特徴情報抽出部２２０で抽出した画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥに基づいて、公知のバックプロパゲーション法その他の学習法により、選択したユーザモデルに係るニューラルネットワーク４００を学習するようになっている。学習では、画像指定入力部２１０で入力した指定に係る候補画像から抽出した特徴量をニューラルネットワーク４００に入力したときに、嗜好値として比較的高い値が出力層Ｏ_kから出力されるように結合係数Ｗ_ij，Ｗ_jkを決定する。例えば、バックプロパゲーション法を用いる場合は、前向き演算または後ろ向き演算により結合係数Ｗ_ij，Ｗ_jkを決定する。
【００９５】
条件入力部３００は、図８に示すように、評価値の算出に関する評価値算出条件を入力する評価値算出条件入力部３１０と、画像の選択に関する画像選択条件を入力する画像選択条件入力部３２０と、レイアウトに関するレイアウト条件を入力するレイアウト条件入力部３３０とで構成されている。
評価値算出条件入力部３１０は、ユーザモデル記憶部１３０のユーザモデルのうちいずれかを特定する内容を評価値算出条件として入力するようになっている。ユーザは、例えば、「ユーザの好みに適合した画像」、「インパクトのある画像」および「特定画風の画像」のなかから「ユーザの好みに適合した画像」を指定すると、その指定に対応するユーザモデル（ユーザの好みに適合した画像の特徴を示すユーザモデル）を特定する内容が評価値算出条件として入力される。この場合は、画像選択部１５０において、ユーザの好みに適合した画像が選択され、画像レイアウト部１７０において、ユーザの好みに適合した画像をレイアウトする場合に適切なレイアウトとなるようにレイアウトが決定される。
【００９６】
画像選択条件入力部３２０は、選択画像の枚数を特定する内容を画像選択条件として入力するようになっている。例えば、選択画像の枚数として「１０」が指定された場合は、画像選択部１５０において、候補画像取得部１１０で取得した候補画像のなかから、評価値算出部１４０で算出した評価値が大きい順に１０枚の候補画像が選択される。
【００９７】
レイアウト条件入力部３３０は、直接印刷を行うか否か、印刷プレビューを行うか否か、印刷ページ数、およびテンプレート記憶部１６０のテンプレートのうちいずれかを特定する内容をレイアウト条件として入力するようになっている。例えば、直接印刷および印刷プレビューを行うことが、印刷ページ数として「３」が、テンプレートとして「テンプレート１」がそれぞれ指定された場合は、画像レイアウト部１７０において、テンプレート１に基づいて選択画像が３ページを上限としてレイアウトされ、表示部１８５において、画像レイアウト部１７０でのレイアウト結果が印刷プレビューされた後、印刷部１８０において、画像レイアウト部１７０でのレイアウト結果が直接印刷される。
【００９８】
次に、本実施の形態の動作を説明する。
初めに、ニューラルネットワーク４００を学習する場合を説明する。
ユーザの好みに適合した画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合、ユーザは、まず、複数の候補画像を記憶した候補画像記憶媒体５０を候補画像取得部１１０に与える。候補画像記憶媒体５０が与えられると、候補画像取得部１１０により、与えられた候補画像記憶媒体５０から候補画像が取得される。
【００９９】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定するとともに、候補画像取得部１１０で取得された候補画像のなかから自己の好みに適合したものをいくつか指定する。これらの指定は、評価値算出条件入力部３１０および画像指定入力部２１０に入力する。
「ユーザの好みに適合した画像」が指定されると、特徴学習部２３０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが学習対象として選択される。
【０１００】
一方、候補画像の指定が入力されると、画像特徴情報抽出部２２０により、候補画像取得部１１０で取得された候補画像のうち入力された指定に係るものについて、特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが画像特徴情報として抽出される。そして、特徴学習部２３０により、抽出された画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥに基づいて、選択されたユーザモデルに係るニューラルネットワーク４００が学習される。この一連の処理は、指定されたすべての候補画像について行われる。
【０１０１】
なお、インパクトのある画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合は、上記同様の要領で、「インパクトのある画像」を指定するとともに、候補画像取得部１１０で取得した候補画像のなかからインパクトのあるものをいくつか指定すればよい。もちろん、画像を手動で指定するに限らず、インパクトのある画像に共通する画像特徴情報を求めておき、その画像特徴情報と同一または類似の画像特徴情報を有する画像を自動的に指定するようにしてもよい。
【０１０２】
また、特定画風の画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合は、上記同様の要領で、「特定画風の画像」を指定するとともに、候補画像取得部１１０で取得した候補画像のなかから特定画風のものをいくつか指定すればよい。もちろん、画像を手動で指定するに限らず、特定画風の画像に共通する画像特徴情報を求めておき、その画像特徴情報と同一または類似の画像特徴情報を有する画像を自動的に指定するようにしてもよい。
【０１０３】
次に、画像をレイアウトする場合を説明する。
ユーザの好みに適合した画像をレイアウトする場合、ユーザは、まず、複数の候補画像を記憶した候補画像記憶媒体５０を候補画像取得部１１０に与える。候補画像記憶媒体５０が与えられると、候補画像取得部１１０により、与えられた候補画像記憶媒体５０から候補画像が取得される。
【０１０４】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定するとともに、所望のテンプレートをレイアウト条件として指定する。これらの指定は、例えば、ディフォルト設定にしておくことで省略することもできる。また同時に、必要があれば、画像選択条件およびその他のレイアウト条件を指定することもできる。
【０１０５】
「ユーザの好みに適合した画像」が指定されると、評価値算出部１４０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが選択される。このユーザモデルは、評価値の算出に用いられる。また、テンプレートが指定されると、画像レイアウト部１７０により、テンプレート記憶部１６０のなかから、ユーザが指定したテンプレートが選択される。このテンプレートは、選択画像のレイアウトに用いられる。
【０１０６】
一方、画像特徴情報抽出部１２０により、取得された候補画像について特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが画像特徴情報として抽出される。次いで、評価値算出部１４０により、抽出された画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、候補画像取得部１１０で取得されたすべての候補画像について行われる。
【０１０７】
次いで、画像選択部１５０により、取得された候補画像のなかから評価値が大きい順に所定数の候補画像が選択され、画像レイアウト部１７０により、選択画像がその評価値に基づいてレイアウトされる。レイアウトでは、選択されたテンプレートにおいて、選択画像が、その評価値と一致する優先順位が付された画像格納枠に格納される。そして、レイアウト条件として印刷プレビューを行うことが指定されていれば、表示部１８５により、画像レイアウト部１７０でのレイアウト結果がディスプレイ等で印刷プレビューされ、レイアウト条件として直接印刷を行うことが指定されていれば、印刷部１８０により、画像レイアウト部１７０でのレイアウト結果がプリンタ等で直接印刷される。
【０１０８】
なお、インパクトのある画像をレイアウトする場合は、上記同様の要領で、「インパクトのある画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
また、特定画風の画像をレイアウトする場合は、上記同様の要領で、「特定画風の画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
【０１０９】
このようにして、本実施の形態では、複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出部１４０と、複数の候補画像のなかから画像を選択する画像選択部１５０と、評価値算出部１４０で算出した評価値に基づいて画像選択部１５０で選択した選択画像のレイアウトを決定する画像レイアウト部１７０とを備えている。
【０１１０】
これにより、画像の内容に応じてレイアウトを決定することができるので、従来に比して、画像の内容に応じて比較的見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、ユーザの好みに適合した画像特徴情報をユーザモデルとして記憶するためのユーザモデル記憶部１３０を備え、評価値算出部１４０は、画像特徴情報抽出部１２０で抽出した画像特徴情報およびユーザモデル記憶部１３０のユーザモデルに基づいて、評価値を算出するようになっている。
【０１１１】
これにより、ユーザの好みに比較的適合したレイアウトとなるようにレイアウトを決定することができるので、ユーザにとって比較的見栄えのよいレイアウトを実現することができる。また、ユーザの好みに比較的適合したレイアウトの画像を選択することができる。
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場の強さＭ_xyを示す誘導場特徴量を含み、画像特徴情報抽出部１２０は、各候補画像ごとに、その候補画像について視覚の誘導場の強さＭ_xyを算出し、算出した視覚の誘導場の強さＭ_xyを示す誘導場特徴量を含む画像特徴情報を抽出するようになっている。
【０１１２】
これにより、生理学、心理学的な知見に基づく視覚の誘導場の強さＭ_xyをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１１３】
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場における等ポテンシャル線の複雑度Ｃ_iを示す複雑度特徴量を含み、画像特徴情報抽出部１２０は、各候補画像ごとに、その候補画像について視覚の誘導場を算出し、算出した視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度Ｃ_iを示す複雑度特徴量を含む画像特徴情報を抽出するようになっている。
【０１１４】
これにより、生理学、心理学的な知見に基づく視覚の誘導場における等ポテンシャル線の複雑度Ｃ_iをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１１５】
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場のエネルギＥを示すエネルギ特徴量を含み、画像特徴情報抽出部１２０は、各候補画像ごとに、その候補画像について視覚の誘導場のエネルギＥを算出し、算出した視覚の誘導場のエネルギＥを示すエネルギ特徴量を含む画像特徴情報を抽出するようになっている。
【０１１６】
これにより、生理学、心理学的な知見に基づく視覚の誘導場のエネルギＥをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１１７】
さらに、本実施の形態では、画像選択部１５０は、評価値算出部１４０で算出した評価値に基づいて、複数の候補画像のなかから画像を選択するようになっている。
これにより、画像の特徴に関する評価値に応じて画像を選択することができるので、比較的見栄えのよい画像を選択することができる。
【０１１８】
さらに、本実施の形態では、評価値の算出に関する評価値算出条件を入力する評価値算出条件入力部３１０を備え、評価値算出部１４０は、評価値算出条件入力部３１０で入力した評価値算出条件および画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて、評価値を算出するようになっている。
これにより、評価値の算出条件を指定することができるので、レイアウトの自由度を向上することができる。
【０１１９】
さらに、本実施の形態では、画像の選択に関する画像選択条件を入力する画像選択条件入力部３２０を備え、画像選択部１５０は、画像選択条件入力部３２０で入力した画像選択条件に基づいて、複数の候補画像のなかから画像を選択するようになっている。
これにより、画像の選択条件を指定することができるので、画像選択の自由度を向上することができる。
【０１２０】
さらに、本実施の形態では、候補画像を取得する候補画像取得部１１０を備え、画像選択部１５０は、候補画像取得部１１０で取得した候補画像のなかから画像を選択するようになっている。
これにより、外部の画像をレイアウト対象として取り扱うことができる。
上記第１の実施の形態において、画像は、発明１、３２または３６のオブジェクトに対応し、ユーザモデルは、発明２０ないし２６の特定人情報に対応し、候補画像取得部１１０は、発明１７の候補画像取得手段に対応し、画像特徴情報抽出部１２０および評価値算出部１４０は、発明１若しくは３２のオブジェクト評価手段、または発明２、９、３３若しくは３４の画像評価手段に対応している。また、画像特徴情報抽出部１２０および評価値算出部１４０による評価は、発明３６のオブジェクト評価ステップ、または発明３７若しくは３８の画像評価ステップに対応し、画像特徴情報抽出部１２０は、発明９、１１ないし１５、２０ないし２５、２７、３４または３５の画像特徴情報抽出手段に対応している。
【０１２１】
また、上記第１の実施の形態において、画像特徴情報抽出部１２０による抽出は、発明３８または３９の画像特徴情報抽出ステップに対応し、ユーザモデル記憶部１３０は、発明２０、２５または２６の特定人情報記憶手段に対応し、評価値算出部１４０は、発明９、１０、１５、２０、２５、２７、３０または３４の評価値算出手段に対応している。また、評価値算出部１４０による算出は、発明３８の評価値算出ステップに対応し、画像選択部１５０は、発明２、１０、１６、１７または３３の画像選択手段に対応し、画像選択部１５０による選択は、発明３７の画像選択ステップに対応している。
【０１２２】
また、上記第１の実施の形態において、画像レイアウト部１７０は、発明１、２、９、３０ないし３４のレイアウト手段に対応し、画像レイアウト部１７０によるレイアウトは、発明３６ないし３８のレイアウトステップに対応し、印刷部１８０は、発明３１の印刷手段に対応している。また、特徴学習部２３０は、発明２６の特定人情報学習手段に対応し、評価値算出条件入力部３１０は、発明１５の評価値算出条件取得手段に対応し、画像選択条件入力部３２０は、発明１６の画像選択条件取得手段に対応し、レイアウト条件入力部３３０は、発明３０のテンプレート指定手段に対応している。
【０１２３】
次に、本発明の第２の実施の形態を図面を参照しながら説明する。図１１ないし図１６は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法の第２の実施の形態を示す図である。以下、上記第１の実施の形態と異なる部分についてのみ説明し、重複する部分については同一の符号を付して説明を省略する。
【０１２４】
本実施の形態は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法を、図１１に示すように、ディジタルカメラ等で撮影した複数の候補画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したものであり、上記第１の実施の形態と異なるのは、テンプレート記憶部１６０を備えない点にある。
【０１２５】
まず、本発明に係る画像レイアウト装置の構成を図１１を参照しながら説明する。図１１は、本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
本発明に係る画像レイアウト装置は、図１１に示すように、レイアウト部１００と、学習部２００と、条件入力部３００とで構成されている。
【０１２６】
レイアウト部１００は、候補画像取得部１１０と、画像特徴情報抽出部１２０と、ユーザモデル記憶部１３０と、評価値算出部１４０と、画像選択部１５０と、画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７２と、印刷部１８０と、表示部１８５とで構成されている。
画像レイアウト部１７２は、画像選択部１５０で選択した選択画像を、評価値算出部１４０で算出した評価値のうちその選択画像に対応するものに基づいてレイアウトするようになっている。
【０１２７】
具体的には、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、レイアウト領域における選択画像の位置を決定する。例えば、レイアウトする画像の大きさは一定として、３つの選択画像Ａ〜Ｂについて、その評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)および位置決定ルールに基づいて、レイアウト領域における位置を求める。これには、次の３つの手法を提案することができる。
【０１２８】
第１に、評価値の大小に基づいてレイアウト領域における位置を決定する。これは、評価値の大きい順に上から並べる。例えば、ｆ(Ａ)＞ｆ(Ｂ)＞ｆ(Ｃ)である場合、Ａ，Ｂ，Ｃの順で選択画像を並べる。
第２に、評価値の比率に基づいてレイアウト領域における位置を決定する。これは、評価値の比率を求め、比率に従い配置する。例えば、ｆ(Ａ)：ｆ(Ｂ)：ｆ(Ｃ)＝５：２：１である場合、レイアウト領域を縦８等分した各区画に対して、図１２に示すように、選択画像Ａを第１〜５番目の区画（５つ分の区画）に配置し、選択画像Ｂを第６，７番目の区画（２つ分の区画）に配置し、選択画像Ｃを第８番目の区画（１つ分の区画）に配置する。図１２は、評価値に基づいてレイアウト領域における選択画像の位置を決定する場合を示す図である。
【０１２９】
第３に、第１および第２の手法を組み合わせたルールを規定し、そのルールに従ってレイアウト領域における位置を決定する。これは、評価値が閾値αを超えた選択画像は、印刷ページの１ページに１枚配置し、評価値が閾値α以下となる選択画像は、第１または第２の手法により配置する。
また、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、レイアウト領域に対する選択画像の大きさを決定する。例えば、レイアウトする画像の位置は特に考慮せず、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)および大きさ決定ルールに基づいて、レイアウト領域に対する大きさを決定する。これには、次の２つの手法を提案することができる。
【０１３０】
第１に、評価値の大小に基づいてレイアウト領域に対する大きさを決定する。これは、評価値の大きい順に大きさを求める。例えば、ｆ(Ａ)＝0.4、ｆ(Ｂ)＝0.2、ｆ(Ｃ)＝0.1である場合、選択画像Ａ〜Ｃは、それぞれ１０×１０、８×８、５×５の大きさとする。
第２に、評価値の比率に基づいてレイアウト領域に対する大きさを決定する。これは、評価値の比率を求め、比率に従い大きさを求める。例えば、ｆ(Ａ)：ｆ(Ｂ)：ｆ(Ｃ)＝４：２：１である場合、図１３に示すように、選択画像Ａ〜Ｃは、それぞれ４０×４０、２０×２０、１０×１０の大きさとする。図１３は、評価値に基づいてレイアウト領域に対する大きさを決定する場合を示す図である。
【０１３１】
また、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、異なる複数の背景画像のなかから背景画像を選択し、選択した背景画像を選択画像の背景として選択画像と合成する。これは、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)および背景決定ルールに基づいて背景画像を選択する。いま、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)の合計値がｚであったとする。このとき、図１４に示すように、合計値ｚの値に基づいて背景画像を選択する。図１４の例は、合計値ｚが０以上で１０未満である場合は背景画像Ｏを選択し、合計値ｚが１０以上で２０未満である場合は背景画像Ｐを選択し、合計値ｚが２０以上で３０未満である場合は背景画像Ｑを選択し、合計値ｚが３０以上である場合は背景画像Ｒを選択することを示している。図１４は、評価値に基づいて背景画像を選択する場合を示す図である。
【０１３２】
また、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、選択画像に装飾効果を付加するか否かを決定し、装飾効果を付加すると決定したときは、評価値算出部１４０で算出した評価値に基づいて、異なる複数の装飾効果のなかから装飾効果を選択し、選択した装飾効果を選択画像に付加する。これは、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)および装飾決定ルールに基づいて装飾効果を選択する。
【０１３３】
装飾効果としては、例えば、図１５に示すように、各評価値に基づいて装飾効果として背景画像を選択する。図１５の例は、評価値が０．１以下である場合は装飾効果を付加せず、評価値が０．２以上で０．３未満である場合は背景画像Ｖを選択し、評価値が０．３以上で０．４未満である場合は背景画像Ｗを選択し、評価値が０．５以上である場合は背景画像Ｘを選択することを示している。図１５は、評価値に基づいて装飾効果を選択する場合を示す図である。
【０１３４】
また、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、異なる複数のテンプレートのなかからテンプレートを選択し、選択したテンプレートに基づいて、選択画像をレイアウトする。これは、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)およびテンプレート決定ルールに基づいてテンプレートを求める。いま、評価値ｆ(Ａ)，ｆ(Ｂ)，ｆ(Ｃ)の合計値がｚであったとする。このとき、図１６に示すように、合計値ｚに基づいてテンプレートを選択する。図１６の例は、合計値ｚが０以上で１０未満である場合はレイアウト１を構成するテンプレートを選択し、合計値ｚが１０以上で２０未満である場合はレイアウト２を構成するテンプレートを選択し、合計値ｚが２０以上で３０未満である場合はレイアウト３を構成するテンプレートを選択し、合計値ｚが３０以上である場合はレイアウト４を構成するテンプレートを選択することを示している。図１６は、評価値に基づいてテンプレートを選択する場合を示す図である。
【０１３５】
次に、本実施の形態の動作を説明する。
ユーザの好みに適合した画像をレイアウトする場合、ユーザは、まず、複数の候補画像を記憶した候補画像記憶媒体５０を候補画像取得部１１０に与える。候補画像記憶媒体５０が与えられると、候補画像取得部１１０により、与えられた候補画像記憶媒体５０から候補画像が取得される。
【０１３６】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定する。この指定は、例えば、ディフォルト設定にしておくことで省略することもできる。また同時に、必要があれば、画像選択条件およびその他のレイアウト条件を指定することもできる。
「ユーザの好みに適合した画像」が指定されると、評価値算出部１４０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが選択される。このユーザモデルは、評価値の算出に用いられる。
【０１３７】
一方、画像特徴情報抽出部１２０により、取得された候補画像について特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが画像特徴情報として抽出される。次いで、評価値算出部１４０により、抽出された画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、候補画像取得部１１０で取得されたすべての候補画像について行われる。
【０１３８】
次いで、画像選択部１５０により、取得された候補画像のなかから評価値が大きい順に所定数の候補画像が選択され、画像レイアウト部１７２により、選択画像がその評価値に基づいてレイアウトされる。
レイアウトでは、評価値に基づいてレイアウト領域における選択画像の位置が決定される。
【０１３９】
また、レイアウトでは、評価値に基づいてレイアウト領域に対する選択画像の大きさが決定される。
また、レイアウトでは、評価値に基づいて異なる複数の背景画像のなかから背景画像が選択され、選択された背景画像が選択画像の背景として選択画像と合成される。
【０１４０】
また、レイアウトでは、評価値に基づいて選択画像に装飾効果を付加するか否かが決定される。その結果、装飾効果を付加すると決定されると、評価値に基づいて異なる複数の装飾効果のなかから装飾効果が選択され、選択された装飾効果が選択画像に付加される。
また、レイアウトでは、評価値に基づいて異なる複数のテンプレートのなかからテンプレートが選択され、選択されたテンプレートに基づいて、選択画像がレイアウトされる。
【０１４１】
そして、レイアウトが行われると、レイアウト条件として印刷プレビューを行うことが指定されていれば、表示部１８５により、画像レイアウト部１７２でのレイアウト結果がディスプレイ等で印刷プレビューされ、レイアウト条件として直接印刷を行うことが指定されていれば、印刷部１８０により、画像レイアウト部１７２でのレイアウト結果がプリンタ等で直接印刷される。
【０１４２】
なお、インパクトのある画像をレイアウトする場合は、上記同様の要領で、「インパクトのある画像」を指定すればよい。
また、特定画風の画像をレイアウトする場合は、上記同様の要領で、「特定画風の画像」を指定すればよい。
このようにして、本実施の形態では、複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出部１４０と、複数の候補画像のなかから画像を選択する画像選択部１５０と、評価値算出部１４０で算出した評価値に基づいて画像選択部１５０で選択した選択画像のレイアウトを決定する画像レイアウト部１７２とを備えている。
【０１４３】
これにより、画像の内容に応じてレイアウトを決定することができるので、従来に比して、画像の内容に応じて比較的見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、レイアウト領域における選択画像の位置を決定するようになっている。
【０１４４】
これにより、画像の内容に応じて比較的適切な位置を決定することができるので、さらに見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、レイアウト領域に対する選択画像の大きさを決定するようになっている。
【０１４５】
これにより、画像の内容に応じて比較的適切な大きさを決定することができるので、さらに見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、異なる複数の背景画像のなかから背景画像を選択し、選択した背景画像を選択画像の背景として選択画像と合成するようになっている。
【０１４６】
これにより、画像の内容に応じて比較的適切な背景画像を採用することができるので、さらに見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、選択画像に装飾効果を付加するか否かを決定するようになっている。
【０１４７】
これにより、画像の内容に応じて装飾効果を付加するか否かを決定することができるので、さらに見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、異なる複数の装飾効果のなかから装飾効果を選択し、選択した装飾効果を選択画像に付加するようになっている。
【０１４８】
これにより、画像の内容に応じて比較的適切な装飾効果を付加することができるので、さらに見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、画像レイアウト部１７２は、評価値算出部１４０で算出した評価値に基づいて、レイアウトの枠組みを構成する異なる複数のテンプレートのなかからテンプレートを選択し、選択したテンプレートに基づいて、選択画像をレイアウトするようになっている。
【０１４９】
これにより、画像の内容に応じて比較的適切なテンプレートを採用することができるので、さらに見栄えのよいレイアウトを実現することができる。
上記第２の実施の形態において、画像は、発明１、３２または３６のオブジェクトに対応し、ユーザモデルは、発明２０ないし２６の特定人情報に対応し、候補画像取得部１１０は、発明１７の候補画像取得手段に対応し、画像特徴情報抽出部１２０および評価値算出部１４０は、発明１若しくは３２のオブジェクト評価手段、または発明２ないし９、３３若しくは３４の画像評価手段に対応している。また、画像特徴情報抽出部１２０および評価値算出部１４０による評価は、発明３６のオブジェクト評価ステップ、または発明３７若しくは３８の画像評価ステップに対応し、画像特徴情報抽出部１２０は、発明９、１１ないし１５、２０ないし２５、２７、３４または３５の画像特徴情報抽出手段に対応している。
【０１５０】
また、上記第２の実施の形態において、画像特徴情報抽出部１２０による抽出は、発明３８または３９の画像特徴情報抽出ステップに対応し、ユーザモデル記憶部１３０は、発明２０、２５または２６の特定人情報記憶手段に対応し、評価値算出部１４０は、発明９、１０、１５、２０、２５、２７または３４の評価値算出手段に対応している。また、評価値算出部１４０による算出は、発明３８の評価値算出ステップに対応し、画像選択部１５０は、発明２、１０、１６、１７または３３の画像選択手段に対応し、画像選択部１５０による選択は、発明３７の画像選択ステップに対応している。
【０１５１】
また、上記第２の実施の形態において、画像レイアウト部１７２は、発明１ないし９、３１ないし３４のレイアウト手段に対応し、画像レイアウト部１７２によるレイアウトは、発明３６ないし３８のレイアウトステップに対応し、印刷部１８０は、発明３１の印刷手段に対応している。また、特徴学習部２３０は、発明２６の特定人情報学習手段に対応し、評価値算出条件入力部３１０は、発明１５の評価値算出条件取得手段に対応し、画像選択条件入力部３２０は、発明１６の画像選択条件取得手段に対応している。
【０１５２】
次に、本発明の第３の実施の形態を図面を参照しながら説明する。図１７は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法の第３の実施の形態を示す図である。以下、上記第１の実施の形態と異なる部分についてのみ説明し、重複する部分については同一の符号を付して説明を省略する。
【０１５３】
本実施の形態は、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法を、図１７に示すように、ディジタルカメラ等で撮影した複数の候補画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したものであり、上記第１の実施の形態と異なるのは、ユーザモデル記憶部１３２をさらに備えた点にある。
【０１５４】
まず、本発明に係る画像レイアウト装置の構成を図１７を参照しながら説明する。図１７は、本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
本発明に係る画像レイアウト装置は、図１７に示すように、レイアウト部１００と、学習部２００と、条件入力部３００とで構成されている。
【０１５５】
レイアウト部１００は、候補画像取得部１１０と、画像特徴情報抽出部１２０と、ユーザモデル記憶部１３０と、評価値算出部１４０と、画像選択部１５０と、テンプレート記憶部１６０と、ユーザの好みに適合した画像その他特定画像の特徴を示す画像特徴情報をユーザモデルとして記憶したユーザモデル記憶部１３２と、画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７４と、印刷部１８０と、表示部１８５とで構成されている。
【０１５６】
画像レイアウト部１７４は、テンプレート記憶部１６０のなかから先頭のテンプレートを選択し、画像選択部１５０で選択した選択画像を、評価値算出部１４０で算出した評価値のうちその選択画像に対応するものに基づいて、選択したテンプレートなかの画像格納枠に格納することにより選択画像をレイアウトし、そのレイアウト結果を１つの画像に変換する。次いで、ユーザモデル記憶部１３２のなかから、評価値算出条件入力部３１０で入力した評価値算出条件を満たすユーザモデルを選択し、変換画像の画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを、選択したユーザモデルに係るニューラルネットワーク４００に入力し、ニューラルネットワーク４００の出力値を評価値として算出する。そして、この一連の処理をテンプレート記憶部１６０のすべてのテンプレートについて行い、評価値が最も高いテンプレートでのレイアウト結果を採用する。
【０１５７】
次に、本実施の形態の動作を説明する。
ユーザの好みに適合した画像をレイアウトする場合、ユーザは、まず、複数の候補画像を記憶した候補画像記憶媒体５０を候補画像取得部１１０に与える。候補画像記憶媒体５０が与えられると、候補画像取得部１１０により、与えられた候補画像記憶媒体５０から候補画像が取得される。
【０１５８】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定する。この指定は、例えば、ディフォルト設定にしておくことで省略することもできる。また同時に、必要があれば、画像選択条件およびその他のレイアウト条件を指定することもできる。
「ユーザの好みに適合した画像」が指定されると、評価値算出部１４０により、ユーザモデル記憶部１３０，１３２のなかから、ユーザの好みに適合したユーザモデルが選択される。このユーザモデルは、評価値の算出および選択画像のレイアウトに用いられる。
【０１５９】
一方、画像特徴情報抽出部１２０により、取得された候補画像について特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが画像特徴情報として抽出される。次いで、評価値算出部１４０により、抽出された画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、候補画像取得部１１０で取得されたすべての候補画像について行われる。
【０１６０】
次いで、画像選択部１５０により、取得された候補画像のなかから評価値が大きい順に所定数の候補画像が選択され、画像レイアウト部１７４により、選択画像がレイアウトされる。
レイアウトでは、テンプレート記憶部１６０のなかから先頭のテンプレートが選択され、選択されたテンプレートのなかの画像格納枠に選択画像がその評価値に基づいて格納されることにより選択画像がレイアウトされ、そのレイアウト結果が１つの画像に変換される。次いで、変換画像の画像特徴情報から特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥを得て、得られた特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、テンプレート記憶部１６０のすべてのテンプレートについて行われ、評価値が最も高いテンプレートでのレイアウト結果が採用される。
【０１６１】
そして、レイアウトが行われると、レイアウト条件として印刷プレビューを行うことが指定されていれば、表示部１８５により、画像レイアウト部１７４でのレイアウト結果がディスプレイ等で印刷プレビューされ、レイアウト条件として直接印刷を行うことが指定されていれば、印刷部１８０により、画像レイアウト部１７４でのレイアウト結果がプリンタ等で直接印刷される。
【０１６２】
なお、インパクトのある画像をレイアウトする場合は、上記同様の要領で、「インパクトのある画像」を指定すればよい。
また、特定画風の画像をレイアウトする場合は、上記同様の要領で、「特定画風の画像」を指定すればよい。
このようにして、本実施の形態では、複数の候補画像のそれぞれについて画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出部１４０と、複数の候補画像のなかから画像を選択する画像選択部１５０と、評価値算出部１４０で算出した評価値に基づいて画像選択部１５０で選択した選択画像のレイアウトを決定する画像レイアウト部１７４とを備えている。
【０１６３】
これにより、画像の内容に応じてレイアウトを決定することができるので、従来に比して、画像の内容に応じて比較的見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、ユーザの好みのレイアウトに適合したユーザモデルを記憶したユーザモデル記憶部１３２を備え、画像レイアウト部１７４は、ユーザモデル記憶部１３０のユーザモデルおよび評価値算出部１４０で算出した評価値に基づいて、選択画像のレイアウトを決定するようになっている。
【０１６４】
これにより、ユーザの好みに比較的適合したレイアウトとなるようにレイアウトを決定することができるので、ユーザにとって比較的見栄えのよいレイアウトを実現することができる。
上記第３の実施の形態において、画像は、発明１、３２または３６のオブジェクトに対応し、ユーザモデルは、発明２０ないし２６の特定人情報に対応し、候補画像取得部１１０は、発明１７の候補画像取得手段に対応し、画像特徴情報抽出部１２０および評価値算出部１４０は、発明１若しくは３２のオブジェクト評価手段、または発明２、９、３３若しくは３４の画像評価手段に対応している。また、画像特徴情報抽出部１２０および評価値算出部１４０による評価は、発明３６のオブジェクト評価ステップ、または発明３７若しくは３８の画像評価ステップに対応し、画像特徴情報抽出部１２０は、発明９、１１ないし１５、２０ないし２５、２７、３４または３５の画像特徴情報抽出手段に対応している。
【０１６５】
また、上記第３の実施の形態において、画像特徴情報抽出部１２０による抽出は、発明３８または３９の画像特徴情報抽出ステップに対応し、ユーザモデル記憶部１３０は、発明２０、２５または２６の特定人情報記憶手段に対応し、評価値算出部１４０は、発明９、１０、１５、２０、２５、２７または３４の評価値算出手段に対応している。また、評価値算出部１４０による算出は、発明３８の評価値算出ステップに対応し、画像選択部１５０は、発明２、１０、１６、１７または３３の画像選択手段に対応し、画像選択部１５０による選択は、発明３７の画像選択ステップに対応している。
【０１６６】
また、上記第３の実施の形態において、画像レイアウト部１７４は、発明１、２、９、３１ないし３４のレイアウト手段に対応し、画像レイアウト部１７４によるレイアウトは、発明３６ないし３８のレイアウトステップに対応し、印刷部１８０は、発明３１の印刷手段に対応している。また、特徴学習部２３０は、発明２６の特定人情報学習手段に対応し、評価値算出条件入力部３１０は、発明１５の評価値算出条件取得手段に対応し、画像選択条件入力部３２０は、発明１６の画像選択条件取得手段に対応している。
【０１６７】
上記第３の実施の形態において、ユーザモデルは、発明２８の特定人情報に対応し、ユーザモデル記憶部１３２は、発明２８の特定人情報記憶手段に対応し、評価値算出部１４０は、発明２８の評価値算出手段に対応し、画像レイアウト部１７４は、発明２８のレイアウト手段に対応している。
なお、上記第１ないし第３の実施の形態において、候補画像取得部１１０は、複数の候補画像を記憶した候補画像記憶媒体５０が与えられたときは、与えられた候補画像記憶媒体５０から候補画像を取得するように構成したが、これに限らず、動画像が与えられたときは、与えられた動画像のなかから候補画像を取得するように構成してもよい。例えば、動画像を構成する全フレームについてそのフレームを候補画像として取得するか、所定数のフレームごとにそのフレームを候補画像として取得する手法を提案することができる。
【０１６８】
これにより、動画像をレイアウト対象として取り扱うことができる。
この場合において、候補画像取得部１１０は、発明１８の候補画像取得手段に対応している。
また、上記第１ないし第３の実施の形態において、候補画像取得部１１０は、複数の候補画像を記憶した候補画像記憶媒体５０が与えられたときは、与えられた候補画像記憶媒体５０から候補画像を取得するように構成したが、これに限らず、静止画像および動画像を少なくとも含むマルチメディアデータが与えられたときは、与えられたマルチメディアデータから静止画像および動画像をそれぞれ抽出し、抽出した静止画像のなかから候補画像を取得するとともに、抽出した動画像のなかから候補画像を取得するように構成してもよい。
【０１６９】
これにより、マルチメディアデータをレイアウト対象として取り扱うことができる。
この場合において、候補画像取得部１１０は、発明１９の候補画像取得手段に対応している。
また、上記第３の実施の形態においては、ユーザモデル記憶部１３２のユーザモデルを学習しない構成としたが、これに限らず、ユーザモデル記憶部１３０のユーザモデルに対する学習と同様の要領で、特徴学習部２３０は、ユーザモデル記憶部１３２のユーザモデルを学習するように構成してもよい。
【０１７０】
この場合において、ユーザモデルは、発明２９の特定人情報に対応し、ユーザモデル記憶部１３２は、発明２９の特定人情報記憶手段に対応し、特徴学習部２３０は、発明２９の特定人情報学習手段に対応している。
また、上記第１の実施の形態においては、自動的にレイアウトされた印刷データを作成し、それを自動印刷するように構成したが、これに限らず、上位数枚を１枚ごと直接印刷するように構成することもできる。
【０１７１】
これにより、例えば、３枚だけ綺麗な画像をすぐに印刷したい場合にも対応することができる。また、ディジタルカメラで撮影されたメモリカード等をプリンタに差し込んだ際に、直接印刷するようなサービスやシステムを構築することができる。
また、上記第２の実施の形態においては、各レイアウト手法を別々に取り扱ったが、それらが同時に変更されるようになってもよい。例えば、レイアウト領域における位置を変更しつつ、画像の大きさを変更し、装飾効果を付加したりするように、自動レイアウトを行うことができる。
【０１７２】
また、上記第２の実施の形態においては、所定のルールに従ってレイアウトを行うように構成したが、これに限らず、所定の関数が規定してあり、所定の関数に従って、位置の決定、大きさの決定、背景画像の選択、装飾効果の有無の決定、装飾効果の選択およびテンプレートの選択を行うように構成することもできる。
【０１７３】
また、上記第３の実施の形態においては、ユーザモデル記憶部１３０とユーザモデル記憶部１３２とを別々に構成したが、これに限らず、それらを１つの記憶部として構成することもできる。例えば、ユーザモデル記憶部１３０だけを備え、画像レイアウト部１７４は、ユーザモデル記憶部１３０のユーザモデルに基づいて選択画像をレイアウトするように構成してもよいし、ユーザモデル記憶部１３２だけを備え、評価値算出部１４０は、ユーザモデル記憶部１３２のユーザモデルに基づいて評価値を算出するように構成してもよい。
【０１７４】
また、上記第３の実施の形態においては、複数のテンプレートに対して自動レイアウトし、その結果をユーザモデル記憶部１３２のユーザモデルと比較し、評価値が最も高いテンプレートのレイアウトを採用するように構成したが、これに限らず、ユーザモデル記憶部１３２からテンプレートを１つ選択し、そのテンプレートに対して自動レイアウトするように構成することもできる。また、複数のテンプレートから所定数のテンプレートを選択し、テンプレートをあらかじめ絞り込んだ後に、そのテンプレートに対して自動レイアウトし、その結果をユーザモデル記憶部１３２のユーザモデルと比較し、評価値が最も高いテンプレートのレイアウトを採用するように構成することもできる。
【０１７５】
また、上記第１ないし第３の実施の形態においては、候補画像記憶媒体５０に複数の候補画像を記憶しておき、ユーザの好みに適合すると思われる画像を複数の候補画像のなかから選択するように構成したが、これに限らず、候補画像記憶媒体５０に比較的大きな候補画像を記憶しておき、候補画像記憶媒体５０の候補画像を複数の候補画像に分割し、ユーザの好みに適合すると思われる画像を、分割した複数の候補画像のなかから選択するように構成してもよい。
【０１７６】
これにより、最終的に選択された画像は、大きな候補画像のなかでユーザモデルと一致した領域、すなわちユーザの好みに適合した部分であることが分かる。また、上記第１ないし第３の実施の形態においては、ユーザの好みに適合した画像を複数の候補画像のなかから選択するように構成したが、これに限らず、一般的に印象の良い画像を複数の候補画像のなかから選択するように構成してもよい。この場合、複数のユーザに印象の良いと思う画像を指定してもらい、指定された画像の特徴を、上記第１ないし第３の実施の形態と同じ要領でニューラルネットワーク４００に学習させておけばよい。
【０１７７】
さらに、この場合、複数のユーザに印象の良し／悪しを入力してもらうだけでなく、印象の強い／弱いを入力してもらい、これに基づいてニューラルネットワーク４００に学習させることも可能である。これにより、一般的なユーザ特性が学習できるため、複数の人の好みに適合した画像を選択するのに好適な画像レイアウト装置を構成することができる。
【０１７８】
さらに、この場合、例えば、１０代、２０代、３０代など、年齢に応じてユーザをグループ分けして、各グループごとに、そのユーザに印象の良いと思う画像を指定してもらい、指定された画像の特徴をニューラルネットワーク４００に学習させることも可能である。これにより、同世代の人の好みに適合した画像を選択するのに好適な画像レイアウト装置を構成することができる。また、ある画像が何代の人に好まれるかを調べることにも使用できる。
【０１７９】
また、上記第１ないし第３の実施の形態において、ニューラルネットワーク４００は、出力層Ｏ_kを一つだけ設けて構成したが、これに限らず、複数の出力層を設けて構成してもよい。例えば、ユーザの好き／嫌いのいずれかを出力する第１の出力層と、ユーザの印象の良し／悪しのいずれかを出力する第２の出力層と、ユーザの印象の強さ／弱さのいずれかを出力する第３の出力層とを設けて構成することもできる。
【０１８０】
また、上記第１ないし第３の実施の形態においては、候補画像取得部１１０で取得したすべての候補画像から画像特徴情報を抽出するように構成したが、これに限らず、候補画像取得部１１０で取得した候補画像のうち所定の抽出条件を満たすものから画像特徴情報を抽出するように構成してもよい。所定の抽出条件としては、例えば、色の分布を算出し、算出した分布が所定の閾値以上という条件を設定することができる。これにより、色が全体的に暗すぎる画像は抽出の対象外とすることができる。
【０１８１】
また、上記第１ないし第３の実施の形態においては、画像を構成するすべての画素の特徴量を抽出し、抽出した特徴量に基づいて学習を行うように構成したが、これに限らず、例えば、縦方向５つ横方向５つのピクセルからなる矩形領域の画素群において４つ角の画素を対象とし、対象画素の特徴量（例えば、平均値）を抽出し、抽出した特徴量に基づいて学習を行うように構成してもよい。
【０１８２】
また、上記第１ないし第３の実施の形態においては、特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥに基づいて画像選択および学習を行うように構成したが、これに限らず、特徴量Ｍ_xy，Ｎ_1xy，Ｎ_2xy，Ｎ_3xy，Ｃ_iおよびＥのうちいずれかに基づいて画像選択および学習を行うように構成してもよい。
また、上記第１ないし第３の実施の形態においては、ニューラルネットワーク４００の学習法としてバックプロパゲーション法を例示したが、これに限らず、自己組織化による教師なし学習法を利用することもできる。これにより、例えば、ユーザがディジタルカメラで撮影した２５枚の画像の特徴を学習し、その画像の傾向に沿って学習することができ、そのユーザの好みを自動的に学習することができる。
【０１８３】
また、上記第１ないし第３の実施の形態においては、候補画像を白黒２値化処理した画像に基づいて、誘導場の強さＭ_xy、等ポテンシャル線の複雑度Ｃ_iおよび誘導場のエネルギＥを算出するように構成したが、これに限らず、カラーの候補画像そのものに基づいて、誘導場の強さＭ_xy、等ポテンシャル線の複雑度Ｃ_iおよび誘導場のエネルギＥを算出するように構成することもできる。
【０１８４】
また、上記第１ないし第３の実施の形態においては、三原色輝度値を各原色ごとのベクトルＮ_1xy，Ｎ_2xyおよびＮ_3xyとして取り扱ったが、これに限らず、加算等を行って、１つのベクトルとして取り扱ってもよい。
また、上記第１ないし第３の実施の形態において、レイアウト部１００、学習部２００または条件入力部３００を実現するにあたってはいずれも、ＲＯＭにあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読み込んで実行するようにしてもよい。
【０１８５】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【０１８６】
また、上記第１ないし第３の実施の形態においては、本発明に係るオブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラムおよび画像レイアウトプログラム、並びにオブジェクトレイアウト方法および画像レイアウト方法を、ディジタルカメラ等で撮影した複数の候補画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
【０１８７】
【発明の効果】
以上説明したように、本発明に係るオブジェクトレイアウト装置によれば、オブジェクトの内容に応じてレイアウトを決定することができるので、従来に比して、オブジェクトの内容に応じて比較的見栄えのよいレイアウトを実現することができるという効果が得られる。
【０１８８】
一方、本発明に係る画像レイアウト装置によれば、画像の内容に応じてレイアウトを決定することができるので、従来に比して、画像の内容に応じて比較的見栄えのよいレイアウトを実現することができるという効果が得られる。
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて比較的適切なテンプレートを採用することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１８９】
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて比較的適切な位置を決定することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて比較的適切な大きさを決定することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９０】
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて比較的適切な背景画像を採用することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて装飾効果を付加するか否かを決定することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９１】
さらに、本発明に係る画像レイアウト装置によれば、画像の内容に応じて比較的適切な装飾効果を付加することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、画像の特徴に関する評価値に応じてレイアウトを決定することができるので、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９２】
さらに、本発明に係る画像レイアウト装置によれば、画像の特徴に関する評価値に応じて画像を選択することができるので、比較的見栄えのよい画像を選択することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場をレイアウトの決定に利用したことにより、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９３】
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場の強さをレイアウトの決定に利用したことにより、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場における等ポテンシャル線の複雑度をレイアウトの決定に利用したことにより、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９４】
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場のエネルギをレイアウトの決定に利用したことにより、さらに見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、評価値の算出条件を指定することができるので、レイアウトの自由度を向上することができるという効果も得られる。
【０１９５】
さらに、本発明に係る画像レイアウト装置によれば、画像の選択条件を指定することができるので、画像選択の自由度を向上することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、外部の画像をレイアウト対象として取り扱うことができるという効果も得られる。
【０１９６】
さらに、本発明に係る画像レイアウト装置によれば、動画像をレイアウト対象として取り扱うことができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、マルチメディアデータをレイアウト対象として取り扱うことができるという効果も得られる。
【０１９７】
さらに、本発明に係る画像レイアウト装置によれば、特定人の主観的評価に比較的適合したレイアウトとなるようにレイアウトを決定することができるので、特定人にとって比較的見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場の強さをレイアウトの決定に利用したことにより、特定人の主観的評価にさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、特定人にとってさらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９８】
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場における等ポテンシャル線の複雑度をレイアウトの決定に利用したことにより、特定人の主観的評価にさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、特定人にとってさらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０１９９】
さらに、本発明に係る画像レイアウト装置によれば、生理学、心理学的な知見に基づく視覚の誘導場のエネルギをレイアウトの決定に利用したことにより、特定人の主観的評価にさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、特定人にとってさらに見栄えのよいレイアウトを実現することができるという効果も得られる。
【０２００】
さらに、本発明に係る画像レイアウト装置によれば、特定人の主観的評価に比較的適合したレイアウトとなるようにレイアウトを決定することができるので、特定人にとって比較的見栄えのよいレイアウトを実現することができるという効果も得られる。
さらに、本発明に係る画像レイアウト装置によれば、レイアウトで使用するテンプレートを指定することができるので、レイアウトの自由度を向上することができるという効果も得られる。
【０２０１】
一方、本発明に係るオブジェクトレイアウトプログラムによれば、発明１のオブジェクトレイアウト装置と同等の効果が得られる。
一方、発明３３ないし発明３５記載の画像レイアウトプログラムによれば、発明２記載の画像レイアウト装置と同等の効果が得られる。
さらに、発明３４または発明３５記載の画像レイアウトプログラムによれば、発明９記載の画像レイアウト装置と同等の効果も得られる。
【０２０２】
さらに、発明３５記載の画像レイアウトプログラムによれば、発明１１記載の画像レイアウト装置と同等の効果も得られる。
一方、発明３６記載のオブジェクトレイアウト方法によれば、発明１記載のオブジェクトレイアウト装置と同等の効果が得られる。
一方、発明３７ないし３９記載の画像レイアウト方法によれば、発明２記載の画像レイアウト装置と同等の効果が得られる。
【０２０３】
さらに、発明３８または３９記載の画像レイアウト方法によれば、発明９記載の画像レイアウト装置と同等の効果も得られる。
さらに、発明３９記載の画像レイアウト方法によれば、発明１１記載の画像レイアウト装置と同等の効果も得られる。
【図面の簡単な説明】
【図１】ディジタル画像の画素配列を示す図である。
【図２】視覚の誘導場の強さを求める際の遮蔽条件を説明する図である。
【図３】文字「Ａ」の視覚の誘導場の例であり、同図（ａ）は遮蔽条件を考慮して視覚の誘導場を求めた場合、同図（ｂ）は遮蔽条件を考慮しないで視覚の誘導場を求めた場合を示す図である。
【図４】基準となるレイアウト例としてのある新聞記事の一部分の画像を示す図である。
【図５】図４に示す画像に対し、文字列部分はそれぞれの文字列を単純な線で表し、写真は単に矩形枠で表して誘導場を計算し、計算された誘導場から得られた等ポテンシャル線を示す図である。
【図６】図４で示した基準レイアウトとその基準レイアウトを種々変化させたレイアウトとした場合の図である。
【図７】図６（ａ）〜（ｄ）のようなレイアウトとしたときのそれぞれのレイアウトに対する複雑度を示す図である。
【図８】本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【図９】ニューラルネットワーク４００の構成を示す図である。
【図１０】テンプレートの構造を示す図である。
【図１１】本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【図１２】評価値に基づいてレイアウト領域における選択画像の位置を決定する場合を示す図である。
【図１３】評価値に基づいてレイアウト領域に対する大きさを決定する場合を示す図である。
【図１４】評価値に基づいて背景画像を選択する場合を示す図である。
【図１５】評価値に基づいて装飾効果を選択する場合を示す図である。
【図１６】評価値に基づいてテンプレートを選択する場合を示す図である。
【図１７】本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【符号の説明】
５０ 候補画像記憶媒体
１００ レイアウト部
１１０ 候補画像取得部
１２０ 画像特徴情報抽出部
１３０，１３２ ユーザモデル記憶部
１４０ 評価値算出部
１５０ 画像選択部
１６０ テンプレート記憶部
１７０，１７２，１７４ 画像レイアウト部
１８０ 印刷部
１８５ 表示部
２００ 学習部
２１０ 画像指定入力部
２２０ 画像特徴情報抽出部
２３０ 特徴学習部
３００ 条件入力部
３１０ 評価値算出条件入力部
３２０ 画像選択条件入力部
３３０ レイアウト条件入力部
４００ ニューラルネットワーク
５００〜５２８ 画像格納枠

Claims (15)

1. レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出手段と、
   特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
   前記画像特徴情報抽出手段で抽出された画像特徴情報及び前記特定人情報記憶手段に記憶された特定人情報に基づいて、画像の評価値を算出する評価値算出手段と、
   前記複数の候補画像のなかから画像を選択する画像選択手段と、
   前記評価値算出手段で算出された評価値に基づいて、前記画像選択手段により選択された選択画像のレイアウトを決定するレイアウト手段と、
   を備える画像レイアウト装置。
2. 前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場の強さである誘導場特徴量を含み、
   前記画像特徴情報抽出手段は、前記候補画像のそれぞれについて前記誘導場特徴量を含む前記画像特徴情報を抽出することを特徴とする請求項１に記載の画像レイアウト装置。
3. 前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場における等ポテンシャル線の複雑度である複雑度特徴量を含み、
   前記画像特徴情報抽出手段は、前記候補画像のそれぞれについて前記複雑度特徴量を含む前記画像特徴情報を抽出することを特徴とする請求項２に記載の画像レイアウト装置。
4. 前記特定人情報は、前記特定人の主観的評価に適合した画像について視覚の誘導場のエネルギであるエネルギ特徴量を含み、
   前記画像特徴情報抽出手段は、前記候補画像のそれぞれについて前記エネルギ特徴量を含む前記画像特徴情報を抽出することを特徴とする請求項３に記載の画像レイアウト装置。
5. 前記特定人情報は、前記特定人の主観的評価に適合した画像について色彩の輝度値である輝度値特徴量を含み、
   前記画像特徴情報抽出手段は、前記候補画像のそれぞれについて前記輝度値特徴量を含む前記画像特徴情報を抽出することを特徴とする請求項４に記載の画像レイアウト装置。
6. 前記評価値算出手段は、
   前記画像特徴情報抽出手段で抽出された画像特徴情報に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を要素とした第１特徴ベクトルとし、
   前記特定人情報記憶手段に記憶された特定人情報に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を要素とした第２特徴ベクトルとし、
   前記第１特徴ベクトルと前記第２特徴ベクトルとをベクトル演算し、その演算結果を前記評価値とすることを特徴とする請求項５に記載の画像レイアウト装置。
7. 前記特定人により選択された画像に基づいて、前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を算出し、算出された前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を入力値としてニューラルネットワークを用いた学習を行い、その学習結果を前記特定人情報として前記特定人情報記憶手段に記憶する特定人情報学習手段、
   を備えることを特徴とする請求項５または６に記載の画像レイアウト装置。
8. 前記評価値算出手段は、前記画像特徴情報抽出手段で抽出された画像特徴情報から前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を得て、得られた前記誘導場特徴量、前記複雑度特徴量、前記エネルギ特徴量及び前記輝度値特徴量を前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力値を前記評価値とすることを特徴とする請求項７に記載の画像レイアウト装置。
9. レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出手段と、
   特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
   前記画像特徴情報抽出手段で抽出された画像特徴情報に基づいて、画像の評価値を算出する評価値算出手段と、
   前記複数の候補画像のなかから画像を選択する画像選択手段と、
   前記特定人情報記憶手段に記憶された特定人情報及び前記評価値算出手段で算出された評価値に基づいて、前記画像選択手段により選択された選択画像のレイアウトを決定するレイアウト手段と、
   を備える画像レイアウト装置。
10. 前記特定人の当該画像レイアウト装置の利用により決定されたレイアウトを入力値としてニューラルネットワークを用いた学習を行い、その学習結果を前記特定人情報として前記特定人情報記憶手段に記憶する特定人情報学習手段、
    を備えることを特徴とする請求項９に記載の画像レイアウト装置。
11. レイアウトの枠組みを構成する異なる複数のテンプレートのなかから前記テンプレートを指定するテンプレート指定手段を備え、
    前記レイアウト手段は、前記テンプレート指定手段で指定されたテンプレートに基づいて、前記選択画像のレイアウトを決定することを特徴とする請求項１乃至１０のいずれかに記載の画像レイアウト装置。
12. 特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
    演算手段と、
    を備えるコンピュータを用いて画像のレイアウトを決定する画像レイアウトプログラムであって、
    レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出ステップと、
    前記画像特徴情報抽出ステップで抽出された画像特徴情報及び前記特定人情報記憶手段に記憶された特定人情報に基づいて、画像の評価値を算出する評価値算出ステップと、
    前記複数の候補画像のなかから画像を選択する画像選択ステップと、
    前記評価値算出ステップで算出された評価値に基づいて、前記画像選択ステップにより選択された選択画像のレイアウトを決定するレイアウトステップと、
    を有する処理を前記演算手段に実行させる画像レイアウトプログラム。
13. 特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
    演算手段と、
    を備えるコンピュータを用いて画像のレイアウトを決定する画像レイアウトプログラムであって、
    レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出ステップと、
    前記画像特徴情報抽出ステップで抽出された画像特徴情報に基づいて、画像の評価値を算出する評価値算出ステップと、
    前記複数の候補画像のなかから画像を選択する画像選択ステップと、
    前記特定人情報記憶手段に記憶された特定人情報及び前記評価値算出ステップで算出された評価値に基づいて、前記画像選択ステップにより選択された選択画像のレイアウトを決定するレイアウトステップと、
    を有する処理を前記演算手段に実行させる画像レイアウトプログラム。
14. 特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
    演算手段と、
    を備えるコンピュータを用いて画像のレイアウトを決定する画像レイアウト方法であって、
    レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出ステップと、
    前記画像特徴情報抽出ステップで抽出された画像特徴情報及び前記特定人情報記憶手段に記憶された特定人情報に基づいて、画像の評価値を算出する評価値算出ステップと、
    前記複数の候補画像のなかから画像を選択する画像選択ステップと、
    前記評価値算出ステップで算出された評価値に基づいて、前記画像選択ステップにより選択された選択画像のレイアウトを決定するレイアウトステップと、
    を有する処理を前記演算手段に実行させる画像レイアウト方法。
15. 特定人の主観的評価に適合した前記画像特徴情報である特定人情報を記憶する特定人情報記憶手段と、
    演算手段と、
    を備えるコンピュータを用いて画像のレイアウトを決定する画像レイアウト方法であって、
    レイアウト対象となる複数の候補画像のそれぞれについて視覚の誘導場を求め、得られた視覚の誘導場に関する特徴量を含む画像特徴情報を抽出する画像特徴情報抽出ステップと、
    前記画像特徴情報抽出ステップで抽出された画像特徴情報に基づいて、画像の評価値を算出する評価値算出ステップと、
    前記複数の候補画像のなかから画像を選択する画像選択ステップと、
    前記特定人情報記憶手段に記憶された特定人情報及び前記評価値算出ステップで算出された評価値に基づいて、前記画像選択ステップにより選択された選択画像のレイアウトを決定するレイアウトステップと、
    を有する処理を前記演算手段に実行させる画像レイアウト方法。

Images