JP4945494B2 - 画像配置方法、プログラムおよび装置 - Google Patents

Description

本発明は、隣り合う画像の見栄えのよい配置に関する。

特許文献１によると、各レイアウト領域に嵌め込まれる静止画像の方向を示す付帯情報をテンプレート画像に付帯させる。静止画像の主要被写体、及び解析された主要被写体の方向を解析する。例えば主要被写体の方向が付加されていない静止画像Ｐ４と、主要被写体の方向が図中Ｃ方向の静止画像Ｐ５が選択された場合、嵌め込まれる静止画像の方向を示す情報が付帯されていないレイアウト領域ＬＡ３と、嵌め込まれる静止画像の方向が図中Ｄ方向からなる情報を付帯したレイアウト領域ＬＡ４とを備えたテンプレート画像ＴＰ２を選択し、これら静止画像と、選択されたテンプレート画像とを合成する。

特許文献２によると、上とじのフォトブックへの写真レイアウト、人物画像の上下方向を認識し、人物の頭の方が、とじ側になるように画像を回転する。
特開２００７−２６３８７号公報 特開２００７−３０４８１号公報

図１５に示すように、機械的に画像をフォトブックの各見開きあるいは画像対のテンプレートに配置していくと、各画像の被写体の視線がばらばらであり、画像相互の配置に統一感のない散漫な画像配置がされているという印象を与えてしまう。

この点、特許文献１では、同じ視線方向の画像を集めて同一ページに配置することはできるが、それが見開きページのあるフォトブックや画像対のテンプレートにとって見栄えのよい画像配置になるとは限らない。

すなわち、図１６に示すように、見開きページの左右に、被写体の視線方向が同じ画像を配置すると、特定方向に視線の偏った画像配置がされているという印象を与えてしまう。むしろ、図１７に示すように、見開きの中央部分に視線方向を集中させると、安定感があり好ましいといえる。

本発明はこのような問題点に鑑みてなされたもので、見開きのあるページや画像を対で配置するテンプレートに統一感や一体感のある見栄えのよい画像配置を実現することを目的とする。

本発明は、画像の対を配置する画像配置方法であって、複数の画像を取得する画像取得ステップと、取得した複数の画像中の被写体の向きを検出する被写体向き検出ステップと、画像に対応するテーマごとに画像を分類したテーマグループを作成するテーマグループ作成ステップと、検出された被写体の向きごとに画像を分類した被写体向きグループを、テーマグループごとに作成する被写体向きグループ作成ステップと、画像のうち、いずれの被写体向きグループにも属さない画像を分類した汎用画像グループを、テーマグループごとに作成する汎用画像グループ作成ステップと、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出する第１の画像対抽出ステップと、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができなかった場合、所定の関係を有さない画像の対を構成する２つの画像の一方を、同一のテーマグループに属する汎用画像グループから１つ抽出するとともに、所定の関係を有さない画像の対を構成する２つの画像の他方を、同一のテーマグループに属する汎用画像グループまたは被写体向きグループのうちいずれか１つから抽出する補完ステップと、抽出された２つの画像の対を所望の出力領域に配置する配置ステップと、を含む。

この発明によると、同じテーマのグループの中で被写体の向き同士が所定の関係（例えば視線が互いに交錯する向き）を有するような画像の対を配置するから、被写体の向きとテーマの面で画像の配置に統一感を与えることができる。また、所定の関係を有する画像の対を同じテーマの異なる被写体向きグループから１つずつ抽出できなかった場合、同じテーマのグループの汎用画像グループから抽出した画像によって画像の対の少なくとも一方を補完することができる。

好ましくは、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができない場合、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、異なるテーマグループの異なる被写体向きグループから１つずつ抽出する第２の画像対抽出ステップを含む。

好ましくは、出力領域は、左右に並列された２つの領域である左側領域および右側領域を含む。

好ましくは、被写体向きグループは、左向きの被写体を分類した左向きグループおよび右向きの被写体を分類した右向きグループを含み、所定の関係は、左側領域の画像の被写体が右向きでありかつ右側領域の画像の被写体が左向きであることを含み、第１の画像対抽出ステップは、左側領域に配置する画像を右向きグループから抽出しかつ右側領域に配置する画像を左向きグループから抽出するステップを含む。

好ましくは、汎用画像グループは、左向きグループおよび右向きグループに属さない画像を含み、画像対抽出ステップは、左側領域に配置する画像を右向きグループから抽出しかつ右側領域に配置する画像を左向きグループから抽出することができなかった場合、右向きグループから左側領域に配置する画像を抽出しかつ汎用画像グループから右側領域に配置する画像を抽出するかまたは汎用画像グループから左側領域に配置する画像を抽出しかつ左向きグループから右側領域に配置する画像を抽出するステップを含む。

好ましくは、画像において被写体が集中する位置を検出するステップと、検出された被写体が集中する位置ごとに画像を分類した被写体集中位置グループを作成する被写体集中位置グループ作成ステップと、検出された被写体の集中する位置が所定の関係を有するような画像の対を構成する２つの画像を、異なる被写体集中位置グループから１つずつ抽出する第３の画像対抽出ステップと、を含む。

こうすると、被写体が集まる側を中央に集めることで、見栄えのよい画像配置が可能である。

好ましくは、第３の画像対抽出ステップは、画像右側に被写体が集中する画像を分類した被写体集中位置グループから左側領域に配置する画像を抽出するかまたは画像左側に被写体が集中する画像を分類した被写体集中位置グループから右側領域に配置する画像を抽出するステップを含む。

好ましくは、第１の画像対抽出ステップは、被写体の大きさが所定の値以上の２つの画像を、異なる被写体向きグループから１つずつ抽出する。

こうすると、被写体がある程度の大きさを持ったものから優先的に配置でき、画像の大きさにも統一感を与えることができる。

この画像配置方法をコンピュータに実行させるプログラムも本発明に含まれる。

本発明は、画像の対を配置する画像配置方法であって、複数の画像を取得する画像取得部と、取得した複数の画像中の被写体の向きを検出する被写体向き検出部と、画像に対応するテーマごとに画像を分類したテーマグループを作成するテーマグループ作成部と、検出された被写体の向きごとに画像を分類した被写体向きグループを、テーマグループごとに作成する被写体向きグループ作成部と、画像のうち、いずれの被写体向きグループにも属さない画像を分類した汎用画像グループを、テーマグループごとに作成する汎用画像グループ作成部と、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出する第１の画像対抽出部と、検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができなかった場合、所定の関係を有さない画像の対を構成する２つの画像の一方を、同一のテーマグループに属する汎用画像グループから１つ抽出するとともに、所定の関係を有さない画像の対を構成する２つの画像の他方を、同一のテーマグループに属する汎用画像グループまたは被写体向きグループのうちいずれか１つから抽出する補完部と、抽出された２つの画像の対を所望の出力領域に配置する配置部と、を含む。

この発明によると、同じテーマのグループの中で被写体の向き同士が所定の関係（例えば視線が互いに交錯する向き）を有するような画像の対を配置するから、被写体の向きとテーマの面で画像の配置に統一感を与えることができる。また、所定の関係を有する画像の対を同じテーマの異なる被写体向きグループから１つずつ抽出できなかった場合、同じテーマのグループの汎用画像グループから抽出した画像によって画像の対の少なくとも一方を補完することができる。

図１は、本発明を適用した画像編集装置１０の概略構成を示すブロック図である。画像編集装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディア４０やメモリカード４２などに格納された静止画像データ（動画をキャプチャした静止画も含む）を取り込み、これを素材としてフォトブック（表示装置に画像を所定のレイアウトとデザインで表示させるデータまたは所定のレイアウトとデザインで画像が印刷された紙などの印刷媒体）を作成する。この画像編集装置１０は、マウス、タッチパッド、トラッグボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやキーボードなどの各種操作デバイスを含む操作部２６によって操作される。

画像編集装置１０は、画像編集装置１０全体を制御するＣＰＵ１２と、記録メディア４０にデータを読み書きするドライブ１１と、メモリカード４２にデータを読み書きするカードスロット１６と、読み込まれた静止画像データや画像編集装置１０を制御するプログラムなどが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、ＲＡＭ２０などに格納された画像の一覧や後述のテンプレート画像を含むウィンドウその他画像編集に関係する各種のグラフィカルユーザインターフェース、操作部２６からの移動方向および移動速度の指示を含む入力操作に従って上記ウィンドウ上を移動するポインタの映像信号をディスプレイ５０に出力して表示させるビデオエンコーダ２２と、インターネットその他のネットワークに接続するための通信Ｉ／Ｆ２８と、それぞれ専門の処理を受け持つデータ記録部（操作履歴記録手段）３０、とから構成されている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、画像編集装置１０には、プリンタドライバ３８を介して、指示された静止画像を普通紙や印画紙などにプリントするプリンタ４４が接続されている。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１１やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、フォトブックの素材となる１または複数の静止画像データの他に、フォトブックの生成の際にこれらの静止画像データと合成される装飾画像データなどが記憶されている。装飾画像には、対象となる画像の不要な部分を覆うマスク画像や、対象となる画像の嵌め込み枠が規定され、イラストなどの装飾が施されたテンプレート画像などがある。こうした装飾画像は、素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトブックに彩を与える。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータを格納するタグ領域とが用意されている。

通信Ｉ／Ｆ２８は、画像編集装置１０をインターネットに接続して、インターネット上のホームページをディスプレイ５０に表示させたり、電子メール（以下、メールと称す）を介した画像データの送受信を行う。この通信Ｉ／Ｆ２８は、ブロードバンド対応のモデムなどである。通信Ｉ／Ｆ２８は、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続するものでもよい。

データ記録部３０、フォトブック生成部３４は、いわゆるコプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。

以下、図２〜６のフローチャートに従い、画像レイアウト調節処理の流れを説明する。この処理は、フォトブック生成部３４（またはＣＰＵ１２）によって実行される。

図２は画像レイアウト調節処理のメインルーチンのフローチャートである。

Ｓ１では、画像を取得し、その総数をカウントする。

Ｓ２では、取得した画像をディスプレイ５０に表示する。ここでは例えば図７に示すような、Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の８つの画像が取得され、これらが表示されたものとする。

Ｓ３では、取得した画像をテーマに従ってグルーピングする。テーマとは、例えば画像ファイルのメタ情報に予め記録されているテーマや撮影日時の同一・近接するものである。この同一のメタ情報のテーマごとに画像をグルーピングする。あるいは、操作部２６の操作に従って各画像をグルーピングする。

ここでは図７に示すような、Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の８つの画像が取得され、Ａ１、Ａ２、Ａ３の３画像が「まつりＡ」のテーマグループに、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の５画像が「まつりＢ」のテーマグループに分類されたものとする。図では便宜上画像中に「Ａ」や「Ｂ」と分類されたテーマグループの識別情報を重畳しているが、このような情報を重畳しなくてもよい。

Ｓ４では、各テーマグループに分類した各画像について、顔領域を識別し、識別した各顔領域における顔の向きを判別する。そして、判別した顔の向きごとに、画像を分類する（画像配置分類サブルーチン）。この処理の詳細は後述する。

続いて図３を参照すると、Ｓ５では、テーマグループポインタ（ＴＧＰ）を最初のテーマグループに設定する。テーマグループポインタとは、画像レイアウトを優先的に決めるテーマグループを識別するためのフラグである。ここでは便宜上「まつりＡ」にＴＧＰが設定されたとするが、その他のグループに最初にＴＧＰが設定されてもよく、要するにどのグループに最初にＴＧＰを設定するかは見栄えのよいレイアウトの決定にとって本質的ではない。

Ｓ６では、Ｓ１でカウントされた画像総数Ｎに基づき、見開き型のフォトブックに生じる見開き数を算出する。すなわち、見開き数Ｎ＝ＩＮＴ（（画像数÷２）＋０．５）である。ここでＩＮＴとは数の整数部分を取り出す関数である。画像数が偶数であれば画像数を２で割った値がそのまま見開き数Ｎになるが、画像数が奇数であれば画像数に１を足した値を２で割った値が見開き数Ｎになる。画像数が奇数の場合、画像が１つだけの見開きが生じる。

Ｓ７では、見開きの左ページに配置する画像を、ＴＧＰの設定されたテーマに属する画像群から選択する。この処理の詳細は後述する。

Ｓ８では、見開きの右ページに配置する画像を、ＴＧＰの設定されたテーマに属する画像群から選択する。

図４は上記Ｓ４（画像配置分類サブルーチン）の詳細を示すフローチャートである。この画像は、各々の画像につき実施される。

Ｓ１１では、取得した各画像について、顔領域を識別する。次に、識別した顔領域のいずれか１つについて、顔の大きさが一定以上（例えば３２×３２ピクセル）であるか否かを、画像ごとに判断する。顔の大きさが一定以上である場合はＳ１２、そうでない場合はＳ１３に進む。

Ｓ１２では、画像の視線方向を検出し、検出された視線方向に従って画像を分類する。簡略のため、視線が右向きの画像はグループａ、視線が左向きの画像はグループｂ、視線が左向きでも右向きでもない画像はグループｃに分類される。これらのグループはあくまで例示であって、これ以外のグループを作成してもよい。例えば視線が右斜め上向きのグループ、左斜め上向きのグループ、右斜め下向きのグループ、左斜め下向きのグループなどを作成してもよい。

ここで、視線方向の検出の一例としては、例えば本出願人による特開２００７−２６５３６７号公報に記載されるように、全体画像の中から顔画像を検出し、該検出された顔画像の目から複数の目特徴点を抽出するとともに、顔を構成する部位から複数の顔特徴点を抽出し、該抽出された複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、この顔特徴量に基づいて各顔画像の顔の向きを判別する。

あるいは、本出願人による特開平６−３０９４５７号公報に記載されるように、画像の色情報から口の位置を認識し、それに基づいて顔方向を検出したり、あるいは特開２００１−１６７２７７号公報に記載されるように、パターンマッチングに基づいて顔方向を検出したりしてもよい。

顔の大きさが一定以上であると判定された画像であって、グループａに分類された画像には、フォトブック見開きの左配置に用いる画像のフラグ（左用画像）を付与する。顔の大きさが一定以上であると判定された画像であって、グループｂに分類された画像には、フォトブック見開きの右配置に用いる画像（右用画像）のフラグを付与する。顔の大きさが一定以上であると判定された画像であって、グループｃに分類された画像には、フォトブック見開きの左右両側配置に用いる画像（両用画像）のフラグを付与する。

Ｓ１３では、画像中の人物の数は画像右側に集中している方が多いか否かを判断する。例えば、画像を正中線に沿って分割し、分割左側領域で人物検出された人物の数と、分割右側領域で人物検出された人物の数とを比較し、右側と左側の人物の数の大小を判断する。画像右側の方が人物の数が多い場合はＳ１４、そうでない場合（すなわち左右同数か左側が多い場合）はＳ１５に進む。

Ｓ１４では、当該画像にフォトブック見開きの左配置に用いる画像（左用画像）のフラグを付与する。

Ｓ１５では、画像中の人物の数は、画像左側に集中している方が多いかを判断する。画像左側の方が人物の数が多い場合はＳ１６、そうでない場合（すなわち左右同数の場合）はＳ１６に進む。

Ｓ１６では、当該画像にフォトブック見開きの右配置に用いる画像（右用画像）のフラグを付与する。

Ｓ１７では、当該画像にフォトブック見開きの左右配置の両方に用いる画像（両用画像）のフラグを付与する。

Ｓ１２、１４、１６、１７の終了後は、図３のＳ５に進む。

図８は、全ての画像すなわち図７の「まつりＡ」および「まつりＢ」の画像に対する視線検出を行い、左向きの視線、右向きの視線、それ以外の視線方向に分類された結果を示す。画像ｍ−ｒ１、ｍ−ｒ２、ｍ−ｒ３、ｍ−ｒ４は画面の右方向を向いている右向き画像のグループａ、画像ｍ−ｌ１、ｍ−ｌ２、ｍ−ｌ３、ｍ−ｌ４は画面の左方向を向いている左向き画像のグループｂ、ｍ−ｏ１はいずれの方向も向いていないと判別されたそれ以外の残りの画像のグループｃに分類されている。上述のように、グループａには左用画像のフラグ、グループｂには右用画像のフラグ、グループｃには両用画像のフラグが付与される。

説明の簡略のため、図７のいずれの画像もその人物の大きさは所定の値以上であるとし、左用画像のフラグが付与された画像はグループａの画像と、右用画像のフラグが付与された画像はグループｂの画像と、両用画像のフラグが付与された画像はグループｃの画像と同一視する。

図５は、左ページ画像配置サブルーチン（Ｓ７）のフローチャートである。

Ｓ２１では、現在ＴＧＰが設定されているテーマに対応しておりかつグループａに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ２４、“Ｎｏ”と判断された場合はＳ２２に進む。

Ｓ２２では、現在ＴＧＰが設定されているテーマに対応しておりかつグループｃに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ２４、“Ｎｏ”と判断された場合はＳ２３に進む。

Ｓ２３では、現在ＴＧＰが設定されているテーマに対応しておりかつグループｂに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ２４、“Ｎｏ”と判断された場合はＳ２５に進む。

Ｓ２４では、まず、Ｓ２１から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループａに分類された画像のいずれか１つ（例えばグループａのうち撮影日時やアップロード日時の最も古いものあるいは新しいもの）を、画像未配置の見開きのうち最も巻頭に近い見開きの左ページに配置する。配置した画像には、使用済みフラグを付与し、グループａから除外する。Ｓ２２から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループｃに分類された画像のいずれか１つを、画像未配置の見開きのうち最も巻頭に近い見開きの左ページに配置する。これはつまり、画像右側に視線が向かっており見開き左側に配置するのが適当な右向き画像が１つもない場合、次善策として左右両ページに配置可能な両側画像を左ページに配置する。配置した画像には、使用済みフラグを付与し、グループｃから除外する。Ｓ２３から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループｂに分類された画像のいずれか１つを、画像未配置の見開きのうち最も巻頭に近い見開きの左ページに配置する。これはつまり、右向き画像も両側画像もない場合、次善策として左向き画像を左ページに配置する。配置した画像には、使用済みフラグを付与し、グループｂから除外する。もっとも、別のテーマグループに右向き画像や両側画像が存在するか否か検索し、それも存在しない場合に限り左向き画像を左ページに配置してもよい。

Ｓ２５では、現在ＴＧＰが設定されているテーマグループの次の順序のテーマグループが存在するか否かを判断する。そのようなテーマグループが存在する場合はＳ２６、存在しない場合は本サブルーチンを終了し、図３のＳ８に進む。

Ｓ２６では、次のテーマグループにＴＧＰを設定し、当該ＴＧＰの設定されたテーマグループについてＳ２１〜Ｓ２６の処理を再び実施する。各テーマグループに対するＴＧＰの設定順は任意であり、例えば上述のように同一の撮影日付ごとにテーマグループを分類する場合は、撮影日付の古いものから新しいものにかけて順次ＴＧＰを設定するとよい。あるいはユーザが操作部２６を介してテーマグループの順序づけをしてもよい。

図６は、右ページ画像配置サブルーチン（Ｓ８）のフローチャートである。

Ｓ３１では、現在ＴＧＰが設定されているテーマに対応しておりかつグループｂに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ３４、“Ｎｏ”と判断された場合はＳ３２に進む。

Ｓ３２では、現在ＴＧＰが設定されているテーマに対応しておりかつグループｃに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ３４、“Ｎｏ”と判断された場合はＳ３３に進む。

Ｓ３３では、現在ＴＧＰが設定されているテーマに対応しておりかつグループａに分類された画像が少なくとも１つ存在するか否かを判断する。“Ｙｅｓ”と判断された場合はＳ３４、“Ｎｏ”と判断された場合はＳ３５に進む。

Ｓ３４では、まず、Ｓ３１から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループｂに分類された画像のいずれか１つを、画像未配置の見開きのうち最も巻頭に近い見開きの右ページに配置する。これはつまり、画像左側に被写体の視線が向かっており見開き右側に配置するのが適当な左向き画像があれば、これを最優先に右ページに配置する。配置した画像には、使用済みフラグを付与し、グループｂから除外する。Ｓ３２から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループｃに分類された画像のいずれか１つを、画像未配置の見開きのうち最も巻頭に近い見開きの右ページに配置する。これはつまり、左向き画像が１つもない場合、次善策として左右両ページに配置可能な両側画像を右ページに配置する。配置した画像には、使用済みフラグを付与し、グループｃから除外する。Ｓ３３から“Ｙｅｓ”で分岐した場合、当該ＴＧＰが設定されているテーマに対応する画像のうち、グループａに分類された画像のいずれか１つを、画像未配置の見開きのうち最も巻頭に近い見開きの右ページに配置する。これはつまり、左向き画像も両側画像もない場合、次善策として右向き画像を右ページに配置する。配置した画像には、使用済みフラグを付与し、グループａから除外する。もっとも、別のテーマグループに左向き画像や両側画像が存在するか否か検索し、それも存在しない場合に限り右向き画像を右ページに配置してもよい。

Ｓ３５では、現在ＴＧＰが設定されているテーマグループの次の順序のテーマグループが存在するか否かを判断する。そのようなテーマグループが存在する場合はＳ３６、存在しない場合は本サブルーチンを終了し、かつメインルーチンも終了する。

Ｓ３６では、次のテーマグループにＴＧＰを設定し、当該ＴＧＰの設定されたテーマグループについてＳ３１〜Ｓ３６の処理を再び実施する。

図９〜１３は、見開き数Ｎ＝４のフォトブックについて、「まつりＡ」および「まつりＢ」に分類された図７の画像群に対して左ページ画像選択・配置サブルーチン（Ｓ７）および右ページ画像選択・配置サブルーチン（Ｓ８）の処理を実施することにより、画像が当該フォトブックのＮ＝４の見開きＲ１〜Ｒ４に配置されていく様子を模式的に例示する。

図９に示す画像ｍ−ｒ１は、「まつりＡ」に対応した画像であって、かつグループａに最初に分類された画像であるから、フォトブックの最初の見開きＲ１における左ページ領域（１ページ目）に配置される。また、図９に示す画像ｍ−ｌ１は、「まつりＡ」に対応した画像であって、かつグループｂに最初に分類された画像であるから、フォトブックの最初の見開きＲ１における右ページ領域（２ページ目）に配置される。

図１０に示す画像ｍ−ｒ２は、「まつりＡ」に分類された画像であって、かつグループａに２番目に分類された画像であるから、フォトブックの２番目の見開きＲ２における左ページ領域（３ページ目）に配置される。また、図１０に示す画像ｍ−ｌ２は、「まつりＢ」に分類された画像であり、かつグループｂに２番目に分類された画像であるから、フォトブックの２番目の見開きＲ２における右ページ領域（４ページ目）に配置される。本来ならば、グループｂに分類された「まつりＡ」の画像が他にあれば、これを「まつりＡ」の画像ｍ−ｒ２の対とすべきであるが、それがなかったため（Ｓ２１・Ｓ２３・Ｓ２５で“Ｎｏ”となったため）、「まつりＡ」の次にＴＧＰの設定（Ｓ２６）された「まつりＢ」のｍ−ｌ２が右ページ（４ページ目）に配置される。

図１１に示す画像ｍ−ｒ３は、「まつりＢ」に対応した画像であって、かつグループａに３番目に分類された画像であるから、フォトブックの３番目の見開きＲ３における左ページ領域（５ページ目）に配置される。また、図１１に示す画像ｍ−ｌ３は、「まつりＢ」に対応した画像であって、かつグループｂに３番目に分類された画像であるから、フォトブックの３番目の見開きＲ３における右ページ領域（６ページ目）に配置される。

図１２に示す画像ｍ−ｒ４は、「まつりＢ」に対応した画像であって、かつグループａに３番目に分類された画像であるから、フォトブックの４番目の見開きＲ４における左ページ領域（５ページ目）に配置される。また、図１２に示す画像ｍ−ｏ１は、「まつりＢ」に対応した画像であって、かつグループｏに番目に分類された画像であるが、画像未配置の４番目の見開きＲ４の右ページ領域に配置するべき画像が画像ｍ−ｏ１以外にないため（すなわち図６のＳ３１で“Ｎｏ”かつＳ３２で“Ｙｅｓ”と判断された場合）、画像ｍ−ｏ１が４番目の見開きＲ４における右ページ領域に配置される。

その結果、図１３に示すような４つの見開きＲ１〜Ｒ４の各左右ページ領域に合計８つの画像が配置されたフォトブックが完成する。当該フォトブックは、ディスプレイ５０にプレビュー表示されたものであるが、内容が確定すればユーザ指示に応じてプリンタ４４により印刷媒体に転写できる。

見開きＲ２を除いた各見開きには同じテーマの画像が連なり、かつ見開きＲ４を除いた各見開きには視線が見開き中央で交錯し人物同士が向き合うよう画像が配置されているから、視線およびテーマに関してフォトブックの統一感が高まる。

なお、上記の処理は、見開きページに限らず、あらゆる画像の対の配置に適用可能である。例えば図１４に示すように、１つのページに複数の画像の対を配置するレイアウト領域ＴＰ１〜ＴＰ４がある場合、各レイアウト領域Ｒ１〜Ｒ４に対して、見開きページと同様に上記の処理を実施し、各レイアウト領域Ｒ１〜Ｒ４で対となった画像の視線方向が可及的に中央に集まるよう画像を配置することができる。

また、画像の視線方向が集まる位置（画像同士が隣接する側あるいはその逆側）をユーザが操作部２６を介して任意に指定できてもよく、必ずしも画像の視線方向が中央に集まるよう画像を優先して配置しなくてもよい。さらに、上記のようにして配置された画像を、後からユーザが操作部２６を介して自由に変更できてもよい。

また、予め対になったレイアウト領域がテンプレートに存在する必然性もなく、ユーザが自由に指定した２つの領域に対して、画像レイアウト調節処理を実施することもできる。

さらに、「対」とは、厳密に画像の縦横位置が揃うよう左右に２つの画像を並べるものに限らず、高さ位置がずれるように左右に配置してもよいし、上下に並べるものでもよい。高さ位置がずれるように左右に配置する場合、視線が集まるのは画像を結んだ対角線の中央付近であり、上下に並べるものであれば、視線が集まる位置は、上下の画像の間の位置である。要するに、２つの画像を結ぶ直線の中間点に、検出された視線方向が集まるように画像対を配置するのが本発明の要点である。画像が３つ以上の場合は、それらの画像を結ぶ直線でなる閉領域（三角形、四角形など）の重心に検出された視線方向が集まるように画像対を配置することもできる。

画像編集装置の構成図 画像レイアウト調節処理のメインルーチン（Ｓ１〜Ｓ４）のフローチャート 画像レイアウト調節処理のメインルーチン（Ｓ５〜Ｓ８）のフローチャート 画像レイアウト調節処理の画像配置分類サブルーチンのフローチャート 画像レイアウト調節処理の左ページ画像配置サブルーチンのフローチャート 画像レイアウト調節処理の右ページ画像配置サブルーチンのフローチャート テーマグループごとに分類された複数画像の一例を示す図 顔の方向ごとに分類された複数画像の一例を示す図 １番目の見開きに配置された１対の画像の一例を示す図 ２番目の見開きに配置された１対の画像の一例を示す図 ３番目の見開きに配置された１対の画像の一例を示す図 ４番目の見開きに配置された１対の画像の一例を示す図 画像レイアウト調節処理により完成したフォトブックの一例を示す図 １つのページに複数の画像の対を配置するレイアウト領域の一例を示す図 従来技術による画像対の配置例を示す図 好ましくない画像対の配置例を示す図 好ましい画像対の配置例を示す図

符号の説明

１０：画像編集装置、１８：ＨＤＤ、３４：フォトブック生成部

Claims (10)

1. 画像の対を配置する画像配置装置であって、
   複数の画像を取得する画像取得部と、
   前記取得した複数の画像中の被写体の向きを検出する被写体向き検出部と、
   前記画像に対応するテーマごとに前記画像を分類したテーマグループを作成するテーマグループ作成部と、
   前記検出された被写体の向きごとに前記画像を分類した被写体向きグループを、前記テーマグループごとに作成する被写体向きグループ作成部と、
   前記画像のうち、いずれの被写体向きグループにも属さない画像を分類した汎用画像グループを、前記テーマグループごとに作成する汎用画像グループ作成部と、
   前記検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出する第１の画像対抽出部と、
   前記検出された被写体の向きが前記所定の関係を有するような画像の対を構成する２つの画像を、前記同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができなかった場合、前記所定の関係を有さない画像の対を構成する２つの画像の一方を、前記同一のテーマグループに属する前記汎用画像グループから１つ抽出するとともに、前記所定の関係を有さない画像の対を構成する２つの画像の他方を、前記同一のテーマグループに属する前記汎用画像グループまたは前記被写体向きグループのうちいずれか１つから抽出する補完部と、
   前記抽出された２つの画像の対を所望の出力領域に配置する配置部と、
   を含む画像配置装置。
2. 前記検出された被写体の向きが前記所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができない場合、前記検出された被写体の向きが前記所定の関係を有するような画像の対を構成する２つの画像を、異なるテーマグループの異なる被写体向きグループから１つずつ抽出する第２の画像対抽出部を含む請求項１に記載の画像配置装置。
3. 前記出力領域は、左右に並列された２つの領域である左側領域および右側領域を含む請求項１または２に記載の画像配置装置。
4. 前記被写体向きグループは、左向きの被写体を分類した左向きグループおよび右向きの被写体を分類した右向きグループを含み、
   前記所定の関係は、前記左側領域の画像の被写体が右向きでありかつ前記右側領域の画像の被写体が左向きであることを含み、
   前記第１の画像対抽出部は、前記左側領域に配置する画像を前記右向きグループから抽出しかつ前記右側領域に配置する画像を前記左向きグループから抽出する請求項３に記載の画像配置装置。
5. 前記汎用画像グループは、前記左向きグループおよび前記右向きグループに属さない画像を含み、
   前記第１の画像対抽出部は、前記左側領域に配置する画像を前記右向きグループから抽出しかつ前記右側領域に配置する画像を前記左向きグループから抽出することができなかった場合、前記右向きグループから左側領域に配置する画像を抽出しかつ前記汎用画像グループから前記右側領域に配置する画像を抽出するかまたは前記汎用画像グループから前記左側領域に配置する画像を抽出しかつ前記左向きグループから前記右側領域に配置する画像を抽出する請求項４に記載の画像配置装置。
6. 画像において被写体が集中する位置を検出する被写体集中位置検出部と、
   前記検出された被写体が集中する位置ごとに前記画像を分類した被写体集中位置グループを作成する被写体集中位置グループ作成部と、
   前記検出された被写体の集中する位置が所定の関係を有するような画像の対を構成する２つの画像を、異なる被写体集中位置グループから１つずつ抽出する第３の画像対抽出部と、
   を含む請求項３に記載の画像配置装置。
7. 前記第３の画像対抽出部は、画像右側に被写体が集中する画像を分類した被写体集中位置グループから前記左側領域に配置する画像を抽出するかまたは画像左側に被写体が集中する画像を分類した被写体集中位置グループから前記右側領域に配置する画像を抽出する請求項６に記載の画像配置装置。
8. 前記第１の画像対抽出部は、前記被写体の大きさが所定の値以上の２つの画像を、異なる被写体向きグループから１つずつ抽出する請求項１〜７のいずれかに記載の画像配置装置。
9. 請求項１〜８のいずれかに記載の画像配置装置としてコンピュータを機能させるプログラム。
10. 画像取得部と、被写体向き検出部と、テーマグループ作成部と、被写体向きグループ作成部と、汎用画像グループ作成部と、第１の画像対抽出部と、補完部と、配置部と、を含む画像配置装置において、
    前記画像取得部が、複数の画像を取得する画像取得ステップと、
    前記被写体向き検出部が、前記取得した複数の画像中の被写体の向きを検出する被写体向き検出ステップと、
    前記テーマグループ作成部が、前記画像に対応するテーマごとに前記画像を分類したテーマグループを作成するテーマグループ作成ステップと、
    前記被写体向きグループ作成部が、前記検出された被写体の向きごとに前記画像を分類した被写体向きグループを、前記テーマグループごとに作成する被写体向きグループ作成ステップと、
    前記汎用画像グループ作成部が、前記画像のうち、いずれの被写体向きグループにも属さない画像を分類した汎用画像グループを、前記テーマグループごとに作成する汎用画像グループ作成ステップと、
    前記第１の画像対抽出部が、前記検出された被写体の向きが所定の関係を有するような画像の対を構成する２つの画像を、同一のテーマグループの異なる被写体向きグループから１つずつ抽出する第１の画像対抽出ステップと、
    前記補完部が、前記検出された被写体の向きが前記所定の関係を有するような画像の対を構成する２つの画像を、前記同一のテーマグループの異なる被写体向きグループから１つずつ抽出することができなかった場合、前記所定の関係を有さない画像の対を構成する２つの画像の一方を、前記同一のテーマグループに属する前記汎用画像グループから１つ抽出するとともに、前記所定の関係を有さない画像の対を構成する２つの画像の他方を、前記同一のテーマグループに属する前記汎用画像グループまたは前記被写体向きグループのうちいずれか１つから抽出する補完ステップと、
    前記配置部が、前記抽出された２つの画像の対を所望の出力領域に配置する配置ステップと、
    を含む画像配置方法。

Images