JP5253069B2

JP5253069B2 - 画像処理方法及び画像処理装置

Info

Publication number: JP5253069B2
Application number: JP2008250528A
Authority: JP
Inventors: 勇治秋山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2013-07-31
Anticipated expiration: 2028-09-29
Also published as: JP2010081537A; US8526741B2; US20100080490A1

Description

本発明は、画像処理方法および該方法により記録した記録媒体に関する。特に、複数の画像データを自動的にレイアウトする際に、主被写体における向きや画像中の位置によりレイアウトすることを特徴とする画像処理方法および該方法を記録した記録媒体に関する。

写真の活用法方法として、フイルムを現像して焼きつけられた写真を、専用の台紙に貼り付けてアルバムを作成することが従来より行われてきた。

近年、画像をデジタル化することで、アルバム作成をデジタルデータ上で行うことができ、台紙デザインやレイアウトを変更しながら容易にアルバムを作成することができるようになってきた。

デジタルデータでアルバムを作成することは、従来の焼き付けされた印画紙を貼りつけるよりも、簡単かつ自由度も高く作業を行うことができる。

デジタルカメラの普及に伴い、デジタルデータでアルバムを作成することが多くなってきたが、一方で撮影される画像データの数はメモリ容量の拡大に伴って増加している。

そのため、デジタルデータでアルバムを作成する場合に、多量の画像から使用する画像を選択して、レイアウトする作業に多くの時間を要するという新しい課題を生む結果となっている。

これらの問題を解決するために、画像中の人物等のオブジェクト（主被写体）の向きを顔や体、視線等から特定し、特定した向きに基づいて画像をレイアウトする方法が開示されている。（特許文献１参照）
また、画像の有する方向成分を空間周波数レベル等から算出し、算出した方向成分に基づいて画像をレイアウトする方法が開示されている。（特許文献３参照）
さらに、画像中の主要オブジェクトがページの折り目に重ならないように画像をトリミングしオブジェクトの位置を移動配置する方法が開示されている。また主要オブジェクトがアルバムテンプレート中の画像と重なっていないかを判別し、重なっている場合には画像をトリミングしてオブジェクトの位置を移動配置する方法も開示されている。（特許文献４参照）
特開２００６−２８７９１７号公報特開２００７−０２６３８７号公報特開２００６−３０４２６５号公報特開２００７−０１２０３０号公報

上記従来技術に記述したとおり主被写体の向きによりレイアウトを決定する手法は開示されているが、画像には主被写体となりうる主要被写体が複数存在する場合もある。

従来技術においては画像中に複数の主要被写体が存在する場合の向きの決定方法は示されておらず、該当画像においては向きを決定できない画像もある。

また、バランスの良いレイアウトを行う場合には主被写体の向き性だけではなく画像中の主要被写体の配置も考慮する必要がある。主被写体の向きに応じてトリミングを実施する技術もあるが、主要被写体背景の面積の余裕が無く適切な主要被写体配置でトリミングを行える画像ではないケースも多々存在する。

アルバム等に写真のレイアウトを行う際には、主要被写体の向き（視線方向も含む）に対してスペースを設けると、動きや広がりがある再現が可能である。

一方で、アルバムを観る際には閲覧者の視点がレイアウト台紙の中心に注力される傾向にあるため、主要被写体はなるべく中心に配置することが好ましい。

よって、主要被写体の向きだけではなく画像中の主要被写体の位置関係も考慮して最終的に画像をレイアウトした際に主要被写体を望ましい位置に配置することが課題となる。

このような課題を解決するために、本発明は複数の画像データを配置したレイアウト画像データを生成することが可能な自動レイアウト装置において、レイアウトの対象とする画像データを選択する画像選択手段と、前記画像選択手段によって選択された画像データにおける被写体の向きを特定する第１特定手段と、前記画像選択手段によって選択された画像データにおける被写体の位置を特定する第２特定手段と、前記第１特定手段によって特定された被写体の向き及び前記第２特定手段によって特定された被写体の位置に基づいて、レイアウト面における前記画像データを配置する位置を決定するレイアウト手段と、を備え、前記レイアウト手段は、前記第１特定手段によって前記被写体の向きが左向きと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定手段によって前記被写体の向きが右向きと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の左側に決定し、前記第１特定手段によって前記被写体の向きが中央と特定され且つ前記第２特定手段によって画像データにおける被写体の位置が左寄りと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定手段によって前記被写体の向きが中央と特定され且つ前記第２特定手段によって画像データにおける被写体の位置が右寄りと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の左側に決定することを特徴とする。

本発明では、複数の画像データをレイアウトする際に、主要被写体（人物の顔）の向きおよび画像中の位置を解析し、その解析結果を使って画像データをレイアウトする。この結果、好適なレイアウトで画像を配置することが可能となる。

（実施例）
＜第一の実施例＞
図１に本発明で使用する画像処理方法のブロック図を示す。画像処理方法として、ＰＣを使用すると想定して説明する。

ＣＰＵ１０１は、中央演算ユニット（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。

ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像検索装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。

ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。

２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。

ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ１０５または２次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイが使用できる。

Ｉ／Ｏ制御部は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとしてＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などがある。

入力装置１０９には、キーボード、マウスといったユーザの意志を画像検索装置に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）メモリ、ＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することで、画像データを転送することも可能である。

出力装置１１０にはプリンタが接続され、所望の印刷結果を得ることが可能である。

図２に本画像処理方法の動作の流れ図を示している。

画像データＤ２０１は、２次記憶装置１０５の記憶領域、またはＩ／Ｏ制御部１０８に接続されたＣＦメモリ、ＳＤメモリカードなどの入力装置１０９の記憶領域内に格納されている画像データとする。この画像データはデジタルカメラなどの撮影装置を使用して撮影されたものである。

アルバムを作成すようとするユーザは、Ｓ２０１でアルバム用の画像データとして使用したい画像群を、画像データＤ２０１の中から選択する。選択方法として、始めに格納されている画像データＤ２０１のサムネイル画像を表示して、その中から使用したい画像を指定する方法が良く使われる。

図３に、そのような画像選択を行うＵＩの一例を示している。アルバム作成アプリケーション３０１の画像選択時のＵＩとして、画像データの保管されている場所を表すディレクトリツリーの表示領域３０２には、２次記憶装置１０５内に格納されているフォルダの構成が表示されている。

マウスポインタ３０６は、入力装置１０９のひとつであるマウスの指定位置を指示しており、ユーザはマウス、またはキーボードを操作して、画像データの選択を行うことができる。

ユーザは一つのフォルダを指定する。指定されたフォルダ内の画像データは、サムネイル表示領域３０３にサムネイル画像として表示される。

ユーザがマウスポインタ３０６を使用して選択した画像のリストは、サムネイル画像として領域３０４に表示される。

Ｓ２０２では、アルバムの各ページの構成を指定する操作を行う。例えば、１ページのレイアウトとして最大画像枚数、各画像貼り付ける位置、大きさ等の指定を行う。これらのレイアウト制御情報をユーザがすべて指定してもよく、また、選択された画像の枚数等から自動的に決めるようにしてもよい。

Ｓ２０３では、Ｓ２０２で選択された画像データにおける主要被写体の向きおよび画像中の位置に関する解析が行われる。

ここで述べる主要被写体とは人物の顔であるとして以後の説明を行う。

また、ここで言う向きとは、主要被写体の顔の向きや視線の方向を意味している。

本明細書において、主要被写体とは人物の顔としているが、顔の向き、視線の方向および画像中の位置を特定する上では目等の器官領域を特定することも有効である。

主要被写体を検出する方法としては、数多くの手法が様々な文献で開示されており、本実施形態においてはそれらのうちどのような手法を用いても良い。なお、顔および器官位置の検出および顔の向きや視線の方向特定に関しても、従来方法が様々な文献で開示されており、また本発明の本質部分ではないので、ここでの詳細な説明は省略する。

Ｓ２０３で画像データの解析を行い、その結果を解析結果Ｄ２０２に格納する。Ｓ２０４で、Ｓ２０１で選択されたすべての画像データを解析したかの判定を行い、すべての画像データの解析を終了するまでＳ２０３を繰り返し実行する。すべての画像データの解析が終了するとＳ２０５へ進み、画像のレイアウトを実行する。

図４に画像データの解析結果に基づくレイアウト定義を示す。

Ｓ２０３で解析した顔の向きが左である場合には、画像中の顔の位置すなわち主要被写体位置によらずＳ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。一方、顔の向きか右である場合には画像中の顔の位置すなわち主要被写体によらずＳ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。

Ｓ２０３で解析した顔の向きが中央である場合には、画像中の顔の位置すなわち主要被写体位置が左寄りの場合にはＳ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。一方、顔の向きが中央で、画像中の顔の位置すなわち主要被写体位置が右寄りの場合にはＳ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。また、顔の向きが中央で画像中の顔の位置すなわち主要被写体位置も中央の場合には、Ｓ２０５でレイアウトテンプレートの中央に配置する、あるいは配置位置の優先度決定は行わない。

画像中の主要被写体位置は、Ｓ２０３で解析した顔の位置から顔領域の重心点すなわち主要被写体重心点を算出し、画像中におけるこの主要被写体重心点の位置から求められる。

図１１に画像中の主要被写体（人物の顔）が１人の場合の顔領域の重心点、画像中における主要被写体重心点の算出方法を示す。

画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１１に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点すなわち主要被写体重心点Ｇとして求められる。

図１１におけるＰは画像データにおける所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば主要被写体の位置が中央の画像であることになる。

また、主要被写体重心点Ｇが中心位置範囲Ｐよりも左側にあれば画像中の主要被写体位置が左寄り、主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあれば画像中の主要被写体位置が右寄りであるということが求められる。

図中の画像においては主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあるので画像中の顔の主要被写体位置が右寄りであるということになる。

中心位置範囲Ｐの範囲の規定は本実施例で示したものに限定されず、目的に応じて範囲を定めれば良い。また、重心点算出方法も本実施例で示したものに限定されず、既知の手段を用いても構わない。

図５は顔の向きが中央で画像中の顔の位置（主要被写体位置）が異なる画像を示している。

図５（ａ）は顔の向きが中央で画像中の顔の位置も中央の画像である。この場合、Ｓ２０５でレイアウトテンプレートの中央に配置する、あるいは配置位置の優先度決定は行わない。

図５（ｂ）は顔の向きが中央で画像中の顔の位置が左寄りの画像である。この場合、Ｓ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。

図５（ｃ）は顔の向きが中央で画像中の顔の位置が右寄りの画像である。この場合、Ｓ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。

図６は顔の向きが左で画像中の顔の位置が異なる画像を示している。

図６（ａ）顔の位置が中央の画像であり、図５（ｂ）は顔の位置が左寄り、図６（ｃ）右寄りの画像である。この場合には、Ｓ２０５では（ａ）〜（ｃ）すべてレイアウトテンプレートの右側あるいは右ページに配置される。

上記説明においては、顔の向きとして左右方向についてのみ説明したが、上下方向や斜め方向といった解析結果を用いても良い。

この場合には、顔の向きが中央である場合以外は画像中の顔の位置によらず顔の向きによりレイアウト位置が決定し、顔の向きと反対方向の位置関係にあるレイアウトテンプレートやページに配置される。

以上のように、Ｓ２０５でレイアウトが決定したら、そのレイアウトを制御するレイアウト情報をＤ２０３として格納する。レイアウト情報には、アルバムのページ数、使用する画像の名前、保存先、各画像の貼り付けられるページ番号、ページ内の貼り付け位置などの情報である。または、アルバムの各ページのレイアウトを画像データとして作成して保存しても良い。格納先は、２次記憶装置１０５またはＲＡＭ１０４のどちらでもよい。

Ｓ２０６では、レイアウトの結果を表示装置１０７上でユーザに見せて、その結果に満足するかを確認する。満足しなかった場合にはＳ２０７へ進み、ユーザがＳ２０５で作成されたレイアウトの調整を行う。レイアウトに満足ができればＳ２０８へ進み、アルバムを印刷して一連の作業を終了する。

以上、説明してきたように、画像データの中の主要被写体（人物の顔）の向きおよび画像中の位置を解析して、その解析結果を使ってレイアウトを制御することで、好適なレイアウトが実現できる。

また、上記説明においては顔の向きを解析結果として利用したが、視線の方向を解析結果として利用して上述処理を行っても良い。

本実施例では、あらかじめ画像をユーザが選択した画像に対して、解析を行ってレイアウトを行う方法で説明した。しかし、あらかじめユーザが画像を選択しなくても、画像処理方法に取り込まれた画像データを解析して、自動的にレイアウトを作成するような方法を採用してもよい。

＜第二の実施例＞
第一の実施形態では画像データの中の主要被写体（人物の顔）の向きおよび画像中の位置を解析して、その解析結果を使ってレイアウトを制御する方法を説明した。

第一の実施形態では主要被写体（人物の顔）が１人である場合について説明したが、主要被写体が２人以上の場合も存在する。

本第二の実施例では主要被写体が２人以上である場合のレイアウト制御方法を説明する。

画像処理方法については上述の第一の実施形態と同じであるため詳細な説明は省略する。

図１０を用いて図２におけるＳ２０３画像解析の詳細フローを以下に説明する。

Ｓ１００１では画像データＤ２０１から画像データを読み込み、次にＳ１００２で画像中に存在するすべての顔領域を検出および解析する。

Ｓ１００３ではＳ１００２の画像領域の抽出および解析結果から顔の向きを解析するとともに、Ｓ１００４で終了と判断するまで所定の向きの顔の数をカウントする。

Ｓ１００５ではＳ１００３の結果をもとに顔の向きを決定する。カウント値が多い向きが最終的にその画像の顔の向きとして解析結果Ｄ２０２に記述される。カウント値の大小がつけられない場合、すなわちすべての顔の向きが異なる場合には最終的にその画像の顔の向きは中央とみなし解析結果Ｄ２０２に記述される。

Ｓ１００６ではＳ１００２で検出した顔領域をもとに重心位置を算出し、画像中の主要被写体位置を求め、解析結果Ｄ２０２に記述される。

図７に同じ方向を向いた２人の被写体の画像を示す。

図７（ａ）は２人の顔の向きが中央を向いている。この場合にはＳ２０３は主被写体では中央を向いていると判断する。図７（ｂ）は２人の顔の向きが左を向いている。この場合にはＳ２０３では主被写体は左を向いていると判断する。

画像中の主要被写体位置は、Ｓ２０３で解析した２人の顔の位置から２人の顔領域の重心点を算出し、顔の重心点から主要被写体重心点を求め、画像中におけるこの主要被写体重心点位置から求められる。

図１２に画像中の主要被写体（人物の顔）が２人の場合の顔領域の重心点、画像中における主要被写体重心点の算出方法を示す。

画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１２に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点ｇ０、ｇ１が求められる。

この画像においては主要被写体（人物の顔）が２人であるため主要被写体の位置を求めるための主要被写体重心点を求める必要がある。

主要被写体重心点Ｇは顔領域の重心点ｇ０、ｇ１間を結ぶ直線における中点位置から求めることができる。

図１２におけるＰは所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば主要被写体位置が中央の画像であることになる。

図中の画像においては主要被写体重心点Ｇが中心位置範囲Ｐ内にあるので画像中の主要被写体位置は中央であるということになる。

中心位置範囲Ｐの範囲の規定は本実施例で示したものに限定されず、目的に応じて範囲を定めれば良い。

上記Ｓ２０３の判断のもと図４の表定義に従ってＳ２０５でレイアウトが決定する。

主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い向きを最終処理値として用いる。

したがって、主要被写体が２であってもすべてが同じ方向である場合には、主要被写体がどちらを向いているか特定ができる。

図８に別の方向を向いた２人の被写体の画像を示す。

図８（ａ）、図７（ｂ）はそれぞれ２人の顔の向きが別の方向を向いている。この場合にはＳ２０３では中央を向いた画像として処理が行われる。

画像中の顔の位置は、Ｓ２０３で解析した２人の顔の位置から既知手段によりの２人の顔の重心点を算出し、画像中における重心点位置から求められる。

上記Ｓ２０３の判断のもと表１の定義に従ってＳ２０５でレイアウトが決定する。

主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い方向を最終処理値として用いる。

したがって、主要被写体が２人でそれぞれ別の方向であるので、顔の向きを定めることができないため、中央を向いた画像として処理が行われる。

図９は複数人の被写体の画像を示す。

図９（ａ）においては、３人すべての顔が別の方向を向いている。この場合には図８のケースと同様にＳ２０３では中央を向いた画像として処理が行われる。

画像中の主要被写体位置は、Ｓ２０３で解析した３人の顔の位置から既知手段によりの３人の顔領域の重心点を算出し、画像中におけるこの主要被写体重心点位置から求められる。

図１３に画像中の主要被写体（人物の顔）が３人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す。

図１３（ａ）において画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１３に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点ｇａ、ｇｂ、ｇｃが求められる。

この画像においては主要被写体（人物の顔）が３人であるため主要被写体の位置を求めるための主要被写体重心点を求める必要がある。

図１３（ｂ）に主要被写体重心点Ｇの求め方を示す。

顔領域の重心点ｇａ、ｇｂ、ｇｃは三角形を示すので既知の三角形における重心の求め方が適応できる。すなわち三角形ｇａ、ｇｂ、ｇｃの３辺の中点をｄ、ｅ、ｆとし、点ｇａと点ｄ、点ｇｂと点ｅ、点ｇｃと点ｆをそれぞれ結んだ三本の中線が交わった点が主要被写体重心点Ｇとなる。

図１３（ａ）におけるＰは所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば顔の位置が中央の画像であることになる。

上記Ｓ２０３の判断のもと図４の表の定義に従ってＳ２０５でレイアウトが決定する。

したがって、主要被写体が３人でそれぞれ別の方向であるので、顔の向きを定めることができないため、中央を向いた画像として処理が行われる。

図９（ｂ）においては、主要被写体５人のうち右端の一人を除き、４人の顔が正面（中央）を向いている。主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い方向を最終処理値として用いる。

したがって、主要被写体が５人で、４人の顔の向きが中央であるためカウント値が多い中央と顔の向きを定めることができる。

画像中の主要被写体位置は、Ｓ２０３で解析した５人の顔の位置から既知手段によりの５人の顔の重心点を算出し、画像中におけるこの主要被写体重心点位置から求められる。

先の説明で主要被写体（人物の顔）が３人の場合における顔領域の重心点、画像中における主要被写体重心点の求め方を説明したが、主要被写体の人数が増えても同じ手法で顔領域の重心点、画像中における主要被写体重心点を求めることができ、図９（ｂ）における主要被写体重心位置は、顔領域の重心点を結ぶと五角形となることから既知の多角形における重心の求め方が適応できる。

また、先の説明と同様にあらかじめ定めた中心位置範囲と主要被写体重心点位置の関係から画像中における主要被写体の位置を求めることができる。

主要被写体が２人以上の場合における顔の向きの特定方法として、人数が多い方向に従う手法を説明したが、上記説明に限定されずに顔の大きさにより顔の向きに重み付を行い決定しても良い。

また、人物特定の手段を用いて複数の主要被写体から注目すべき人物を特定して顔の向きを決定しても良い。

上記においては画像中の顔の位置をすべての顔領域の重心点から算出する方法を説明した。この場合においても顔の大きさにより算出重心点に重み付けしたり、人物特定の手段を用いて複数の主要被写体から注目すべき人物を特定し、その顔領域の重心点から算出しても良い。

図１４に本実施例および先の実施例の処理を用いてレイアウトした一例を示す。

主要被写体の方向だけではなく画像中の主要被写体の位置関係も考慮して画像をレイアウトしたので主要被写体を望ましい位置に配置することが可能となった。

＜その他の実施例＞
ここまでの説明では、画像処理方法としてアルバム作成を行い、プリントする系で説明を行ってきたが、構成はこれに限定されるものではない。

例えば、Ｗｅｂ（ＷｏｒｌｄＷｉｄｅＷｅｂ）上に作成するＨＰ（ＨｏｍｅＰａｇｅ）にデジタルカメラで撮影した画像データを配置するＰｈｏｔｏＧａｌｌｅｒｙのようなホームページを作成するときのレイアウト作成に使用してもよい。

また本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムや装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することでも達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）が実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

アルバム作成装置のブロック図アルバム作成アプリケーションの全体フロー図アルバム作成アプリケーションの画像選択ＵＩ図画像データの解析結果に基づくレイアウト定義顔の向きが中央で画像中の顔の位置が異なる画像例顔の向きが左で画像中の顔の位置が異なる画像例同じ方向を向いた２人の被写体の画像例別の方向を向いた２人の被写体の画像例複数人の被写体の画像例図２における画像解析部の詳細フロー図主要被写体が１人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図主要被写体が２人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図主要被写体が３人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図アルバムレイアウトの一例

符号の説明

１１００画像データ中の画像
１２００顔の位置領域

Claims

複数の画像データを配置したレイアウト画像データを生成することが可能な自動レイアウト装置において、
レイアウトの対象とする画像データを選択する画像選択手段と、
前記画像選択手段によって選択された画像データにおける被写体の向きを特定する第１特定手段と、
前記画像選択手段によって選択された画像データにおける被写体の位置を特定する第２特定手段と、
前記第１特定手段によって特定された被写体の向き及び前記第２特定手段によって特定された被写体の位置に基づいて、レイアウト面における前記画像データを配置する位置を決定するレイアウト手段と、
を備え、
前記レイアウト手段は、前記第１特定手段によって前記被写体の向きが左向きと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定手段によって前記被写体の向きが右向きと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の左側に決定し、前記第１特定手段によって前記被写体の向きが中央と特定され且つ前記第２特定手段によって画像データにおける被写体の位置が左寄りと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定手段によって前記被写体の向きが中央と特定され且つ前記第２特定手段によって画像データにおける被写体の位置が右寄りと特定された場合、前記画像選択手段によって選択された画像データを配置する位置を前記レイアウト面の左側に決定することを特徴とする自動レイアウト装置。
前記被写体の向きは、前記被写体の顔の向き又は前記被写体の視線の方向であることを特徴とする請求項１に記載の自動レイアウト装置。
前記画像データにおいて前記被写体が複数あり且つ前記被写体それぞれの向きのうち同じ向きの数に大小がつけられる場合、前記第１特定手段は前記複数の被写体それぞれの向きのうち同じ向きの数が多い向きを前記被写体の向きと特定し、
前記画像データにおいて前記被写体が複数あり且つ前記複数の被写体それぞれの向きのうち同じ向きの数に大小がつけられない場合、前記第１特定手段は前記被写体の向きを正面と特定することを特徴とする請求項１又は２に記載の自動レイアウト装置。
前記被写体の重心点を求める重心点算出手段を更に有し、
前記第２特定手段は前記重心点算出手段が算出した被写体の重心点を用いて前記画像データにおける前記被写体の位置を特定することを特徴とする請求項１〜３のいずれか一項に記載の自動レイアウト装置。
前記特定手段は前記画像データにおいて前記被写体が複数ある場合には、前記重心点算出手段が複数の前記被写体から求めた複数の重心点を用いて算出される１点を前記画像データにおける被写体の位置とすることを特徴とする請求項４に記載の自動レイアウト装置。
複数の画像データを配置したレイアウト画像データを生成することが可能な自動レイアウト方法において、
レイアウトの対象とする画像データを選択する画像選択工程と、
前記画像選択工程において選択された画像データにおける被写体の向きを特定する第１特定工程と、
前記画像選択工程において選択された画像データにおける前記被写体の位置を特定する第２特定工程と、
前記第１特定工程において特定された被写体の向き及び前記第２特定工程において特定された被写体の位置に基づいて、レイアウト面における前記画像データを配置する位置を決定するレイアウト工程と、
を備え、
前記レイアウト工程では、前記第１特定工程において前記被写体の向きが左向きと特定された場合、前記画像選択工程において選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定工程において前記被写体の向きが右向きと特定された場合、前記画像選択工程において選択された画像データを配置する位置を前記レイアウト面の左側に決定し、前記第１特定工程において前記被写体の向きが中央と特定され且つ前記第２特定工程において画像データにおける被写体の位置が左寄りと特定された場合、前記画像選択工程において選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定工程において前記被写体の向きが中央と特定され且つ前記第２特定工程において画像データにおける被写体の位置が右寄りと特定された場合、前記画像選択工程において選択された画像データを配置する位置を前記レイアウト面の左側に決定することを特徴とする自動レイアウト方法。
複数の画像データを配置したレイアウト画像データを生成することが可能な自動レイアウト装置用のプログラムであって、前記自動レイアウト装置を、
レイアウトの対象とする画像データを選択する画像選択部、
前記画像選択部によって選択された画像データにおける被写体の向きを特定する第１特定部、
前記画像選択手段によって選択された画像データにおける前記被写体の位置を特定する第２特定部、
前記第１特定部によって特定された被写体の向き及び前記第２特定部によって特定された被写体の位置に基づいて、レイアウト面に前記画像データを配置する位置を決定するレイアウト部
として機能させ、
前記レイアウト部は、前記第１特定部によって前記被写体の向きが左向きと特定された場合、前記画像選択部によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定部によって前記被写体の向きが右向きと特定された場合、前記画像選択部によって選択された画像データを配置する位置を前記レイアウト面の左側に決定し、前記第１特定部によって前記被写体の向きが中央と特定され且つ前記第２特定部によって画像データにおける被写体の位置が左寄りと特定された場合、前記画像選択部によって選択された画像データを配置する位置を前記レイアウト面の右側に決定し、前記第１特定部によって前記被写体の向きが中央と特定され且つ前記第２特定部によって画像データにおける被写体の位置が右寄りと特定された場合、前記画像選択部によって選択された画像データを配置する位置を前記レイアウト面の左側に決定することを特徴とするプログラム。