JP4412552B2 - 画像レイアウト装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を１枚の背景画像にレイアウトする画像レイアウト装置および方法並びに画像レイアウト方法をコンピュータに実行させるためのプログラムに関するものである。

人物を含む画像においては、その人物が画像のどの位置に写っているかが非常に重要である。とくにパスポート等に用いられる証明写真においては、決められたサイズの画像の決められた位置に、決められたサイズを有する顔が写っている必要がある。このため、画像に含まれる顔が決められた位置に写され、かつ決められたサイズを有するものとなるように画像から顔を抽出し、抽出した顔のサイズを変更したり、トリミングを行う手法が提案されている（特許文献１〜３参照）。

また、卒業アルバムのように１枚の台紙に複数の人物の画像を貼り付ける場合に、各人物を撮影することにより取得した画像から抽出した顔領域を正規化し、正規化後の顔領域の画像を貼り付けることによりアルバムを作成する手法が提案されている（特許文献４参照）。特許文献４の手法によれば、アルバムに含まれる複数の人物の顔を同一サイズとすることができるため、見栄えのよいアルバムを作成することができる。
特開平１１−３４１２７２号公報 特開２０００−２７０１９８号公報 特開２０００−２７０１９９号公報 特開２０００−１６５６４８号公報

ところで、旅行や運動会等の通常の撮影により取得される画像の場合、画像に含まれる人物は一人のみでなく複数の場合がある。この場合、画像から各人物をそれぞれ正規化してトリミングすることが考えられるが、人物を一人ずつ正規化してトリミングしてしまうと、その画像に含まれる撮影時の雰囲気が大きく損なわれてしまう。

本発明は上記事情に鑑みなされたものであり、画像に含まれる人物の数すなわち顔の数に応じて、適切に画像をレイアウトすることを目的とする。

本発明による画像レイアウト装置は、１枚の背景画像にレイアウトするための複数の画像を決定する画像決定手段と、
前記複数の画像のそれぞれに顔が含まれているか否かを判定し、前記顔が含まれている画像については、該画像に含まれる顔の数および顔が複数含まれる場合の顔間の距離に応じて、前記画像における前記顔を少なくとも１つ含む所定範囲の表示領域を決定する領域決定部と、
前記複数の画像のそれぞれから前記決定された表示領域を抽出し、該抽出された複数の表示領域を前記背景画像にレイアウトしてレイアウト画像を生成するレイアウト画像生成手段とを備えたことを特徴とするものである。

なお、本発明による画像レイアウト装置においては、前記背景画像が各種サイズおよび形状の複数の画像挿入領域を有する場合において、
前記レイアウト画像生成手段を、前記画像が挿入される画像挿入領域のサイズおよび形状に合わせて前記表示領域を加工して前記レイアウト画像を生成する手段としてもよい。

本発明による画像レイアウト方法は、１枚の背景画像にレイアウトするための複数の画像を決定し、
前記複数の画像のそれぞれに顔が含まれているか否かを判定し、前記顔が含まれている画像については、該画像に含まれる顔の数および顔が複数含まれる場合の顔間の距離に応じて、前記画像における前記顔を少なくとも１つ含む所定範囲の表示領域を決定し、
前記複数の画像のそれぞれから前記決定された表示領域を抽出し、該抽出された複数の表示領域を前記背景画像にレイアウトしてレイアウト画像を生成することを特徴とするものである。

なお、本発明による画像レイアウト方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、１枚の背景画像にレイアウトするための複数の画像が決定され、複数の画像のそれぞれに顔が含まれているか否かが判定され、顔が含まれている画像については、画像に含まれる顔の数および顔が複数含まれる場合の顔間の距離に応じて、画像における顔を少なくとも１つ含む所定範囲の表示領域が決定される。そして、顔が含まれている画像については、決定された表示領域が画像から抽出され、表示領域が背景画像にレイアウトされてレイアウト画像が生成される。このため、画像に含まれている顔の数に応じた領域を表示領域として画像から抽出することができ、これにより、画像に含まれる顔の数に応じて適切に画像がレイアウトされたレイアウト画像を得ることができる。

また、背景画像が各種サイズおよび形状を有する複数の画像挿入領域を有する場合において、画像が挿入される画像挿入領域のサイズおよび形状に合わせて表示領域を加工してレイアウト画像を生成することにより、より見やすいレイアウト画像を得ることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像レイアウト装置の構成を示す概略ブロック図である。図１に示すように、本発明の実施形態による画像レイアウト装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、画像レイアウト装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、メモリカード２から読み出した画像データ、複数の画像をレイアウトする際の背景となるテンプレートを表すテンプレートデータ、および画像を閲覧するためのビューアソフト等のＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８と、プリンタ３を装置１に接続するためのプリンタインターフェース３０とを備える。

また、画像レイアウト装置１は、後述するようにレイアウトする画像の表示領域を決定する領域決定部３２と、決定された領域を画像から抽出し、抽出した領域の画像をレイアウトすることによりレイアウト画像を生成するレイアウト画像生成部３４とを備える。

以下、領域決定部３２およびレイアウト画像生成部３４の機能について、本実施形態において行われる処理と併せて説明する。

図２は本実施形態において行われる処理を示すフローチャートである。ユーザが画像のレイアウトの指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、表示部１８にハードディスク２４に保存された画像のサムネイル画像の一覧を含む画像選択画面を表示する（ステップＳＴ１）。図３は画像選択画面の例を示す図である。図３に示すように画像選択画面４０には、ハードディスク２４に保存された画像のサムネイル画像の一覧を表示するサムネイル画像エリア４０Ａおよび各種入力を行うための入力エリア４０Ｂが表示されている。入力エリア４０Ｂにはレイアウトする画像を確定するための確定ボタン４０Ｃが表示されている。

ユーザは、画像選択画面４０において、入力部１６を用いてレイアウトする複数の画像を選択することができる。具体的には、サムネイル画像エリア４０Ａにおいてレイアウトを所望する画像をクリックすることによりレイアウトする複数の画像を選択することができる。なお、本実施形態においては、あらかじめレイアウト画像の背景画像となるテンプレートが用意されており、テンプレートの画像挿入領域に対応する数の画像を、ユーザが画像選択画面４０において選択するものとする。

図４はレイアウト画像の背景画像となるテンプレートの例を示す。図４に示すようにこのテンプレート４２は９つの画像挿入領域４２Ａ〜４２Ｉを有する。また、各画像挿入領域４２Ａ〜４２Ｉの形状はＬサイズプリントと同一のアスペクト比を有する。

続いて、ユーザが確定ボタン４０Ｃをクリックすることにより、レイアウトする画像の決定の指示がなされたか否かの監視を開始し（ステップＳＴ２）、ステップＳＴ２が肯定されると、領域決定部３２が、ユーザが決定した複数の画像について、例えばファイル名順にソートした場合の先頭の画像を処理対象の画像に設定し（ステップＳＴ３）、処理対象の画像から顔領域を抽出する（ステップＳＴ４）。なお、顔領域を抽出する手法としては、画像から肌色を有するとともに人物の顔の形状（例えば長円系）を有する領域を検出し、検出した領域を顔の領域と見なして抽出する手法を用いることができる。また、この手法の他、例えば特開平８−１５３１８７号公報、特開平９−５０５２８号公報、特開２００１−１４４７４号公報、特開２００１−１７５８６８号公報および特開２００１−２０９７９５号公報等に記載された手法等、既知の手法を用いることができる。

続いて、領域決定部３２は抽出した顔の数を判定し（ステップＳＴ５）、顔が含まれない場合、すなわち顔の数が０個の場合には、処理対象画像の画像全体を表示領域に決定する（ステップＳＴ６）。また、顔の数が６個以上の場合にもステップＳＴ６に進む。これは、顔の数が６以上であると集合写真の画像であることが多いため、顔のみを抽出するよりも、画像全体をそのまま表示領域として用いた方が撮影時の雰囲気を損なわずに済むからである。

一方、顔の数が１個の場合には、その顔を含み、処理対象画像を挿入する画像挿入領域のアスペクト比に適合する領域を表示領域に決定する（ステップＳＴ７）。図５は顔の数が１個の場合の表示領域の決定を説明するための図である。図５に示すように、顔の数が１個の場合、処理対象画像４４に含まれる顔を中央に含み、かつ画像挿入領域のアスペクト比（本実施形態においてはＬサイズプリントのアスペクト比）を有する領域４６を表示領域として決定する。なお、表示領域４６に含まれる顔の上端および下端と表示領域４６の上下辺との間には所定量の間隔が空けられる。

また、顔の数が２個以上５個以下である場合には、最も大きい顔領域の顔を代表顔とし、代表顔の中心（例えば鼻の位置）と代表顔から最も離れた顔の中心との距離が、代表顔の幅の３倍以内であるか否かを判定する（ステップＳＴ８）。ステップＳＴ８が肯定されると、すべての顔を含み、処理対象画像を挿入する画像挿入領域のアスペクト比に適合する領域を表示領域に決定する（ステップＳＴ９）。ステップＳＴ８が否定されると、ステップＳＴ６に進み、画像全体を表示領域に決定する。

図６は顔の数が２個以上５個以下である場合の表示領域の決定を説明するための図である。なお、ここでは処理対象の画像に２個の顔が含まれるものとして説明する。まず図６（ａ）に示すように、処理対象画像４８に親および子供の２個の顔が含まれる場合、親の方の顔が大きいため、親の顔が代表顔５０となる。この場合、親の顔と子供の顔の中心間の距離Ｌ０と親の顔の幅Ｈ０とを比較すると、親と子供は近づいた状態で画像に含まれていることから、距離Ｌ０は顔の幅Ｈ０の３倍以下となる。この場合、親および子供の双方の顔を含み、かつ画像挿入領域のアスペクト比（本実施形態においてはＬサイズプリントのアスペクト比）を有する領域５２を表示領域として決定する。なお、表示領域５２に含まれる最も上側にある顔の上端および最も下側にある顔の下端と表示領域５２の上下辺との間には所定量の間隔が空けられる。

一方、図６（ｂ）に示す処理対象画像５４のように、人物が二人含まれてはいるものの、撮影時には左側の人物をメインの被写体としており、偶然他人が画像の右側の領域に含まれてしまったような場合、左側の人物の顔が大きいため、これが代表顔５６となる。この場合、左側の人物と右側の人物の顔の中心間の距離Ｌ０と左側の人物の顔の幅Ｈ０とを比較すると、右側の人物は画像に想定外に含まれてしまったものであるため、距離Ｌ０は顔の幅Ｈ０の３倍よりも大きくなる。この場合、右側の人物は背景の一部と見なせることから、ステップＳＴ６に進み、処理対象画像５４の全体を表示領域に決定する。

なお、本実施形態においては、代表顔の中心と代表顔から最も離れた顔の中心との距離が、代表顔の幅の３倍以内であるか否かを判定しているが、判定の基準はこれに限定されるものではなく、代表顔の中心と代表顔から最も離れた顔の中心との距離を代表顔の幅の何倍以内とするかは、適宜設定すればよいものである。

続いて、処理をすべき次の画像があるか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が肯定されると、処理対象画像を次の画像に設定し（ステップＳＴ１１）、ステップＳＴ４に戻り、ステップＳＴ４以降の処理を繰り返す。

ステップＳＴ１０が否定されると、レイアウト画像生成部３４が、決定された表示領域を画像から抽出する（ステップＳＴ１２）。なお、表示領域が画像の全体に決定されている画像については、画像の全体を表示領域として抽出する。そして、抽出した表示領域をテンプレートにより表される背景画像にレイアウトしてレイアウト画像を生成する（ステップＳＴ１３）。この際、レイアウト画像生成部３４は、抽出した表示領域を画像挿入領域の形状およびサイズに適合するように加工して、レイアウト画像を生成する。そして、レイアウト画像を表示部１８に表示し（ステップＳＴ１４）、処理を終了する。なお、プリンタ３からレイアウト画像をプリント出力してもよい。

図７はレイアウト画像の例を示す図である。なお、図７に示すレイアウト画像は図４に示すテンプレートの画像挿入領域４２Ａ〜４２Ｉに抽出された表示領域を挿入することにより生成されたものである。例えば画像挿入領域４２Ｃには、上記図６（ｂ）に示すように画像の全体を表示領域に決定した画像が挿入されている。また、画像挿入領域４２Ｅ，４２Ｉには、６以上の顔を含むことから、画像の全体を表示領域に決定した画像が挿入されている。また、画像挿入領域４２Ｂ，４２Ｆには、顔を含まないことから、画像の全体を表示領域に決定した画像が挿入されている。また、画像挿入領域４２Ａ，４２Ｄ，４２Ｇ，４２Ｈには、顔を含む領域を表示領域に決定した画像が挿入されている。

このように、本実施形態においては、顔が含まれている画像については、画像に含まれる顔の数および顔が複数含まれる場合の顔間の距離に応じて、画像における顔を少なくとも１つ含む所定範囲の表示領域を決定し、決定した表示領域を画像から抽出し、抽出した表示領域を背景画像にレイアウトしてレイアウト画像を生成するようにしたものである。このため、画像に含まれている顔の数に応じた領域を表示領域として画像から抽出することができ、これにより、画像に含まれる顔の数に応じて適切に画像がレイアウトされたレイアウト画像を得ることができる。

なお、上記実施形態においては、本発明による画像レイアウト装置１を単独で用いているが、例えば図８に示すように、写真店の店頭に設置される注文受付装置６０に本発明による画像レイアウト装置１を適用することも可能である。この場合、ユーザは写真店の店頭において、注文受付装置６０に設けられているメモリカードスロット６２に画像を記録したメモリカードを装填し、メモリカードに記録した画像の中からレイアウトするための複数の画像を決定する。なお、注文受付装置６０のモニタ６４はタッチパネル方式の入力部を備え、画像の選択等の各種指示はモニタ６４にタッチすることにより行うことができる。

そしてこれにより、注文受付装置６０は上記実施形態と同様の処理を行ってレイアウト画像を生成し、生成したレイアウト画像をモニタ６４に表示する。そしてユーザはプリントの指示を注文受付装置６０に行うことにより、注文受付装置６０に接続された写真店のプリンタ６６からレイアウト画像をプリント出力させることができる。

また、上記実施形態においては、ステップＳＴ８が否定された場合にステップＳＴ６に進んで、画像全体を表示領域に決定しているが、代表顔のみを含み、処理対象画像を挿入する画像挿入領域のアスペクト比に適合する領域を表示領域として決定するようにしてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の領域決定部３２およびレイアウト画像生成部３４に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による画像レイアウト装置の構成を示す概略ブロック図 本実施形態において行われる処理を示すフローチャート 画像選択画面を示す図 テンプレートの例を示す図 顔の数が１個の場合の表示領域の決定を説明するための図 顔の数が２個以上５個以下である場合の表示領域の決定を説明するための図 レイアウト画像の例を示す図 本発明による画像レイアウト装置を適用した注文受付装置を示す図

符号の説明

１ 画像レイアウト装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 領域決定部
３４ レイアウト画像生成部
４０ 画像選択画面
６０ 注文受付装置

Claims (6)

1. １枚の背景画像にレイアウトするための複数の画像を決定する画像決定手段と、
   前記複数の画像のそれぞれに顔が含まれているか否かを判定し、前記顔が含まれていると判定された画像のうち、該顔の数が２以上所定数までの画像について、該複数の顔の代表顔を決定し、該代表顔の中心と該代表顔以外の他の顔の中心との距離が、該代表顔の幅の所定倍数以内か否かを判定し、該判定が肯定された場合にはすべての顔を含む領域を前記表示領域に決定し、該判定が否定された場合には前記画像の全体を前記表示領域に決定する領域決定手段と、
   前記複数の画像のそれぞれから前記決定された表示領域を抽出し、該抽出された複数の表示領域を前記背景画像にレイアウトしてレイアウト画像を生成するレイアウト画像生成手段とを備えたことを特徴とする画像レイアウト装置。
2. 前記領域決定手段は、前記顔の数が１の画像について、該顔を含む所定範囲の領域を前記表示領域に決定する手段であることを特徴とする請求項１記載の画像レイアウト装置。
3. 前記領域決定手段は、前記顔の数が前記所定数より大きい画像について、該画像の全体を前記表示領域に決定する手段であることを特徴とする請求項１または２記載の画像レイアウト装置。
4. 前記背景画像が各種サイズおよび形状の複数の画像挿入領域を有する場合において、
   前記レイアウト画像生成手段は、前記画像が挿入される画像挿入領域のサイズおよび形状に合わせて前記表示領域を加工して前記レイアウト画像を生成する手段であることを特徴とする請求項１から３のいずれか１項記載の画像レイアウト装置。
5. １枚の背景画像にレイアウトするための複数の画像を決定し、
   前記複数の画像のそれぞれに顔が含まれているか否かを判定し、
   前記顔が含まれていると判定された画像のうち、該顔の数が２以上所定数までの画像について、該複数の顔の代表顔を決定し、
   該代表顔の中心と該代表顔以外の他の顔の中心との距離が、該代表顔の幅の所定倍数以内か否かを判定し、
   該判定が肯定された場合にはすべての顔を含む領域を前記表示領域に決定し、
   該判定が否定された場合には前記画像の全体を前記表示領域に決定し、
   前記複数の画像のそれぞれから前記決定された表示領域を抽出し、該抽出された複数の表示領域を前記背景画像にレイアウトしてレイアウト画像を生成することを特徴とする画像レイアウト方法。
6. １枚の背景画像にレイアウトするための複数の画像を決定する手順と、
   前記顔が含まれていると判定された画像のうち、該顔の数が２以上所定数までの画像について、該複数の顔の代表顔を決定する手順と、
   該代表顔の中心と該代表顔以外の他の顔の中心との距離が、該代表顔の幅の所定倍数以内か否かを判定する手順と、
   該判定が肯定された場合にはすべての顔を含む領域を前記表示領域に決定する手順と、
   該判定が否定された場合には前記画像の全体を前記表示領域に決定する手順と、
   前記複数の画像のそれぞれから前記決定された表示領域を抽出し、該抽出された複数の表示領域を前記背景画像にレイアウトしてレイアウト画像を生成する手順とを有することを特徴とする画像レイアウト方法をコンピュータに実行させるためのプログラム。

Images