JP5513539B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、画像データを使用して電子的に写真集を作成する画像処理技術に関する。

近年、デジタルカメラの普及に伴い、撮影者が自分で撮影した画像を使用した写真集を、自分の所有するパーソナルコンピュータ上に手軽で円滑に編集し、作成することが可能である。そのための装置として、パーソナルコンピュータ上のアプリケーションプログラムやネットワークサービスを使用した写真集の作成注文システムなど、多くの作成手段が開発され、提案されている。

特に卒業写真や旅行写真等のように、複数の被写体が存在する集団を対象とした写真集が多く作成される。あるいは注文される。しかしながら、この集団を対象とした写真集では、特定の被写体に偏ることなく、全ての被写体を写真集の中で均等に扱うことが求められる。また、このような集団を対象とした写真集において、逆に特定の被写体を写真集の中で重点的に扱うことを求められる場合もある。

従来より提案されている電子的な写真集作成装置では、画像認識処理により、画像の複数の被写体の中の特定の被写体を検出する。これにより「特定の被写体の出現回数」と「画像内に登場する被写体の総数」を算出し、特定の被写体が含まれる画像や、多くの被写体が含まれる画像を重点的に選択させる方法がある。

また、従来より提案されている他の写真集作成装置では、特定の被写体を強調した画像が多く含まれる写真集を作成する手段として、写真集の作成作業を実施する委託業者に、特定の被写体の画像と特定の被写体の個人情報の関連付けデータを通知する。そして、その関連付けデータによって、委託業者である編集者に特定の被写体に関連した画像を優先的に選択させる方法がある（例えば、特許文献１参照）。

また、従来より提案されているさらに他の電子的な写真集作成装置では、特定の被写体に関連した画像を自動的に分類する手段として、各特定の被写体である個人に、予めデジタルカメラを配布する。そして、特定の被写体である個人が撮影した撮影画像に含まれるデジタルカメラの機種情報のような属性情報に従って画像を選択することにより、特定の被写体に依存した画像を自動的に選択する方法がある（例えば、特許文献２参照）。

特開２００２−０４２１４５号公報 特開２００３−０１８５１３号公報

以上説明するように、従来より提案されている電子的な写真集作成装置では、特定の被写体を重点的に扱った写真集を作成するための手段は提供されている。しかしながら、複数の被写体を均等に扱った写真集、或いは各被写体の存在する画像をより均等に近い状態で選択するように編集した写真集を作成することが出来なかった。

また、特定の被写体を重点的に扱った写真集を作成する場合には、編集の目安として特定の被写体を含む画像の枚数によってのみ判断することになる。そのため、画像枚数は多くても、各画像内での特定の被写体の表示面積が小さく、所望する特定の被写体があまり目立たない写真集が作られる結果となる可能性があった。

また、写真集の中に取り込む全ての画像が前もって決まっているときの写真集の作成方式の場合には、各被写体が含まれる画像数も予め決まっている。そのため、特定の被写体に偏らず、全ての被写体を均等に扱った写真集、或いは特定の被写体を重点的に扱った写真集を作成することはできないという問題があった。

したがって本発明の目的は、全ての被写体の取り扱いの状態を見ながら、好みの状態となるように編集して写真集を作成することが可能となる画像処理技術を実現することである。

上記の目的を達成するため、本発明に係る画像処理装置は、画像に対して編集処理を実行する編集手段と、前記編集された画像をレイアウトして画面に表示する第１の表示手段と、前記レイアウトされた画像に含まれる被写体を認識する認識手段と、前記レイアウトした後の画像内の前記認識手段により認識された被写体の表示されている大きさを検出する検出手段と、前記認識手段により認識された被写体の表示されている大きさに基づく情報を前記被写体毎に表示する第２の表示手段と、を備える。

本発明によれば、全ての被写体の取り扱いの状態を見ながら、好みの状態となるように編集して写真集を作成することが可能となる。

本発明の実施形態に係る電子写真集作成装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る電子写真集作成装置のプログラム構成を示すブロック図である。 本発明の実施形態に係る電子写真集作成装置の処理手順の概要を示すフローチャート図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される画像選択画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の被写体情報管理テーブルを作成する手順を説明するための模式図である。 本発明の実施形態に係る電子写真集作成装置の被写体情報管理テーブルを作成する手順を説明するためのフローチャート図である。 本発明の実施形態に係る電子写真集作成装置の被写体情報管理テーブルから被写体の表示総面積を算出する手順を説明するための模式図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される写真集テンプレート選択画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の写真集テンプレートのデータ構成の一例を説明するためのブロック図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される編集画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示されるページレイアウト変更画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される画像追加画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される画像枚数変更画面の一例を示す図である。 本発明の実施形態に係る電子写真集作成装置の表示装置に表示される画像編集画面の一例を示す図である。 本発明の第２の実施形態に係る電子写真集作成装置の表示装置に表示される写真集テンプレート選択画面の一例を示す図である。 本発明の第３の実施形態に係る電子写真集作成装置の表示装置に表示される写真集テンプレート選択画面の一例を示す図である。 本発明の第４の実施形態に係る電子写真集作成装置の表示装置に表示される被写体警告画面及び編集画面の一例を示す図である。 本発明の第５の実施形態に係る電子写真集作成装置のプログラム構成を示すブロック図である。

以下、本発明の実施形態に係る写真集作成装置を、添付した図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る写真集作成装置１００のハードウェア構成を示す図である。写真集作成装置１００は、例えばパーソナルコンピュータ等の情報処理装置によって構成することが可能である。なお、写真集作成装置１００においては、画像を写真集に関連付けて管理するとともに、これらの画像を使用した写真集を作成する役割を担う。

図１において、１０１は表示装置として用いられるＬＣＤ（Liquid Crystal Display）である。ＬＣＤ１０１の表示画面には、例えば編集中の文書、図形、画像その他の編集情報、アイコン、メッセージ、メニューその他のユーザインタフェース情報が表示される。なお、図１に示す本発明の実施形態に係る写真集作成装置１００では、ＬＣＤ１０１を使用する例を示すが、これに限らず、ＣＲＴディスプレイ、プラズマディスプレイやＥＬ（Electro Luminescent）ディスプレイ等であってもよい。

１０２はＶＲＡＭ（Video RAM）であり、ＬＣＤ１０１の表示画面に表示するための画像を蓄積し、生成する。このＶＲＡＭ１０２に生成された画像は、所定の規定に従ってＬＣＤ１０１に転送され、これによりＬＣＤ１０１に画像が表示されることになる。

１０３はＢＭＵ（Bit Move Unit）であり、メモリ間、例えばＶＲＡＭ１０２と他のメモリ間のデータ転送や、メモリと各Ｉ／Ｏデバイス、例えばネットワークインタフェース１１１との間のデータの転送を制御する。

１０４はキーボードであり、文書、指示等を入力するための各種キーを有する。１０５はＰＤ（Pointing Device）であり、例えば、ＬＣＤ１０１の表示画面上に表示されたアイコン、メニュー、その他のオブジェクトを指定するために使用される。

１０６はＣＰＵ（Central Processing Unit）である。ＣＰＵ１０６は、ＲＯＭ（Read Only Memory）１０７又はＨＤＤ（Hard Disk Drive）１０９に格納された制御プログラムに基づいて、バス１１２を介して接続された各ブロックを制御する。ＲＯＭ１０７は、各種の制御プログラムや制御データを保持する。このＣＰＵ１０６により、後述する図２の（ａ）及び（ｂ）で示す写真集作成装置１００及び、それに含まれる各種のプログラムモジュールが実行されることとなる。

１０８はＲＡＭ（Random Access Memory）であり、ＣＰＵ１０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。

ＨＤＤ１０９は、写真集作成装置１００で実行される各制御プログラムや、画像ファイルやテキストファイル等のコンテンツファイルを格納する。例えば、ＨＤＤ１０９には、ＯＳ（Operating System）、写真集データ、画像ファイル、写真集作成プログラム、各種情報を管理するための各種のテーブルなどが格納されている。

１１０はＦＤＤ（Flexible Disk Drive）であり、フレキシブルディスクに対するアクセスを制御する。１１１はＮＥＴＩ／Ｆ（Network Interface）であり、他のサーバ、パーソナルコンピュータ等の情報処理装置やプリンタ等の周辺機器との通信を行うことができる。ＣＰＵ１０６に対する制御プログラムの提供は、ＲＯＭ１０７、ＨＤＤ１０９、ＦＤＤ１１０のいずれからでも行うこともできるし、さらに、ＮＥＴＩ／Ｆ１１１を介して他の情報処理装置等から行うこともできる。

＜実施形態１＞
図２（ａ）は、本発明の実施形態１に係る写真集作成装置１００の基本的な機能に対応するプログラム構成を示すブロック図である。図２（ａ）において、２００は写真集作成装置１００のアプリケーションプログラム本体である編集プログラムを示す。２０１は写真集テンプレートデータであり、編集プログラム２００で実行されるレイアウト処理に使用されるレイアウトを決定するための写真集テンプレートデータの集合であって、例えばＨＤＤ１０９などに保存されている。そして編集プログラム２００の実行時に、必要に応じてＨＤＤ１０９から読み出され、ＲＡＭ１０８に展開されて使用される。

２０２は、編集プログラム２００で使用する画像を取り込む画像ＤＢ（Data Base）であり、同じＨＤＤ１０９、ＦＤＤ１１０などに記録されて用意されている。２０３は顔の画像認識機能を備えたプログラムモジュールである画像認識モジュールである。画像認識モジュール２０３は、編集プログラム２００の制御にしたがって、読み込んだ画像データから顔を認識してその特徴抽出を実行する。画像認識モジュール２０３は、被写体の画像認識モジュール２０３であって、特定の被写体認識モジュールとも呼ばれる。

２０４は画像単位被写体情報テーブルであり、取り込む画像単位毎に用意されて、編集プログラム２００の起動中には、ＲＡＭ１０８上に展開されて使用される。２０５は編集プログラム２００が使用する被写体情報管理テーブルであり、１つの写真集に対し、一つの被写体情報管理テーブルがＲＡＭ１０８上に展開されて編集プログラム２００により使用される。２０６は写真集データであり、写真集の編集中においては、一つの写真集に対して一つの写真集データ２０６がＲＡＭ１０８上に展開され、編集プログラム２００による編集処理によって随時更新される。そして、最終的に完成した写真集データ２０６が保存される。

２０７は写真集を注文するための写真集注文モジュールである。写真集注文モジュール２０７は、編集プログラム２００の指示により、完成し、保存されている写真集データ２０６を送信できるデータ形式に変換し、インターネット２０８を通して写真集注文サーバ２０９にアップロードする。写真集注文サーバ２０９にアップロードされた写真集注文データは、必要な課金や配送の手配などの処理後に、印刷サイト２１０へ送られて、実際の写真集の出力処理が行われる。出力された写真集は写真集注文サーバ２０９に対して指定された配送手段により、指定された宛先へ配送される。委託業者である編集者が写真集作成装置１００を実行する場合には、印刷物でなく、写真集データ２０６として末端のユーザに配布することもありうる。

図２（ｂ）は、編集プログラム２００に含まれる基本的なモジュールを示す。すなわち、編集プログラム２００は、基本的に、画像選択モジュール２５１、表示モジュール２５２、テンプレート選択モジュール２５３、レイアウトモジュール２５４、被写体情報管理モジュール２５５、算出モジュール２５６を備える。さらに編集プログラム２００は、編集モジュール２５７、ページレイアウトモジュール２５８、画像処理モジュール２５９、及び被写体指定モジュール２６０を備える。本実施形態１のみならず、以下で説明する実施形態２、３においても、編集プログラム２００の実行の際には、画像認識モジュール２０３及び写真集注文モジュール２０７と共に、図２（ｂ）に示した各モジュールが相互に連携して動作することとなる。当然のことながら、以上の各モジュールは、以下の各実施形態の各動作における処理機能として、ページ指定、ページレイアウト選択、ページレイアウト生成などの機能処理を実行するためのものでる。これらのモジュールは、ＣＰＵ１０６を制御するプログラムにしたがって機能するものである。

次に、写真集作成装置１００のＣＰＵ１０６の制御により、ＨＤＤ１０９に記憶された編集プログラム２００が実行されて電子的な写真集を作成する手順について、図３を参照して詳細に説明する。

ステップＳ３０１にて、ユーザが新規の写真集の新規作成処理を開始すると、ＣＰＵ１０６は、後述の図４で説明する画像選択画面４０１をＬＣＤ１０１に表示させる。ユーザは画像選択画面４０１を見ながら、キーボード１０４やＰＤ１０５を操作して、ＨＤＤ１０９又はＦＤＤ１１０に記録されている画像ファイルの取り込みを実行する。この場合、勿論、他の情報処理装置から取り込むことも有り得る。この処理は、画像選択モジュール２５１で実行される。

ＣＰＵ１０６は、画像ファイルの取り込みを終了したらステップＳ３０２に処理を進め、被写体情報管理テーブル２０５をＲＡＭ１０８上に作成する。これは、被写体情報管理モジュール２５５で実行される。続いてステップＳ３０３にて、ＣＰＵ１０６は、写真集に使用する雛形となる写真集テンプレートデータ２０１より写真集テンプレートデータを読出し、写真集テンプレート選択画面８０１をＬＣＤ１０１に表示させる。ユーザは、図８で示すような写真集テンプレート選択画面８０１を見ながらキーボード１０４やＰＤ１０５を操作して、ＨＤＤ１０９に登録されている写真集テンプレートデータ２０１の中から所望する写真集テンプレートを選択する。これは、テンプレート選択モジュール２５３及び表示モジュールで制御される。

写真集を構成する画像と写真集テンプレートの選択が終了したら、ステップＳ３０４に進み、ＣＰＵ１０６が自動レイアウト処理を実行して写真集の全てのページの仮ページレイアウトを決定する。仮ページレイアウトの結果はＲＡＭ１０８上に展開されると共に、ＨＤＤ１０９上に中間ファイルとして一時的に保存するために記録される。これは、レイアウトモジュール２５４で実行される。

次にステップＳ３０５において、ユーザによる編集処理の操作を受け付け、ユーザの指示する編集処理を実行する。ここで写真集に対して可能な編集処理は、各ページ上のページレイアウトの変更処理、使用する画像の追加処理、画像の削除処理、及び画像の置換処理などの画像変更の処理、画像の表示面積のリサイズ処理、画像におけるトリミング処理等である。これらは、編集モジュール２５７及び画像処理モジュール２５９で実行される。

写真集の編集が完了して写真集データ２０６が完成したら、ステップＳ３０６に進んで印刷出力用の写真集注文データを作成し、ステップＳ３０７で写真集注文データの送信を行う。送信された写真集注文データはインターネット２０８に接続された写真集注文サーバ２０９の処理によって課金形態、送信方法等が決定される。この処理は、写真集注文モジュール２０７との関連で実行される。その後、出力用の印刷サイト２１０に写真集注文データが送信されて印刷出力が実行される。その後に指定された宛先に写真集の成果物である印刷された写真集が配送されるこになるが、ここではその方法については特に限定するものではない。先に説明したように、印刷物でなく、写真集データを配信することもありうる。

図４は、ＬＣＤ１０１の表示画面に表示され、本実施形態１におけるステップＳ３０１で使用される画像選択画面４０１の１例を示した図である。画像選択画面４０１には、選択する画像ファイルの候補を表示するためのファイル選択フィールド４０２と、選択した画像ファイルを表示するためのファイル登録フィールド４０３が表示される。

ファイル選択フィールド４０２は、ＨＤＤ１０９又はＦＤＤ１１０に記録されている指定されたフォルダ位置の内容から画像ファイルのサムネイル４０４、４０５等を表示する。そして、これら画像ファイルのサムネイル４０４、４０５等は、ＰＤ１０５により選択可能とされる。例えば選択された画像ファイルのサムネイル４０４は、図４に示すように、未選択のサムネイル４０５とは区別されて、例えば枠が強調表示される。

ファイル登録フィールド４０３は、写真集で使用される画像ファイルとして登録されたサムネイル４０６等が並べて表示される。ファイル選択フィールド４０２で選択された画像ファイルのサムネイル４０５をファイル登録フィールド４０３に登録するためには、画像ファイルのサムネイル４０５を選択したあと、ＰＤ１０５を使用して登録ボタン４０７をクリックすることにより実行される。

またボタン４０８は、次の処理ステップへ移るためのものであり、ＰＤ１０５等によりクリックされることにより、画像の取り込みを終了し、次の処理ステップであるステップＳ３０２へ移行する。

図５は、ステップＳ３０２の被写体情報管理テーブル２０５を作成する工程を説明する模式図である。図５において、５０１は取り込む任意の一枚の画像である。画像５０１が取り込まれると、ＣＰＵ１０６が画像認識モジュール２０３を制御し、被写体Ａ乃至Ｄの顔の画像認識処理を行って、画像単位被写体情報テーブル５０２を作成する。この画像単位被写体情報テーブル５０２は、図２の画像単位被写体情報テーブル２０４に相当する。画像単位被写体情報テーブル５０２には、各被写体Ａ乃至Ｄに対する顔の特徴抽出した特徴値と画像内での表示面積の割合が登録される。

ステップＳ３０１にて取り込まれた全ての画像５０３に対し、同様の全ての画像単位被写体情報テーブル５０４を作成することにより、作成する写真集の全体の被写体情報管理テーブル５０５が作成される。この被写体情報管理テーブル５０５は、図２の被写体情報管理テーブル２０５に相当する。被写体情報管理テーブル５０５には、各被写体Ａ乃至Ｄを異なる画像間で同等か否かを判断するための基準として使用する顔の特徴抽出した特徴値、含まれる枚数、表示面積の異なる画像を通しての総和が総表示面積５０６に登録される。また、同時に被写体が存在する画像５０１の枚数も登場枚数５０７に登録される。これらは、被写体情報管理モジュール２５５及び算出モジュール２５６で実行される。

次に、本発明の実施形態１に係る写真集作成装置１００の詳細な動作を、図６のフローチャートを用いて説明する。図６のフローチャートによれば、編集プログラム２００により、写真集に含まれる異なる画像間で特定の被写体が同等に撮影されているか否かを判断する処理が実行される。

処理の開始後のステップＳ６０１で、画像単位被写体情報テーブル５０２に対してチェックループを繰り返し、全ての被写体Ａ乃至Ｄについて画像単位被写体情報テーブル５０２が作成されたかを、全ての画像単位被写体情報テーブル５０４に対しチェックする。もし、未認識被写体を含む画像単位被写体情報テーブル５０２がなければ、ここでの処理を終了する。しかし、未認識被写体を含む画像単位被写体情報テーブル５０２があればステップＳ６０２に進み、全ての画像単位被写体情報テーブル５０４に関して、全ての画像５０３を調べ、未認識被写体が存在するか否かをチェックする。

ステップＳ６０３は対象となっている被写体が被写体情報管理テーブル５０５に既に登録されているかを、顔の画像認識処理による特徴抽出した特徴値の差異が許容範囲内に収まっているか否かで判断する。この特徴値が一定の許容範囲内である場合にはステップＳ６０４で同じ被写体として扱われ、その被写体の情報が被写体情報管理テーブル５０５の情報に画像変更として、追加して登録される。もし許容範囲外の場合にはステップＳ６０５で異なる被写体として扱われ、新規の被写体として被写体情報管理テーブル５０５に新規登録される。このようにして、全ての画像５０３に対して特徴値を比較することにより、写真集における全ての被写体、例えばＡ乃至Ｄの同等性を認識することができる。

以上により、取り込んだ全ての画像Ａ乃至Ｄに関連した被写体情報管理テーブル５０５を作成することができるが、実際にレイアウトされる場合には、各画像の表示面積の差異も考慮する必要がある。

図７は、レイアウト後に異なる画像間の表示面積の総和を算出する方法を説明する模式図である。図７において、７０１はあるページの仮レイアウト状態の一例であり、夫々の画像が異なる表示倍率で配置されている。

この画像に対する画像単位被写体情報テーブル７０２は、該当の画像内に存在する全ての被写体Ａ乃至Ｄに対してその画像の表示倍率を使って換算した表示面積が換算面積７０３として追加して記録される。ページ上の他の画像、及び他のページ上の画像に対しても同様な算出処理を施すことにより、全ての画像５０３を通しての総計の被写体情報管理テーブル７０４が修正される。

続いて、図３のステップＳ３０３における写真集の雛形となる写真集テンプレートを選択する処理について、図８に示す写真集テンプレート選択画面８０１を用いて詳細に説明する。図８（ａ）において、写真集テンプレート選択画面８０１は写真集テンプレートを選択する画面であり、ＣＰＵ１０６によりＬＣＤ１０１に表示される。ユーザは写真集テンプレート選択画面８０１を見ながら、キーボード１０４やＰＤ１０５を操作して、例えばＨＤＤ１０９に記録され、登録されている写真集テンプレートデータ２０１の中から所望するものを選択することができる。

８０２は、選択できる写真集テンプレートのサムネイルや名称が表示される選択エリアである。８０２に表示される各写真集テンプレートのサムネイルをＰＤ１０５等により選択することができる。８０３は選択状態にある写真集テンプレートＴＡのサムネイルの表示例、８０４は非選択状態にある写真集テンプレートのサムネイルＴＦの表示例であり、８０３は強調表示されて選択状態にあることを視覚的に表現している。選択状態の写真集テンプレートのサムネイルＴＡは、他のサムネイルを選択することにより非選択状態に変化する。

８０５は、後述する写真集テンプレートの選択結果の写真集テンプレート選択画面の詳細モード表示を行うためのモード切替ボタンである。モード切替ボタン８０５を押下することにより画面表示状態を図８（ｂ）の写真集テンプレート選択画面８０７で示す仮レイアウトの結果を示す詳細モードに変更する。８０６は次の処理ステップへ遷移するためのボタンであり、ＰＤ１０５で指定することにより写真集テンプレート選択エリア８０２内で選択状態とされている写真集テンプレート８０３を使用した自動レイアウト処理を実行するためのステップＳ３０４に遷移する。

先に説明したように、図８の（ｂ）における８０７は、モード切替ボタン８０５を選択した場合に表示される写真集テンプレート選択画面の詳細モードの表示状態である。また８０８は、被写体Ａ乃至Ｆの使用画像枚数及び各写真集テンプレートのサムネイルＴＡ乃至ＴＥを選択した際の各被写体の表示総面積を表示する詳細表示エリアである。そして、表８０９の縦軸に被写体Ａ乃至Ｆが、横軸に写真集テンプレートのサムネイルＴＡ乃至ＴＥの名称が指定されている。表８０９に表示される数値は、写真集テンプレート内で正規化された相対値であり、単位系を特定する必要は無い。表８１０は各写真集テンプレートを選択した際の各被写体の表示総面積のばらつきの度合いの算出結果であり、標準偏差などを用いる。標準偏差値が小さいものほどばらつきが少ない、即ち特定の被写体が使用されている均等度が高いということになり、その目安をユーザに提供する。

前候補ボタン８１１及び次候補ボタン８１２は、他の写真集テンプレートの仮レイアウト結果を表示するためのボタンであり、選択することにより別の写真集テンプレートを使用して自動レイアウトした結果の状態を表示する。

８１３は８０５と同様のモード切替ボタンであり、押下することにより画面表示状態を図８（ａ）の８０１で示す標準モードの写真集テンプレート選択画面に変更する。８１４は８０６と同様に次のステップへ遷移するためのボタンであり、選択することにより選択状態の写真集テンプレートを適用して自動レイアウト処理のステップＳ３０４に遷移する。 図９は、本実施形態における写真集テンプレートデータ２０１のデータ構成の一例である。図９において、９０１は写真集テンプレートデータ２０１を管理するヘッダ情報である。ヘッダ情報には、写真集テンプレートに用意されているレイアウト数、写真集に取り込み可能な画像数、ページ単位に配置可能な画像数など写真集テンプレート単位に用意されるべき情報が保存されている。

９０２は表紙レイアウト管理情報であり、写真集の表紙のレイアウトを決定するために必要な情報が保存されている。９０３、９０４、９０５はそれぞれ写真集内の各ページに画像を１枚、２枚、、、、Ｎ枚配置するようなレイアウトを管理するための情報ブロックであり、それぞれのレイアウト管理情報のデータを管理している。９０６、９０７、９０８、９０９はそれぞれ、表紙レイアウト、本文１枚レイアウト、同２枚レイアウト、、、、同Ｎ枚レイアウトの配置を決定するレイアウト情報のデータ群を保存するためのデータブロックである。ここで使用されるレイアウト情報を変更することにより、写真集のページ内でのレイアウトを変更することができる。

図９のデータ構成の写真集テンプレートデータ２０１は、ＲＡＭ１０８上に一時的に展開されるデータとしても、ＨＤＤ１０９からロードされるデータとしても活用することが可能である。

次に、自動レイアウト処理がステップＳ３０４にて実行された後に、ＬＣＤ１０１に表示される編集画面について説明する。

図１０は、本発明の実施形態１に係る写真集作成装置の編集プログラム２００の編集画面の一例である。図１０において、１００１はＬＣＤ１０１に表示される編集画面の表示画面であるメインウィンドウである。１００２は編集エリアであり、写真集の編集中の見開き状のページの状態を表示すると共に、ユーザのＰＤ１０５による編集操作の指示を受け付けることができる。１００３は操作エリアであり、編集エリア１００２に対し、ユーザの希望する動作を指定するためのＧＵＩを提供する。１００４はレイアウト変更ボタンであり、後述するレイアウト変更画面を表示して該当ページのレイアウト変更を受け付ける。

１００５は画像追加ボタンであり、後述する画像追加画面を開くことにより、写真集のあるページ上に画像を追加して挿入することを可能とする。１００６は画像削除ボタンであり、後述する画像削除画面を開くことにより、写真集のページ上の指定する画像を削除することを可能とする。１００７は画像編集ボタンであり、後述する画像編集画面を開くことにより、指定された画像のトリミング処理やリサイズ処理等の編集処理を施すことを可能としている。このように、画像変更処理が実行される。

１００８及び１００９は、夫々前頁表示ボタン及び次頁表示ボタンであり、それぞれをＰＤ１０５で選択することにより、写真集の表示ページを変更することができる。編集エリア１００２に表示している写真集のページ番号は１０１０に表示される。図示の例では、編集している写真集の４及び５頁が開いた状態であることが表示されている。

１０１１は注文ボタンであり、ＰＤ１０５で選択することにより、図３のステップＳ３０６に遷移して完成した写真集データを保存する。そして写真集注文データを作成して、更にステップＳ３０７に遷移して写真集注文サーバ２０９への写真集注文データの送信を開始するが、ここでは以降のステップの処理の説明は割愛する。

尚、便宜上、本実施形態１で説明する編集機能は、レイアウト変更、画像追加、画像削除、画像編集としているが、文字編集や図形編集など一般の文書編集アプリケーションで提供している編集処理機能を適用することも可能である。尚、これらの処理は、編集モジュール２５７が主体となり、編集プログラム２００に含まれる必要なモジュールを選択して実行される。

図１１は、図１０のレイアウト変更ボタン１００４を押下した際に、ＬＣＤ１０１の表示画面に表示されるページレイアウト変更画面の一例である。ここでの処理は、ページレイアウトモジュール２５８が実行することとなる。図１１（ａ）において、１１０１は、ページレイアウト変更画面であり、メインウィンドウである編集画面１００１のサブウィンドウである。ユーザは、ページレイアウト変更画面１１０１に従い、キーボード１０４やＰＤ１０５を操作して、該当する写真集のページのレイアウト候補のサムネイルＬＡ乃至ＬＪの中から所望するレイアウトを選択して変更することができる。

１１０２は、選択できるレイアウト候補のサムネイルや名称が表示される選択エリアである。１１０２に表示される各レイアウト候補のサムネイルをＰＤ１０５等により選択することができる。１１０３は選択状態にあるレイアウト候補のサムネイルＬＡの表示例、１１０４は非選択状態にあるレイアウトのサムネイルＬＦの表示例であり、１１０３は強調表示されて選択状態にあることを視覚的に表現している。選択状態のレイアウトのサムネイルは、他のサムネイルを選択することにより非選択状態に変化する。

１１０５は、後述するレイアウトの選択結果の詳細モード表示を行うためのモード切替ボタンである。１１０６は選択エリア１１０２で選択したレイアウト候補を実際に適用してレイアウト変更処理を実行するための適用ボタンであり、１１０７は同レイアウト候補の適用を中止するための中止ボタンである。適用ボタン１１０６及び中止ボタン１１０７は、ＰＤ１０５で選択することにより各処理が実行されて、ページレイアウト変更画面１１０１は閉じられて、ユーザの画面操作は編集画面１００１に戻ることになる。

図１１（ｂ）の１１０８は、モード切替ボタン１１０５を選択した場合に表示されるページレイアウト変更画面の詳細モードの表示状態である。１１０９は被写体の使用画像枚数及び各レイアウトを選択した際の被写体の表示総面積を表示する詳細表示エリアであり、１１１０の縦軸に被写体Ａ乃至Ｆが、また横軸にレイアウト候補のサムイネイルＬＡ乃至ＬＥの名称が表示されている。１１１０に表示される数値は、写真集テンプレート内で正規化された相対値であり、単位系を特定する必要は無い。１１１１は各レイアウト候補を選択した際の各被写体の表示総面積のばらつきの度合いの算出結果であり、標準偏差などを用いる。標準偏差値が小さいものほどばらつきが少ない、即ち特定の被写体が使用されている均等度が高いということになり、その目安をユーザに提供する。

前候補ボタン１１１２及び次候補ボタン１１１３は、他のレイアウトを使用した場合の結果を表示するためのボタンであり、選択することにより別のレイアウト候補を使用して自動レイアウトした結果の状態を１１１０に表示する。

１１１４は１１０５と同様のモード切替ボタンであり、押下することにより画面表示をページレイアウト変更画面１１０１に変更する。適用ボタン１１１５及び中止ボタン１１１６はそれぞれ適用ボタン１１０６及び中止ボタン１１０７と同機能である。

図１２は、編集画面１００１において画像追加ボタン１００５を選択した際に、ＬＣＤ１０１に表示される画像追加画面の一例である。図１２において、画面１２０１は画像追加画面であり編集画面１００１のサブウィンドウである。

１２０２は画像選択フィールドであり、ＨＤＤ１０９又はＦＤＤ１１０の中の指定されたフォルダ位置の内容から画像ファイルのサムネイル１２０３及び１２０４を表示し、ＰＤ１０５により選択可能となっている。選択された画像ファイルのサムネイル１２０３は未選択のサムネイル１２０４のものと区別されるように強調表示される。

１２０５は、画像選択フィールド１２０２で選択した画像を実際に適用してレイアウト変更処理を実行するための適用ボタンであり、ＰＤ１０５で選択することにより画像追加画面１２０１を閉じて後述する画像枚数変更画面１３０１を表示する。

１２０６は、画像ファイルの適用を中止するための中止ボタンであり、ＰＤ１０５で選択することにより画像追加画面１２０１は閉じられて、ユーザの画面操作は編集画面１００１に戻る。

図１３は、図１２の適用ボタン１２０５、又は図１０の画像削除ボタン１００６を押下した際に、画像変更算出処理が実行され、処理後に表示される画像枚数変更画面の一例である。前者の場合は画像選択フィールド１２０２で選択された画像追加後のページレイアウト変更状態を、後者の場合は編集エリア１００２で選択された画像削除後のページレイアウト変更状態を決定することができる。画像変更算出処理は、変更された、各処理後の結果を反映して、ＣＰＵ１０６の制御により算出モジュール２５６で実行される。

図１３（ａ）のメインウィンドにおいて、１３０１は画像枚数変更画面であり、編集画面１００１のサブウィンドウである。ユーザは画像枚数変更画面１３０１に従い、キーボード１０４やＰＤ１０５を操作して、写真集の該当ページの画像枚数変更後のレイアウト候補の中から所望するレイアウトを選択して変更することができる。１３０２は、選択できるレイアウト候補のサムネイルや名称が表示される選択エリアである。ユーザは、選択エリア１３０２に表示される各レイアウトのサムネイルをＰＤ１０５等により選択することができる。１３０３は選択状態にあるレイアウトのサムネイルの表示例、１３０４は非選択状態にあるレイアウトのサムネイルの表示例であり、１３０３は強調表示されて選択状態にあることを視覚的に表現している。選択状態のレイアウトのサムネイルは、他のサムネイルを選択することにより非選択状態に変化する。

１３０５は、後述するレイアウトの選択結果の詳細モード表示を行うためのモード切替ボタンである。１３０６は選択エリア１３０２で選択したレイアウト候補を実際に適用して画像枚数変更処理を実行するための適用ボタンであり、１３０７は、同レイアウト候補の適用を中止するための中止ボタンである。適用ボタン１３０６及び中止ボタン１３０７はＰＤ１０５で選択することにより各処理が実行され、画像枚数変更画面１３０１は閉じられて、ユーザの画面操作は編集画面１００１に戻ることになる。

図１３（ｂ）の１３０８は、モード切替ボタン１３０５を選択した場合に、ＬＣＤ１０１に表示される画像枚数変更画面の詳細モードの表示状態である。

１３０９は詳細表示エリアであり、レイアウト変更前と変更後の各被写体を含む画像枚数及び被写体の表示総面積を表示している。１３１０はレイアウト変更前の状態表示である。表１３１１は、レイアウト変更後の状態表示であり、縦軸に被写体Ａ乃至Ｆが、また横軸にレイアウト候補のサムネイルＬＡ乃至ＬＣの名称が表示されている。１３１０及び１３１１の表示総面積として表示される数値は、編集している写真集テンプレート内で正規化された相対値であり、単位系を特定する必要は無い。

また、１３１０は、各レイアウト候補を選択した際の各被写体の表示総面積のばらつきの度合いの算出結果も含んでいる。ばらつきの度合いを示すには標準偏差などの数値を用いる。標準偏差値が小さいものほどばらつきが少ない、即ち被写体が使用されている均等度が高いということになり、その目安をユーザに提供している。これらは、算出モジュール２５６で算出される。

前候補ボタン１３１２及び次候補ボタン１３１３は、他のレイアウトを使用した場合の結果を表示するためのボタンであり、選択することにより別のレイアウト候補を使用して自動レイアウトした結果の状態を表１３１１に表示する。

１３１４は、１３０５と同様のモード切替ボタンであり、押下することにより画面表示を画像枚数変更画面１３０８から画像枚数変更画面１３０１に変更する。適用ボタン１３１５及び中止ボタン１３１６は、それぞれ適用ボタン１３０６及び中止ボタン１３０７と同機能である。

図１４は、図１０の画像編集ボタン１００７を押下した際に、ＬＣＤ１０１の表示画面に表示される、画像編集画面１４０１の一例である。ここで説明する画像編集は、画像の表示サイズの変更処理及び画像の表示領域の変更処理（所謂トリミング処理）に限定するが、色調変更などの画像効果処理や文字入力など他の画像編集アプリケーションで可能な処理を施すことも可能である。

図１４において、１４０１は画像編集画面であり、編集画面１００１のサブウィンドウである。画像編集画面１４０１は、状態表示領域１４０２と画像編集領域１４０３の二つの領域及び幾つかのボタンで構成されている。

状態表示領域１４０２は、画像編集の処理前の状態の表示領域１４０４と画像編集の処理後の状態の表示領域１４０５に分かれていて、画像編集処理の処理前及び処理後に、画像編集算出処理により被写体情報を算出し、その状態を比較することができる。表示領域１４０４及び１４０５には、写真集内に登場する被写体とその被写体が登場する画像枚数、各被写体が写真集内で占める表示総面積及び現在のレイアウト状態のばらつき（標準偏差値）が表示される。画像編集算出処理は、ＣＰＵ１０６の制御にしたがって算出モジュール２５６で実行される。

画像編集領域１４０３では、対象となる画像を表示すると共に、同画像に対してのリサイズ枠１４０６及びトリミング枠１４０７を提供していて、それぞれの枠に対してＰＤ１０５の操作により、画像のリサイズ処理及びトリミング処理を実行することができる。この処理は、画像処理モジュール２５９で実行され、画像編集領域１４０３で実施したリサイズ及びトリミングの画像編集処理の処理後の結果が状態表示領域１４０２に即座に表示される。したがって、ユーザは画像編集処理の操作により、処理前及び処理後の夫々の値の変動を同時に確認することが可能となっている。これらに関しても、ＣＰＵ１０６の制御に従い、画像変更算出処理で実行される。

１４０８は、画像編集領域１４０３で操作した画像編集処理の結果を実際に適用するための適用ボタンであり、１４０９は、同画像編集処理を中止するための中止ボタンである。適用ボタン１４０８及び中止ボタン１４０９は、ＰＤ１０５で選択することにより各処理が実行されて、画像編集画面１４０１は閉じられて、ユーザの操作画面は編集画面１００１に戻ることになる。

以上説明した本発明の実施形態１に係る写真集作成装置によれば、表示されるばらつきの度合い、即ち被写体が使用されている均等度を監視しながら、全ての被写体が均等に扱われる写真集を容易に作成することが可能となる。

＜実施形態２＞
本発明の実施形態２に係る写真集作成装置に関し、被写体が均等に扱われた写真集の作成を助長するための「均等モード」と、特定の被写体が重点的に扱われた写真集の作成を助長するための「重点モード」を備えた写真集作成装置について説明する。

本実施形態２では、実施形態１に係る写真集作成装置の写真集テンプレート選択画面８０７、ページレイアウト変更画面１１０８、画像枚数変更画面１３０８において、「均等モード」と「重点モード」との間のモード切替が可能な構成とされる。そして、各モードに応じて選択候補の並べ替えが行われるように構成されている。

図１５（ａ）、（ｂ）は、写真集テンプレート選択画面８０７において、それぞれ「重点モード」、重点モードを指定した際の一例である。図１５（ａ）において、１５０１の写真集テンプレート選択画面は、均等モードの表示状態であり、図８（ｂ）における写真集テンプレート選択画面８０７と同等である。１５０２の写真集テンプレート候補１５０３の表示順序は、ばらつき１５０４の値の少ない順番に並べられている。

図１５（ａ）の１５０５は切替ボタンであり、ＰＤ１０５で選択することにより、「均等モード」から「重点モード」に切り替えることが可能で、写真集テンプレート選択画面１５０１の切替ボタン１５０５では「均等モード」が選択されている。

図１５（ｂ）の１５０６は重点モードにおける写真集テンプレート選択画面１５０６の表示状態であり、１５０７の表示内容における写真集テンプレート候補１５０８の表示順序は、指定されている被写体Ｂの表示総面積１５０９の多い順番に並べられている。なお、１５１０は「重点モード」から「均等モード」に切り替えるための切替ボタンである。

説明は省略するが、ページレイアウト変更画面１１０８及び画像枚数変更画面１３０８についても同様に、「重点モード」から「均等モード」に切り替えるための切替ボタンを含む表示画面を用意することができる。

以上のように本実施形態２に係る写真集作成装置によれば、ユーザが指定した任意の被写体に対して、均等に使用される、あるいは重点的に使用されている写真集を作成することができる。

＜実施形態３＞
本発明の実施形態３に係る写真集作成装置として、被写体をより視覚的に見せることによりユーザの編集の操作を補助する実施形態の例を説明する。

図１６における１６０１は、図８（ｂ）における写真集テンプレート選択画面８０７について、各被写体Ａ乃至Ｆの顔画像のサムネイルを表示した表示画面である。被写体Ａの１６０２に対応して顔のサムネイル１６０３が表示され、これにより、ユーザが視覚的にいずれの被写体であるかを判断することを可能としている。

説明は省略するが、ページレイアウト変更画面１１０８及び画像枚数変更画面１３０８、画像編集画面１４０１についても同様に、各被写体Ａ乃至Ｆの顔画像のサムネイルを表示することができる。

以上のように本実施形態３に係る写真集作成装置よれば、写真集の編集に際し、特定の被写体を考慮して編集操作を実行することができる。

＜実施形態４＞
本発明の第４の実施形態に係る写真集作成装置として、特定の被写体の使用枚数及び写真集内に占める表示総面積が少ない場合に、その旨を警告することが可能な実施形態を説明する。

図１７（ａ）、（ｂ）は、図３のステップＳ３０１で画像選択後にステップＳ３０２で被写体情報管理テーブルを作成した際に使用される表示画面である。すなわち、予め定めた範囲の値より極端に使用枚数が少ない、及びステップＳ３０５で編集操作の結果として、予め定めた範囲の値より極端に表示総面積が少ない、被写体が存在する場合、被写体警告画面として、ＬＣＤ１０１の表示画面に表示されるものである。

図１７（ａ）において、１７０１は被写体警告画面であり、編集画面１００１等のサブウィンドウとして表示される。１７０２は警告エリアであり、画像枚数又は表示総面積の著しく小さい被写体が表示される。１７０３は被写体名、１７０４は被写体を含む画像枚数、１７０５は被写体の総面積を表示する列であり、極端に値の小さいものは強調表示されて視覚的にわかり易くしている。これらは、算出モジュール２５６で算出される。確認ボタン１７０６を選択すると被写体警告画面１７０１は閉じられて、図１７（ｂ）の編集画面１７０７に画面表示が戻る。そして編集画面１７０７においては、該当被写体を含む画像１７０８が選択的に表示されて、以降の編集操作の目安とすることができる。

尚、図１７（ａ）、（ｂ）と同様の構成の表示画面を使用することで、ステップＳ３０１の画像選択及びステップＳ３０５での編集操作の結果として極端に使用枚数又は表示総面積が少ない被写体が存在する場合も、同様の警告処理を実現することができる。しかしながら、ここでは、この詳細な説明は割愛する。尚、被写体の指定は、被写体指定モジュール２６０で実行される。

以上のように、本実施形態４に係る写真集作成装置によれば、写真集の編集に際して特定の被写体の使用枚数及び写真集内に占める表示総面積が、予め定めた範囲の値より極端に少ない場合及び多い場合に対して警告を提示することが可能となる。これにより、各特定された被写体が含まれる均等度の高い写真集を作成することが可能となる。

＜実施形態５＞
本発明の第５の実施形態に係る写真集作成装置において、予めデータベースに用意された特定の被写体の名簿や顔情報などの個人情報を活用する方法について説明する。

図１８は、本実施形態５に係る写真集作成装置の構成を解説するためのブロック図である。図１８は図２のブロックとほぼ同等であるが、個人情報ＤＢ（Data Base）１８１１が追加されている点で異なる。２００から２１０までは図２と同じであり、詳細な説明は省略する。

個人情報ＤＢ１８１１には、作成する写真集に被写体として取り込むべき各人物の名簿情報及び画像認識モジュール２０３で認識されるべき各被写体の顔画像などが記録されている。個人情報ＤＢ１８１１は、図３のフローチャート図におけるステップＳ３０２の被写体情報管理テーブル作成時に、写真集で使用する画像から抽出した被写体が個人情報ＤＢ１８１１に含まれているかを、顔の画像認識処理、即ち被写体の認識処理で認識する。そして含まれていると判断されれば被写体の名前まで確定することができ、一方で含まれていないと判断されれば被写体情報管理テーブルから該当被写体を削除することにより、余計な被写体を考慮せずに写真集の編集を行うことが可能となる。

以上説明した本発明の実施形態５に係る写真集作成装置によれば、余計な被写体を考慮せずに写真集の編集を行うことが可能となる。

また、本発明は、前述した実施形態１乃至５の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

Claims (12)

1. 画像に対して編集処理を実行する編集手段と、
   前記編集された画像をレイアウトして画面に表示する第１の表示手段と、
   前記レイアウトされた画像に含まれる被写体を認識する認識手段と、
   前記レイアウトした後の画像内の前記認識手段により認識された被写体の表示されている大きさを検出する検出手段と、
   前記認識手段により認識された被写体の表示されている大きさに基づく情報を前記被写体毎に表示する第２の表示手段と、を備えることを特徴とする画像処理装置。
2. 前記第１の表示手段は、複数のテンプレートデータそれぞれにしたがって前記画像をレイアウトして前記画面に表示し、
   前記検出手段は前記テンプレートデータ毎に前記検出を行い、前記第２の表示手段はさらに前記テンプレートデータ毎に、前記被写体の表示されている大きさに基づく情報を前記被写体毎に表示することを特徴とする請求項１に記載の画像処理装置。
3. 複数の前記認識手段により認識された被写体のうち少なくとも１つを指定する指定手段をさらに備え、
   前記第２の表示手段は、前記指定された被写体の表示されている大きさに基づく情報にしたがって、前記テンプレートデータを並べ替えて表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の表示手段は、前記被写体の表示されている大きさに基づく情報にしたがって前記被写体を並べ替えて表示することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記被写体の表示されている大きさに基づく情報の示す値が所定値より小さい被写体が存在する場合、警告を表示する警告手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記編集処理は、前記画像のトリミング処理、前記画像のリサイズ処理、前記レイアウトされる画像の置換処理、前記レイアウトされる画像の削除処理、前記レイアウトされる画像の追加処理および前記画像のレイアウトの変更処理のうち少なくとも１つであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記被写体の表示されている大きさに基づく情報は、前記被写体の表示面積の総和、前記被写体を含む画像の枚数および各被写体の表示面積のばらつきの度合いのうち少なくとも１つであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記被写体は、所定の人物の顔であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画面は、写真集に含まれる複数のページを表すことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記レイアウトした後の画像から印刷用のデータを作成する作成手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像に対して編集処理を実行するステップと、
    前記編集された画像をレイアウトして画面に表示するステップと、
    前記レイアウトされた画像に含まれる被写体を認識するステップと、
    前記レイアウトした後の画像内の前記認識された被写体の表示されている大きさを検出するステップと、
    前記認識された被写体の表示されている大きさに基づく情報を前記被写体毎に表示するステップと、を備えることを特徴とする画像処理装置の制御方法。
12. コンピュータに、
    画像に対して編集処理を実行するステップと、
    前記編集された画像をレイアウトして画面に表示するステップと、
    前記レイアウトされた画像に含まれる被写体を認識するステップと、
    前記レイアウトした後の画像内の前記認識された被写体の表示されている大きさを検出するステップと、
    前記認識された被写体の表示されている大きさに基づく情報を前記被写体毎に表示するステップと、を実行させることを特徴とするプログラム。

Images