JP4945486B2 - 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法 - Google Patents

Description

本発明は、フォトアルバムの画像の自動配置に関する。

近年、画像を自動的にレイアウトしてアルバムを作成する技術が開発されている。例えば、多くの人物が撮影された複数の電子画像中から、特定の人物が撮影されている画像を抽出し、その人物に配布する（特許文献１）。あるいは、画像中に撮影されている回数が多い顔は主要度が高い、あるいはデータベースに登録されている顔と類似度が高い顔が含まれた画像は主要度が高いと判別し、主要度に応じてレイアウトを決定する（特許文献２）。
特表２００６−５２３３３４号公報 特開２００７−４９３８７号公報

アルバムの目的によって最適な構図やレイアウトは異なる。例えば、修学旅行の旅程を綴ったアルバムでは、自分が写っている画像が全く掲載されていないと目的に合わない。あるいは、結婚式の新郎新婦へのプレゼント、祖父母へのプレゼントなどプレゼント用のアルバムでは、メインとなる被写体、例えば、新郎新婦や子供が写ってないと目的に合わない。あるいは、友達同士の旅行で撮った写真のアルバムでは、友達を同じような割合で出現させないと、友達へのプレゼントには合わない。あるいは、風景中心のアルバムを作成したいのに、人物画ばかり並べても目的にあわない。あるいは、人物中心のアルバムを作成したいのに、風景画ばかり並べても目的にあわない。

この点、従来技術では、同じ画像群を使用すれば常に同じような並びのアルバムが出来上がってしまい、ユーザの目的が全く反映されない。

本発明はこのような問題点に鑑みてなされたもので、ユーザの意図を反映した自動アルバム配置を可能にすることを目的とする。

本発明に係る画像重要度判定方法は、画像を取得するステップと、画像に関する属性を識別するステップと、画像に関する属性ごとに取得した画像を分類するステップと、ユーザからの画像選択操作に基づいて取得した画像の中から所望の画像を選択するステップと、画像に関する属性ごとに選択した画像を分類するステップと、画像に関する属性ごとに分類された取得した画像および選択した画像のうち、同一の属性に対応する取得した画像の数と選択した画像の数とを比較するステップと、取得した画像の数と選択した画像の数とを比較した結果に応じ、属性ごとに分類された選択した画像の重要度を示す指標を作成し、指標を選択した画像に付与するステップと、を含む。

好ましくは、属性は、画像に存在する被写体、撮影時間帯または撮影シーンを含む。

好ましくは、撮影シーンは人物撮影および風景撮影を含む。

好ましくは、ユーザからの画像補正指示操作に基づいて属性ごとに分類された選択した画像への画像補正を実施するステップと、ユーザからの属性ごとに分類された選択した画像への画像補正指示操作に関する情報を記録するステップと、画像補正指示操作に関する情報に基づいて、属性ごとに分類された選択した画像の重要度を示す指標を作成し、指標を選択した画像に付与するステップと、を含む。

好ましくは、画像に関する属性を識別するステップは、選択した画像から主要被写体および主要被写体以外の周辺被写体を識別するステップを含み、識別された主要被写体と周辺被写体の間の距離である第１の距離を算出するステップと、第１の距離に基づいて、被写体ごとに分類された選択した画像の重要度を示す指標を作成し、指標を選択した画像に付与するステップと、を含む。

好ましくは、選択した画像に付与された指標を表示するステップを含む。

本発明に係るアルバム自動レイアウト方法は、上記の画像重要度判定方法により指標が付与された画像ごとの指標に応じた割り当て領域を規定したアルバムテンプレートを取得するステップと、選択した画像に付与された指標に従い、取得されたアルバムテンプレートの各割り当て領域に選択した画像の各々を配置して合成するステップと、を含む。

好ましくは、選択した画像から主要被写体および主要被写体以外の周辺被写体を識別するステップと、識別された主要被写体から周辺被写体までの間の距離である第１の距離を算出するステップと、主要被写体からの第１の距離が所定の範囲内にある周辺被写体を準主要被写体と識別するステップと、主要被写体と準主要被写体とを包含する領域を選択した画像のトリミング領域に決定するステップと、選択した画像からトリミング領域を切り出すステップと、選択した画像に付与された指標に従い、取得されたアルバムテンプレートの各割り当て領域に選択した画像から切り出されたトリミング領域の各々を配置して合成するステップと、を含む。

好ましくは、準主要被写体から準主要被写体以外の周辺被写体との距離である第２の距離を算出するステップと、準主要被写体からの第２の距離が所定の範囲内にある周辺被写体を新たな準主要被写体として識別するステップと、を含む。

好ましくは、選択した画像における識別した主要被写体の各々の出現回数の総計を算出するステップと、選択した画像における識別した主要被写体の各々の出現回数の総計に応じ、各主要被写体の顔領域を包含するトリミング領域に対する割り当て領域のサイズおよび位置を決定するステップと、決定された割り当て領域のサイズおよび位置に従い、取得されたアルバムテンプレートの各割り当て領域に、選択した画像から切り出されたトリミング領域の各々を配置して合成するステップと、を含む。

好ましくは、アルバムテンプレートと画像とが合成されたアルバムを出力するステップを含む。

上記の画像重要度判定方法をコンピュータに実行させるためのプログラム、アルバム自動レイアウト方法をコンピュータに実行させるためのプログラムも本発明に含まれる。

本発明に係る画像重要度判定装置は、画像を取得する手段と、画像に関する属性を識別する手段と、画像に関する属性ごとに取得した画像を分類する手段と、ユーザからの画像選択操作に基づいて取得した画像の中から所望の画像を選択する手段と、画像に関する属性ごとに選択した画像を分類する手段と、画像に関する属性ごとに分類された取得した画像および選択した画像のうち、同一の属性に対応する取得した画像の数と選択した画像の数とを比較する手段と、取得した画像の数と選択した画像の数とを比較した結果に応じ、属性ごとに分類された選択した画像の重要度を示す指標を作成し、指標を選択した画像に付与する手段と、を含む。

本発明に係るアルバム自動レイアウト装置は、上記の画像重要度判定装置と、画像重要度判定装置により指標が付与された画像ごとの指標に応じた割り当て領域を規定したアルバムテンプレートを取得する手段と、選択した画像に付与された指標に従い、取得されたアルバムテンプレートの各割り当て領域に選択した画像の各々を配置して合成する手段と、を含む。

本発明によると、特定の被写体を含む画像や特定の撮影シーンで撮影された画像の選択、画像補正の指示内容といったユーザからの入力結果を画像の重要度の指標に反映し、ユーザが特に注目している属性を有する画像から優先的にアルバムに配置することができる。

図１は、本発明を適用したフォトアルバム作成装置１０の概略構成を示すブロック図である。フォトアルバム作成装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディア４０やメモリカード４２などに格納された静止画像データ（動画をキャプチャした静止画も含む）を読み込み、これを素材としてフォトアルバム（表示装置に画像を所定のレイアウトとデザインで表示させるデータまたは所定のレイアウトとデザインで画像が印刷された紙などの印刷媒体）を作成する。このフォトアルバム作成装置１０は、マウス、タッチパッド、トラッグボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやキーボードやタッチパネルなどの各種操作デバイスを含む操作部２６によって操作される。

フォトアルバム作成装置１０は、フォトアルバム作成装置１０全体を制御するＣＰＵ１２と、記録メディア４０にデータを読み書きするドライブ１１と、メモリカード４２にデータを読み書きするカードスロット１６と、読み込まれた静止画像データやフォトアルバム作成装置１０を制御するプログラムなどが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、ＲＡＭ２０などに格納された画像の一覧や後述のテンプレート画像を含むウィンドウその他画像編集に関係する各種のグラフィカルユーザインターフェース、操作部２６からの移動方向および移動速度の指示を含む入力操作に従って上記ウィンドウ上を移動するポインタの映像信号をディスプレイ５０に出力して表示させるビデオエンコーダ２２と、インターネットその他のネットワークに接続するための通信Ｉ／Ｆ２８と、それぞれ専門の処理を受け持つデータ記録部（操作履歴記録手段）３０、とから構成されている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、フォトアルバム作成装置１０には、プリンタドライバ３８を介して、指示された静止画像を普通紙や印画紙などにプリントするプリンタ４４が接続されている。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１１やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、フォトアルバムの素材となる１または複数の静止画像データの他に、フォトアルバムの生成の際にこれらの静止画像データと合成される装飾画像データなどが記憶されている。装飾画像には、対象となる画像の不要な部分を覆うマスク画像や、対象となる画像の嵌め込み枠が規定され、イラストなどの装飾が施されたテンプレート画像（図２参照）などがある。こうした装飾画像は、素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトアルバムに彩を与える。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータを格納するタグ領域とが用意されている。

通信Ｉ／Ｆ２８は、フォトアルバム作成装置１０をインターネットに接続して、インターネット上のホームページをディスプレイ５０に表示させたり、電子メール（以下、メールと称す）を介した画像データの送受信を行う。この通信Ｉ／Ｆ２８は、ブロードバンド対応のモデムなどである。通信Ｉ／Ｆ２８は、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続するものでもよい。なお、フォトアルバム生成部３４の生成したフォトアルバムをインターネット経由で特定の端末に配信することもできる。

データ記録部３０、フォトアルバム生成部３４は、いわゆるコプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。データ記録部３０は、操作部２６から入力された、フォトアルバム生成部３４で実施すべき画像補正処理の内容の選択操作、画像補正処理の選択操作の開始から終了までの時間、画像補正処理に関する入力操作のあった各時間や入力操作の総回数などの操作部２６（またはインターネット経由で外部から接続してきた端末のキーボードその他の代替物でも可。以下同様）に対する操作入力の履歴情報を記録していく。画像補正処理の内容の選択・指定とは、赤目軽減の有無、セピア調変換の有無、明るさ調整のレベルの変更、コントラストのレベルの変更、色相・明度・彩度のレベルの変更、表色系の各成分（赤・青・黄）のレベルの変更、トリミング範囲の指定などを含む。これらの画像補正処理の内容の選択・指定は、ディスプレイ５０（またはインターネット経由で外部から接続してきた端末のディスプレイその他の代替物でも可。以下同様）に表示されたＧＵＩ上のボタンの押下やレベルゲージの選択ツマミの移動などで行うことができる。例えば、本出願人による特開平１１−３５５５８４号公報の図５に示されるＧＵＩを使用できる。フォトアルバム生成部３４は、当該ＧＵＩなどを介して入力された指示に従い、画像補正処理を実行する。なお、補正後の画像は補正前のオリジナル画像と名前や拡張子を変えて保存してもよいし、オリジナル画像を上書きしてもよい。

フォトアルバム作成装置１０が店頭プリント端末の場合、フォトアルバム生成部３４が作成したフォトアルバムは、ディスプレイ５０に出力されプレビュー表示されたものであるが、内容が確定すればユーザ指示に応じてプリンタ４４により印刷媒体に出力するか、またはＤＶＤなど当該フォトアルバムを映像データとして記録可能な記録メディア４０に転写できる。また、フォトアルバム作成装置１０が、インターネット経由で外部から接続してきた端末からフォトアルバム注文を受け付ける場合は、フォトアルバムのプレビューをディスプレイ５０でなく当該端末で表示可能なＷｅｂページなどに変換して当該端末に送信してもよい。あるいは、記録媒体や印刷媒体に出力することを前提とせず、携帯電話やデジカメなどの各種電子機器のフォトアルバム表示機能の一つとしてこの完成フォトアルバムを表示してもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する他の電子機器（例えば携帯電話やＰＤＡ）であれば、本発明の実施は可能である。

以下、図３のフローチャートに従い、第１実施形態に係るフォトアルバム作成処理の流れを説明する。この処理は、フォトアルバム生成部３４（またはＣＰＵ１２）によって実行される。この処理を記述したプログラムは、ＨＤＤ１８に記憶されている。

Ｓ１では、フォトアルバムに配置する画像を、記録メディア４０、メモリカード４２あるいはインターネット経由で外部から通信Ｉ／Ｆ２８に接続してきた端末などから読み込み、ＨＤＤ１８に格納する。画像とは、ＪＰＥＧなどの静止画ファイルの他、動画ファイルのキャプチャ画像も含む。

Ｓ２では、読み込んだ画像の一覧をディスプレイ５０に表示する。

Ｓ３では、表示された画像の中からアルバムに使用する画像を、ユーザによる操作部２６の入力操作に従って選択する。

Ｓ４では、Ｓ３における画像の選択内容に応じて、各画像に重要度（序列）を付与する。この処理の詳細は後述する。

Ｓ５では、各画像の重要度に応じ、画像をテンプレートに配置する。例えば、重要度の高い（若い）ものから、テンプレートの合成枠に付与された配列順Ｘ１、Ｘ２、・・に従って、順次テンプレートの合成枠にはめ込んで合成していく。そして、画像とテンプレートとの合成を完了したアルバムデータをディスプレイ５０やプリンタドライバ３８や通信Ｉ／Ｆ２８や記録メディア４０に出力する。

次に、Ｓ４の画像重要度算出サブルーチンの詳細について説明する。このサブルーチンには、各種の態様が採用される。

まず、１つ目の態様として、読み込んだ画像ごとに被写体を識別し、各被写体を含む画像の選択頻度に応じて、画像に重要度の指標を付与し序列化する。

ここでは図４に示すように、読み込んだ画像の総数が３００枚、テンプレートに配列されるものとして選択された画像すなわち選択画像の総数が４０枚であり、被写体Ａが識別された画像の総数が１２０枚、被写体Ｂが識別された画像の総数が５枚、被写体Ｃが識別された画像の総数が５０枚であり、かつ、選択画像のうち被写体Ａが識別された画像は５枚、選択画像のうち被写体Ｂが識別された画像は５枚、選択画像のうち被写体Ｃが識別された画像は１２枚である場合を例にとる。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度を算出する。ここでは、被写体Ａの写った画像の選択頻度Ａは５／１２０＝０．０４１であり、被写体Ｂの写った画像の選択頻度Ｂは５／５＝１であり、被写体Ｃの写った画像の選択頻度Ｃは、１２／５０＝０．２４である。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度に従って各被写体を含む画像の重要度を特定する。ここでは選択頻度を序列化し、この序列化された選択頻度を、対応する各画像の重要度とみなす。つまり、選択頻度Ｂ（１）＞選択頻度Ｃ（０．２４）＞選択頻度Ａ（０．０４１）と序列化されるから、画像の重要度（指標）は、被写体Ｂの写っている選択画像（１）＞被写体Ｃの写っている選択画像（２）＞被写体Ａの写っている選択画像（３）となる。よって、被写体Ｂの写っている選択画像には指標「１」、被写体Ｃの写っている選択画像には指標「２」、被写体Ａの写っている選択画像には指標「３」を付与する。後述するが、Ｓ５ではこのユーザの意図をフォトアルバムにおける画像の配置に反映する。

あるいは、図５に示すように、読み込んだ画像の総数が３００枚、テンプレートに配列される画像の総数すなわち選択すべき画像の総数が４０枚であり、被写体Ａが識別された画像の総数が６９枚、被写体Ｂが識別された画像の総数が７８枚、被写体Ｃが識別された画像の総数が５０枚であり、かつ、選択画像のうち被写体Ａが識別された画像は３８枚、選択画像のうち被写体Ｂが識別された画像は３枚、選択画像のうち被写体Ｃが識別された画像は４枚である場合を例にとる。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度を算出する。ここでは、被写体Ａの写った画像の選択頻度Ａは３８／６９＝０．５５であり、被写体Ｂの写った画像の選択頻度Ｂは３／７８＝０．０３８であり、被写体Ｃの写った画像の選択頻度Ｃは、４／５０＝０．０８である。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度に従って各被写体の重要度を特定する。ここでは選択頻度を序列化し、この序列化された選択頻度を、対応する各被写体を含む画像の重要度とする。つまり、選択頻度Ａ＞選択頻度Ｃ＞選択頻度Ｂと序列化されるから、画像の重要度（指標）は、被写体Ａの写った画像（１）＞被写体Ｃの写った画像（２）＞被写体Ｂの写った画像（３）となる。後述するが、Ｓ５ではこのユーザの意図をフォトアルバムにおける画像の配置に反映する。

あるいは、図６に示すように、読み込んだ画像の総数が３００枚、テンプレートに配列される画像の総数すなわち選択すべき画像の総数が４０枚であり、被写体Ａが識別された画像の総数が６９枚、被写体Ｂが識別された画像の総数が７８枚、被写体Ｃが識別された画像の総数が５０枚であり、かつ、選択画像のうち被写体Ａが識別された画像は３８枚、選択画像のうち被写体Ｂが識別された画像は３枚、選択画像のうち被写体Ｃが識別された画像は４枚である場合を例にとる。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度を算出する。ここでは、被写体Ａの写った画像の選択頻度Ａは３８／６９＝０．５５であり、被写体Ｂの写った画像の選択頻度Ｂは３／３＝１であり、被写体Ｃの写った画像の選択頻度Ｃは、４／４＝１である。

フォトアルバム生成部３４は、各被写体の写った画像の選択頻度に従って各被写体の重要度を特定する。ここでは選択頻度を序列化し、この序列化された選択頻度を、対応する各被写体を含む画像の重要度の指標とする。つまり、選択頻度Ｂ＝選択頻度Ｃ＞選択頻度Ａと序列化されるから、選択画像の重要度（指標）は、被写体Ｂの写っている選択画像（１）＝被写体Ｃの写っている選択画像（１）＞被写体Ａの写っている画像（３）となる。そして、その被写体の写っている画像の後述するが、Ｓ５ではこのユーザの意図をフォトアルバムにおける画像の配置に反映する。なお、被写体Ｂと被写体Ｃのように重要度の優劣がない場合の画像配置については後述の第５実施形態で説明する。

このように、ユーザが特定の被写体を高い頻度で選んでいれば、その被写体を含む画像には高い重要度を付与する。この結果、ユーザが重要度の高いと考える画像をアルバムに優先的に配置できる。

２つ目の態様としては、読み込んだ画像ごとに撮影時間帯を識別し、各画像から識別された撮影時間帯ごとに画像を分類し、各撮影時間帯に分類された画像の数に応じて、選択画像を序列化する。なお、画像が動画のキャプチャ画像である場合は、撮影時間帯の代わりにキャプチャした時間帯を用いてもよい。

例えば、図７に示すように、１／２０日の午前に撮影された全画像数は２１０枚、１／２０日の午後に撮影された全画像数は２０枚、２／１日の午前に撮影された全画像数は３０枚、２／１３日の午後に撮影された全画像数は５枚、２／１４日の午前に撮影された全画像数は３５枚とし、１／２０日の午前に撮影された選択画像数は１０枚、１／２０日の午後に撮影された選択画像数は１０枚、２／１日の午前に撮影された選択画像数は１枚、２／１３日の午後に撮影された選択画像数は５枚、２／１４日の午前に撮影された選択画像数は１４枚とする。

フォトアルバム生成部３４は、各時間帯に撮影された画像の選択頻度を算出する。ここでは、１／２０日の午前に撮影された画像の選択頻度は１０／２１０＝０．０４７であり、１／２０日の午後に撮影された画像の選択頻度は１０／２０＝０．５であり、２／１日の午前に撮影された画像の選択頻度は１／３０＝０．０３３であり、２／１３日の午後に撮影された画像の選択頻度は５／５＝１であり、２／１４日の午前に撮影された画像の選択頻度は１４／３５＝０．４である。

フォトアルバム生成部３４は、各時間帯に撮影された画像の選択頻度に従って各時間帯に撮影された画像に重要度の指標を昇順に付与し序列化する。つまり、２／１３日午後の画像（１）＞１／２０日午後の画像（２）＞２／１４日午前の画像（３）＞２／１日午前の画像（４）＞１／２０日午前の画像（５）と序列化される。

３つ目の態様としては、読み込んだ画像ごとに風景画か人物画か、撮影シーンを識別し、各画像から識別された撮影シーンごとに画像を分類し、各撮影シーンに分類された画像の数に応じて、画像の重要度を付与し序列化する。

このように、ユーザが特定の時間帯の画像を高い頻度で選んでいれば、その時間帯に撮影された画像には高い重要度を付与する。この結果、ユーザが重要度の高いと考える画像をアルバムに優先的に配置できる。なお、撮影時間帯の他、ピントや絞りなど各種の撮影条件情報をメタ情報から取得し、その撮影条件ごとに画像を分類・集計して、各分類に対応する画像の重要度を付与することもできる。

例えば、図８に示すように、風景画の全画像数は２００枚、人物画の全画像数は１８０枚であり、風景画の選択画像数は３０枚、人物画の選択画像数は１０枚であるとする。この場合、風景画の選択頻度は３０／２００＝０．１５、人物画の選択頻度は１０／１８０＝０．０５５である。

フォトアルバム生成部３４は、各撮影シーンごとの画像の選択頻度に従って各時間帯に撮影された画像に重要度の指標を付与し序列化する。つまり、風景画（１）＞人物画（２）と序列化される。

あるいは、図９に示すように、風景画の全画像数は２００枚、人物画の全画像数は１０枚であり、風景画の選択画像数は３０枚、人物画の選択画像数は１０枚であるとする。この場合、風景画の選択頻度は３０／２００＝０．１５、人物画の選択頻度は１０／１０＝１であり風景画の選択頻度の方が人物画の選択頻度よりも高い。

フォトアルバム生成部３４は、各撮影シーンごとの画像の選択頻度に従って各時間帯に撮影された画像に重要度の指標を付与し序列化する。つまり、人物画（１）＞風景画（２）と序列化される。

このように、ユーザが特定の撮影シーンの画像を高い頻度で選んでいれば、その撮影シーンの画像には高い重要度を付与する。この結果、ユーザが重要度の高いと考える画像をアルバムに優先的に配置できる。

＜第２実施形態＞
以下、図１０のフローチャートに従い、第２実施形態に係るフォトアルバム作成処理の流れを説明する。

Ｓ１１〜Ｓ１３は、Ｓ１〜Ｓ３と同様である。

Ｓ１４では、読み出した画像に対して実施すべき画像補正の内容の選択を、操作部２６から受け付ける。この画像補正に関しての操作部２６からの入力指示内容、時間、回数などは、上述のように操作履歴情報としてデータ記録部３０に記録される。あるいは、外部の端末で作成された操作履歴情報をインターネット経由で取り込み、これをそのままデータ記録部３０に記録してもよい。

Ｓ１５では、Ｓ１４で記録された操作履歴情報に応じて、各画像の重要度を算出する。この処理の詳細は後述する。

Ｓ１６は、Ｓ５と同様である。

以下、Ｓ１５の重要度算出サブルーチンの詳細を説明する。

ここでは、画像選択後に画像の色補正・トリミングなどを行う場合、その補正の実施を選択・指示するための操作部２６への入力がユーザの意図を反映しており、これを基準に画像の重要度を付与する。

例えば、メタ情報に「人物画」の撮影モードで撮影された旨が記載されている選択画像または顔特徴量のパターンマッチングなどで特定の人物が検出された選択画像に対し、色補正やトリミングなどの各種補正を行う指示が入力された場合は、その人物画の重要度が高いと判断されるから、当該画像に対する指示入力回数または指示の開始から終了までの時間に応じた画像重要度の指標（ポイント、数値、フラグなど）を付与する。

あるいは、メタ情報に「風景画」の撮影モードで撮影された旨が記載されている画像かまたは人物検出できなかった画像に対して、各種の補正がされた場合、当該風景画に対する指示入力回数または指示の開始から終了までの時間に応じた画像重要度の指標を付与する。

そして、人物画、風景画ごとに重要度の指標を集計し、集計された指標の多い種類の画像から重要度の指標を新たに付与し序列をつける。例えば、人物画に対する指標の集計値が風景画に対する指標の集計値よりも大きければ、人物画（１）＞風景画（２）という序列となる。この場合、人物画を優先的にアルバムの先頭側に配置し、人物画メインのアルバムを作成できる。逆に、人物画に対する指標の集計値が風景画に対する指標の集計値よりも小さければ、風景画（１）＞人物画（２）という序列となる。この場合、人物画を優先的にアルバムの先頭側に配置し、人物画メインのアルバムを作成できる。

あるいは、被写体Ａが写っている各画像に対する画像補正の指示の総計が１００回、被写体Ｂが写っている各画像に対する画像補正の指示の総計が５０回であれば、被写体Ａを含む画像に対する重要度の指標は１、被写体Ｂを含む画像に対する重要度の指標は２とする。

画像の撮影シーンは、上記のような「人物画」や「風景画」に限らず、スポーツモードで撮影された画像、夜景モードで撮影された画像などであってもよい。要するに、特定の種類の画像あるいは特定の被写体の写っている画像に対して画像補正が行われていれば、その補正の頻度や補正に費やした時間に応じた重要度を、その特定の種類の画像あるいは特定の被写体の写っている画像に付与する。こうすれば、ユーザが補正をたくさん行っており、重要と思われる画像から優先的にアルバムに配置できる。

＜第３実施形態＞
第１または第２実施形態において、検出する特定の被写体の情報入力手段を設ければ、入力された特定人物を中心としたアルバムを作成できる。

例えば、フォトアルバム作成装置１０が店頭受付機であれば、操作者と正対する位置にカメラを設け、操作者の顔情報を取得する。あるいは、フォトアルバム作成装置１０がインターネットを介して接続された端末から注文を受け付けるサーバであれば、当該端末に接続するカメラで、あるいはカメラ付き携帯電話などで撮影された注文者の顔情報や、特定の建物やペットその他の物体を被写体とした画像をインターネットを介して受信する。

そして、入力された特定被写体の情報に基づいて、読み込まれた画像から当該特定被写体を検出する。そして、当該特定被写体が検出された画像にはその旨を示す指標を付与する。

そして、そのような指標が付与された画像を優先的にアルバムに配置することで、特定の被写体を中心としたアルバム、特定の風景を中心としたアルバム、アルバム注文者を中心にしたアルバムを作成できる。なお、特定被写体の情報が複数入力された場合は、各被写体間の優劣はつけず、どの被写体も均等に配置したアルバムとしてもよい。

＜第４実施形態＞
上述のようにして決まった画像重要度に応じてテンプレートへの画像の配置が決まるが、その内容にユーザが同意せず、配置内容を編集したい場合、現在の配置の基準をユーザに示し、手動操作での編集の省力化を図るには次のようにする。

図１１はレイアウト観点表示処理の流れを示すフローチャートである。

Ｓ３１は、上記第１〜第３実施形態のいずれかのアルバム作成処理を行う。

Ｓ３２では、作成されたアルバムをディスプレイ５０に出力し表示する。そして、編集を行わずこの内容でアルバムをプリントするかまたは編集を行うかを、操作部２６から選択入力させる。編集を行わない旨の選択入力があった場合はＳ３３、編集を行う旨の選択入力があった場合はＳ３４に進む。

Ｓ３３では、Ｓ３１で作成されたアルバムを印刷媒体に出力する。あるいはＤＶＤに転写する。

Ｓ３４では、上記第１実施形態のＳ４、第２実施形態のＳ１５、第３実施形態のように各画像に対して付与された画像重要度の指標をディスプレイ５０に表示する。例えば、図１２に例示するように、第１実施形態の第３の態様のような風景画、人物画の区別に応じた画像重要度、第３実施形態のような被写体に応じた画像重要度が決定されていれば、これらを一覧にして表示する。

ユーザは、この一覧を見て、アルバムの画像がどのような観点で自動的にレイアウトされているのかを知ることができる。

さらに、この一覧から、操作部２６への入力操作に応じて画像重要度を変更することもできる。例えば、現在の状態では風景の画像重要度が２、人物Ｃの画像重要度が３、人物Ｄの画像重要度が２となっているが、人物Ｃの画像重要度が２、風景の画像重要度が４、人物Ｄの画像重要度が５などと任意に変更できる。そして、ユーザの指示に応じ、変更された画像重要度に基づいて画像の再レイアウトを開始する。

無論、この画像重要度の一覧を、Ｓ３１の実施前に行ってもよく、こうすれば、ユーザの意図に沿わない自動レイアウトの表示が省略される。

さらに、上記第１〜第４実施形態のいずれの態様で画像重要度を判定するかを、ユーザがモード選択し、その選択結果に応じた画像重要度を表示してもよい。つまり、どのような基準で画像の重要度を判定するかはユーザの任意の選択に任せてよく、どれかを固定的に採用する必然性はない。

＜第５実施形態＞
第１〜第４実施形態において、読み込んだ画像そのものをテンプレートに配置してもよいが、画像内の重要部分を切り出し、その切り出し部分を配置してもよい。

１つ目の態様としては、主要被写体（例えば第３実施形態で被写体の情報が入力されたもの、あるいは画面のタッチ操作で指定されるなど、外部からの情報入力により指定された被写体、あるいは画面中央部に存在する被写体）と主要被写体と一定の関係のある周辺被写体を中心にしたレイアウトを行うため、画像から主要被写体と周辺被写体をトリミングし切り出して、その切り出した主要被写体と周辺被写体を配置する。

例えば、図１３に示すような画像Ｉ１から、主要被写体Ａと周辺被写体Ｂの２つの被写体が検出された場合、両被写体間の距離を算出し、その距離が所定の範囲内（例えば１０画素）にあれば、両被写体を取り囲む矩形領域Ｚ１を画像Ｉ１に設定し、この矩形領域Ｚ１に囲まれる部分をトリミングする。

あるいは、図１４に示すような画像Ｉ２では、被写体Ａと被写体Ｂの２つの被写体間の距離が所定の範囲よりも大きいとする。この場合、主要被写体Ａを取り囲む矩形領域Ｚ２を画像Ｉ２に設定し、この矩形領域Ｚ２に囲まれる部分をトリミングする。

このように一定距離の範囲内にいる被写体だけを一緒に切り出すことで、関係の高い被写体に注目したアルバムを作成でき、例えば、赤ん坊を抱いた母親をトリミングしてアルバムに配置できる。

もっとも、主要被写体を起点にした距離の長短で単純にトリミング範囲を決めると、集合写真のように多数の人物が写った画像の場合、主要被写体と関連の高い人物であるのに主要被写体から一定範囲以上離れていればトリミング範囲から除外されてしまう。

このため、主要被写体を起点にして一定の範囲内にある別の被写体（準主要被写体）をさらに基準にして、その準主要被写体からさらに一定の範囲内にある別の被写体も準主要被写体とみなし、これを新たにトリミング範囲に取り込むことを繰り返す。

例えば、図１５のように、被写体Ａ〜Ｄは並んで写っており、友人関係などの一定の関係が推測されるため、主要被写体Ａからの距離が一定の範囲内にない被写体Ｃもトリミング範囲に取り込むのが自然である。そこで、主要被写体Ａからの距離が一定の範囲内Ｚ３にある準主要被写体Ｂ・Ｄを基準に、そこからの距離が一定範囲内にある周辺被写体Ｃも準主要被写体とみなし、トリミング範囲Ｚ４に取り込む。被写体Ｆは、準主要被写体Ｄから距離が一定範囲内にないため、トリミング範囲Ｚ４にはとりこまれない。

こうすることで、トリミングで写真中の人物が不自然に分断されるのを防げる。

また、画像中の被写体の並びから、被写体の重要度を算出し、これを画像の画像重要度に用いることもできる。

例えば図１６に示すような画像があり、主要被写体Ａの近傍に存在する準主要被写体Ｂ、Ｄと、主要被写体の近傍に存在しない周辺主要被写体Ｃ、Ｆを特定する。そして、主要被写体Ａには最も高い画像重要度を、準主要被写体Ｂ、Ｄの写った画像には主要被写体Ａの次に高い画像重要度を、周辺被写体Ｃ、Ｆの写った画像には準主要被写体よりも低い画像重要度を付与する。

このような被写体間の位置関係を規定する基準となる画像（基準画像）は、ユーザが任意に指定できるものとする。つまり、ユーザ自身がアルバムの配置に反映させたい被写体相互の位置関係を表す基準画像として例えば図１６のようなものを選べば、被写体Ａは最も優先的にアルバムに配置し、被写体ＢとＤは被写体Ａの次に優先的にアルバムに配置するなどとできる。無論、基準画像は図１６に示したものに限らず、別のものでもよい。例えば、被写体Ａと被写体Ｆを優先的に配置したければ、主要被写体Ａと被写体Ｆが非常に近接した位置にあるような画像を選べばよい。

こうすると、主要被写体の写った画像、準主要被写体の写った画像、周辺被写体の順から優先的にアルバムに配置できる。

なお、主要被写体が複数存在する場合、全ての主要被写体に同じ画像重要度を付与し、かつ、いずれの主要被写体もアルバムに同数出現するよう配置する。

また、単に主要被写体の出現回数を均等にしても、それらのサイズが異なれば、アルバムにおける印象度は違ってくるため、各主要被写体が与える印象をなるべく同等にするには、次のようにする。

まず、各画像における主要被写体ごとの登場回数の合計を算出する。登場回数が多い主要被写体は、それだけで印象が強いため、アルバムにおける当該主要被写体の顔領域の出力面積を小さくする。その代わり、登場回数が多い主要被写体は、アルバムの最初のページまたは見開きの最初のページといった目立つ場所に配置する。その他の配置条件は、なるべく均等にする。例えば、１ページ当たりの各被写体の登場回数の比を同じようにする。

逆に全画像での登場回数の少ない主要被写体は印象が弱いため、アルバムにおける顔領域の出力面積を大きくする。

そして、図１７に例示するように、画像の配置位置と顔領域の大きさを各々の主要被写体について決め、テーブル化し、ＨＤＤ１８などに格納する。アルバム合成の際には、このテーブルに従い、各主要被写体の顔領域をトリミングし、トリミング後の各主要被写体の顔領域をテーブルの規定するサイズに拡大または縮小して、当該サイズ調整された顔領域をテンプレートに配置する。こうすると、主要被写体同士の優劣がつかない場合であり、かつ、各主要被写体の出現回数がばらばらな場合も、アルバムでの配置と大きさを調整し、どの主要被写体も同じような印象を与えるようにできる。例えば、結婚式のアルバムを作成する際には、いずれも主要被写体である新郎も新婦も同じようなバランスでアルバムに登場させることができ、プレゼントに適する。

フォトアルバム作成装置の構成図 フォトアルバムテンプレートの一例を示す図 第１実施形態に係るフォトアルバム作成処理のフローチャート 各被写体の写った選択画像に付与された重要度の指標を例示した図 各被写体の写った選択画像に付与された重要度の指標を例示した図 各被写体の写った選択画像に付与された重要度の指標を例示した図 各撮影時間帯に対応する選択画像に付与された重要度の指標を例示した図 各撮影シーンの選択画像に付与された重要度の指標を例示した図 各撮影シーンの選択画像に付与された重要度の指標を例示した図 第２実施形態に係るフォトアルバム作成処理のフローチャート レイアウト観点表示処理のフローチャート 画像重要度の一覧表示の一例を示す図 主要被写体と周辺被写体の２つの被写体を包含するトリミング領域の一例を示す図 主要被写体のみを包含するトリミング領域の一例を示す図 主要被写体と準主要被写体を包含するトリミング領域の一例を示す図 基準画像の一例を示す図 複数の主要被写体の顔領域に対応する割り当てサイズと位置の関係を規定するテーブルの一例を示す図

符号の説明

１０：フォトアルバム作成装置、１８：ＨＤＤ、３４：フォトアルバム生成部

Claims (15)

1. 画像を取得する手段と、
   前記画像に関する属性を識別する手段と、
   前記画像に関する属性ごとに前記取得した画像を分類する手段と、
   ユーザからの画像選択操作に基づいて前記取得した画像の中から所望の画像を選択する手段と、
   前記画像に関する属性ごとに前記選択した画像を分類する手段と、
   前記画像に関する属性ごとに分類された前記取得した画像および前記選択した画像のうち、同一の属性に対応する前記取得した画像の数と前記選択した画像の数とを比較する手段と、
   前記取得した画像の数と前記選択した画像の数とを比較した結果に応じ、前記属性ごとに分類された前記選択した画像の重要度を示す指標を作成し、前記指標を前記選択した画像に付与する手段と、
   を含む画像重要度判定装置。
2. 前記属性は、画像に存在する被写体、撮影時間帯または撮影シーンを含む請求項１に記載の画像重要度判定装置。
3. 前記撮影シーンは人物撮影および風景撮影を含む請求項２に記載の画像重要度判定装置。
4. ユーザからの画像補正指示操作に基づいて前記属性ごとに分類された前記選択した画像への画像補正を実施する手段と、
   前記ユーザからの前記属性ごとに分類された前記選択した画像への画像補正指示操作に関する情報を記録する手段と、
   前記画像補正指示操作に関する情報に基づいて、前記属性ごとに分類された前記選択した画像の重要度を示す指標を作成し、前記指標を前記選択した画像に付与する手段と、
   を含む請求項１〜３のいずれかに記載の画像重要度判定装置。
5. 前記画像に関する属性を識別する手段は、前記選択した画像から主要被写体および主要被写体以外の周辺被写体を識別する手段を含み、
   前記識別された主要被写体と周辺被写体の間の距離である第１の距離を算出する手段と、
   前記第１の距離に基づいて、前記被写体ごとに分類された前記選択した画像の重要度を示す指標を作成し、前記指標を前記選択した画像に付与する手段と、
   を含む請求項２に記載の画像重要度判定装置。
6. 前記選択した画像に付与された指標を表示する手段を含む請求項１〜５のいずれかに記載の画像重要度判定装置。
7. 請求項１〜６のいずれかに記載の画像重要度判定装置と、
   前記画像重要度判定装置により前記指標が付与された画像ごとの前記指標に応じた割り当て領域を規定したアルバムテンプレートを取得する手段と、
   前記選択した画像に付与された指標に従い、前記取得されたアルバムテンプレートの各割り当て領域に前記選択した画像の各々を配置して合成する手段と、
   を含むアルバム自動レイアウト装置。
8. 前記選択した画像から主要被写体および前記主要被写体以外の周辺被写体を識別する手段と、
   前記識別された主要被写体から周辺被写体までの間の距離である第１の距離を算出する手段と、
   前記主要被写体からの前記第１の距離が所定の範囲内にある周辺被写体を準主要被写体と識別する手段と、
   前記主要被写体と前記準主要被写体とを包含する領域を前記選択した画像のトリミング領域に決定する手段と、
   前記選択した画像から前記トリミング領域を切り出す手段と、
   前記選択した画像に付与された指標に従い、前記取得されたアルバムテンプレートの各割り当て領域に前記選択した画像から切り出されたトリミング領域の各々を配置して合成する手段と、
   を含む請求項７に記載のアルバム自動レイアウト装置。
9. 前記準主要被写体から前記準主要被写体以外の周辺被写体との距離である第２の距離を算出する手段と、
   前記準主要被写体からの前記第２の距離が所定の範囲内にある周辺被写体を新たな準主要被写体として識別する手段と、
   を含む請求項８に記載のアルバム自動レイアウト装置。
10. 前記選択した画像における前記識別した主要被写体の各々の出現回数の総計を算出する手段と、
    前記選択した画像における前記識別した主要被写体の各々の出現回数の総計に応じ、各主要被写体の顔領域を包含するトリミング領域に対する割り当て領域のサイズおよび位置を決定する手段と、
    前記決定された割り当て領域のサイズおよび位置に従い、前記取得されたアルバムテンプレートの各割り当て領域に、前記選択した画像から切り出されたトリミング領域の各々を配置して合成する手段と、
    を含む請求項８または９に記載のアルバム自動レイアウト装置。
11. 前記アルバムテンプレートと前記画像とが合成されたアルバムを出力する手段を含む請求項７〜１０のいずれかに記載のアルバム自動レイアウト装置。
12. 請求項１〜６のいずれかに記載の画像重要度判定装置としてコンピュータを機能させるためのプログラム。
13. 請求項７〜１１のいずれかに記載のアルバム自動レイアウト装置としてコンピュータを機能させるためのプログラム。
14. フォトアルバム作成部を備えたフォトアルバム作成装置において、
    前記フォトアルバム作成部が、画像を取得するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性を識別するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに前記取得した画像を分類するステップと、
    前記フォトアルバム作成部が、ユーザからの画像選択操作に基づいて前記取得した画像の中から所望の画像を選択するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに前記選択した画像を分類するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに分類された前記取得した画像および前記選択した画像のうち、同一の属性に対応する前記取得した画像の数と前記選択した画像の数とを比較するステップと、
    前記フォトアルバム作成部が、前記取得した画像の数と前記選択した画像の数とを比較した結果に応じ、前記属性ごとに分類された前記選択した画像の重要度を示す指標を作成し、前記指標を前記選択した画像に付与するステップと、
    を含む画像重要度判定方法。
15. フォトアルバム作成部を備えたフォトアルバム作成装置において、
    前記フォトアルバム作成部が、画像を取得するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性を識別するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに前記取得した画像を分類するステップと、
    前記フォトアルバム作成部が、ユーザからの画像選択操作に基づいて前記取得した画像の中から所望の画像を選択するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに前記選択した画像を分類するステップと、
    前記フォトアルバム作成部が、前記画像に関する属性ごとに分類された前記取得した画像および前記選択した画像のうち、同一の属性に対応する前記取得した画像の数と前記選択した画像の数とを比較するステップと、
    前記フォトアルバム作成部が、前記取得した画像の数と前記選択した画像の数とを比較した結果に応じ、前記属性ごとに分類された前記選択した画像の重要度を示す指標を作成し、前記指標を前記選択した画像に付与するステップと、
    前記フォトアルバム作成部が、前記指標が付与された画像ごとの前記指標に応じた割り当て領域を規定したアルバムテンプレートを取得するステップと、
    前記フォトアルバム作成部が、前記選択した画像に付与された指標に従い、前記取得されたアルバムテンプレートの各割り当て領域に前記選択した画像の各々を配置して合成するステップと、
    を含むアルバム自動レイアウト方法。

Images