JP5788455B2

JP5788455B2 - 画像割当装置および画像割当方法

Info

Publication number: JP5788455B2
Application number: JP2013203253A
Authority: JP
Inventors: 陽平桃木; 啓山路
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-09-30
Filing date: 2013-09-30
Publication date: 2015-09-30
Anticipated expiration: 2033-09-30
Also published as: CN104517119A; US9509859B2; JP2015069426A; CN104517119B; US20150093034A1

Description

本発明は、複数の画像に基づいてフォトブック等の商材を作成する際に用いる画像割当装置および画像割当方法に関するものである。

従来より、画像データのメタ情報（Ｅｘｉｆ）に記録された撮影日時情報を使って複数の画像をグルーピングし、表示用ページに割り当てることで、フォトブック、コラージュ等の商材の自動作成が行われている。

特許文献１には、画像データについて、Ｅｘｉｆ等のメタデータとして保持される撮影時刻に基づいてクラスタリング処理を行い、クラスタに基づいて画像のレイアウトを行う旨が開示されている。

特開２０１３−４６１８８号公報

近年、画像を利用したＳＮＳサービス等では、ユーザが画像データをＳＮＳのサーバにアップロードする際、プライバシー保護の観点からＥｘｉｆ等の画像のメタ情報を削除する処理が行われることが多い。
画像データにおいてメタ情報が削除されると、メタ情報に含まれる撮影情報も削除されるため、画像の撮影日時が判別できなくなり、これらの撮影日時の判別できない複数の画像からフォトブックを作成しようとすると、画像の並び順がばらばらとなり、ユーザが逐一画像を確認しつつレイアウトを変更しない限り、所望のレイアウトのなされたフォトブックを作成することはできない。

フォトブックを作成するにあたって、所望のレイアウトを行うためには、Ｉ．「画像群を綺麗に分割すること」、ＩＩ．「画像群を綺麗に分割できなかったとしても、できる限り隣接するページに割り当てること」、ＩＩＩ．「画像群の画像枚数と表示ページ数とのバランスをとること」の３点の条件が重要となる。
Ｉ．「画像群を綺麗に分割すること」とは、図１８（Ａ）の画像群Ａおよび画像群Ｂに示すように、１つの表示ページが１つの画像群の画像のみで構成されることを表し、図１８（Ｂ）の画像群Ａおよび画像群Ｂに示すように、１つの表示ページに複数の画像群の画像が配置されたり、図１８（Ｃ）の画像群Ｂに示すように、１つの画像群、特に、１つの画像群の中でも類似する画像どうしが複数のページにまたがって配置されることをないようにすることである。

また、ＩＩ．「画像群を綺麗に分割できなかったとしても、できる限り隣接するページに割り当てること」とは、図１９（Ａ）の画像群Ａや画像群Ｂに示すように、１つの画像群が複数ページ離れて表示されることを防ぎ、図１９（Ｂ）の画像群Ａや画像群Ｂに示すように、１つの画像群をできる限り隣接するページに割り当てることである。
そして、ＩＩＩ．「画像群の画像枚数と表示ページ数とのバランスをとること」とは、図２０（Ａ）、（Ｂ）に示すように、画像枚数の多い画像群Ａには、ページ数を多く割り振り、画像枚数の少ない画像群Ｂには、ページ数を少なく割り振ることである。

本発明の目的は、撮影情報の有無に限らず、上述のＩ〜ＩＩＩの条件を満たすように、複数の画像を複数の画像群に分類し並び変える画像割当装置および画像割当方法を提供することにある。

上記課題を解決するために、本発明は、画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当装置であって、画像特徴量を有する複数の画像データを、画像特徴量に基づいて表示用ページのページ数に対応する画像群に分類する画像群分類部と、画像特徴量に基づく画像群の間の距離に応じて画像群の並び順を並び変える画像群ソート部とを備えることを特徴とする画像割当装置を提供する。

また、複数の画像データのそれぞれの画像特徴量を算出する画像特徴量算出部を更に備えることが好ましい。

また、ページ数を変更するページ数変更部を更に備えることが好ましい。

また、画像群分類部は、ページ数変更部においてページ数が増加された場合に、画像群の数が変更後のページ数となるまで、複数の画像群のうち、最も画像枚数の多い画像群を順次分割し、ページ数変更部においてページ数が減少された場合に、画像群の数が変更後のページ数となるまで、複数の画像群のうち、最も画像枚数の少ない画像群と、最も画像枚数の少ない画像群に最も近いもう１つの画像群とを順次統合することが好ましい。

また、画像群分類部は、ページ数変更部においてページ数が変更された場合に、画像特徴量に基づいて複数の画像データを変更後のページ数に対応する画像群に再度分類することが好ましい。

また、本発明は、画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当装置であって、画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類する画像群分類部と、前記複数の画像データの備える撮影情報に基づいて前記複数の画像データの並び順を決定する並び順決定部とを備え、前記画像群分類部は、前記画像特徴量、前記画像群の分類および前記複数の画像データの並び順に基づいて、前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする画像割当装置を提供する。

また、前記複数の画像データのそれぞれの前記画像特徴量を算出する画像特徴量算出部を更に備えることが好ましい。

また、画像群分類部は、画像特徴量と並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、画像間類似度に基づいて複数の画像データを表示用ページのページ数に対応する画像群に再分類することが好ましい。

また、画像群分類部は、画像特徴量と並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、画像間類似度に基づいて表示用ページの推奨ページ数を算出することが好ましい。

また、画像群分類部は、画像群の分類と並び順とに基づいて、複数の画像データを複数の新たな画像群に分類し、画像特徴量と並び順とに基づいて、隣接する画像間の画像間類似度を算出し、複数の新たな画像群を画像間類似度に基づいて統合または分割することで複数の画像データを表示用ページのページ数に対応する画像群に再分類することが好ましい。

また、撮影情報判定部を更に備え、撮影情報判定部は、複数の画像データのうち、撮影情報を有する画像データか撮影情報を有しない画像データかを判定することが好ましい。

また、撮影情報判定部は、撮影情報を有しない画像データの画像枚数が撮影情報を有する画像データの画像枚数よりも所定枚数以上多い場合に、撮影情報を有する画像データと撮影情報を有しない画像データとを区別せずに複数の画像群に分類し、撮影情報を有する画像データの画像枚数が撮影情報を有しない画像データの画像枚数よりも所定枚数以上多い場合または、撮影情報を有する画像データの画像枚数と撮影情報を有しない画像データの画像枚数との枚数差が所定範囲内である場合に、撮影情報を有する画像データを複数の画像群に分類し、撮影情報を有しない画像データを画像特徴量に基づいて撮影情報を有する画像データの複数の画像群のいずれかに追加することが好ましい。

また、分類切替部を更に備え、分類切替部により撮影情報判定部を指示することで、撮影情報を有する画像データと撮影情報を有しない画像データと切り替えて表示用ページに割り当てることが好ましい。

また、撮影情報は、撮影日時または撮影順序の情報を含むことが好ましい。

また、本発明は、画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当方法であって、画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類し、前記画像特徴量に基づく前記画像群の間の距離に応じて前記画像群の並び順を並び変えることを特徴とする画像割当方法を提供する。

また、前記画像群の分類前に、前記複数の画像データのそれぞれの前記画像特徴量を算出することが好ましい。

また、さらに、ページ数を変更し、変更されたページ数に基づいて画像群の分類を行ってもよい。

また、ページ数が増加された場合に、画像群の数が変更後のページ数となるまで、複数の画像群のうち、最も画像枚数の多い画像群を順次分割し、ページ数が減少された場合に、画像群の数が変更後のページ数となるまで、複数の画像群のうち、最も画像枚数の少ない画像群と、最も画像枚数の少ない画像群に最も近いもう１つの画像群とを順次統合することが好ましい。

また、ページ数が変更された場合に、画像特徴量に基づいて複数の画像データを変更後のページ数に対応する画像群に再度分類することが好ましい。

また、本発明は、画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当方法であって、画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類し、前記複数の画像データの備える撮影情報に基づいて前記複数の画像データの並び順を決定し、前記画像特徴量、前記画像群の分類および前記複数の画像データの並び順に基づいて、前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする画像割当方法を提供する。

また、画像特徴量と並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、画像間類似度に基づいて複数の画像データを表示用ページのページ数に対応する画像群に再分類することが好ましい。

また、画像特徴量と並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、画像間類似度に基づいて表示用ページの推奨ページ数を算出することが好ましい。

また、画像群の分類と並び順とに基づいて、複数の画像データを複数の新たな画像群に分類し、画像特徴量と並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、複数の新たな画像群を画像間類似度に基づいて統合または分割することで複数の画像データを表示用ページのページ数に対応する画像群に再分類することが好ましい。

また、複数の画像データのうち、撮影情報を有する画像データか撮影情報を有しない画像データかを判定することが好ましい。

また、撮影情報を有しない画像データの画像枚数が撮影情報を有する画像データの画像枚数よりも所定枚数以上多い場合に、撮影情報を有する画像データと撮影情報を有しない画像データとを区別せずに複数の画像群に分類し、撮影情報を有する画像データの画像枚数が撮影情報を有しない画像データの画像枚数よりも所定枚数以上多い場合または、撮影情報を有する画像データの画像枚数と撮影情報を有しない画像データの画像枚数との枚数差が所定範囲内である場合に、撮影情報を有する画像データを複数の画像群に分類し、撮影情報を有しない画像データを画像特徴量に基づいて撮影情報を有する画像データの複数の画像群のいずれかに追加することが好ましい。

また、撮影情報を有する画像データと撮影情報を有しない画像データと切り替えて表示用ページに割り当てることが好ましい。

また、前記撮影情報は、撮影日時または撮影順序の情報を含むことが好ましい。

本発明によれば、複数の画像を、上述のＩ〜ＩＩＩの条件を満たすように、複数の画像群に分類し並び変えることができるため、所望の画像群に基づいて所望のレイアウトのなされたフォトブック等の商材を作成することができる。

本発明の実施の形態１に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。図１のフォトブック作成装置のフォトブック作成フローを示すフローチャートである。クラスタリング処理の一例であるｋ平均法を説明する説明図である。各画像群と各画像群における中心位置を説明する説明図である。各画像群における中心間距離を説明する説明図である。図１のフォトブック作成装置において、ページ数を変更した場合のフローを示すフローチャートである。（Ａ）は、図１の画像割当装置において画像群を分割する場合の説明図であり、（Ｂ）は、画像群を統合する場合の説明図である。本発明の実施の形態２に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。図８のフォトブック作成装置のフォトブック作成フローを示すフローチャートである。（Ａ）〜（Ｄ）は、図９のフォトブック作成フローにおいて、画像群の再分類を説明する説明図である。図８のフォトブック作成フローにおけるステップＳ２２の詳細フローを示すフォローチャートである。本発明の実施の形態３に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。図１２に示す画像割当装置において、撮影日時有りの画像からなる画像群に対して撮影日時無しの画像を追加する場合の説明図である。フォトブックの表示ページをページ表示装置で表示した場合の一例を示す説明図である。本発明の画像割当装置において、作成するフォトブックの推奨ページ数を算出する場合の算出方法を示す説明図である。（Ａ）および（Ｂ）は、本発明の画像割当装置においてコラージュを作成する場合の作成方法を示す説明図である。本発明の実施の形態４に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。（Ａ）〜（Ｃ）は、フォトブックの表示ページと画像群との関係を説明する説明図である。（Ａ）および（Ｂ）は、フォトブックの表示ページと画像群の並び順との関係を説明する説明図である。（Ａ）および（Ｂ）は、フォトブックの表示ページのページ数と画像群における画像枚数との関係を説明する説明図である。

本発明に係る画像割当装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

実施の形態１
図１は、本発明の実施の形態１に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。図１に示すように、フォトブック作成装置は、画像格納部１と、画像格納部１に接続される画像割当装置２と、画像割当装置２にそれぞれ接続されるページ表示装置３およびプリンタ４とからなる。

画像格納装置１は、複数の画像を画像データとして格納するもので、例えば、ハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体およびそれらを読み出す機器によって構成されてもよい。また、インターネット上のサーバ等で構成されてもよい。

画像割当装置２は、画像格納装置１から順次接続される画像特徴量算出部５、画像群分類部６、画像群ソート部７および画像レイアウト部８と、画像特徴量算出部５、画像群分類部６、画像群ソート部７および画像レイアウト部８のそれぞれに接続する制御部９と、制御部９に接続するページ変更部１０、操作部１１および格納部１２を備える。また、画像特徴量算出部５および画像群分類部６に接続する画像メモリ１３と、画像レイアウト部８に接続するレイアウトメモリ１４とを備える。
画像特徴量算出部５は、画像データを画像解析することで、画像の色ヒストグラム、画像内容等を画像特徴量として算出し、画像データと算出された画像特徴量とを関連付けるものである。

画像群分類部６は、作成するフォトブックのページ数に応じて、複数の画像データを上述の画像特徴量に基づいて複数の画像群（画像クラスタ）に分類し、画像データと画像群の情報とを関連付けるものである。例えば、１つの画像群がフォトブックの１ページに対応し、画像群の数がフォトブックのページ数と一致するように画像群を分類する。なお、作成するフォトブックのページ数は予め指定されていてもよく、また、ページ数変更部１０において指定または変更されたものであってもよい。
画像群ソート部７は、画像群の並び順を並び変えるもので、例えば、画像群に属する複数の画像の画像特徴量から、画像群ごとに画像群基準値を算出し、画像群基準値に基づいて画像群間の類似度を算出して、画像群間の類似度に基づいて画像群の並び変えを行う。具体的には、画像データの画像特徴量に基づいて画像群の重心位置を算出し、画像群の重心位置に基づいて、画像群間の距離を算出し、画像群間の距離に基づいて、例えば、距離の近い順に並ぶように画像群を並び変える。

画像レイアウト部８は、画像群ごとに分類された画像データをフォトブックの表示用ページに配置（レイアウト）する。なお、画像レイアウト部８は、レイアウトメモリ１４に格納された複数のレイアウト配置を備え、例えば、画像枚数や画像特徴量等に応じて、１つのレイアウト配置を選択し、画像データを対応させることで画像データのレイアウトを行う。なお、画像レイアウト部８は、レイアウト配置に限らず、例えば、背景の選択・変更、装飾等の配置も行い、最終製品としてのフォトブックの表示ページに対応したページデータを作成する。

制御部９は、画像割当装置２の各部の制御を行うもので、操作部１１からのユーザの指示により、画像格納装置１からの複数の画像の取得し、ページ表示装置３およびプリンタ４へ作成したフォトブックのデータを出力する。また、ページ数変更部１０によって作成するフォトブックのページ数が変更された場合には、ページ数に基づいて画像群の再分類を行う。
ページ数変更部１０は、ユーザの指示によってフォトブックの表示用ページのページ数を変更する。なお、ユーザは、上述のとおり、ページ数変更部１０を通じて作成するフォトブックのページ数を予め指定することができる。
また、操作部１１は、ユーザの指示を入力するもので、マウス、キーボード、タッチパネル等、種々の公知の入力機器を利用することができる。そして、格納部１２は、画像割当装置の動作に必要なプログラム等の種々の情報を格納するもので、制御部９の指示に基づいて各種情報を制御部９へ出力する。

図２は、実施の形態１に係る画像割当装置を備えるフォトブック作成装置のフォトブック作成フローを示すフローチャートである。図２に基づいて、フォトブック作成の動作を説明する。
まず、ステップＳ１として、画像割当装置２は、画像格納装置１に格納された複数の画像データを取得する。画像データの取得は、例えば、画像格納装置１がインターネット上に接続されたサーバである場合には、インターネットを通じて取得してもよい。
次に、ステップＳ２として、画像割当装置２の画像特徴量算出部５は、複数の画像データのそれぞれの画像特徴量を算出し、画像データと関連付けて、画像群分類部６および画像メモリ１３の少なくとも一方に出力する。画像特徴量算出部５は、例えば、画像データごとに画像解析を行って、画像データの色ヒストグラムを算出し、色ヒストグラムを画像特徴量とする。

続くステップＳ３では、画像群分類部６において、画像特徴量算出部５で算出された画像特徴量を基準として複数の画像データを、作成するフォトブックのページ数に対応した複数の画像群に分類（クラスタリング）する。
画像群の分類には、種々の公知のクラスタリング手法が利用できる。

例えば、ｋ平均法に基づいて、複数の画像データを指定された数の画像群に分類する場合を説明する。
図３（Ａ）に示すように、画像特徴量に基づいて複数の画像データｘｉ（ｉ＝１，…，ｎ）をマッピングする。説明のため、図３（Ａ）では２次元で画像データのマッピングを説明しているが、一般的には多次元でもよい。様々な画像特徴量を考慮することができる。
次に、図３（Ｂ）に示すように、マッピングされた複数の画像データｘｉのそれぞれに対して、ランダムに画像群（クラスタ）の割り当て（分類）を行う。ここで、画像群数（クラスタ数）Ｋは、作成するフォトブックのページ数とする。ここではＫ＝５であるため、図３（Ｂ）に示すように複数の画像データはランダムに５つの画像群に分類される。

複数の画像データに対してランダムな画像群の割り振りを行った後、図３（Ｃ）に示すように、各画像群の中心位置（Ｖｊ（ｊ＝１，…，Ｋ））を算出する。例えば、中心位置Ｖｊの算出には、画像データｘｉの配置の算術平均が用いられる。ここでは、Ｋ＝５であるため、５つの画像群に対する中心位置Ｖ１〜Ｖ５が算出される。
そして、算出された各画像群の中心位置Ｖｊと各画像データｘｉとの距離を求めて、図３（Ｄ）に示すように、各画像データｘｉを最も近い中心位置Ｖｊに対応する画像群に割り当て直す。
上述の画像群の割当直しにおいて、全ての画像データｘｉの画像群の割り当てが変化しなかった場合、または、変化量が所定の閾値を下回った場合には、収束したと判断して画像群の割り当てを終了する。

図３（Ｄ）に示すように、画像群の割り当てが変化した場合には、図３（Ｅ）に示すように、画像群の変化後の各画像データｘｉに基づいて各画像群の中心位置Ｖｊを算出し直す。図３（Ｄ）と図３（Ｅ）とを比較すると、画像群の中心位置Ｖ１〜Ｖ５が移動しているのが分かる。
そして、図３（Ｆ）に示すように、算出し直した各画像群の中心位置Ｖｊに基づいて、各画像データｘｉに対して、再度、画像群の割り当てを行う。

ステップＳ４では、上述の各画像群間の距離を算出し、画像群ソート部７において、各画像群間の距離に基づいて画像群の並べ替え（ソート）を行う。なお、画像群間の距離が画像群間の類似度に対応するため、画像群の並び変えは、類似する画像群が隣り合うように、画像群間の距離が短い順に画像群が並ぶように行う。
例えば、図４に示す５つの画像群Ｐ１〜Ｐ５について、各画像群の画像データの画像特徴量に基づいて各画像群の中心位置Ｐ１´〜Ｐ５´を算出し、図５に示すように、中心位置Ｐ１´〜Ｐ５´のそれぞれの間の距離を算出する。中心位置Ｐ１´〜Ｐ５´のそれぞれの間の距離からすると、画像群Ｐ１、画像群Ｐ２、画像群Ｐ３、画像群Ｐ４、画像群Ｐ５の順で画像群が並べばよい。

上述のとおり、類似する画像群が隣り合うように画像群の並べ替えを行った後、ステップＳ５として、画像レイアウト部８において、作成するフォトブックの各表示ページに各画像群が対応するように画像の配置を行う。画像レイアウト部８は、レイアウトメモリ１４の保存されたフォトブックの表示ページのレイアウト表示を取得し、レイアウト表示に対して画像群を構成する各画像を対応させることで、表示ページにおける画像の配置を行う。
なお、表示ページのレイアウトは、例えば、画像群の枚数に基づいて決定されてもよく、画像群を構成する各画像の画像特徴量に基づいて決定されてよく、また、これらの組み合わせによって決定されてもよい。
画像レイアウト部８は、表示ページに各画像を配置したフォトブックのデータをページ表示装置３へ出力する。

最後に、ステップＳ６として、ページ表示装置３は、画像レイアウト部８において作成されたフォトブックのデータを取得して表示する。また、ページ表示装置３において表示されたフォトブックは、ユーザの指示により、プリンタ４において、紙媒体に出力されてもよい。

次に、ページ数変更部１０において、作成するフォトブックのページ数を変更する場合の動作を説明する。
ユーザによって、ページ数変更部１０を通じて作成するフォトブックのページ数が変更されると、画像群分類部６は、画像メモリ１３に格納された複数の画像データと画像データに対応する画像特徴量とを取得し、再度、上述のステップＳ３を行うことで変更されたページ数に対応するように画像群の再分類を行い、再分類された画像群に基づいてステップＳ４〜Ｓ６を行うことでページ数が変更されたフォトブックを作成してもよい。

また、画像群分類部６による既存の画像群の分類を活かしつつ、ページ数の変更を行うこともできる。
図６のフローチャートに示すように、ステップＳ１１として、ページ数変更部１０によって作成するフォトブックのページ数が変更された場合、制御部９は、ステップＳ１２に示すように、ページ数の増減を判断し、ページ数が増加した場合には、ステップＳ１３として、図７（Ａ）に示すように画像群分類部６において最も画像枚数の多い画像群を分割し、また、ページ数が減少した場合には、ステップＳ１４として、図７（Ｂ）に示すように画像群分類部６において最も画像枚数の少ない画像群を画像群間の距離が最も距離の近い隣接画像群と統合してもよい。
分割後または統合後の動作であるステップＳ４´〜ステップＳ６´は、上述のステップＳ４〜ステップＳ６と同じである。
図６および図７（Ａ）、（Ｂ）に示す方法では、画像群分類部６において複数の画像に対する画像群の分類を再度行わなくとも、作成されるフォトブックのページ数に対応した画像群の分類を行うことができる。

実施の形態１に係る画像割当装置によってフォトブックの各ページに配置される画像を画像特徴量に基づいてフォトブックのページ数に応じた画像群に分類し、類似する画像群が隣接するように画像群の並び順を並び変えて、画像群ごとに各ページに画像を配置することでフォトブックを作成しているため、Ｉ．「画像群を綺麗に分割すること」ができ、ＩＩ．「画像群を綺麗に分割できなかったとしても、できる限り隣接するページに割り当てること」ができ、そして、ＩＩＩ．「画像群の画像枚数と表示ページ数とのバランスをとること」ができた、所望のレイアウトのなされた所望のフォトブックを作成することができる。

実施の形態２
また、上述の実施の形態１に係る画像割当装置では、撮影日時も撮影順序も考慮していなかったが、Ｅｉｘｆ等のメタ情報が削除され、撮影日時の情報が残っていなくとも、画像のファイル名等から撮影順序が判断できる場合がある。この場合、撮影順序を考慮することで、複数の画像の画像群の分類の精度を更に上げることができ、フォトブックにおける表示ページへの画像割当の精度を更に上げることができる。

図８は、本発明の実施の形態２に係る画像割当装置を備えるフォトブック作成装置の構成を示すブロック図である。
図８に示すように、実施の形態２に係る画像割当装置２２は、画像特徴量算出部５に接続され画像レイアウト部８に接続する画像群分類部２６、画像群分類部２６に接続されるとともに画像群分類部２６に接続する並び順決定部２７と、これらを含む画像割当装置２２の各部にそれぞれ接続する制御部２９の構成が実施の形態１に係る画像割当装置２と異なる以外は、実施の形態１に係る画像割当装置２と同様の構成を備える。

画像群分類部２６は、実施の形態１と同様に、画像特徴量算出部５において算出された画像特徴量に基づいて複数の画像データを指定ページ数に対応した複数の画像群に分類する。
また、画像群分類部２６は、並び順決定部２７において決定された並び順と、上述の画像群の情報とに基づいて、複数の画像を作成するフォトブックのページ数に対応した複数の画像群に再分類する。なお、画像群の再分類の詳細な方法については、後述する。

並び順決定部２７は、画像群の分類に限らず、複数の画像データ全体における画像データの並び順を決定するもので、例えば、複数の画像データにおいて、画像の撮影順序が分かる場合に、画像の撮影順序に基づいて複数の画像データ全体の並び順を決定する。また、撮影順序ではなく撮影日時情報が分かる場合には、撮影日時情報に基づいて画像データの並び変えを行ってもよい。また、画像データのＥｘｉｆ等のメタ情報の少なくとも一部が残っている場合、例えば、ＧＰＳによる位置情報が分かる場合には、ＧＰＳによる位置情報を考慮して画像データの並び変えを行ってもよい。

制御部２９は、並び順決定部２７に接続され、並び順決定部２７において画像データの並び変えを制御する点、および、画像群分類部において、画像特徴量と画像データの並び順とに基づく画像群の再分類を制御する点において実施の形態１の制御部９と異なる。

図９は、実施の形態２に係る画像割当装置を備えるフォトブック作成装置のフォトブック作成フローを示すフローチャートである。図９に基づいて、フォトブック作成の動作を説明する。
ステップＳ１´〜ステップＳ３´、ステップＳ５´´、ステップＳ６´´は、実施の形態１のステップＳ１〜ステップＳ３、ステップＳ５、ステップＳ６と同様であるため、説明を省略し、実施の形態１と動作の異なるステップＳ２１、ステップＳ２２について詳細を説明する。

ステップＳ２１において、並び順決定部２７は、図１０（Ａ）に示すように、複数の画像群に分類された複数の画像データ全体の並び順を決定する。並び順の決定は、例えば、複数の画像について撮影順序が明らかな場合には、撮影順序に基づいて複数の画像データを並び変えて、複数の画像データの並び順を決定する。並び順決定部２７は、画像データの並び順を画像群分類部２６へ出力する。

続くステップＳ２２では、画像群分類部２６は、画像群の再分類を行う。ステップＳ２２における画像群の再分類は、図１１に詳細に示すステップで行われる。
ステップＳ３１において、並び順決定部２７おいて決定された複数の画像データの並び順と、上述のステップＳ３´における画像群の分類とに応じて、図１０（Ｂ）に示すように、画像データの並び順において、画像群の種別が変わるごとに新たな画像群として再分類を行う。
図１１の続くステップＳ３２では、複数の画像データの並び順に応じて、隣接画像間の類似度を算出する。隣接画像間の類似度は、例えば、隣接する画像データの２つの画像特徴量に基づいて算出すればよい。

次に、ステップＳ３３では、ステップＳ３１において再分類された画像群数と作成するフォトブックのページ数とを比較し、画像群数とページ数とが一致すればステップＳ５´へ進み、画像群数とページ数とが一致しなければステップＳ３４へ進む。
ステップＳ３４では、画像群数とページ数とを比較し、画像群数がページ数よりも少なければ、ステップＳ３５へ進み、画像群数がページ数よりも多ければ、ステップＳ３６へ進む。

画像群数がページ数よりも少ない場合、ステップＳ３５において、最も画像枚数が多い画像群を分割する。具体的には、最も画像枚数が多い画像群において、隣接画像間の類似度が最も小さい箇所で分割し、画像群数を１増加させてステップＳ３３の直前に戻す。なお、ステップＳ２２において、画像群数がページ数よりも少ない場合としては、ページ数変更部１０において、ページ数が変更された場合が挙げられる。
また、画像群数がページ数よりも多い場合、ステップＳ３６において、図１０（Ｃ）に示すように、画像群の境界における隣接画像間の類似度を算出し、最も類似度が高い箇所で隣接する画像群どうしを統合し、画像群数を１減少させてステップＳ３３の直前に戻す。

ステップＳ３３〜ステップＳ３６を繰り返すことで、図１０（Ｄ）に示すように、画像群分類部２６において、複数の画像データの並び順をそのままに画像群数とページ数と一致させることができる。
これ以降のステップＳ５´´、ステップＳ６´´は、実施の形態１のステップＳ５、ステップＳ６と同様である。

上述のとおり複数の画像を分類し、フォトブックのページのレイアウトを行うことで、画像ごとの画像特徴量と画像の撮影順序との両方を考慮したフォトブックのレイアウトを行うことができ、実施の形態１と同様に、Ｉ．「画像群を綺麗に分割すること」ができ、ＩＩ．「画像群を綺麗に分割できなかったとしても、できる限り隣接するページに割り当てること」ができ、そして、ＩＩＩ．「画像群の画像枚数と表示ページ数とのバランスをとること」ができた、所望のレイアウトのなされた所望のフォトブックを作成することができる。

実施の形態３
また、複数の画像データのうち、撮影順序または撮影日時を含む撮影情報を有する画像データ（以下、有する画像データという）と撮影情報を有しない画像データ（以下、有しない画像データという）とが混在する場合、有する画像データと有しない画像データとの画像枚数の差を考慮してフォトブックの作成を行ってもよい。

図１２に示すように、画像割当装置３２は、撮影情報判定部３０を備え、画像格納装置１から画像割当装置３２へ出力される複数の画像データのうち、有する画像データと有しない画像データとを判定し、有しない画像データの画像枚数が有する画像データの画像枚数よりも所定枚数以上多い場合には、上述の実施の形態１または実施の形態２で説明した方法によって複数の画像データを作成するフォトブックのページ数に対応する画像群に分類し、また、有する画像データの画像枚数が有しない画像データの画像枚数よりも所定枚数以上多い場合、または、有しない画像データの画像枚数と有する画像データの画像枚数との差が所定範囲に含まれる場合には、撮影情報判定部３０は、複数の画像データのうち有する画像データを画像割当装置２、２２へ出力して、有する画像データのみについて、画像群の分類を行い、その後、有しない画像データを画像割当装置３２へ出力して、有する画像データからなる画像群に、有しない画像データを追加する。
画像割当装置３２は、撮影情報判定部３０が画像特徴量算出部５の直前に設置された以外は、実施の形態１の画像割当装置２または実施の形態１の画像割当装置２２と同様である。

有する画像データからなる画像群への有しない画像データの追加は、図１３に示すように、画像群分類部６、２６において、画像特徴量に基づく各画像群の中心と、有しない画像の画像特徴量とに基づいて、各画像群と有しない画像データとの距離を算出し、最も距離の近い画像群、つまり、最も類似する画像群に、有しない画像データを追加する。
有しない画像データを追加するごとに、画像特徴量に基づく画像群の中心位置を算出し直し、有しない画像データが無くなるまで各画像群への追加を行うことで実施の形態１および実施の形態２と同様に、複数の画像データを作成するフォトブックのページ数に対応した画像群に分類することができる。

また、実施の形態１〜３に係る画像割当装置を備えるフォトブック作成装置において、ページ表示装置３で作成されるフォトブックのページを表示する場合、上述の撮影日時または撮影順序の情報を含む撮影情報を有する画像と上述の有しない画像とが判別できるように、画像表示を区別してもよい。例えば、図１４に示すように、有する画像に所定のアイコンを重畳表示することで、有する画像と有しない画像とが判別できるようにページを表示してもよい。
ユーザが一目で有する画像と有しない画像とを判別でき、例えば、有しない画像が本来配置されるべきでない場所に配置されている点等の確認を容易にすることができる。

なお、実施の形態１〜３に係る画像割当装置の画像レイアウト部８において表示ページに各画像をレイアウトする際、例えば、図１４に示すように、上述の有する画像を上述の有しない画像よりも大きく配置してもよい。有する画像を有しない画像よりも大きく配置することで、有しない画像が本来配置されるべきでない場所に配置されたとしても、その違和感を小さくすることができる。

また、実施の形態３において、画像割当装置３２の図示しない操作部（本発明の分類切替部を兼ねる。）を操作することで、撮影情報を考慮して画像群の分類を行うか、撮影情報を考慮しないで画像特徴量に基づいて画像群の分類を行うのかを選択してもよい。
撮影情報を考慮して画像群の分類を行う場合には、上述の実施の形態３に記載のとおり、撮影情報判定部３０において複数の画像対する判定がなされた後、画像群の分類がなされ、また、撮影情報を考慮しないで画像群の分類を行う場合には、撮影情報判定部３０における撮影情報の判定を行わないで、上述の実施の形態１または実施の形態２の記載のとおり画像群の分類がなされる。

また、上述の実施の形態２において、フォトブックのページ数が予め指定されていない場合に、フォトブックの推奨ページ数を決定し、ユーザに提案してもよい。
例えば、画像割当装置２２の並び順決定部２７において、複数の画像データの並び順を決定した後、画像群分類部２６において、画像特徴量に基づいて隣接する画像データの画像間類似度を算出し、算出した画像間類似度に基づいて推奨ページ数を決定する。これは、実施の形態２の画像割当装置２２の構成を備える実施の形態３の画像割当装置３２においても適用できる。

図１５に示すように、画像データの並び順に基づいて隣接画像間の類似度が最も小さい箇所において、画像群の分割を行う。
ステップＳ５１に示すように、複数の画像全体を１つの画像群として、隣接画像間の類似度が最も小さい箇所Ａ１で分割し２つの画像群とする。分割した箇所Ａ１の隣接画像間の類似度が所定値以下の場合には、ステップＳ５２として、次に隣接画像間の類似度が小さい箇所Ａ２で１つの画像群を２つに分割する。分割した箇所Ａ２の隣接画像間の類似度が所定値以下の場合、同様に、ステップＳ５３として、次に隣接画像間の類似度が小さい箇所Ａ３で１つの画像群を２つに分割し、ステップＳ５４として、次に隣接画像間の類似度が小さい箇所Ａ４で１つの画像群を２つに分割する。ステップＳ５４において分割した箇所Ａ４の隣接画像間の類似度が所定値以上となった場合には、そこで画像群の分割を辞めて、現在の画像群の数を推奨ページ数とする。
図１５では、分割箇所Ａ１〜Ａ４によってＰ１〜Ｐ５までの５つの画像群に分かれたため、推奨ページ数は５ページとなる。

また、実施の形態１〜３において分割された画像群に基づいて、複数画像からなるコラージュを作成してもよい。
例えば、図１６（Ａ）に示すように、各画像群から最も画像特徴量の大きい画像データを抽出し、１枚のコラージュを作成してもよく、また、図１６（Ｂ）に示すように、１つの画像群から、画像特徴量が大きい順に複数枚の画像データを抽出し、１枚のコラージュを作成してもよい。
また、上述の画像特徴量としては、色ヒストグラムに限らず画像のシャープネス等も利用することができる。

実施の形態４
なお、本発明の実施の形態１〜３に係る画像割当装置２、２２、３２は、画像特徴量算出部５を備え、複数の画像データを取得し、複数の画像データの画像特徴量をそれぞれ算出するが、本発明の画像割当装置は、予め画像特徴量が算出された複数画像データを取得して画像割当を行ってもよい。
本発明の実施の形態４に係る画像割当装置４２は、図１７に示すように、画像特徴量算出部を備えない。また、実施の形態１に係る画像割当装置２と相違点を比較すると、画像特徴量算出部５を備えないため、画像メモリ１３´は、画像群分類部６のみに接続し、また、制御部９´が、画像特徴量算出部に接続せず、画像群分類部６、画像群ソート部７および画像レイアウト部８のそれぞれに接続する。また、画像格納部１´が格納し、画像割当装置２へ出力する複数の画像に対応する複数の画像データは、対応する画像特徴量を予め有するものである。
また、実施の形態４に係る画像割当装置４２の上述以外の構成および動作は、実施の形態１の画像割当装置と同様である。
なお、実施の形態４に係る画像割当装置４２に示す画像特徴量算出部を備えない構成は、本発明の実施の形態２および３にも適用できる。これらの場合も、上述のとおり、画像割当装置が取得する複数の画像データが対応する画像特徴量を予め有することが前提となる。

なお、画像特徴量は、上述の実施の形態１〜３に記載のように画像特徴量算出部で算出される場合であっても、または、上述の実施の形態４に記載のように予め算出され画像データと共に記憶される場合であっても、対応する画像データに紐付いていればよく、例えば、画像データに付帯して記憶されてもよく、また、画像データと別データとして記憶されていてもよい。

また、上述の撮影情報としては、撮影日時や撮影順序などの撮影に関連する情報に限定されず、例えば、画像割当装置における画像データの取得日時、画像特徴量の算出日時、画像格納装置における画像データの格納日時（例えば、画像サーバ等への画像データのアップロード日時）などのメタ情報を利用してもよい。

実施の形態２では、画像データのメタ情報が削除されていることを前提としているが、上述のとおり、画像格納装置１が画像データを格納した日時や、画像割当装置２２が画像データの取得した日時などを画像データの新たなメタ情報として記憶してもよい。
この場合、例えば、撮影順序の代わりに上述の画像格納装置１における画像データの格納日時や画像割当装置２２における画像データの取得日時などを利用して、画像の並び順を決定してもよい。

また、実施の形態３では、撮影情報判定部３０において、撮影情報の有無に基づいて有する画像データと有しない画像データとを判定しているが、上述のとおり画像割当装置における画像データの取得日時、画像特徴量の算出日時、画像格納装置における画像データの格納日時などを新たな撮影情報として利用する場合、撮影情報の種類に応じて画像データの分類を行ってもよい。例えば、撮影情報判定部３０は、撮影日時または撮影順序に関する撮影情報か、新たに追加された上述の画像割当装置における画像データの取得日時、画像特徴量の算出日時、画像格納装置における画像データの格納日時などの撮影情報かを判定し、これら撮影情報の種類に応じて画像データの分類を行ってもよい。
また、実施の形態４においても同様に、撮影情報として、上述の画像割当装置における画像データの取得日時、画像特徴量の算出日時、画像格納装置における画像データの格納日時などを利用することができる。

以上、本発明の画像割当装置を備えるフォトブック作成装置および本発明の画像割当方法を用いるフォトブック作成方法について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１画像格納装置、２、２２、３２、４２画像割当装置、３ページ表示装置、４プリンタ、５画像特徴量算出部、６、２６画像群分類部、７画像群ソート部、８画像レイアウト部、９、２９制御部、１０ページ数変更部、１１操作部、１２格納部、１３画像メモリ、１４レイアウトメモリ、２７並び順決定部、３０撮影情報判定部。

Claims

画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当装置であって、
画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類する画像群分類部と、
前記画像特徴量に基づく前記画像群の間の距離に応じて前記画像群の並び順を並び変える画像群ソート部とを備えることを特徴とする画像割当装置。
前記複数の画像データのそれぞれの前記画像特徴量を算出する画像特徴量算出部を更に備えることを特徴とする請求項１に記載の画像割当装置。
前記ページ数を変更するページ数変更部を更に備えることを特徴とする請求項１または２に記載の画像割当装置。
前記画像群分類部は、前記ページ数変更部において前記ページ数が増加された場合に、前記画像群の数が変更後のページ数となるまで、複数の前記画像群のうち、最も画像枚数の多い前記画像群を順次分割し、前記ページ数変更部において前記ページ数が減少された場合に、前記画像群の数が変更後のページ数となるまで、複数の前記画像群のうち、最も画像枚数の少ない前記画像群と、前記最も画像枚数の少ない画像群に最も近いもう１つの前記画像群とを順次統合することを特徴とする請求項３に記載の画像割当装置。
前記画像群分類部は、前記ページ数変更部において前記ページ数が変更された場合に、前記画像特徴量に基づいて前記複数の画像データを変更後のページ数に対応する画像群に再度分類することを特徴とする請求項３に記載の画像割当装置。
画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当装置であって、
画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類する画像群分類部と、
前記複数の画像データの備える撮影情報に基づいて前記複数の画像データの並び順を決定する並び順決定部とを備え、
前記画像群分類部は、前記画像特徴量、前記画像群の分類および前記複数の画像データの並び順に基づいて、前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする画像割当装置。
前記複数の画像データのそれぞれの前記画像特徴量を算出する画像特徴量算出部を更に備えることを特徴とする請求項６に記載の画像割当装置。
前記ページ数を変更するページ数変更部を更に備えることを特徴とする請求項６または７に記載の画像割当装置。
前記画像群分類部は、前記画像特徴量と前記並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、前記画像間類似度に基づいて前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする請求項６〜８のいずれか一項に記載の画像割当装置。
前記画像群分類部は、前記画像特徴量と前記並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、前記画像間類似度に基づいて前記表示用ページの推奨ページ数を算出することを特徴とする請求項６〜８のいずれか一項に記載の画像割当装置。
前記画像群分類部は、前記画像群の分類と前記並び順とに基づいて、前記複数の画像データを複数の新たな画像群に分類し、前記画像特徴量と前記並び順とに基づいて、隣接する画像間の画像間類似度を算出し、前記複数の新たな画像群を前記画像間類似度に基づいて統合または分割することで前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする請求項６〜８のいずれか一項に記載の画像割当装置。
撮影情報判定部を更に備え、
前記撮影情報判定部は、前記複数の画像データのうち、前記撮影情報を有する画像データか前記撮影情報を有しない画像データかを判定することを特徴とする請求項６〜１１のいずれか一項に記載の画像割当装置。
前記撮影情報判定部は、前記撮影情報を有しない画像データの画像枚数が前記撮影情報を有する画像データの画像枚数よりも所定枚数以上多い場合に、前記撮影情報を有する画像データと前記撮影情報を有しない画像データとを区別せずに複数の画像群に分類し、前記撮影情報を有する画像データの画像枚数が前記撮影情報を有しない画像データの画像枚数よりも所定枚数以上多い場合または、前記撮影情報を有する画像データの画像枚数と前記撮影情報を有しない画像データの画像枚数との枚数差が所定範囲内である場合に、前記撮影情報を有する画像データを複数の画像群に分類し、前記撮影情報を有しない画像データを前記画像特徴量に基づいて前記撮影情報を有する画像データの前記複数の画像群のいずれかに追加することを特徴とする請求項１２に記載の画像割当装置。
分類切替部を更に備え、
前記分類切替部により前記撮影情報判定部を指示することで、前記撮影情報を有する画像データと前記撮影情報を有しない画像データと切り替えて前記表示用ページに割り当てることを特徴とする請求項１２または１３に記載の画像割当装置。
前記撮影情報は、撮影日時または撮影順序の情報を含むことを特徴とする請求項６〜１４のいずれか一項に記載の画像割当装置。
画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当方法であって、
画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類し、
前記画像特徴量に基づく前記画像群の間の距離に応じて前記画像群の並び順を並び変えることを特徴とする画像割当方法。
前記画像群の分類前に、前記複数の画像データのそれぞれの前記画像特徴量を算出することを特徴とする請求項１６に記載の画像割当方法。
さらに、前記ページ数を変更し、変更された前記ページ数に基づいて前記画像群の分類を行うことを特徴とする請求項１６または１７に記載の画像割当方法。
前記ページ数が増加された場合に、前記画像群の数が変更後のページ数となるまで、複数の前記画像群のうち、最も画像枚数の多い前記画像群を順次分割し、
前記ページ数が減少された場合に、前記画像群の数が変更後のページ数となるまで、複数の前記画像群のうち、最も画像枚数の少ない前記画像群と、前記最も画像枚数の少ない画像群に最も近いもう１つの前記画像群とを順次統合することを特徴とする請求項１８に記載の画像割当方法。
前記ページ数が変更された場合に、前記画像特徴量に基づいて前記複数の画像データを変更後のページ数に対応する画像群に再度分類することを特徴とする請求項１８に記載の画像割当方法。
画像群の分類に基づいて表示用ページに表示用の画像を割り当てる画像割当方法であって、
画像特徴量を有する複数の画像データを、前記画像特徴量に基づいて前記表示用ページのページ数に対応する画像群に分類し、
前記複数の画像データの備える撮影情報に基づいて前記複数の画像データの並び順を決定し、
前記画像特徴量、前記画像群の分類および前記複数の画像データの並び順に基づいて、前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする画像割当方法。
前記画像群の分類前に、前記複数の画像データのそれぞれの前記画像特徴量を算出することを特徴とする請求項２１に記載の画像割当方法。
さらに、前記ページ数を変更し、変更された前記ページ数に基づいて前記画像群の分類を行うことを特徴とする請求項２１または２２に記載の画像割当方法。
前記画像特徴量と前記並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、
前記画像間類似度に基づいて前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする請求項２１〜２３のいずれか一項に記載の画像割当方法。
前記画像特徴量と前記並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、
前記画像間類似度に基づいて前記表示用ページの推奨ページ数を算出することを特徴とする請求項２１〜２３のいずれか一項に記載の画像割当方法。
前記画像群の分類と前記並び順とに基づいて、前記複数の画像データを複数の新たな画像群に分類し、
前記画像特徴量と前記並び順とに基づいて、隣接する画像データ間の画像間類似度を算出し、
前記複数の新たな画像群を前記画像間類似度に基づいて統合または分割することで前記複数の画像データを前記表示用ページのページ数に対応する画像群に再分類することを特徴とする請求項２１〜２３のいずれか一項に記載の画像割当方法。
前記複数の画像データのうち、前記撮影情報を有する画像データか前記撮影情報を有しない画像データかを判定することを特徴とする請求項２１〜２６のいずれか一項に記載の画像割当方法。
前記撮影情報を有しない画像データの画像枚数が前記撮影情報を有する画像データの画像枚数よりも所定枚数以上多い場合に、前記撮影情報を有する画像データと前記撮影情報を有しない画像データとを区別せずに複数の画像群に分類し、
前記撮影情報を有する画像データの画像枚数が前記撮影情報を有しない画像データの画像枚数よりも所定枚数以上多い場合または、前記撮影情報を有する画像データの画像枚数と前記撮影情報を有しない画像データの画像枚数との枚数差が所定範囲内である場合に、前記撮影情報を有する画像データを複数の画像群に分類し、前記撮影情報を有しない画像データを前記画像特徴量に基づいて前記撮影情報を有する画像データの前記複数の画像群のいずれかに追加することを特徴とする請求項２７に記載の画像割当方法。
前記撮影情報を有する画像データと前記撮影情報を有しない画像データと切り替えて前記表示用ページに割り当てることを特徴とする請求２７または２８に記載の画像割当方法。
前記撮影情報は、撮影日時または撮影順序の情報を含むことを特徴とする請求項２１〜３０のいずれか一項に記載の画像割当方法。