JP7377325B2 - 画像処理装置，画像処理方法および画像処理プログラム - Google Patents

Description

この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。

一般のカメラユーザが結婚式の写真を撮影し，撮影した写真から結婚式のアルバムを作成しようとしても，アルバム専門業者が作成したアルバムの完成度には及ばない。このために一般のカメラユーザが結婚式などのアルバムなどを作成する場合に完成度を上げる必要がある。

画像処理の分野では，複数の画像群をレイアウトする場合に，ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができるもの（特許文献１），特定の人物の画像を時系列的に表示できるようにするもの（特許文献２），撮影画像が何であるか特定するためにどのような撮影を行えばよいかの支援を行うことができるもの（特許文献３）などについても考えられている。

特開2018-097484号公報 特開2012-120007号公報 特開2011-223250号公報

プロが作成したお手本のアルバムを参考にしてアルバムを作成しようとすると，多くの画像の中からアルバムに使用する画像を選んだり，画像のレイアウトを考える必要があったりするので，かなり煩雑な作業となってしまう。このために，お手本のアルバムに使用されている画像と類似している画像をユーザが撮影した画像の中から自動的に見つけ，お手本に貼り付けられている画像の位置と同じ位置にユーザが撮影した画像を自動的にアルバムに貼り付けるようにすると，画像としては類似しているが，結婚式全体の流れと合わない位置に画像が貼り付けられてしまうことがある。たとえば，お手本の新郎新婦の入場の画像とユーザが撮影した結婚式の最後の新郎新婦のあいさつの画像とが，たまたま類似していた場合に，結婚式の最後の新郎新婦のあいさつの画像がアルバムの最初の頁に貼り付けられてしまうことがある。

引用文献１においては時間情報にもとづいて複数の画像群に分割するもので，お手本画像という考えが無い。引用文献２においては特定の人物を時系列的に表示するもので，やはりお手本画像という考えがない。引用文献３においてはアルバムに貼り付けられる画像の流れについては考えられていない。

この発明は，複数のサンプル画像に類似し，かつ複数のサンプル画像の流れに沿った撮影画像を決定できるようにすることを目的とする。

この発明による画像処理装置は，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出する第１の検出手段，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出する第２の検出手段，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ，を決定する第１の決定手段，ならびにサンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定する第２の決定手段を備えていることを特徴とする。

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この画像処理方法は，第１の検出手段が，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出し，第２の検出手段が，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出し，第１の決定手段が，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループと，の組み合わせを決定し，第２の決定手段が，サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定する。

この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

また，画像処理装置にプロセッサを備え，そのプロセッサが，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出し，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出し，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ，を決定し，サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定してもよい。

複数のサンプル画像および複数の撮影画像は，結婚式などのように一つのイベントを構成する一連の流れに沿っていることが好ましい。また，複数のサンプル画像および複数の撮影画像のいずれも，新郎新婦の入場，主賓の挨拶などのようなイベントの中の項目の画像については連続するように順位が定められていることが好ましい。したがって，同一シーンの画像については連続するように順位が定められていることが好ましい。

第２の組み合わせにもとづいて，複数のサンプル画像を複数のサンプル画像グループに分ける第１のグループ分け手段，および第２の組み合わせにもとづいて，複数の撮影画像を複数の撮影画像グループに分ける第２のグループ分け手段をさらに備えてもよい。

第２の決定手段によって決定した撮影画像を表示する表示装置をさらに備えてもよい。

一のサンプル画像は，たとえば，複数のサンプル画像の中からサンプル写真集に採用されている。

第２の決定手段によって決定した撮影画像を，サンプル写真集に対応する写真集を生成する写真集のひな形において，撮影画像との類似度が第３のしきい値以上の一のサンプル画像が位置決めされている位置に位置決めする位置決め手段をさらに備えてもよい。

第１の検出手段は，たとえば，複数のサンプル画像および複数の撮影画像のうち，類似度が最大のサンプル画像と撮影画像との第３の組み合わせのであって，類似度が第１のしきい値以上のサンプル画像と撮影画像との第１の組み合わせを検出する。

第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループと決定する。

第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループと決定する。

第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループとに決定するものでもよい。

第２の決定手段は，たとえば，第１の決定手段によって決定されたサンプル画像グループに含まれる一のサンプル画像との類似度が最大の撮影画像を，第１の決定手段により決定された撮影画像グループの中から決定する。

この発明によると，複数のサンプル画像に類似し，かつ複数のサンプル画像の流れに沿った撮影画像を決定できる。

画像処理装置の電気的構成を示すブロック図である。 お手本アルバムの一例である。 画像処理装置の処理手順を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 お手本画像とユーザ画像との一例である。 お手本画像とユーザ画像との一例である。 お手本画像とユーザ画像との一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。

［第１実施例］
図１は，この発明の実施例を示すもので，画像処理装置１の電気的構成を示すブロック図である。

画像処理装置１の全体の動作は，ＣＰＵ(Central Processing Unit)２によって統括される。

画像処理装置１には，画像その他の情報を表示画面に表示する表示装置３およびインターネットその他のネットワークに接続して画像処理装置１以外の装置等と通信する通信装置４が含まれている。また，画像処理装置１には，ハード・ディスク５，ハード・ディスク５にアクセスするハード・ディスク・ドライブ６，データ等を記憶するメモリ７，コマンド等を入力するキーボード８およびマウス９も含まれている。さらに，画像処理装置１には，コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10およびメモリ・カード13にアクセスするメモリ・カード・リーダ・ライタ12も含まれている。

後述する画像処理装置１の動作プログラムは，インターネットを介して通信装置４において受信される。受信された動作プログラムが画像処理装置１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像処理装置１に受信されて画像処理装置１にインストールされずに，コンパクト・ディスク11などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが画像処理装置１にインストールされる。動作プログラムは，画像処理装置１のＣＰＵ２(コンピュータ)が読み取り可能である。

図２は，お手本アルバム（サンプル写真集の一例である）の一例である。

図２に示すお手本アルバム20は，結婚式のアルバム（結婚式のアルバムに限らない）である。お手本アルバム20は，プロの写真家（プロの写真家でなくともよい）によって作成されたものであり，お手本画像の構図，画像の選択基準など素人がお手本とするようなアルバムとなっている。ユーザの結婚式で撮影された多数の画像（ユーザ画像という。撮影画像の一例である）の中からお手本アルバム20に貼られているお手本画像と同じような構図，シーンの画像が画像処理装置１によって見つけ出され，見つけられたユーザ画像が，お手本アルバム20に貼られているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351の順位と同じような順位でアルバムに貼り付けられることにより，お手本アルバム20と同じようなユーザのアルバムが作成される。複数のお手本アルバム20があり，それらの複数のお手本アルバム20の中からユーザが所望のお手本アルバム20を選択し，選択したお手本アルバム20と同じようなユーザのアルバムが作成されるようにしてもよい。

図２に示すお手本アルバム20は，第１頁から第７頁から構成されているが，第８頁以上のお手本アルバムでもよいし，第７頁未満のお手本アルバム20でもよい。お手本アルバム20は，「新郎新婦入場」，「主賓のあいさつ」，「ケーキ入刀」，「歓談，食事」，「余興」，「両親への謝辞」および「新郎新婦あいさつ」の各項目の順番で進む結婚式のものである。お手本アルバム20の第１頁，第２頁，第３頁，第４頁，第５頁，第６頁および第７頁のそれぞれには「新郎新婦入場」のお手本画像Ｉ20，「主賓のあいさつ」のお手本画像Ｉ65，「ケーキ入刀」のお手本画像Ｉ132，「歓談，食事」のお手本画像Ｉ151，「余興」のお手本画像Ｉ201，「両親への謝辞」の画像Ｉ280および「新郎新婦あいさつ」の画像Ｉ351が貼り付けられている（お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351はサンプル画像の一例である）。図２に示すお手本アルバム20では，１頁に１枚の画像が貼り付けられているが１頁に複数枚の画像が貼り付けられていてもよい。また，お手本アルバム20では１頁ごとに画像のシーンが変わっているが複数ページに同じシーンの画像が貼り付けられていてもよい。

図３および図４は，画像処理装置１の処理手順を示すフローチャートである。

コンパクト・ディスク11には，複数のお手本画像を表す画像データが記録されており（コンパクト・ディスク11以外の記録媒体にお手本画像を表す画像データが記録されていてもよいし，ネットワークを介して受信してもよい），そのコンパクト・ディスク11からお手本画像を表す画像データが読み取られる（ステップ21）。また，メモリ・カード13には，複数のユーザ画像を表す画像データが記録されており（メモリ・カード13以外の記録媒体にユーザ画像を表す画像データが記録されていてもよいし，ネットワークを介して受信してもよい），そのメモリ・カード13からユーザ画像を表す画像データが読み取られる（ステップ22）。

図５は，複数のお手本画像の一例と複数のユーザ画像の一例とを示している。

お手本画像Ｉ１からＩ351の351枚の複数のお手本画像があり（352枚以上のお手本画像があってもよいし，351枚未満のお手本画像があってもよい），ユーザ画像Ｐ１からＰ120の120枚の複数のユーザ画像がある（121枚以上のユーザ画像があってもよいし，120枚未満のユーザ画像があってもよい）。これらのお手本画像Ｉ１からＩ351を表す画像データがコンパクト・ディスク11から読み取られ，これらのユーザ画像Ｐ１からＰ120を表す画像データがメモリ・カード13から読み取られる。

お手本画像Ｉ１からＩ50は，「新郎新婦入場」のシーンの画像であり，これらのお手本画像Ｉ１からＩ50の中からお手本画像Ｉ20が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ51からＩ100は，「主賓あいさつ」のシーンの画像であり，これらのお手本画像Ｉ51からＩ100の中からお手本画像I65が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ101からＩ150は，「ウェディング・ケーキ入刀」のシーンの画像であり，これらのお手本画像Ｉ101からＩ150の中からお手本画像Ｉ132が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ151からＩ200は，「歓談，食事」のシーンの画像であり，これらのお手本画像Ｉ151からＩ200の中からお手本画像151が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ201からＩ250は，「余興」のシーンの画像であり，これらのお手本画像Ｉ201からＩ250の中からお手本画像201が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ251からＩ300は，「両親への謝辞」のシーンの画像であり，これらのお手本画像Ｉ251からＩ300の中からお手本画像280が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ301からＩ351は，「新郎新婦あいさつ」のシーンの画像であり，これらのお手本画像Ｉ301からＩ351の中からお手本画像Ｉ351が選択されてお手本アルバム20に貼り付けられている。

たとえば，お手本画像Ｉ１からＩ50が「新郎新婦入場」のシーンとして同一シーンであることは，お手本画像Ｉ１からＩ50のそれぞれの画像ファイルのヘッダに「新郎新婦入場」とのテキストが記録されていることから判定できる（テキストへの記録は，お手本画像からアルバムを作成する際に作成者により行われる）。すなわち，画像処理装置１は，画像ファイルのヘッダの記録から，お手本画像Ｉ１からＩ50が同一シーンを表していることを認識する。もっとも，この実施例において，機械は必ずしも対象のシーンが新郎新婦入場のシーンであると人間のように理解している必要はない。テキストが異なることにより，シーン同士の区別がつけばよい。

たとえば，別の態様においては，お手本画像Ｉ１からＩ50のそれぞれの画像ファイルのヘッダの所定領域には「１」が記録されており，お手本画像Ｉ51以降の画像ファイルのヘッダの所定領域には「２」など他のテキストが記録されている。これによりお手本画像Ｉ１からＩ50は同一シーンであり，一方お手本画像Ｉ51以降の画像は別のシーンである，と認識できる。シーンに対して「新郎新婦入場」というテキストが関連付けられている必要はなく，シーン同士の区別が付けばよい。

以下においては，本発明の説明の便宜上，お手本画像Ｉ１からＩ50「新郎新婦」のテキストがヘッダに記録されており，他のシーンと区別されているものとする。「新郎新婦」入場のシーンに限らず，その他のシーンについても同様である。

お手本画像Ｉ１からＩ351には，Ｉ１からＩ351の順番で順位が定められている（この実施例において，お手本画像Ｉ１からＩ351は，結婚式などのイベントの画像であり，そのイベントにおいて行われる「新郎新婦入場」，「主賓あいさつ」などの項目ごとに画像の順番が決められており，順位とは，同一シーンの画像については連続している順番をいう。各項目の順番もイベントごとに定められている）。たとえば，相対的な時刻ｔ０からｔ１までは「新郎新婦入場」のシーンの画像Ｉ１からＩ50までの順番が連続しており，相対的な時刻ｔ１からｔ２までは「主賓あいさつ」のシーンの画像Ｉ51からＩ100までの順番が連続しており，相対的な時刻ｔ２からｔ３までは「ウェディング・ケーキ入刀」のシーンの画像Ｉ101からＩ150までの順番が連続しており，相対的な時刻ｔ３からｔ４までは「歓談，食事」の画像Ｉ151からＩ200までの順番が連続しており，相対的な時刻ｔ４からｔ５までは「余興」の画像Ｉ201からＩ250までの順番が連続しており，相対的な時刻ｔ５からｔ６までは「両親への謝辞」の画像Ｉ251からＩ300までの順番が連続しており，相対的な時刻ｔ６からｔ７までは「新郎新婦あいさつ」の画像Ｉ301からＩ351までの順番が連続している。お手本画像Ｉ１からＩ351がイベントの項目順に項目ごとに連続して撮影されている場合には，撮影時刻にしたがって順位が決定してもよいし，撮影時刻自体を順位としてもよい。ユーザ画像Ｐ１からＰ120についてもイベントにおいて撮影順に順位がつけられている。ユーザ画像についてもイベントの項目順に項目ごとに連続して撮影されている場合には，撮影時刻にしたがって順位が決定してもよいし，撮影時刻自体を順位としてもよい。

図３に戻って，お手本画像Ｉ１からＩ351のそれぞれとユーザ画像Ｐ１からＰ120のそれぞれの組み合わせにおいて画像の類似度が算出される（ステップ23）。その後，算出された類似度が第１のしきい値以上となる，お手本画像とユーザ画像との第１の組み合わせがＣＰＵ２（第１の検出手段）によって検出される（ステップ24）。お手本画像Ｉ１からＩ351のそれぞれとユーザ画像Ｐ１からＰ120のそれぞれのうち，類似度が最大の第３の組み合わせであって，類似度が第１のしきい値以上となる，お手本画像とユーザ画像との第１の組み合わせが検出されてもよい。

第１のしきい値は，お手本画像とユーザ画像との組み合わせが，あらかじめ決められた数となる程度（たとえば，お手本アルバム20に貼り付けられているお手本画像の数の程度または，イベントで行われる項目より少し多い程度）に調整されている。また，検出された第１の組み合わせの数が多かった場合には，あらかじめ決められた数となる程度にＣＰＵ２によって第１のしきい値が調整されながら，第１の組み合わせの検出が繰り返されてもよい。さらに，第１の組み合わせの相対的な時間の間隔が一定以上離れるように，あらかじめ決められた数となる程度に第１の組み合わせの数が調整されてもよい。お手本アルバム20に貼り付けられているお手本画像に相対的な時間が近いお手本画像とユーザ画像との第１の組み合わせを検出してもよいし，お手本アルバム20の見開きページまたは片側のページに複数枚のお手本画像が貼り付けられている場合には見開きページまたは片側のページに貼り付けられている複数枚の画像の相対的な時刻に対応する時刻に撮影されているユーザ画像を含む第１の組み合わせを検出するようにしてもよい。

図５に示すように，たとえば，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ201とユーザ画像Ｐ30との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの８つの組み合わせが第１の組み合わせとして検出される。検出された第１の組み合わせに含まれるお手本画像のそれぞれはお手本アルバム20に貼り付けられているお手本画像群に含まれていても含まれていなくてもよい。

つづいて，検出された第１の組み合わせの中から相対的な順位差が第２のしきい値以内の第２の組み合わせがＣＰＵ（第２の検出手段）２によって検出される（ステップ25）。たとえば，お手本画像Ｉ１からＩ351の順位およびユーザ画像Ｐ１からＰ120の順位までを，それぞれ規格化（この場合の規格化とは，お手本画像Ｉ１からＩ351およびユーザ画像Ｐ１からＰ120のうち，お手本画像の最初の画像Ｉ１およびユーザ画像の最初の画像Ｐ１を０，お手本画像の最後の画像Ｉ351およびユーザ画像の最後の画像Ｐ120を１とし，異なる画像枚数でも，それぞれの画像の順位を比較できるように尺度を共通化することをいう。）し，規格化されたお手本画像Ｉ１からＩ351の順位とユーザ画像Ｐ１からＰ120の順位とのうち，検出された第１の組み合わせにおけるお手本画像とユーザ画像との差が第２のしきい値以内となる第２の組み合わせが検出されればよい。たとえば，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ201とユーザ画像Ｐ30との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの第１の組み合わせのうち，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの第１の組み合わせでは，お手本画像とユーザ画像との順位差は第２のしきい値以内となるので，これらの第１の組み合わせが第２の組み合わせとして検出される。これに対して，お手本画像Ｉ201とユーザ画像Ｐ30との第１の組み合わせでは，お手本画像とユーザ画像との順位差は第２のしきい値以内とならないので，第２の組み合わせとならずに，図６に示すように組み合わせが解消される。第１の組み合わせが解消されると，新たに第１の組み合わせを探すようにしてもよい。

次に，検出された第２の組み合わせにもとづいて，複数のお手本画像が含まれるお手本画像グループにＣＰＵ２（第１のグループ分け手段）によって分けられる。同様に，検出された第２の組み合わせにもとづいて，お手本画像グループに含まれるお手本画像に類似した複数のユーザ画像が含まれるユーザ画像グループにＣＰＵ２（第２のグループ分け手段）によって分けられる。すると，お手本画像グループ（サンプル画像グループの一例である）と，そのお手本画像グループに含まれるお手本画像のシーンと同じシーンと見なされるユーザ画像が含まれるユーザ画像グループ（撮影画像グループの一例である）と，の組み合わせがＣＰＵ２（第１の決定手段）によって決定される（図４ステップ26）。

たとえば，お手本画像Ｉ２からＩ50が同一シーンの第１のお手本画像グループとされ（最初の組み合わせであるお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，次の組み合わせであるお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせと，に用いられているそれぞれ順位が最も早いお手本画像としてＩ２およびＩ51を抽出する。お手本画像Ｉ２からお手本画像Ｉ51の一つ前のお手本画像Ｉ50までが，同一シーンの第１のお手本画像グループとされる。他のお手本画像グループについても同様である)，ユーザ画像Ｐ３からＰ20がその同一シーンと同じシーンと見なされる第１のユーザ画像グループとされてクループの組み合わせが決定される（最初の組み合わせであるお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，次の組み合わせであるお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせと，に用いられているそれぞれ順位が最も早いユーザ画像としてＰ３およびＰ21を抽出する。ユーザ画像Ｐ３からユーザ画像Ｐ21の一つ前のユーザ画像Ｐ20までが，同一シーンの第１のユーザ画像グループとされる。他のユーザ画像グループについても同様である)。同様に，お手本画像Ｉ51からＩ149が同一シーンの第２のお手本画像グループとされ，ユーザ画像Ｐ21からＰ48が第２のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ150からＩ197が第３のお手本画像グループとされ，ユーザ画像Ｐ49からＰ78が第３のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ198からＩ248が第４のお手本画像グループとされ，ユーザ画像Ｐ79からＰ98が第４のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ249からＩ299が第５のお手本画像グループとされ，ユーザ画像Ｐ99からＰ100が第５のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ300が第６のお手本画像グループとされ，ユーザ画像Ｐ101からＰ111が第６のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ301からＩ351が第７のお手本画像グループとされ，ユーザ画像Ｐ112からＰ200が第７のユーザ画像グループとされてグループの組み合わせが決定される。グループに含まれる画像の数が所定のしきい値未満の場合には，上述した第１の組み合わせの検出および第２の組み合わせの検出をやり直して，しきい値以上の画像の数となるようにグループの組み合わせが決定されるようにするとよい。

つづいて，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，280およびＩ351(一のサンプル画像の一例である)との類似度が第３のしきい値以上であるユーザ画像（類似度が最大であるユーザ画像でもよい）が，お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，280およびＩ351のそれぞれが含まれているお手本画像グループとの組み合わせを構成しているユーザ画像グループの中からＣＰＵ２（第２の決定手段）によって決定される（ステップ27）。

図７に示すように，たとえば，お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれからユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120が決定される。お手本画像Ｉ249からＩ299の第５のお手本画像グループと，ユーザ画像Ｐ99からＰ100が第５のユーザ画像グループとのグループの組み合わせの場合，第５のユーザ画像グループに含まれる画像が画像Ｐ99および画像Ｐ100の２つしかない。これらの画像Ｐ99およびＰ100の中からお手本画像Ｉ280に類似した画像を見つけようとしても，わずか２枚の中から見つけることができない場合がある。このような場合には，第５のユーザ画像グループに含まれるユーザ画像Ｐ99およびＰ100に近いユーザ画像も第５のユーザ画像グループに含める。たとえば，P89からP98まで(P99の直前に撮影された10枚)およびP101からP110まで(P100の直後に撮影された10枚)も含めた22枚を第５のユーザ画像グループとする。この中から，お手本アルバム20に貼り付けられているお手本画像Ｉ280に類似したユーザ画像Ｐ108が決定される。

このようにして決定したユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120を用いて，お手本アルバム20を参考にしてユーザ・アルバムがＣＰＵ２（ユーザ・アルバム作成手段）によって作成される（ステップ28）。ユーザ画像Ｐ13は，お手本画像Ｉ20に類似しているからお手本画像Ｉ20（一のサンプル画像の一例である）が貼り付けられている位置と同じ位置である，ユーザ・アルバム（写真集のひな形の一例である）の第１頁にＣＰＵ２(位置決め手段)によって位置決めされて貼り付けられる。同様に，ユーザ画像Ｐ23はお手本画像Ｉ65に類似しているからお手本アルバム20の第２頁に貼り付けられ，ユーザ画像Ｐ38はお手本画像Ｉ132に類似しているからお手本アルバム20の第３頁に貼り付けられ，ユーザ画像Ｐ51はお手本画像Ｉ151に類似しているからお手本アルバム20の第４頁に貼り付けられ，ユーザ画像Ｐ81はお手本画像Ｉ201に類似しているからお手本アルバム20の第５頁に貼り付けられ，ユーザ画像Ｐ108はお手本画像Ｉ280に類似しているからお手本アルバム20の第６頁に貼り付けられ，ユーザ画像Ｐ120はお手本画像Ｉ351に類似しているからお手本アルバム20の第７頁に貼り付けられる。

作成されたユーザ・アルバムおよびお手本アルバムが表示装置３の表示画面に表示される（ステップ29）。

図８は，表示装置３の表示画面に表示されるアルバム表示ウインドウ40の一例である。

アルバム表示ウインドウ40には，お手本アルバム一覧表示領域41，ユーザ・アルバム一覧表示領域42，お手本アルバム頁表示領域51，ユーザ・アルバム頁表示領域55およびユーザ画像表示領域60が含まれている。

お手本アルバム一覧表示領域41には，お手本アルバム20のすべての頁が表示され，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351が表示されている。ユーザ・アルバム一覧表示領域42には，ユーザ・アルバムのすべての頁が表示され，ユーザ・アルバムに貼り付けられているユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120が表示されている。上述のように，ユーザ・アルバムに貼り付けられているユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120のそれぞれは，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれに類似しており，かつ同じシーンの画像となっている。ユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120のそれぞれはお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれが貼り付けられているお手本アルバム20の各頁に対応するユーザ・アルバムの各頁に貼り付けられている。

ユーザ・アルバム一覧表示領域42の下部にはスクロール・ボタン43が形成されている。スクロール・ボタン43を左右にスクロールすることにより，お手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示されていないお手本画像およびユーザ画像がある場合には，それらのお手本画像およびユーザ画像がお手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示される。スクロール・ボタン43が左右にスクロールされることにより，お手本アルバム一覧表示領域41に表示されているお手本アルバム20の各頁およびユーザ・アルバム一覧表示領域42に表示されているユーザ・アルバムの各頁が連動して左右に動くが，連動させなくともよい。

図８に示すお手本アルバム頁表示領域51には，お手本アルバム20の第１頁に貼り付けられているお手本画像Ｉ20が表示されている。お手本アルバム頁表示領域51の右下には「次頁へ」の文字列が表示されている次頁ボタン53が形成されている。次頁ボタン53がクリックされると，お手本アルバム20の次の頁がお手本アルバム頁表示領域51に表示される。

ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの頁に貼り付けられているユーザ画像が表示される。図８に示す例では，ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第１頁に表示されているユーザ画像Ｐ13が表示されている。ユーザ・アルバム頁表示領域55の右下にも次頁ボタン57が形成されている。次頁ボタン57がクリックされると，ユーザ・アルバムの次の頁がユーザ・アルバム頁表示領域55に表示される。

次頁ボタン53および57のいずれかのみ形成し，いずれかのクリックに応じて，お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の次の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。

ユーザ画像表示領域60には，ユーザ画像61（ユーザ画像Ｐ１からＰ120）が表示されている。ユーザ画像表示領域60の右側には上下に移動可能なスクロール・ボタン62が形成されている。スクロール・ボタン62が上下されることにより，ユーザ画像表示領域60に表示されていないユーザ画像61がユーザ画像表示領域60に現れる。

次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図９に示すものとなる。

図９を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第２頁に貼り付けられているお手本画像Ｉ65およびお手本アルバム20の第３頁に貼り付けられているお手本画像Ｉ132が表示されている。お手本アルバム頁表示領域51の左下には「前頁へ」の文字列が表示されている前頁ボタン52が形成されている。

ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第２頁に貼り付けられているユーザ画像Ｐ23およびユーザ・アルバムの第３頁に貼り付けられているユーザ画像Ｐ38が表示されている。ユーザ・アルバム頁表示領域55の左下にも前頁ボタン56が形成されている。

前頁ボタン52および56のいずれかのみ形成し，いずれかのクリックに応じて，お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の前の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。この場合も，お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。

次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図10に示すものとなる。

図10を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第４頁および第５頁に貼り付けられているお手本画像Ｉ151およびＩ201が表示されている。ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第４頁および第５頁に貼り付けられているユーザ画像Ｐ51およびＰ81が表示されている。

次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図11に示すものとなる。

図11を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第６頁および第７頁に貼り付けられているお手本画像Ｉ280およびＩ351が表示されている。ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第６頁および第７頁に貼り付けられているユーザ画像Ｐ108およびＰ120が表示されている。

ユーザ・アルバムに貼り付けられているユーザ画像を変更したい場合には（図４ステップ30でＹＥＳ），ユーザ画像を変更したいユーザ・アルバムの頁がユーザ・アルバム頁表示領域55に表示される。ユーザ画像表示領域60に表示されているユーザ画像61の中から所望のユーザ画像が選択され，変更したいユーザ画像上にドラッグ・アンド・ドロップされる。これにより，ユーザ画像の変更が行われる（ステップ31）。

第１実施例では，第１の組み合わせの中から順位差が第２のしきい値以内の第２の組み合わせを検出し，その第２の組み合わせにもとづいてお手本画像グループおよびユーザ画像グループが生成され，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351に類似したユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120を検出しているから，お手本アルバム20に貼り付けられているお手本画像に類似した画像として異なるシーンのユーザ画像が検出されてしまうことが未然に防止される。

［変形例］
第１実施例においては，第２の組み合わせを構成するお手本画像とユーザ画像とのうち，お手本画像から，次の第２の組み合わせを構成するお手本画像の一つ前のお手本画像までをお手本画像グループとし，ユーザ画像から，次の第２の組み合わせを構成するユーザ画像の一つ前のユーザ画像までをユーザ画像グループとしている。このように，検出された第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定してもよいが，検出された第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループとに決定してもよい。

たとえば，図６を参照して，一の第２の組み合わせをお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせとすると，前後の第２の組み合わせは，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとなる。お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ51とユーザ画像Ｐ21との一の組み合わせとの間に存在するお手本画像Ｉ25から，お手本画像Ｉ51とユーザ画像Ｐ21との一の組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせの間に存在するお手本画像Ｉ100までのお手本画像がお手本画像グループとなる。同様に，ユーザ画像Ｐ11からＰ36までのユーザ画像が，お手本画像グループに対応するユーザ画像グループとなる。

また，検出された第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定してもよい。

たとえば，図６を参照して，２つの第２の組み合わせのうち，一つ目の第２の組み合わせをお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせとし，二つ目の第２の組み合わせをお手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとすると，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとの間に存在するお手本画像Ｉ２（またはＩ３）からお手本画像Ｉ149（またはＩ150）までのお手本画像がお手本画像グループとなる。同様に，ユーザ画像Ｐ３（またはＰ４）からＰ48（またはＰ49）までのユーザ画像が，お手本画像グループに対応するユーザ画像グループとなる。２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定すればよいから，お手本画像グループは，たとえば，お手本画像Ｉ２からＩ149のうち任意の２つ以上の画像であればよく，同様に，ユーザ画像グループも，たとえば，ユーザ画像Ｐ３からＰ48のうち任意の２つ以上の画像であればよい。

お手本画像グループとユーザ画像グループとを適切に決定することができ，よりお手本アルバムに近いユーザ・アルバムが作成できるようになる。

上述した実施例における画像処理装置１は，専用装置を用いて構成してもよいが，スマートフォン，パーソナル・コンピュータ，タブレット端末などを利用して構成することもできる。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ２のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１：画像処理装置，２：ＣＰＵ，３：表示装置，４：通信装置，５：ハード・ディスク，６：ハード・ディスク・ドライブ，７：メモリ，８：キーボード，９：マウス，10：コンパクト・ディスク・ドライブ，11：コンパクト・ディスク，12：メモリ・カード・リーダ・ライタ，13：メモリ・カード，20：お手本アルバム，40：アルバム表示ウインドウ，41：お手本アルバム一覧表示領域，42：ユーザ・アルバム一覧表示領域，43：スクロール・ボタン，51：お手本アルバム頁表示領域，52：前頁ボタン，53：次頁ボタン，55 ：アルバム頁表示領域，56：前頁ボタン，57：次頁ボタン，60：ユーザ画像表示領域，61：ユーザ画像，62：スクロール・ボタン，Ｉ１-Ｉ351：お手本画像，Ｐ１-Ｐ120：ユーザ画像

Claims (13)

1. それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出する第１の検出手段，
   上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出する第２の検出手段，ならびに
   上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと，の組み合わせを決定する決定手段，
   を備えた画像処理装置。
2. 上記第２の組み合わせにもとづいて，上記複数のサンプル画像を複数のサンプル画像グループに分ける第１のグループ分け手段，および
   上記第２の組み合わせにもとづいて，上記複数の撮影画像を複数の撮影画像グループに分ける第２のグループ分け手段，
   をさらに備えた請求項１に記載の画像処理装置。
3. 上記撮影画像グループの中に含まれる上記撮影画像であって，上記サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の上記撮影画像を表示する表示装置，
   をさらに備えた請求項１または２に記載の画像処理装置。
4. 上記サンプル画像グループに含まれる一のサンプル画像は，
   上記複数のサンプル画像の中からサンプル写真集に採用されているものである，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
5. 上記撮影画像グループの中に含まれる上記撮影画像であって，上記サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の上記撮影画像を，上記サンプル写真集に対応する写真集を生成する写真集のひな形において，上記撮影画像との類似度が上記第３のしきい値以上の上記一のサンプル画像が位置決めされている位置に位置決めする位置決め手段，
   をさらに備えた請求項４に記載の画像処理装置。
6. 上記第１の検出手段は，
   上記複数のサンプル画像および上記複数の撮影画像のうち，類似度が最大の上記サンプル画像と上記撮影画像との第３の組み合わせであって，類似度が第１のしきい値以上の上記サンプル画像と上記撮影画像との第１の組み合わせを検出する，
   請求項１から５のうち，いずれか一項に記載の画像処理装置。
7. 上記決定手段は，
   上記第２の検出手段によって検出された上記第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループと決定する，
   請求項１から６のうち，いずれか一項に記載の画像処理装置。
8. 上記決定手段は，
   上記第２の検出手段によって検出された上記第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループと決定する，
   請求項１から７のうち，いずれか一項に記載の画像処理装置。
9. 上記決定手段は，
   上記第２の検出手段によって検出された上記第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の上記第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループとに決定する，
   請求項１から７のうち，いずれか一項に記載の画像処理装置。
10. 上記第３のしきい値以上の上記撮影画像は，上記決定手段によって決定された上記サンプル画像グループに含まれる一のサンプル画像との類似度が最大の上記撮影画像である，
    請求項３または５に記載の画像処理装置。
11. 第１の検出手段が，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出し，
    第２の検出手段が，上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出し，
    決定手段が，上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと，の組み合わせを決定する，
    画像処理方法。
12. それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出させ，
    上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出させ，
    上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと，の組み合わせを決定させるように画像処理装置のコンピュータを制御し，かつ上記コンピュータが読み取り可能なプログラム。
13. 請求項１２に記載のプログラムを格納した記録媒体。

Images