JP7470279B2 - 情報処理装置、画像出力プログラム、及び画像出力方法 - Google Patents

Description

本発明は、情報処理装置、画像出力プログラム、及び画像出力方法に関する。

保持された写真画像の各々について、撮影されている人物を特定し、写真画像と、当該写真画像に撮影されているとして特定された人物を表す人物識別情報とを関連付けて記憶する技術が知られている（例えば、特許文献１参照）。

また、写真における顔に基づいてクラスタリングを行い異なる顔アルバムを得ることにより、異なる顔に応じて移動端末における写真を管理及び表示する技術が開示されている（例えば、特許文献２参照）。

また、２つの被写体の間での同じ年齢の時の撮影画像を比較可能にするために、画像表示領域を２つに分割して分割領域のそれぞれに、互いに撮影時の年齢情報が対応する、各被写体に関する画像ファイルの画像に基づいたサムネイルを、時系列的に表示させる技術が知られている（特許文献３参照）。

特開２０１４－０９３５７２号公報 特表２０１７－５２０８０９号公報 特開２００７－１３３８３８号公報

特許文献３に開示されている技術の場合、比較可能に並べる画像は、同じ年齢の時の画像である。また、特許文献２に開示されている技術では、同じ年齢の時の画像であっても、例えば、被写体同士が互いに同じようなポーズをとっていたり、画像相互で同じような構図であったり、場所が同じところであっても、比較可能に配置されることはなく、一見して比較することは比較することは困難である。

本発明は、対応する年齢の時に写された被写体同士を、より比較しやすくする技術を提供する。

本発明の一態様に係る情報処理装置は、互いに撮影時の年齢情報が対応する、第１被写体の画像である第１画像と、第２被写体の１又は複数の画像とを取得する取得部と、前記第１画像の画像情報と前記第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記第１画像と、前記第２被写体の１又は複数の画像のうち前記第１画像に対応する第２画像とを比較可能に出力する出力部と、を備える。

本発明の一態様によれば、対応する年齢の時の被写体同士を、より比較しやすくすることができる。

本実施形態における情報処理装置の一例を示す図である。 本実施形態における画像収集管理システムのネットワーク構成の一例を示す図である。 本実施形態における画像収集管理システム１１の機能ブロックの一例を示す図である。 本実施形態におけるサーバ１５により管理されるデータベースのデータ構造例を示す図である。 本実施形態における顔タグの一例について説明する図である。 本実施形態におけるコレクション画面例を示す図である。 本実施形態における顔タグ別詳細画面の一例を示す図である。 本実施形態における成長タイムライン画面の一例を示す図である。 本実施形態における成長タイムライン画面の他の例を示す図である。 本実施形態における画像収集管理システムの被写体情報登録フェーズ及び画像収集フェーズのシーケンス図である。 本実施形態（実施例１）における画像収集管理システムの画像閲覧フェーズのシーケンス図である。 本実施形態（実施例２）における画像収集管理システムの画像閲覧フェーズのシーケンス図である。 本実施形態における画像解析処理（Ｓ３）のフローチャートである。 本実施形態におけるクラスタリング処理（Ｓ４）及びタグ付与処理（Ｓ５）のフローチャート（その１）である。 本実施形態におけるクラスタリング処理（Ｓ４）及びタグ付与処理（Ｓ５）のフローチャート（その２）である。 本実施形態におけるコレクション画面表示処理（Ｓ７）のフローチャートである。 本実施形態における顔タグ別詳細画面表示処理（Ｓ８－２）及び顔タグ別詳細画面更新処理（Ｓ８－５）のフローチャートである。 本実施形態における成長タイムライン画面表示処理（Ｓ１０またはＳ１０ａ）のフローチャートである。 本実施形態における動画生成について説明するための図である。 本実施形態におけるプログラムを実行するコンピュータのハードウェア環境の構成ブロック図の一例である。

図１は、本実施形態における情報処理装置の一例を示す図である。情報処理装置１は、取得部２、出力部３を含む。情報処理装置１の一例として、後述するサーバ１５が挙げられる。

取得部２は、互いに撮影時の年齢情報が対応する、第１被写体の画像である第１画像と、第２被写体の１又は複数の画像とを取得する。ここで、本実施形態において「年齢」及び「年齢情報」には、年齢（何歳）、月齢（何歳何ヶ月）、日齢（何日）が含まれる。また、「年齢情報が対応する」、「年齢が対応する」、及び「対応する年齢」とは、比較する被写体同士の年齢が同じ場合、及び年齢差が所定値以下の場合も含む。また、「年齢を対応させる」とは、比較する画像に写っている被写体の撮影当時の年齢が同じ画像を比較可能に配置したり、同期させたり、年齢差が所定値以下の画像同士を比較可能に配置することを含む。なお、本実施形態では、「年齢情報が対応する」の一例として、比較する被写体同士の年齢が同じ場合について説明する。取得部２の一例として、後述する画像取得部３４が挙げられる。

出力部３は、第１画像の画像情報と第１画像に付与されている情報のうち少なくともいずれかに基づいて、第１画像と、第２被写体の１又は複数の画像のうち第１画像に対応する第２画像とを比較可能に出力する。出力部３の一例として、後述する出力部３８が挙げられる。

このように構成することにより、対応する年齢の時の被写体同士を、より比較しやすくすることができる。

出力部３は、第２被写体の１又は複数の画像のうち、第１画像の画像情報に基づく構図に対応する画像を、第２画像として出力することができる。このように構成することにより、被写体間で構図が対応する画像を出力することで、被写体の比較がしやすくなる。

出力部３は、第２被写体の１又は複数の画像のうち、第１画像に付与されている場所情報に対応する画像を、第２画像として出力することができる。このように構成することにより、写真に撮影場所の情報を関連付けておき、被写体間で撮影場所が対応する画像を比較することができる。

出力部３は、第２被写体の１又は複数の画像のうち、第１画像に付与されているテキスト情報に対応する画像を、第２画像として出力することができる。このように構成することにより、写真に対して付与されたテキスト（例えば「初めてハイハイした日」、「初めて歩いた日」等）が対応する写真を比較することができる。

出力部３は、第２被写体の１又は複数の画像のうち、第１画像に撮像されている被写体の組み合わせに対応する画像を、第２画像として出力することができる。このように構成することにより、被写体の組み合わせ（両親と本人等）が同じ写真を比較することができる。

出力部３は、第１被写体の複数の第１画像と、複数の第１画像にそれぞれ対応する第２被写体の第２画像とをそれぞれ比較可能に表示する複数の対応フレーム画像を含む動画を出力する。

このように構成することにより、年齢が対応する画像を含む動画を作成することができる。これにより、年齢が対応する被写体を複数時点で比較することができる。

取得部３は、互いに撮影時の年齢情報が対応する、第１被写体の複数の画像と、第２被写体の複数の画像とを取得する。第１被写体の複数の画像は、複数の第１画像と、第２被写体の複数の画像の中に対応する画像がない１以上の第３画像と、を含む。第２被写体の複数の画像は、複数の第２画像と、第１被写体の複数の画像の中に対応する画像がない１以上の第４画像とを含む。動画は、複数の対応フレーム画像と、いずれかの第３画像と第４画像を比較可能に表示する１以上の非対応フレーム画像とを含む。

このように構成することにより、年齢が対応する被写体の画像について互いに対応するものは同じフレームで確認できるようにした上で、対応する画像の数より多くの数のフレームを含む動画を作成することができる。

非対応フレーム画像の数は、第３画像と第４画像のうち、枚数の少ない方に基づいて設定されてもよい。このように構成することにより、動画において被写体が出現する数を等しくすることができる。

非対応フレーム画像の数は、動画の所定フレーム数から、対応フレーム数の数を引いたフレーム数としてもよい。このように構成することにより、所定長さの動画を生成するにあたり、できるだけ対応している画像の数を多くすることができる。

図２は、本実施形態における画像収集管理システムのネットワーク構成の一例を示す図である。画像収集管理システム１１は、１以上のユーザ端末１２、サーバ１５、及び通信ネットワーク１６を含む。１以上のユーザ端末１２、及びサーバ１５は、通信ネットワーク１６を介して、相互に通信可能に接続されている。

ユーザ端末１２は、例えばユーザが携帯するスマートフォン、タブレット端末、携帯電話等の通信ネットワーク１６に接続可能な通信機能を有する携帯電子端末装置である。ユーザ端末１２は、操作表示部１３、音が入力されるマイクロフォン、音を出力するスピーカ、及びカメラ等を有する。操作表示部１３は、画面１４への入力操作が可能であるとともに、画面１４に画像を表示するデバイスであり、例えばタッチパネルディスプレイである。

また、ユーザ端末１２は、被写体を静止画及び動画で撮影するための撮像装置を有する。撮像装置は、ユーザ端末１２に内蔵されていてもよいし、外付けタイプのものであってもよい。なお、ユーザ端末１２は、いわゆるパーソナルコンピュータであってもよいし、インターネット等の通信網に接続可能なカメラであってもよい。撮像装置で撮像された写真や動画は、ユーザ端末１２内の記憶装置に格納されてもよいし、着脱式記憶媒体等に記憶されてもよい。

ユーザ端末１２は、インターネット上のアプリケーションプログラムのダウンロードサイトから所定のアプリケーションプログラムをダウンロードしてインストールすることができる。これにより、ユーザは、ユーザ端末１２の操作表示部１３に入力操作を行うことにより、そのアプリケーションプログラムを操作することができる。本実施形態では、一例として、子供及び家族の写真や動画をクラウドサーバ等で共有し、整理することが可能な専用のアプリケーションソフトウエア（以下「専用アプリケーションソフトウエア」という。）がユーザ端末１２にインストールされるものとする。

ユーザは、この専用アプリケーションソフトウエアをユーザ端末１２上で起動させることによって、ユーザ端末１２をサーバ１５へアクセスさせることができる。ユーザ端末１２がサーバ１５にアクセスする場合には、例えば、予め登録されているログインユーザＩＤの入力が求められてもよい。

ユーザ端末１２にインストールされた専用アプリケーションソフトウエアが起動すると、ユーザ端末１２の画面１４には、後述するグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。ＧＵＩ画面には、子供や家族の写真や動画をサーバ１５に登録したり、登録した写真や動画を閲覧するための画面が表示される。

ユーザは、ユーザ端末１２にインストールされた専用アプリケーションソフトウエアを起動させ、ＧＵＩ画面を操作して、サーバ１５にアクセスすることができる。そして、ユーザは、ＧＵＩ画面を操作して、ユーザ端末１２に保持されている写真や動画をサーバ１５にアップロードすることができる。

サーバ１５は、ユーザ端末１２にインストールされた専用アプリケーションプログラムをアプリケーションプログラムインターフェース（ＡＰＩ）として、写真や動画に関する管理を行う情報処理装置である。サーバ１５は、専用アプリケーションプログラムからの要求に応じて、アップロードされた写真や動画を収集し、家族や一定の範囲内のユーザに収集した写真や動画の閲覧をする等を可能にする。以下では、写真（静止画）及び動画を総称して、画像をいう。

サーバ１５は、１台以上の物理的な情報処理装置により構成されるサーバシステムであってもよいし、１台以上の仮想サーバ装置により構成される仮想サーバシステムであってもよい。

図３は、本実施形態における画像収集管理システム１１の機能ブロックの一例を示す図である。以下では、ユーザ端末１２、サーバ１５のそれぞれが有する機能について説明する。

ユーザ端末１２は、操作表示部１３、通信部２１、制御部２２、撮像部２３、及び記憶部２４を含む。通信部２１は、通信ネットワーク１６に接続された機器との通信を可能にするインターフェースである。ここでは、通信部２１は、通信ネットワーク１６を介して、サーバ１５と通信を行う。

操作表示部１３は、ユーザの入力操作により入力が可能であると共に、表示も可能なタッチパネルディスプレイである。なお、本実施形態では、一例として、タッチパネルディスプレイを用いるが、これに限定されず、入力部と表示部とがそれぞれ独立していてもよい。

制御部２２は、ユーザ端末１２全体の動作を制御する。制御部２２は、記憶部２４に格納されている専用アプリケーションプログラム２５のユーザインターフェース（ＵＩ）データ２６に基づいて、画面１４の表示状態を制御する。撮像部２３は、ＣＣＤ（Charge Coupled Device）等の撮像装置である。

記憶部２４は、インストールされた専用アプリケーションプログラム２５、ＵＩデータ２６、画像（写真データ、動画データ）２７、各種データ等を格納する。ここで、データにはステータス情報や文字データだけでなく、グラフィカルデータも含む。画像２７は、撮像日時、Global Positioning System（ＧＰＳ）による位置情報のメタデータを含む。

サーバ１５は、通信部３１、制御部３２、記憶部４１を含む。通信部３１は、通信ネットワーク１６に接続された機器との通信を可能にするインターフェースである。通信部３１は、通信ネットワーク１６を介して、ユーザ端末１２と通信を行う。

制御部３２は、サーバ１５全体の動作を制御する。それと共に、制御部３２は、ユーザ端末１２からの要求に応じて処理を実行し、実行結果をユーザ端末１２に返す等の制御を行う。制御部３２は、本実施形態に係るアプリケーションプログラムを実行することにより、被写体情報登録部３３、画像取得部３４、画像解析部３５、クラスタリング部３６、タグ付与部３７、出力部３８として機能する。

被写体情報登録部３３は、ユーザ端末１２からの登録要求に応じて、ユーザの家族（子供、夫婦、祖父母等）のうち、子供に関する情報（被写体情報）を受け付ける。被写体情報登録部３３は、ユーザ端末１２から受け付けた被写体情報を記憶部４１に登録する。ここで、被写体情報が記憶部４１（具体的には後述する被写体情報管理ＤＢ４３）に登録された被写体を、「登録済被写体」と称する。また、後述するように、画像中に撮像された人物のうち、被写体情報管理ＤＢ４３に被写体情報が登録されていない人物（登録済被写体以外の被写体）を、「未登録被写体」と称する。また、単に「被写体」と称する場合は、登録前の被写体である場合、登録済被写体及び未登録被写体を含む場合、または単に画像中の人物を示す場合がある。

画像取得部３４は、ユーザ端末１２からのアップロード要求に応じて、ユーザ端末１２から送信されたユーザの家族に関する画像（写真データ及び動画を含む。）を取得する。

画像解析部３５は、取得された画像を解析し、画像内の被写体の顔を検出したり、検出された被写体の姿勢を推定したり、検出された被写体の年齢を推定したり、画像内において検出された被写体の人数を検出したり、顔画像から特徴ベクトルを算出したり等する。画像解析部３５は、解析処理後、解析結果を記憶部４１に格納する。また、画像解析部３５は、解析が終わった画像を、記憶部４１に格納する。

クラスタリング部３６は、クラスタリング条件と、画像の解析結果とを用いて、記憶部４１に格納されている画像（顔画像）について、クラスタ解析（クラスタリング）を行う。クラスタリングでは、データの集合を部分集合（クラスタ）に分けて、それぞれの部分集合に含まれる顔画像の特徴ベクトルが共通または類似になるようにする。ここで、本実施形態では、クラスタリングを行う画像は、単独で写っている画像を用いるがこれに限定されず、複数人が写っている画像をクラスタリングするようにしてもよい。この場合、その画像に写っている人物それぞれの顔画像を抽出し、抽出した顔画像それぞれについてクラスタリングを行うようにしてもよい。

タグ付与部３７は、クラスタリングの結果、撮像枚数（出現頻度）の多い顔画像を含む画像と、被写体情報とを関係付けることができる。または、タグ付与部３７は、年齢推定結果に基づいて、クラスタリングにより分類された顔画像を含む画像と、被写体情報とを関係付けてもよい。

それから、タグ付与部３７は、被写体情報と関係付けられた画像に、顔タグとして「子供タグ」を付与する。

また、タグ付与部３７は、複数人の人物が写っている画像について、それらの人物のすべてが、登録済被写体である場合（すなわち、写真に写っている人物がすべて子供である場合）、その画像に顔タグとして「兄弟タグ（または姉妹タグ）」を付与する。

また、タグ付与部３７は、複数人の人物が写っている画像に登録済被写体以外の人物（未登録被写体）が含まれている場合（すなわち、写真に写っている人物に大人が含まれている場合）、その画像に顔タグとして「家族タグ」を付与する。

出力部３８は、ユーザ端末１２の画面操作に応じて、顔タグが付与された画像を、顔タグに応じて被写体毎、兄弟・姉妹毎、または家族毎に、ユーザ端末１２の画面１４に表示させる。なお、出力部３８は、ユーザ端末１２の画面操作に応じて、タグが付与された画像を、プリンタやディスプレイ装置、他の記憶媒体等に出力してもよいし、通信ネットワーク１６を介して外部の装置に送信してもよい。

また、出力部３８は、ユーザ端末１２の画面操作に応じて、所定の顔タグ（例えば、子供タグ）が付与されている画像同士について、対応する年齢の時であって、かつ対応する画像同士を比較可能に画面１４に出力することができる。

ここで、「対応する画像同士」とは、対応する構図や対応する場所で撮影されている画像同士や、対応する情報や対応する属性情報等が付与された画像同士をいう。「対応する画像」とは、一方の被写体の画像と「対応する画像同士」の関係にある他の被写体の画像をいう。

「対応する構図」とは、比較する被写体同士の画像間において同じような構図や類似の構図であることを示し、例えば、比較する画像についての構図特徴ベクトル（これについては後述する）が所定値の範囲内に収まるものをいう。

「対応する場所」とは、比較する被写体同士の画像間において撮影された場所が同じ場所（位置）であることを示し、例えば、比較する画像それぞれに付与されたＧＰＳによる位置情報が所定の誤差の範囲内に収まるものをいう。

「対応する情報」とは、例えば、比較する画像それぞれに付与されるテキスト情報の内容が同じような内容であったり、類似している内容であることをいい、例えば、所定の用語を使用していたり、文章の一致率が所定値以上であるものをいう。

「対応する属性情報」とは、比較する被写体の画像に付与されている属性情報がそれぞれ、同種の属性情報、及び異種の属性情報を含む。同種の属性情報とは、比較する被写体の画像に付与されている情報がいずれも、例えば、体重に関する情報を示す。また、異種の属性情報とは、比較する被写体の画像のうち、一方の被写体の画像に付与されている情報が、例えば体重に関する情報であり、他方の被写体の画像に付与されている情報が例えば身長に関する情報あることを示す。

また、出力部３８は、比較する被写体間の画像のうち、対応する画像同士を合成してフレーム画像を生成し、対応しない画像同士については所定の条件の下でそれらを合成する。出力部３８は、それを繰り返して、複数のフレーム画像を生成し、動画を生成することができる。

なお、出力部３８は、ユーザ端末１２の画面操作に応じて、対応する年齢の時であって、かつ対応する構図や対応する場所で撮影されている画像同士や対応する情報が付与されている画像同士を比較可能に、プリンタやディスプレイ装置、他の記憶媒体等に出力してもよいし、通信ネットワーク１６を介して外部の装置に送信してもよい。

記憶部５１は、画像格納領域４２を有する。画像格納領域４２は、ユーザがアップデートした画像、画像解析部３５による解析が完了した画像、またはそれらの画像から生成されたサムネイル画像等を格納する。

また、記憶部５１は、被写体情報管理データベース４３、画像解析結果管理データベース４４、クラスタリング条件管理データベース４５、コレクション画面管理データベース４６、顔タグマスター情報管理データベース４７、被写体別顔タグ管理データベース４８、顔タグ別詳細画面管理データベース４９を格納する。なお、以下では、データベースを「ＤＢ」と称する。

被写体情報管理ＤＢ４３は、被写体毎に顔タグを付与するために、対象となる被写体（すなわち「登録被写体」を示す。この例では、ユーザの家族における子供）に関する情報を管理するデータベースである。画像解析結果管理ＤＢ４４は、画像解析部３５により解析された結果を格納するデータベースである。クラスタリング条件管理ＤＢ４５は、クラスタリング部３６がクラスタリングを行う場合の条件（クラスタリング条件）を格納するデータベースである。顔タグマスター情報管理ＤＢ４６は、顔タグのマスター情報を管理するデータベースである。コレクション画面管理ＤＢ４７は、ユーザ端末１２の画面１４において表示されるコレクション画面の内容を管理するデータベースである。被写体別顔タグ管理ＤＢ４８は、被写体（登録済被写体だけでなく、未登録被写体を含んだ複数人の被写体を含む。）と、それに対応する顔タグとを管理するデータベースである。顔タグ別詳細情報管理ＤＢ４９は、選択された顔タグが付与された画像を表示する詳細画面（顔タグ別詳細画面）を管理するデータベースである。

図４は、本実施形態におけるサーバ１５により管理されるデータベースのデータ構造例を示す図である。以下では、被写体情報管理ＤＢ４３の各レコードを被写体情報と称する場合がある。画像解析結果管理ＤＢ４４の各レコードを画像解析結果情報と称する場合がある。クラスタリング条件管理ＤＢ４５の各レコードをクラスタリング条件情報と称する場合がある。顔タグマスター情報管理ＤＢ４６の各レコードを顔タグマスター情報と称する場合がある。コレクション画面管理ＤＢ４７の各レコードをコレクション画面情報と称する場合がある。被写体別顔タグ管理ＤＢ４８の各レコードを被写体別顔タグ情報と称する場合がある。顔タグ別詳細情報管理ＤＢ４９の各レコードを顔タグ別詳細情報と称する場合がある。

被写体情報管理ＤＢ４３は、「家族ＩＤ」、「被写体ＩＤ」、「被写体名」、「生年月日」のデータ項目を含む。項目「家族ＩＤ」には、ユーザの家族を特定する情報（家族ＩＤ）が格納される。項目「被写体ＩＤ」には、被写体の人物を識別する識別情報（被写体ＩＤ）が格納される。項目「被写体名」には、被写体ＩＤに対応する人物の名前（被写体名）が格納される。項目「生年月日」には、その被写体の生年月日が登録される。

画像解析結果管理ＤＢ４４は、「画像ＩＤ」、「撮像日時」、「撮像場所」、「顔検出結果」、「被写体人数」、「姿勢推定結果」、「年齢推定結果」、「特徴ベクトル」のデータ項目を含む。項目「画像ＩＤ」には、画像を特定する情報（画像ＩＤ）が格納される。項目「撮像日時」には、画像が撮像された日時が格納される。項目「撮像場所」には、画像が撮像された場所（位置）が格納される。項目「顔検出結果」には、顔検出処理により検出された顔に関する情報が格納される。項目「被写体人数」には、検出された顔の数が格納される。項目「姿勢推定結果」には、その画像において、検出された顔の人物の姿勢に関する情報が格納される。項目「年齢推定結果」には、その画像において、検出された顔から推定される年齢が格納される。項目「顔特徴ベクトル」には、その顔の特徴を表す特徴ベクトル（特徴量）が格納される。項目「構図特徴ベクトル」には、その画像の構図の特徴を表す特徴ベクトル（特徴量）が格納される。

クラスタリング条件管理ＤＢ４５は、「家族ＩＤ」、「期間」のデータ項目を含む。項目「家族ＩＤ」には、ユーザの家族を特定する情報（家族ＩＤ）が格納される。項目「期間」には、クラスタリングを行う周期や期間（〇年〇月〇日から×年×月×日まで）、期日、日時等が格納される。

顔タグマスター情報管理ＤＢ４６は、「顔タグＩＤ」、「顔タグ種別」のデータ項目を含む。項目「顔タグＩＤ」には、子ども別に画像を閲覧することができるためのタグ（顔タグ）の種別を特定する情報（顔タグＩＤ）が格納される。項目「顔タグ種別」には、顔タグの種別が格納される。この例では、顔タグ種別として、「子供」、「家族」、「兄弟・姉妹」が格納されている。

コレクション画面管理ＤＢ４７は、「家族ＩＤ」、「顔タグＩＤ」（または「顔タグＩＤ＋枝番」）のデータ項目を含む。項目「家族ＩＤ」には、家族を特定する情報（家族ＩＤ）が格納される。項目「顔タグＩＤ」には、クラスタリングで分類されて被写体情報と関係付けられた人物の顔タグＩＤが格納される。なお、同一の家族ＩＤについて、同種の顔タグＩＤが存在する場合には、その顔タグＩＤに、枝番として、関係付けられた被写体情報の被写体ＩＤが付与されて格納される。

被写体別顔タグ管理ＤＢ４８は、「家族ＩＤ」、「顔タグＩＤ」、「枝番（被写体ＩＤ）」、「顔タグ表記」、「プロフィール画像ＩＤ」のデータ項目を含む。項目「家族ＩＤ」には、家族を特定する情報（家族ＩＤ）が格納される。項目「顔タグＩＤ」には、クラスタリングで分類されて被写体情報と関係付けられた人物の顔タグＩＤが格納される。「枝番（被写体ＩＤ）」には、同一の家族ＩＤについて、同種の顔タグＩＤが存在する場合には、その顔タグＩＤの枝番として、関係付けられた被写体情報の被写体ＩＤが格納される。「顔タグ表記」には、画面１４上で具体的に表示する顔の表記内容として、関係付けられた被写体情報の被写体ＩＤに対応する被写体名が格納される。「プロフィール画像ＩＤ」には、画面１４上で表示するプロフィール画像として、クラスタリングされた画像から選択された画像のサムネイル画像を特定する識別情報（プロフィール画像ＩＤ）が格納される。

顔タグ別詳細情報管理ＤＢ４９は、「家族ＩＤ」、「顔タグＩＤ」、「枝番」、「年月」、「年齢」、「成長メモ」、「体重」、「身長」、「画像ＩＤ」のデータ項目を含む。項目「家族ＩＤ」には、家族を特定する情報（家族ＩＤ）が格納される。項目「顔タグＩＤ」には、クラスタリングで分類されて被写体情報と関係付けられた人物の顔タグＩＤが格納される。「枝番」には、同一の家族ＩＤについて、同種の顔タグＩＤが存在する場合には、その顔タグＩＤの枝番として、関係付けられた被写体情報の被写体ＩＤが格納される。項目「年月」には、画像が撮像された年月が格納される。項目「年齢」には、画像が撮像された年月日から、被写体情報管理ＤＢ４３に登録されたその被写体ＩＤに対応する生年月日を差し引いた年齢が格納される。項目「成長メモ」には、ユーザが任意で入力したコメントが格納される。項目「体重」には、ユーザが任意で入力した被写体（登録済被写体だけでなく、未登録被写体を含む複数の被写体であってもよい。）の体重が格納される。項目「身長」には、ユーザが任意で入力した被写体（登録済被写体だけでなく、未登録被写体を含む複数の被写体であってもよい。）の身長が格納される。項目「画像ＩＤ」には、その年月において撮像されたその顔タグＩＤに対応する画像の画像ＩＤが格納される。

図５は、本実施形態における顔タグの一例について説明する図である。顔タグは、子ども別に写真や動画を閲覧可能にするためのタグであり、子供が写っている画像またはこれに関係づけられた被写体情報に付与される。なお、子どもだけじゃなく、家族や兄弟・姉妹という単位で画像を閲覧することもできる。

顔タグの種類の一例として、「子供」、「家族」、「兄弟・姉妹」がある。ある人物が１人だけで写っている画像について子供タグが付与されている場合、ユーザ端末１２の画面１４では、その人物（登録済被写体）の名前が表示される。たとえば、「あき」という名前の子供が写っている画像の場合、子供タグが付与され、画面１４上では「あき」と表示される。子供タグは、被写体情報管理ＤＢ４３に登録されている登録済被写体（子供）の数だけ付与される。

また、子供のみが２人以上写っている画像には、兄弟・姉妹タグが付与される。兄弟・姉妹タグが付与された画像は、画面１４上では「子供たち」と表示される。たとえば、「あき」という名前の子供と「はる」という名前の子供が写っている画像の場合、兄弟・姉妹タグが付与され、画面１４上では「子供たち」と表示される。なお、兄弟・姉妹がいない場合には、このタグは付与されない。被写体情報管理ＤＢ４３において、同一家族ＩＤで、複数の被写体情報が登録されている場合には、その登録済被写体は、兄弟または姉妹と判定される。

また、１人以上の子供と、１人以上の大人が一緒に写っている画像には、家族タグが付与される。家族タグが付与された画像は、画面１４上では「みんな」と表示される。たとえば、「あき」という名前の子供とママが写っている画像の場合、家族タグが付与され、画面１４上では「みんな」と表示される。なお、この例では、大人のみの画像は画面１４上には表示しない。

図６は、本実施形態におけるコレクション画面例を示す図である。ユーザ端末１２において、ユーザが専用アプリケーションプログラム２５を起動させると、コレクション画面５１が表示する。コレクション画面５１は、ユーザによってアップロードされてサーバ１５に収集・管理されている画像を一元的に閲覧することができる。

コレクション画面５１は、人物毎のアイコン５２、成長タイムラインアイコン５４、動画表示欄５５、お気に入り欄５６を含む。人物毎のアイコン５２には、顔タグ単位で人物のプロフィール画像及びそれに対応する顔タグの表記５３（図５参照）が表示される。被写体情報管理ＤＢ４３に登録されている登録済被写体（子供）の数だけプロフィール画像を表示させる。プロフィール画像は、顔タグが付与されている画像のうちいずれかの画像から生成されるサムネイル画像である。なお、顔タグの表記５３をタップすると、対応するプロフィール画像５２を変更することができる。

「あき」という名前の子供が写っている画像の場合、子供タグが付与され、コレクション画面５１上では「あき」と表示されている。「はる」という名前の子供が写っている画像の場合、子供タグが付与され、コレクション画面５１上では「はる」と表示されている。

「はる」という名前の子供と大人（例えば、パパとママ）が写っている画像の場合、家族タグが付与され、コレクション画面５１のアイコン５２には、「みんな」と表示されている。

「あき」という名前の子供と「はる」という名前の子供が写っている画像の場合、兄弟・姉妹タグが付与され、コレクション画面５１のアイコン５２では「子供たち」と表示される。

動画表示欄５５は、サーバ１５にアップロードされている動画が表示されており、その動画をタップすると再生される。お気に入り欄５６には、ユーザのお気に入りの写真や動画を登録することができる。なお、コレクション画面５１は、画面１４内に収まらずに表示されていない内容を見るために、画面の中を上下または左右に少しずつ移動させて、隠れている部分を表示させる（スクロール）させることが可能になっている。

ここで、いずれかの人物のアイコン５２をタップすると、その顔タグが付与された画像を閲覧できる詳細画面（顔タグ別詳細画面）に遷移する。例えば、「あき」のアイコン５２をタップすると、図７の画面に遷移する。

図７は、本実施形態における顔タグ別詳細画面の一例を示す図である。顔タグ別詳細画面６１は、コレクション画面５１のアイコン５２に対応する人物の画像を閲覧・管理する詳細画面である。

顔タグ別詳細画面６１は、プロフィール画像６２、顔タグに対応する表記欄６３、月齢（生後〇〇日）表示欄６４、時系列表示欄６５、時系列対応画像表示欄６６、成長メモ入力欄６７、体重・身長入力欄６８を含む。

プロフィール画像６２及び顔タグに対応する表記欄６３は、コレクション画面５１のアイコン５２及び表記５３に表示されていたものと同様である。月齢（生後〇〇日）表示欄６４は、現時点でのその登録済被写体の月齢（生後〇〇日）が表示される。時系列表示欄６５には、１ヶ月毎の月齢及び年月が表示されている。時系列対応画像表示欄６６には、時系列表示欄６５に対応する期間の画像が表示される。成長メモ入力欄６７には、その時系列時点での子供の成長に関するコメントを入力して記録できる。体重・身長入力欄６８には、その時系列時点での子供の体重および身長を入力して記録できる。

なお、顔タグ別詳細画面６１をスクロールすると、年齢順に、時系列表示欄６５、時系列対応画像表示欄６６、成長メモ入力欄６７、体重・身長入力欄６８が表示される。

図８は、本実施形態における成長タイムライン画面の一例を示す図である。成長タイムライン画面７１は、子供タグが付与された登録済被写体の画像７２を、年齢及び画像の内容に応じて、比較可能な状態で表示させる。

成長タイムライン画面７１は、縦方向には子供タグが付与された登録済被写体の画像７２が実際の年齢順に表示される。横方向は、生まれてからの年齢を示す時間軸７３が表示され、登録済被写体の画像７２が年齢順に表示される。

また、登録済被写体間の画像に関して、登録済被写体が対応する年齢のときで、かつ、対応する構図（ここで、構図には姿勢を含む。）及び／または対応する場所で撮像された画像は、比較可能なように対応する位置に並べて表示される。

図８の左側の成長タイムライン画面７１の例では、縦方向に登録済被写体が「はる」、「あき」、「なつ」の順で表示されている。それぞれの登録済被写体の画像について、０ヶ月のときの画像であって登録済被写体が寝ているときの画像が同列に表示されている。それぞれの登録済被写体の画像について、１０ヶ月のときの画像であって登録済被写体がハイハイしているときの画像が同列に表示されている。

図８の左側の成長タイムライン画面７１上で指を左方向にスワイプ（スライド）させる動作を行うと、成長タイムライン画面７１は、図８の中央の状態になる。すなわち、１列分タイムラインが進んで、登録済被写体それぞれが２歳のときの画像であって入園式が行われる幼稚園の前で撮像されている画像が同列に表示されている。なお、「なつ」は、まだ月齢１０ヶ月なので、１０ヶ月時より未来の画像は存在しない。

さらに、図８の中央の成長タイムライン画面７１上で指を左方向にスワイプ（スライド）させる動作を行うと、成長タイムライン画面７１は、図８の右側の状態になる。すなわち、１列分タイムラインが進んで、登録済被写体が２歳１０ヶ月ときの画像であって星空を楽しんでいる様子が撮像されている画像が表示されている。なお、「あき」は、まだ年齢２歳なので、２歳時より未来の画像は存在しない。さらに、図８の右側の成長タイムライン画面７１上で指を左方向にスワイプ（スライド）させる動作を行うと、成長タイムライン画面７１は、「はる」のその後の画像を閲覧することができる。

なお、図８の右側の成長タイムライン画面７１上で指を左方向にスワイプ（スライド）させる動作を行うと、成長タイムライン画面７１は、図８の中央の状態になる。さらに、図８の中央の成長タイムライン画面７１上で指を左方向にスワイプ（スライド）させる動作を行うと、成長タイムライン画面７１は、図８の左側の状態になる。

このように、図８の成長タイムライン画面７１では、子供タグが付与された登録済被写体を同じ時間軸７３上に表示し、さらに、例えば、同じような構図や場所、状況で撮影された画像が対応するように同列に表示される。

また、成長タイムライン画面７１に表示される各画像には、複数の被写体が写っていてもよい。この場合、対応する画像は、その複数の被写体の組み合わせに対応する画像であってもよい。例えば、登録済被写体「はる」について、はるとパパとママの３人で写っている画像がある場合、登録済被写体「あき」についてそれに対応する画像は、あきとパパとママの３人で写っている画像である。

図９は、本実施形態における成長タイムライン画面の他の例を示す図である。図９の成長タイムライン画面７１は、図８の成長タイムライン画面７１中の画像に、コメントを付与したものである。このコメントは、例えば、図７の顔タグ別詳細画面６１の成長メモ入力欄６７や体重・身長入力欄６８等で入力されたテキスト情報である。

図９では、子供タグが付与された登録済被写体を同じ時間軸７３上に表示し、さらに、同じようなコメントが付されている画像同士が対応するように同列に表示される。

なお、図８及び図９の例では、時間軸７３が横方向、登録済被写体が縦方向に並ぶように、表示されたがこれに限定されない。例えば、時間軸７３が縦方向、登録済被写体が横方向に並ぶように、表示されるようにしてもよい。

図１０は、本実施形態における画像収集管理システムの被写体情報登録フェーズ及び画像収集フェーズのシーケンス図である。被写体情報登録フェーズでは、ユーザは、ユーザ端末１２において、専用アプリケーションプログラム２５を起動させて、所定の画面を表示させ、被写体（例えば、自身の子供）の名前（被写体名）及び生年月日を入力する。このとき、例えば子供が複数いる場合には子供の数だけ入力を繰り返す。入力が完了したら、登録ボタンを押下する。

すると、ユーザ端末１２は、被写体情報（家族ＩＤ、被写体名及び生年月日を含む。）をサーバ１５に送信する（Ｓ１）。サーバ１５は、被写体情報毎に、被写体ＩＤを付与し、被写体情報管理ＤＢ４３に登録する。

次に、画像収集フェーズでは、ユーザは、ユーザ端末１２に格納されている画像を、専用アプリケーションプログラム２５の所定の画面を介して、サーバ１５にアップロードする（Ｓ２）。

サーバ１５は、ユーザ端末１２からアップロードされた画像を解析し（Ｓ３）、クラスタリング処理を行って、特定の被写体別、複数の被写体等の画像を分類する（Ｓ４）。サーバ１５は、撮影頻度や顔画像から推定された年齢に基づいて、分類した画像と、被写体情報とを関係付けると共に、顔タグを付与する（Ｓ５）。

図１１は、本実施形態（実施例１）における画像収集管理システムの画像閲覧フェーズのシーケンス図である。画像閲覧フェーズでは、ユーザは、専用アプリケーションプログラム２５を起動させて、コレクション画面の表示を試みる。すると、ユーザ端末１２は、コレクション画面表示要求（家族ＩＤを含む。）をサーバ１５に送信する（Ｓ６）。

サーバ１５は、コレクション画面表示要求を取得すると、コレクション画面５１を表示させるための処理（コレクション画面表示処理）を行う（Ｓ７）。ここでは、サーバ１５は、コレクション画面５１のコンテンツ情報として、コレクション画面管理ＤＢ４７から家族ＩＤに対応するコレクション画面情報を取得し、被写体別顔タグ管理ＤＢから家族ＩＤに対応する被写体別顔タグ情報を取得する。サーバ１５は、コレクション画面情報、被写体別顔タグ情報をユーザ端末１２に送信する（Ｓ８）。

ユーザ端末１２は、サーバ１５からコレクション画面情報、被写体別顔タグ情報を取得すると、取得したコレクション画面情報、被写体別顔タグ情報を用いてコレクション画面５１を表示させる。

それから、ユーザは、コレクション画面５１から「（成長）タイムライン」のアイコン５４をタップする。すると、ユーザ端末１２は、そのタップしたアイコン５４に対応する成長タイムライン画像７１を閲覧するための成長タイムライン画面閲覧要求（家族ＩＤ）をサーバ１５に送信する（Ｓ９）。

サーバ１５は、成長タイムライン画面閲覧要求を取得すると、成長タイムライン画面７１を表示させる処理（成長タイムライン画面表示処理）を行う（Ｓ１０）。ここでは、サーバ１５は、成長タイムライン画面のコンテンツ情報として、顔タグ別詳細情報管理ＤＢ４９から、家族ＩＤに対応する顔タグ別詳細情報を取得する。サーバ１５は、顔タグ別詳細情報に含まれる画像ＩＤに対応する画像を、登録済被写体別に、年月日順に並べ、さらに、登録済被写体間の画像同士で、対応する年齢のときの画像で、かつ、構図等、共通する内容があれば、比較可能なように並べて配置して、成長タイムライン画面情報を生成する。サーバ１５は、生成した成長タイムライン画面情報をユーザ端末１２に送信する（Ｓ１１）。

ユーザ端末１２は、成長タイムライン画面情報を取得すると、取得した成長タイムライン画面情報を用いて成長タイムライン画面７１（図８参照）を表示する。

図１２は、本実施形態（実施例２）における画像収集管理システムの画像閲覧フェーズのシーケンス図である。図１１は、コレクション画面５１から成長タイムライン画面７１に遷移するパターンを示すシーケンス図である。それに対して、図１２は、コレクション画面５１から顔タグ別詳細画面６１に遷移して画像にコメントを付けた後に、再度コレクション画面に戻り、その後、成長タイムライン画面７１に遷移するパターンを示すシーケンス図である。

ユーザは、専用アプリケーションプログラム２５を起動させて、コレクション画面の表示を試みる。すると、ユーザ端末１２は、コレクション画面表示要求（家族ＩＤを含む。）をサーバ１５に送信する（Ｓ６）。

サーバ１５は、コレクション画面表示要求を取得すると、コレクション画面５１を表示させるための処理（コレクション画面表示処理）を行う（Ｓ７）。ここでは、サーバ１５は、コレクション画面５１のコンテンツ情報として、コレクション画面管理ＤＢ４７から家族ＩＤに対応するコレクション画面情報を取得し、被写体別顔タグ管理ＤＢから家族ＩＤに対応する被写体別顔タグ情報を取得する。サーバ１５は、コレクション画面情報、被写体別顔タグ情報をユーザ端末１２に送信する（Ｓ８）。

ユーザ端末１２は、サーバ１５からコレクション画面情報、被写体別顔タグ情報を取得すると、取得したコレクション画面情報、被写体別顔タグ情報を用いてコレクション画面５１を表示させる。

それから、ユーザは、コレクション画面５１において、いずれかの人物のアイコン５２を選択し、タップする。すると、ユーザ端末１２は、そのタップしたアイコン５２に対応する顔タグ別詳細画面６１を閲覧するための顔タグ別詳細画面閲覧要求（家族ＩＤ、顔タグＩＤ、被写体ＩＤ）をサーバ１５に送信する（Ｓ８－１）。

サーバ１５は、顔タグ別詳細画面閲覧要求を取得すると、顔タグ別詳細画面６１を表示させる処理（顔タグ別詳細画面表示処理）を行う（Ｓ８－２）。ここでは、サーバ１５は、顔タグ別詳細画面のコンテンツ情報として、顔タグ別詳細情報管理ＤＢ４９から、家族ＩＤ、顔タグＩＤ、及び被写体ＩＤに対応する顔タグ別詳細情報を取得する。サーバ１５は、取得した顔タグ別詳細情報をユーザ端末１２に送信する（Ｓ８－３）。

ユーザ端末１２は、顔タグ別詳細情報を取得すると、取得した顔タグ別詳細情報を用いて顔タグ別詳細画面６１を表示する。

ユーザは、顔タグ別詳細画面６１において、対象の画像に対応する成長メモ入力欄６７、体重・身長入力欄６８にそれぞれ成長メモまたは体重・身長を入力し、登録する。すると、ユーザ端末１２は、家族ＩＤ、顔タグＩＤ、枝番、画像ＩＤと共に、入力された成長メモ及び／または体重・身長を含む顔タグ別詳細画面更新要求をサーバ１５に送信する（Ｓ８－４）。

サーバ１５は、顔タグ別詳細画面更新要求を取得すると、取得した顔タグ別詳細画面更新要求に基づいて、成長メモ及び／または体重・身長を顔タグ別詳細情報管理ＤＢ４９に登録する（Ｓ８－５）。

ユーザは、顔タグ別詳細画面６１において、前画面へ戻るための操作を行う。すると、ユーザ端末１２は、前画面へ戻る要求をサーバ１５に送信する（Ｓ８－６）。サーバ１５は、前画面へ戻る要求を取得すると、そのコレクション画面５１を再表示させる指示をユーザ端末１２に送信する（Ｓ８－７）。

ユーザ端末１２は、前回取得したコレクション画面情報、被写体別顔タグ情報を用いてコレクション画面５１を再表示させる。

それから、ユーザは、コレクション画面５１から「（成長）タイムライン」のアイコン５４をタップする。すると、ユーザ端末１２は、そのタップしたアイコン５４に対応する成長タイムライン画像７１を閲覧するための成長タイムライン画面閲覧要求（家族ＩＤ）をサーバ１５に送信する（Ｓ９）。

サーバ１５は、成長タイムライン画面閲覧要求を取得すると、成長タイムライン画面７１を表示させる処理（成長タイムライン画面表示処理）を行う（Ｓ１０ａ）。ここでは、サーバ１５は、成長タイムライン画面のコンテンツ情報として、顔タグ別詳細情報管理ＤＢ４９から、家族ＩＤに対応する顔タグ別詳細情報を取得する。サーバ１５は、顔タグ別詳細情報に含まれる画像ＩＤに対応する画像を、登録済被写体別に、年月日順に並べ、さらに、登録済被写体間の画像同士で、付与されている情報（撮影場所、成長メモ、身長・体重等）に共通する内容や類似の内容等がある画像を、比較可能なように並べて配置して、成長タイムライン画面情報を生成する。サーバ１５は、生成した成長タイムライン画面情報をユーザ端末１２に送信する（Ｓ１１）。

ユーザ端末１２は、成長タイムライン画面情報を取得すると、取得した成長タイムライン画面情報を用いて成長タイムライン画面７１を表示する。

図１３は、本実施形態における画像解析処理（Ｓ３）のフローチャートである。制御部３２は、本実施形態に係るプログラムを読み込むことにより、画像取得部３４、画像解析部３５として機能する。

画像取得部３４は、ユーザ端末１２よりアップロードされた画像を取得する（Ｓ２１）。画像解析部３５は、顔検出アルゴリズムを用いて、取得された画像から顔を検出し、顔検出結果を画像解析結果管理ＤＢ４４に格納する（Ｓ２２）。

画像解析部３５は、取得された画像から検出した顔の個数から、画像中の人物の数を計測し、その人数を画像解析結果管理ＤＢ４４に格納する（Ｓ２３）。画像解析部３５は、姿勢推定アルゴリズムを用いて、取得された画像から、検出した顔に対する人物の姿勢を推定し、姿勢推定結果を画像解析結果管理ＤＢ４４に格納する（Ｓ２４）。人物の姿勢の推定では、例えば顔がどっちを向いているか、どのようなポーズをとっているのかを推定する。

画像解析部３５は、年齢推定アルゴリズムを用いて、取得された画像から、検出した顔に対する人物の年齢を推定し、年齢推定結果を画像解析結果管理ＤＢ４４に格納する（Ｓ２５）。

画像解析部３５は、顔検出結果、姿勢推定結果、及び姿勢推定結果から顔画像の特徴ベクトル（以下、「顔特徴ベクトル」という）を算出し、その算出された特徴ベクトルを画像解析結果管理ＤＢ４４に格納する（Ｓ２６）。

画像解析部３５は、画像の構図から構図の特徴ベクトル（以下、「構図特徴ベクトル」という。）を算出し、その算出された特徴ベクトルを画像解析結果管理ＤＢ４４に格納する（Ｓ２７）。画像解析部３５は、解析済みの画像を画像格納領域４２に格納する（Ｓ２７）。

図１４Ａ及び図１４Ｂは、本実施形態におけるクラスタリング処理（Ｓ４）及びタグ付与処理（Ｓ５）のフローチャートである。制御部３２は、本実施形態に係るプログラムを読み込むことにより、クラスタリング部３６、タグ付与部３７として機能する。

クラスタリング部３６は、クラスタリング条件に基づいて、クラスタリング対象の家族・期間を決定する（Ｓ３１）。ここでは、クラスタリング部３６は、クラスタリング条件管理ＤＢ４５から、家族ＩＤに対応するクラスタリング条件情報を取得し、期間（クラスタリングの対象となる期間）を決定する。

クラスタリング部３６は、画像に付与されている撮像日時情報に基づいて、画像格納領域４２から決定した期間に含まれる画像を読み出す（Ｓ３２）。クラスタリング部３６は、画像解析結果管理ＤＢ４４の被写体人数を参照して、読み出した画像から単独で写っている画像（顔画像）を抽出する（Ｓ３３）。

クラスタリング部３６は、画像解析結果管理ＤＢ４４から、読み出した画像の画像ＩＤに対応する顔特徴ベクトルを取得し、取得した顔特徴ベクトルに基づいて、顔画像に対してクラスタリングを行い、人物毎に分類する（Ｓ３４）。

タグ付与部３７は、人物の出現頻度（または年齢情報）に基づいて、顔画像と被写体情報とを関係付けると共に、そのクラスタの全画像に子供タグを付与する（Ｓ３５）。ここでは、タグ付与部３７は、被写体情報管理ＤＢ４３から、家族ＩＤに対応する被写体情報を取得する。

例えば、被写体情報管理ＤＢ４３から取得された被写体情報が１つの場合（すなわち子供が１人である場合）、タグ付与部３７は、人物毎に分類されたクラスタのうち、撮像枚数が最も多いクラスタの人物が被写体情報と特定して、家族ＩＤ、画像ＩＤと、被写体情報の被写体ＩＤと、顔タグＩＤ（「子供タグ」を示すＩＤ）を関係付けて、被写体別顔タグ管理ＤＢ４８に登録する。

例えば、被写体情報管理ＤＢ４３から取得された被写体情報が複数の場合（すなわち兄弟・姉妹がいる場合）、タグ付与部３７は、人物毎に分類されたクラスタの人物の年齢を推定し、その年齢と被写体情報の生年月日に基づいてその推定した顔画像の画像ＩＤと、被写体情報の被写体ＩＤと、顔タグＩＤ（「子供タグ」を示すＩＤ）、家族ＩＤとを関係付けて、被写体別顔タグ管理ＤＢ４８に登録する。

タグ付与部３７は、子供タグが付与されたその人物の画像のうちいずれかを用いてその人物のプロフィール画像を生成し、表記用タグを設定する（Ｓ３６）。ここでは、タグ付与部３７は、被写体情報と関係付けられた顔画像のいずれかからプロフィール画像及びそのプロフィール画像を特定するプロフィール画像ＩＤを生成し、被写体別顔タグ管理ＤＢに格納する。また、タグ付与部３７は、被写体情報管理ＤＢ４３から家族ＩＤ、被写体ＩＤに対応する被写体名を取得する。

タグ付与部３７は、被写体別顔タグ管理ＤＢ４８において家族ＩＤ、顔タグＩＤ，及び枝番（被写体ＩＤ）に対応する被写体別顔タグ情報の項目「顔タグ表記」に、取得した被写体名を登録する。タグ付与部３７は、Ｓ３５及びＳ３６を、人物毎に分類されたクラスタの数だけ繰り返す。

タグ付与部３７は、画像解析結果管理ＤＢ４４の項目「被写体人数」を参照して、読み出した画像から、複数人で写っている未処理の１枚の画像を取得する（Ｓ３７）。タグ付与部３７は、画像解析結果管理ＤＢ４４の特徴ベクトルを用いて、その画像中の人物がすべて登録済被写体であるかを判定する（Ｓ３８）。

その画像中の人物がすべて登録済被写体である場合（Ｓ３８でＹＥＳ）、タグ付与部３７は、その画像に兄弟・姉妹タグを付与する（Ｓ３９）。ここでは、タグ付与部３７は、家族ＩＤ、画像ＩＤと、顔タグＩＤ（「兄弟・姉妹タグ」を特定するＩＤ）を関係付けて、被写体別顔タグ管理ＤＢ４８に登録する。

その画像中の人物がすべて登録済被写体でない場合、すなわち画像中に未登録被写体が１人以上存在する場合（Ｓ３８でＮＯ）、タグ付与部３７は、その画像に家族タグを付与する（Ｓ４０）。ここでは、タグ付与部３７は、家族ＩＤ、画像ＩＤと、顔タグＩＤ（「家族タグ」を特定するＩＤ）を関係付けて、被写体別顔タグ管理ＤＢ４８に登録する。なお、未登録被写体の人物の頻出度（その人物の撮像枚数の多さ）が一定以上の場合に、その画像に家族タグを付与してもよい。

タグ付与部３７は、複数人で写っている画像の枚数だけＳ３７～Ｓ４０の処理を繰り返す。

それから、タグ付与部３７は、兄弟・姉妹タグが付与された画像のうち、いずれかを用いて兄弟・姉妹タグ用プロフィール画像を生成する。タグ付与部３７は、表記用タグを設定する（Ｓ４１）。ここでは、タグ付与部３７は、兄弟・姉妹タグが付与された画像のいずれかからプロフィール画像及びそのプロフィール画像を特定するプロフィール画像ＩＤを生成し、被写体別顔タグ管理ＤＢに格納する。さらに、タグ付与部３７は、兄弟・姉妹タグとして項目「顔タグ表記」に「子供たち」を格納する。

タグ付与部３７は、家族タグが付与された画像のうち、いずれかを用いて家族タグ用プロフィール画像を生成する。タグ付与部３７は、表記用タグを設定する（Ｓ４２）。ここでは、タグ付与部３７は、家族タグが付与された画像のいずれかからプロフィール画像及びそのプロフィール画像を特定するプロフィール画像ＩＤを生成し、被写体別顔タグ管理ＤＢに格納する。さらに、タグ付与部３７は、家族タグとして項目「顔タグ表記」に「みんな」を格納する。

図１５は、本実施形態におけるコレクション画面表示処理（Ｓ７）のフローチャートである。制御部３２は、本実施形態に係るプログラムを読み込むことにより、出力部３８として機能する。

出力部３８は、ユーザ端末１２からコレクション画面表示要求（家族ＩＤを含む。）を取得する（Ｓ５１）。すると、出力部３８は、コレクション画面管理ＤＢ４７から家族ＩＤに対応するコレクション画面情報を取得する（Ｓ５２）。

出力部３８は、取得したコレクション画面情報に含まれる顔タグＩＤ及び顔タグＩＤ＋枝番をすべて取得する（Ｓ５３）。出力部３８は、被写体別顔タグ管理ＤＢ４８から、家族IＤ及び、顔タグＩＤまたは顔タグＩＤ＋枝番に対応する「顔タグ表記」及び「プロフィール画像ＩＤ」を取得する（Ｓ５４）。

出力部３８は、画像格納領域４２から、取得したプロフィール画像ＩＤに対応するプロフィール画像を取得する（Ｓ５５）。出力部３８は、コレクション画面情報、及び顔タグ表記とプロフィール画像とをユーザ端末１２へ送信する（Ｓ５６）。

ユーザ端末１２は、コレクション画面情報、及び顔タグ表記とプロフィール画像を取得すると、コレクション画面５１のアイコン５２及びその表記５３については、顔タグ表記とプロフィール画像をそのペア単位で表示する。

図１６は、本実施形態における顔タグ別詳細画面表示処理（Ｓ８－２）及び顔タグ別詳細画面更新処理（Ｓ８－５）のフローチャートである。ユーザは、コレクション画面５１のアイコン５２のいずれか（但し、アイコン「成長タイムライン」５４を除く。）を選択する。すると、ユーザ端末１２は、顔タグ別詳細画面閲覧要求をサーバ１５に送信する。

出力部３８は、ユーザ端末１２から顔タグ別詳細画面閲覧要求を受信した場合、顔タグ別詳細画面閲覧要求（家族ＩＤ、及び顔タグＩＤ，枝番（被写体ＩＤ）を含む。）を取得する（Ｓ６１）。

出力部３８は、顔タグ別詳細情報管理ＤＢ４９から、家族ＩＤ，顔タグＩＤ，枝番（被写体ＩＤ）に対応する顔タグ別詳細情報を取得する（Ｓ６２）。出力部３８は、顔タグ別詳細情報に含まれる画像ＩＤに対応する画像を取得する（Ｓ６３）。

出力部３８は、取得した画像を撮像日時で時系列にソートする（Ｓ６４）。出力部３８は、取得した顔タグ別詳細情報、及びソートした画像をユーザ端末１２へ送信する（Ｓ６５）。

ユーザ端末１２は、顔タグ別詳細情報、及びソートした画像を取得すると、顔タグ別詳細画面６１のプロフィール画像６２、顔タグに対応する表記欄６３には、遷移前のコレクション画面５１のアイコン５２でタップしたプロフィール画像及び顔タグ表記が表示される。

さらに、顔タグ別詳細情報に基づいて、月齢（生後〇〇日）表示欄６４、時系列表示欄６５、時系列対応画像表示欄６６、成長メモ入力欄６７、体重・身長入力欄６８が表示される。また、画像も時系列対応画像表示欄６６に応じて時系列に表示される。

ユーザは、顔タグ別詳細画面６１の成長メモ入力欄６７に任意にコメントを入力したり、体重・身長入力欄６８に任意に体重・身長を入力し、保存ボタン（不図示）をタップする。すると、ユーザ端末１２は、家族ＩＤ、顔タグＩＤ、枝番、画像ＩＤと共に、入力された成長メモ及び／または体重・身長を含む顔タグ別詳細画面更新要求をサーバ１５に送信する。

サーバ１５は、顔タグ別詳細画面更新要求を取得すると、取得した顔タグ別詳細画面更新要求に基づいて、成長メモ及び／または体重・身長を顔タグ別詳細情報管理ＤＢ４９に登録する（Ｓ６７）。

図１７は、本実施形態における成長タイムライン画面表示処理（Ｓ１０またはＳ１０ａ）のフローチャートである。制御部３２は、本実施形態に係るプログラムを読み込むことにより、出力部３８として機能する。

出力部３８は、ユーザ端末１２から成長タイムライン画面表示要求（家族ＩＤを含む。）を取得する（Ｓ７１）。すると、出力部３８は、顔タグ別詳細情報管理ＤＢ４９から、取得した家族ＩＤ及び「子供タグ」に対応する登録済被写体それぞれの顔タグ別詳細情報を取得する（Ｓ７２）。

出力部３８は、取得した顔タグ別詳細情報に対応する登録済被写体のうち、いずれかの登録済被写体を「基準被写体」として、その登録済被写体に対応する画像ＩＤを取得する。出力部３８は、画像格納領域４２からその画像ＩＤに対応する画像を読み出し、読み出した画像を年齢毎に並べる（Ｓ７３）。

出力部３８は、基準被写体以外の他の登録済被写体を「比較被写体」として、取得した顔タグ別詳細情報のうちいずれかの比較被写体の顔タグ別詳細情報の画像ＩＤを取得する。出力部３８は、画像格納領域４２からその画像ＩＤに対応する画像を読み出す（Ｓ７４）。

出力部３８は、画像解析結果管理ＤＢ４４を用いて、年齢毎に、基準被写体の画像と比較被写体の画像の内容（例えば、画像の構図、被写体の姿勢等）や画像に付与されている内容（例えば、撮像場所、テキスト情報）とを比較する（Ｓ７５）。

Ｓ１０の場合、出力部３８は、例えば、画像解析結果管理ＤＢ４４に基づいて、年齢毎に、構図特徴ベクトルを用いて基準被写体の画像と比較被写体の画像の構図が類似しているかを判定してもよい。構図が類似しているとは、例えば、基準被写体の画像の構図特徴ベクトルと比較被写体の画像の構図特徴ベクトルとの差分が所定範囲に収まっていることをいう。出力部３８は、基準被写体の画像と比較被写体の画像とが類似していると判定した場合、２つの画像は対応する画像と判定する。

また、Ｓ１０の場合、出力部３８は、例えば、画像解析結果管理ＤＢ４４に基づいて、年齢毎に、姿勢推定結果を用いて基準被写体の画像中のポーズと比較被写体の画像のポーズが類似しているかを判定してもよい。

なお、Ｓ１０ａの場合、出力部３８は、例えば、顔タグ別詳細情報管理ＤＢを用いて、年齢毎に、基準被写体の画像に付与されている情報と比較被写体の画像に付与されている情報が類似しているかを判定してもよい。ここで、画像に付与されている情報とは、撮像場所（ＧＰＳの位置座標）であったり、テキスト情報であったり、対応する属性情報に関する情報であってよい。対応する属性情報は、同種の属性情報及び異種の属性情報を含む。同種の属性情報とは、例えば、比較する被写体の画像に付与されている情報がいずれも、体重に関する情報を示す。また、異種の属性情報とは、例えば、比較する被写体の画像のうち、一方の被写体の画像に付与されている情報が、体重に関する情報であり、他方の被写体の画像に付与されている情報が身長に関する情報あることを示す。

例えば、出力部３８は、画像に付与されている撮像場所情報（画像解析結果管理ＤＢ４４の撮影場所情報でもよい。）に基づいて、年齢毎に、撮影場所が同じかどうかを判定してもよい。撮影場所が同じかどうかは、例えば、ＧＰＳの位置座標が所定の範囲内に収まっていることをいう。出力部３８は、基準被写体の画像と比較被写体の画像とが類似していると判定した場合、２つの画像は対応する画像と判定する。

例えば、出力部３８は、顔タグ別詳細情報管理ＤＢ４９の項目「成長メモ」を用いて、年齢毎に、基準被写体の画像に付与されているテキスト情報と比較被写体の画像に付与されているテキスト情報が類似しているかを判定してもよい。テキスト情報が類似しているとは、例えば、テキスト内に含まれるキーワードが同じであったり、テキスト内の文章の一致率が所定値以上であったりすることである。出力部３８は、基準被写体の画像と比較被写体の画像とに付与されているテキスト情報が類似していると判定した場合、２つの画像は対応する画像と判定する。

また、例えば、出力部３８は、顔タグ別詳細情報管理ＤＢの項目「体重」または「身長」を用いて、年齢毎に、基準被写体の画像と比較被写体の画像とに「体重」または「身長」が付与されているかを判定してもよい。出力部３８は、基準被写体の画像と比較被写体の画像とに「体重」または「身長」が付与されている場合、２つの画像は対応する画像と判定する。

出力部３８は、比較の結果、対応する画像同士を並べて配置する（Ｓ７６）。なお、出力部３８は、対応しない画像は、そのまま配置する。

出力部３８は、Ｓ７４～Ｓ７６の処理を、比較被写体の数だけ繰り返す。

出力部３８は、ユーザ端末１２の画面１４に対して、登録済被写体の画像を、登録済被写体毎に、対応する年齢の時間軸に出力し、かつ、登録済被写体間で対応する画像を、年齢時間軸とは垂直方向の軸方向に並べて出力する（Ｓ７７）。

また、図８または図９の成長タイムライン画像７１で示した、それぞれ年齢を対応させて時系列に配置されている各登録済被写体の画像をそれぞれ用いて、動画を作成してもよい。例えば、成長タイムライン画像７１において、所定のコマンド（不図示）を選択することにより、動画作成モードに移行してもよい。これについて、図１８を用いて説明する。

図１８は、本実施形態における動画生成について説明するための図である。本実施形態では、被写体Ａの画像と被写体Ｂの画像のそれぞれに写っているときの被写体の年齢が対応し、かつ、その画像の内容や付与されている情報が対応する場合に、その対応する画像同士を合成し、１つの画像（フレーム画像。この場合、特に、「対応フレーム画像」または「対応フレーム」という。）を生成する。

ただし、対応する画像がない場合には、非対応画像同士を合成して、１つの画像（フレーム画像。この場合、特に「非対応フレーム画像」または「非対応フレーム」という。）を生成する。

例えば、年齢を対応させて時系列に配置された状態において、画像Ａ１と画像Ｂ１が対応しており、画像Ａ２と画像Ｂ２が対応しており、画像Ａ５と画像Ｂ６が対応している。この場合、出力部３８は、画像Ａ１と画像Ｂ１を横並びに合成した画像Ｃ１をフレーム画像として生成する。また、出力部３８は、画像Ａ２と画像Ｂ２を横並びに合成した画像Ｃ２をフレーム画像として生成する。出力部３８は、画像Ａ５と画像Ｂ６を横並びに合成した画像Ｃ５をフレーム画像として生成する。

一方で、年齢を対応させて時系列に配置された状態で、被写体Ａの画像には画像Ｂ３，Ｂ４，Ｂ５に対応する画像は含まれておらず、被写体Ｂの画像には画像Ａ３，Ａ４に対応する画像は含まれていない。これらの画像Ａ３，Ａ４，Ｂ３，Ｂ４，Ｂ５は、上述した非対応画像である。

出力部３８は、非対応画像については、比較する被写体画像同士のうち、数の少ない被写体の画像の方に合わせて、非対応フレーム画像の数を設定する。すなわち、出力部３８は、被写体Ａの非対応画像Ａ３，Ａ４（２枚）と、被写体Ｂの非対応画像Ｂ３，Ｂ４，Ｂ５（３枚）とのうち、数の少ない被写体Ａの非対応画像の方に、数を合わせて合成することにより、非対応フレーム画像を生成する。

具体的には、出力部３８は、被写体Ａの非対応画像Ａ３，Ａ４（２枚）を合成用画像として設定する。また、出力部３８は、被写体Ｂの非対応画像Ｂ３，Ｂ４，Ｂ５から、いずれか２つ（例えば、画像Ｂ３，Ｂ４）を選択し、合成用画像として設定する。それから、出力部３８は、画像Ａ３と画像Ｂ３を横並びに合成した画像Ｃ３をフレーム画像（非対応フレーム画像）として生成する。また、出力部３８は、画像Ａ４と画像Ｂ４を横並びに合成した画像Ｃ４をフレーム画像（非対応フレーム画像）として生成する。

そして、出力部３８は、合成により得られた画像Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５のフレーム画像を含む動画を生成する。動画の再生速度は、例えば、フレーム画像数に応じて設定してもよいし、任意に設定できるようにしてもよい。

また、非対応フレーム画像の数は、動画の所定フレーム数から、対応フレーム数の数を引いたフレーム数としてもよい。このように構成することにより、所定長さの動画を生成することはできる。このとき、できるだけ対応している画像を選択するのが好ましい。

なお、対応する画像だけを用いて動画（対応フレームのみからなる動画）を作成してもよい。例えば、出力部３８は、非対応フレーム画像を含まない、対応フレーム画像Ｃ１，Ｃ２，Ｃ５のみの動画を生成してもよい。

また、合成は、比較する画像同士を横並びに合成することに限定されず、例えば、縦に並べて合成してもよいし、表示領域を直角三角形状にした場合には直角三角形の斜辺部分を合成するようにしてもよい。

また、図１８の例では、２人の被写体間の対応する２つの画像同士を合成したが、３人以上の被写体間において対応する３以上の画像同士を合成してもよい。例えば、４人の被写体間において、対応する４つの画像を横２行×縦２列に並べて合成するようにしてもよい。また、合成された場合の各被写体の表示領域は均等でなくてもよく、いずれかの被写体の表示領域を広くしてもよいし、狭くしてもよい。すなわち、合成後の各被写体の表示領域のレイアウトは、特に限定されるものではない。

また、合成後の各フレーム画像中の各被写体の表示領域またはそのサイズは、固定にしていてもよいし、編集方法によっては演出の１つとして各被写体の表示領域またはサイズを変更してもよい。

また、出力部３８は、上記のように生成した動画を、例えば、成長タイムライン画面７１上で再生可能に表示してもよいし、コレクション画面５１の動画表示欄５５で再生可能に表示してもよい。

図１９は、本実施形態におけるプログラムを実行するコンピュータのハードウェア環境の構成ブロック図の一例である。コンピュータ１０１は、ユーザ端末１２、サーバ１５として機能する。コンピュータ１０１は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、記憶装置１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、通信Ｉ／Ｆ１０８、読取装置１０９、バス１１０によって構成されている。

ここで、ＣＰＵは、中央演算装置を示す。ＲＯＭは、リードオンリメモリを示す。ＲＡＭは、ランダムアクセスメモリを示す。Ｉ／Ｆは、インターフェースを示す。バス１１０には、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、記憶装置１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、通信Ｉ／Ｆ１０８、及び必要に応じて読取装置１０９が接続されている。

コンピュータ１０１がサーバ１５の場合、ＣＰＵ１０２は、記憶装置１０５から本実施形態に係るプログラムを読み出し、被写体情報登録部３３、画像取得部３４、画像解析部３５、クラスタリング部３６、タグ付与部３７、出力部３８として機能する。ＲＯＭ１０３は、読み出し専用のメモリを示す。ＲＡＭ１０４は、一時的に記憶するメモリである。

記憶装置１０５は、大容量の情報を記憶する装置である。記憶装置１０５としては、ハードディスク、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリカードなど様々な形式の記憶装置を使用することができる。記憶装置１０５には、本発明の実施形態に係るプログラムや、記憶部４１に格納されている各種データが記憶されている。

入力Ｉ／Ｆ１０６は、キーボード、マウス、電子カメラ、ウェブカメラ、マイク、スキャナ、センサ、タブレット、タッチパネルディスプレイ、情報読取装置等の入力装置と接続することが可能である。また、出力Ｉ／Ｆ１０７は、ディスプレイ、タッチパネル、プロジェクタ、プリンタ、スピーカ等の出力装置と接続することが可能である。

通信Ｉ／Ｆ１０８は、通信ネットワークと接続して他の装置と通信するためのポート等のインターフェースである。通信ネットワークは、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、専用線、有線、無線等の通信網であってよい。読取装置１０９は、可搬型記録媒体を読み出す装置である。

上記実施形態で説明した処理を実現するプログラムは、プログラム提供者側から通信ネットワークおよび通信Ｉ／Ｆ１０８を介して、例えば記憶装置１０５に格納されてもよい。また、上記実施形態で説明した処理を実現するプログラムは、市販され、流通している可搬型記憶媒体に格納されていてもよい。この場合、この可搬型記憶媒体は読取装置１０５にセットされて、ＣＰＵ１０２によってそのプログラムが読み出されて、実行されてもよい。可搬型記憶媒体としてはＣＤ－ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカード、ＵＳＢメモリ装置、半導体メモリカードなど様々な形式の記憶媒体を使用することができる。このような記憶媒体に格納されたプログラムが読取装置１０９によって読み取られる。

また、当該プログラムは、スタンドアローン型のコンピュータにインストールされてもよいし、クラウドコンピュータによりインストールされて機能のみをユーザに提供してもよい。また、本実施形態では、ユーザ端末１２にサーバ１５と通信可能なアプリケーションプログラムをインストールして、本実施形態における画像収集管理システム１１の制御を行ったが、これに限定されない。例えば、ユーザ端末１２にインストールされたＷｅｂブラウザを用いて、サーバ１５にアクセスし、サーバ１５側で運用されている本実施形態に係るシステムを使用してもよい。

本実施形態によれば、対応する年齢の時に写された被写体間の画像同士を、より比較しやすいように配置して出力することができる。たとえば、対応する年齢の時に写された被写体間の画像同士であって、かつ、構図や、撮影場所、付与されている情報等が対応している画像を並べて配置して出力することができる。これにより、例えば、兄弟・姉妹間で対応する年齢のときの写真を見比べて鑑賞するとき、より比較しやすくなる。また、本実施形態によれば、そのような対応する画像から動画を制作することもできる。

また、上述した実施形態では、対象の被写体の画像を予め登録することなく、所定の被写体の名前及び生年月日を登録しておき、収集した画像を分類して顔タグを付与した画像を用いたが、これに限定されない。例えば、予め対象の被写体の画像を登録しておいて、パターンマッチングにより被写体毎に分類された画像を、本実施形態に用いてもよいし、予め被写体毎に登録された画像を用いてもよい。

また、顔タグについては、上記実施形態では、サーバ１５側で設定したが、これに限定されず、例えばユーザが各画像に設定するようにしてもよい。また、比較したい２以上の被写体を選択できるようにしてもよい。例えば、成長タイムライン画面７１に遷移する前に、比較したい２以上の被写体を選択して所定のボタンをタップすると、その選択した２以上の被写体についての成長タイムライン画面７１が表示されるようにしてもよい。

また、成長タイムライン画面７１に表示される各被写体の画像は、各被写体の動画を構成するフレーム画像の一部（静止画像）を抽出したものであってもよい。

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

上記実施形態に加え、さらに、以下を付記する。
（付記１）
互いに撮影時の年齢情報が対応する、第１被写体の画像である第１画像と、第２被写体の１又は複数の画像とを取得する取得部と、
前記第１画像の画像情報と前記第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記第１画像と、前記第２被写体の１又は複数の画像のうち前記第１画像に対応する第２画像とを比較可能に出力する出力部と、
を備える情報処理装置。
このように構成することにより、対応する年齢の時の被写体同士を、より比較しやすくすることができる。
（付記２）
前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像の画像情報に基づく構図に対応する画像を、前記第２画像として出力する
付記１に記載の情報処理装置。
このように構成することにより、被写体間で構図が対応する画像を出力することで、被写体の比較がしやすくなる。
（付記３）
前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に付与されている場所情報に対応する画像を、前記第２画像として出力する
付記１に記載の情報処理装置。
このように構成することにより、写真に撮影場所の情報を関連付けておき、被写体間で撮影場所が対応する画像を比較することができる。
（付記４）
前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に付与されているテキスト情報に対応する画像を、前記第２画像として出力する
付記１に記載の情報処理装置。
このように構成することにより、写真に対して付与されたテキスト（例えば「初めてハイハイした日」、「初めて歩いた日」等）が対応する写真を比較することができる。
（付記５）
前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に撮像されている被写体の組み合わせに対応する画像を、前記第２画像として出力する
付記１に記載の情報処理装置。
このように構成することにより、被写体の組み合わせ（両親と本人等）が同じ写真を比較することができる。
（付記６）
前記出力部は、前記第１被写体の複数の第１画像と、前記複数の第１画像にそれぞれ対応する前記第２被写体の第２画像とをそれぞれ比較可能に表示する複数の対応フレーム画像を含む動画を出力する
付記１～５のうちいずれか１項に記載の情報処理装置。
このように構成することにより、年齢が対応する画像を含む動画を作成することができる。これにより、年齢が対応する被写体を複数時点で比較することができる。
（付記７）
前記取得部は、互いに撮影時の年齢情報が対応する、前記第１被写体の複数の画像と、前記第２被写体の複数の画像とを取得し、
前記第１被写体の複数の画像は、前記複数の第１画像と、前記第２被写体の複数の画像の中に対応する画像がない１以上の第３画像と、を含み、
前記第２被写体の複数の画像は、前記複数の第２画像と、前記第１被写体の複数の画像の中に対応する画像がない１以上の第４画像と、を含み、
前記動画は、前記複数の対応フレーム画像と、いずれかの前記第３画像と前記第４画像を比較可能に表示する１以上の非対応フレーム画像とを含む
付記６に記載の情報処理装置。
このように構成することにより、年齢が対応する被写体の画像について互いに対応するものは同じフレームで確認できるようにした上で、対応する画像の数より多くの数のフレームを含む動画を作成することができる。
（付記８）
前記非対応フレーム画像の数は、前記第３画像と前記第４画像のうち、枚数の少ない方に基づいて設定される
付記７に記載の情報処理装置。
このように構成することにより、動画において被写体が出現する数を等しくすることができる。
（付記９）
前記非対応フレーム画像の数は、前記動画の所定フレーム数から、前記対応フレーム数の数を引いたフレーム数とする
付記７に記載の情報処理装置。
このように構成することにより、所定長さの動画を生成するにあたり、できるだけ対応している画像の数を多くすることができる。
（付記１０）
コンピュータに、
互いに撮影時の年齢情報が対応する、第１被写体の画像である第１画像と、第２被写体の１又は複数の画像とを取得する取得処理と、
前記第１画像の画像情報と前記第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記第１画像と、前記第２被写体の１又は複数の画像のうち前記第１画像に対応する第２画像とを比較可能に出力する出力処理と、
を実行させる画像出力プログラム。
このように構成することにより、対応する年齢の時の被写体同士を、より比較しやすくすることができる。
（付記１１）
コンピュータが、
互いに撮影時の年齢情報が対応する、第１被写体の画像である第１画像と、第２被写体の１又は複数の画像とを取得し、
前記第１画像の画像情報と前記第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記第１画像と、前記第２被写体の１又は複数の画像のうち前記第１画像に対応する第２画像とを比較可能に出力する、
画像出力方法。
このように構成することにより、対応する年齢の時の被写体同士を、より比較しやすくすることができる。

１ 情報処理装置
２ 取得部
３ 出力部
１１ 画像収集管理システム
１２ ユーザ端末
１５ サーバ
１６ 通信ネットワーク
３１ 通信部
３２ 制御部
３３ 被写体情報登録部
３４ 画像取得部
３５ 画像解析部
３６ クラスタリング部
３７ タグ付与部
３８ 出力部
４１ 記憶部
４２ 画像格納領域
４３ 被写体情報管理ＤＢ
４４ 画像解析結果管理ＤＢ
４５ クラスタリング条件管理ＤＢ
４６ コレクション画面管理ＤＢ
４７ 顔タグマスター情報管理ＤＢ
４８ 被写体別顔タグ管理ＤＢ
４９ 顔タグ別詳細情報管理ＤＢ

Claims (10)

1. 互いに撮影時の年齢情報が対応する、第１被写体の画像である１以上の第１画像と、第２被写体の１又は複数の画像とを取得する取得部と、
   前記１以上の第１画像の画像情報と前記１以上の第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記１以上の第１画像と、前記第２被写体の１又は複数の画像のうち前記１以上の第１画像にそれぞれ対応する第２画像とを一つのフレーム画像として並べて合成した１以上の対応フレーム画像を含む動画を出力する出力部と、
   を備え、
   前記出力部は、第１画像と第２画像における前記第１被写体と前記第２被写体の表示領域の表示領域またはサイズが異なる複数の対応フレーム画像から動画を作成して出力し、
   前記出力部は、前記動画を、前記第１画像と前記第２画像とが前記第１被写体と前記第２被写体の年齢に対応して表示される成長タイムライン画面上に出力する
   情報処理装置。
2. 前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像の画像情報に基づく構図に対応する画像を、前記第２画像とする
   請求項１に記載の情報処理装置。
3. 前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に付与されている場所情報に対応する画像を、前記第２画像とする
   請求項１に記載の情報処理装置。
4. 前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に付与されているテキスト情報に対応する画像を、前記第２画像とする
   請求項１に記載の情報処理装置。
5. 前記出力部は、前記第２被写体の１又は複数の画像のうち、前記第１画像に撮像されている被写体の組み合わせに対応する画像を、前記第２画像とする
   請求項１に記載の情報処理装置。
6. 前記取得部は、互いに撮影時の年齢情報が対応する、前記第１被写体の複数の画像と、前記第２被写体の複数の画像とを取得し、
   前記第１被写体の複数の画像は、前記第１被写体の１以上の第１画像と、前記第２被写体の複数の画像の中に対応する画像がない１以上の第３画像と、を含み、
   前記第２被写体の複数の画像は、前記第２被写体の１以上の第２画像と、前記第１被写体の複数の画像の中に対応する画像がない１以上の第４画像と、を含み、
   前記動画は、前記１以上の対応フレーム画像と、いずれかの前記第３画像と前記第４画像とを一つのフレーム画像として合成した非対応フレーム画像とを含む
   請求項１に記載の情報処理装置。
7. 前記非対応フレーム画像の数は、前記第３画像と前記第４画像のうち、枚数の少ない方に基づいて設定される
   請求項６に記載の情報処理装置。
8. 前記非対応フレーム画像の数は、前記動画の所定フレーム数から、前記対応フレーム画像の数を引いたフレーム数とする
   請求項６に記載の情報処理装置。
9. コンピュータに、
   互いに撮影時の年齢情報が対応する、第１被写体の画像である１以上の第１画像と、第２被写体の１又は複数の画像とを取得する取得処理と、
   前記１以上の第１画像の画像情報と前記１以上の第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記１以上の第１画像と、前記第２被写体の１又は複数の画像のうち前記１以上の第１画像にそれぞれ対応する第２画像とを一つのフレーム画像として並べて合成した１以上の対応フレーム画像を含む動画を出力する出力処理と、
   を実行させ、
   前記出力処理は、第１画像と第２画像における前記第１被写体と前記第２被写体の表示領域の表示領域またはサイズが異なる複数の対応フレーム画像から動画を作成して出力し、
   前記出力処理は、前記動画を、前記第１画像と前記第２画像とが前記第１被写体と前記第２被写体の年齢に対応して表示される成長タイムライン画面上に出力する
   画像出力プログラム。
10. コンピュータが、
    互いに撮影時の年齢情報が対応する、第１被写体の画像である１以上の第１画像と、第２被写体の１又は複数の画像とを取得し、
    前記１以上の第１画像の画像情報と前記１以上の第１画像に付与されている情報のうち少なくともいずれかに基づいて、前記１以上の第１画像と、前記第２被写体の１又は複数の画像のうち前記１以上の第１画像にそれぞれ対応する第２画像とを一つのフレーム画像として並べて合成した１以上の対応フレーム画像を含む動画を出力し、
    前記動画を出力する場合、
    第１画像と第２画像における前記第１被写体と前記第２被写体の表示領域の表示領域またはサイズが異なる複数の対応フレーム画像から動画を作成して出力し、
    前記動画を、前記第１画像と前記第２画像とが前記第１被写体と前記第２被写体の年齢に対応して表示される成長タイムライン画面上に出力する
    画像出力方法。