JPWO2012124252A1 - 電子機器、電子機器の制御方法およびプログラム - Google Patents

Abstract

電子機器であって、第１被写体が撮像されている画像と、第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、第１被写体と第２被写体とに関する付帯情報を保存する保存装置と、第１被写体が撮影されている画像と第２被写体が撮影されている画像とを抽出する場合に、付帯情報に基づいて、撮影日時の異なる画像を抽出する抽出装置とを備える。上記電子機器において、保存装置は、付帯情報として前記第１被写体および前記第２被写体が人の場合における第１、第２の人の生年月日を保存してもよい。

Description

本発明は、電子機器、電子機器の制御方法およびプログラムに関する。

従来より、アルバム作成装置として撮像した画像に撮影日時や撮影場所などの付帯情報を付けて、この付帯情報を利用してアルバムを作成することが提案されている（例えば、特許文献１）。
特許文献１ 特許第４２０８１１３号

なお、現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。

従来技術では、一人の付帯情報に基づきアルバムを作成しており、付帯情報の利用が限定的であった。そこで本発明の１つの側面においては、上記の課題を解決することのできる電子機器、電子機器の制御方法およびプログラムを提供することを目的とする。この目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の態様によると、第１被写体が撮像されている画像と、第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、第１被写体と第２被写体とに関する付帯情報を保存する保存装置と、第１被写体が撮影されている画像と第２被写体が撮影されている画像とを抽出する場合に、付帯情報に基づいて、撮影日時の異なる画像を抽出する抽出装置とを備えることを特徴とする電子機器が提供される。

本発明の第２の態様によると、第１被写体が撮像されている画像と、第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、第１被写体と第２被写体とに関する付帯情報を保存する保存装置と、第１被写体が撮影されている画像と第２被写体が撮影されている画像とを抽出する場合に、付帯情報に基づいて、第１被写体と第２被写体との相対的な時間軸が合うように画像を抽出する抽出装置とを備えることを特徴とする電子機器が提供される。

本発明の第３の態様によると、コンピュータを制御するプログラムであって、コンピュータに、第１被写体が撮像されている画像と、第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、第１被写体と第２被写体とに関する付帯情報を保存する保存機能、および、第１被写体が撮影されている画像と第２被写体が撮影されている画像とを抽出する場合に、付帯情報に基づいて、第１被写体と第２被写体との相対的な時間軸が合うように画像を抽出する抽出機能を実現させるプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施の形態によるアルバム作成システム１を表す図である。 サーバ側制御部３５による画像入力（Ｓ１０）に関するフローチャートである。 ユーザ付帯情報の一例である。 画像付帯情報の一例である。 テーマ設定情報の一例である。 サーバ側制御部３５によるペアアルバム作成（Ｓ２０）のフローチャートである。 テンプレートの一例である。 図５のテーマで抽出される画像の時間軸を説明する概念図である。 テーマ設定情報の他の一例である。 図９のテーマで抽出される画像の時間軸を説明する概念図である。

以下、発明の実施の形態を通じて本発明の（一）側面を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施の形態によるアルバム作成システム１を表す図である。アルバム作成システム１は、画像の転送およびアルバム作成リクエストを行う複数の通信機器２−１、２−２・・・・２−Ｎと、複数の通信機器２からの画像を保存したり、アルバムを作成するサーバ３とを有する。

通信機器２としては、パソコン、携帯電話、デジタルカメラ、ＰＤＡなどの機器を用いることができる。本実施の形態ではデジタルカメラを例に以下説明を続ける。

通信機器２は、撮像を行なう撮像部２０と、この撮像部２０が撮像した画像や各種データを保存する不揮発性のフラッシュメモリ２１と、顔認識部２２と、撮像部２０が撮像した画像を表示する表示部２３と、通信機器２の位置（絶対位置）を検出するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）モジュール２４と、日時を記憶しているカレンダ部２５と、サーバ３と通信を行う通信部２６と、通信機器２を制御する制御部２７とを有する。表示部２３の一例は液晶表示ディスプレイであり、この表示部に各種情報を入力するためのタッチパネルを設けてもよい。通信部２６の一例は、インターネット等の電気通信回線にアクセスする無線通信ユニット、Felica（登録商標）チップなどが挙げられる。

撮像部２０は、フォーカスレンズを有する撮影レンズ、フォーカスレンズの合焦位置を検出する焦点検出システム、撮像レンズからの光束を撮像する撮像素子、および、焦点検出システムが検出した焦点情報、カレンダ部２５からの撮影日時、ＧＰＳモジュール２４からの撮影場所などの撮影情報を画像に付与するメタ情報作成部などを有する。

フラッシュメモリ２１は、前述したように撮像部２０が撮像した画像を保存する。さらに、フラッシュメモリ２１は、撮像部２０が撮像した画像の顔認識に用いる、顔の画像と、その顔の画像に対応した属性情報を記憶している。属性情報は、例えば表示部２３に設けられたタッチパネルを用いてユーザから通信機器２に入力される。属性情報には、名前、生年月日、住所、および、通信機器２の使用者との関係、例えば家族の場合における続柄などのグループ情報等が含まれる。なお、通信機器２の側において上記属性情報のいずれかが不足した状態であっても撮影には差し支えない。

顔認識部２２は、撮像部２０が撮像した画像から顔を検出するとともに、フラッシュメモリ２１に記憶されている顔の画像からその顔が誰の顔かを認識する。なお、顔認識部２２は、人間に加えて、犬や猫などのペットの顔も認識する。顔認識部２２が認識した結果は、メタ情報作成部により被写体情報として上記撮影情報に追加される。なお、ペットの顔認識については、例えば特開２０１１−１９０１３号などの開示を利用することができる。

制御部２７は、ＣＰＵを有しており、通信部２６を介してサーバ３に画像を送付する。その場合に、制御部２７はそれぞれの画像に対応づけて、撮像部２０のメタ情報作成部が作成した撮影情報も送付する。なお、通信機器２がサーバ３に送付する画像は、静止画でも動画でもどちらでもよく、通信機器２がキーボードやマイクロフォンを有している場合には、テキストデータや音声データをサーバ３に送付してもよい。この場合、例えば、デジタルカメラにて画像や音声データをサーバ３に送付して、パソコンからテキストデータをサーバ３に送付するようにしても構わない。

また、制御部２７は、フラッシュメモリ２１に記憶されている属性情報もサーバ３に送付する。この場合に、制御部２７は、当該属性情報を画像に対応づけて送付してもよいし、当該画像とは関連付けせずに別情報として送付してもよい。なお、制御部２７は、新たな人の属性情報に加え、以前送付した属性情報がアップデートされた場合にもサーバ３に属性情報を送付する。

サーバ３は、サーバ側通信部３０、解析部３１、情報抽出部３２、サーバ側フラッシュメモリ３３、アルバム作成部３４、およびサーバ側制御部３５を有する。当該サーバ３は、通信機器２のユーザにより使用されるパーソナルコンピュータであってもよいし、ユーザとは別個の管理者により管理される情報処理機器等であってもよい。

サーバ側通信部３０は、通信機器２の通信部２６と通信を行う。本実施の形態では電気通信回線により通信を行うものとするが、その通信形式は有線でも無線でも何でも構わない。

解析部３１は、サーバ側通信部３０が受信したデータを解析する。当該解析部３１は、画像解析部３１ａと、テキストデータ解析部３１ｂとを備える。なお、これに加えて音声データ解析部を設けるようにしてもよい。

画像解析部３１ａは、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）部と、メタデータ解析部と、顔認識部とを有する。

ＯＣＲ部は、画像の中の文字を読み取る。ＯＣＲ部は、画像の中から、例えば「平成２２年度○○小学校卒業式」、「××動物園」という文字を認識してテキストデータに変換する。

メタデータ解析部は、画像に対応づけられた撮影情報に含まれる合焦位置、被写体情報、撮影日時、撮影場所などを解析して、テキストデータを生成する。

顔認識部は、通信機器２に顔認識機能がない場合等の理由により、画像に対応づけられた撮影情報に被写体情報が含まれていない場合に、送付された画像から顔を検出する。顔認識部は、さらに、後述のサーバ側フラッシュメモリ３３に記憶されている顔の画像から検出した顔を特定する。

テキストデータ解析部３１ｂは、サーバ側通信部３０から入力したテキストデータと、前述のＯＣＲ部が変換したテキストデータとを比較したり、撮影情報に含まれている撮影日時および撮影場所と、前述のＯＣＲ部が変換したテキストデータとを比較したりする。例えば、ＧＰＳモジュール２４が検出した撮影位置（緯度と経緯）と、ＯＣＲ部が変換したテキストデータとが一致しているかどうか（矛盾していないかどうか）、カレンダ部２５による撮影日時と、ＯＣＲ部が変換したテキストデータとが一致しているかどうか（矛盾していないかどうか）、を比較する。

情報抽出部３２は、解析部３１が解析した情報を抽出したり、解析部３１が解析した情報に矛盾や不明な点があった場合にサーバ側通信部３０を介して通信機器２に問い合わせを行なったり、更なる情報を抽出するためにサーバ側通信部３０を介して情報を抽出する。情報抽出部３２が、更なる情報を抽出する例としては、撮影場所と撮影日時とからその場所で行なわれていたイベント、例えばお祭り、花火大会等が挙げられる。

サーバ側フラッシュメモリ３３は、通信機器２から送付された画像、および、当該画像に関連づけて画像付帯情報を記憶する不揮発性メモリである。サーバ側フラッシュメモリ３３は、さらに、ユーザに関するユーザ付帯情報、ペアアルバムを作成するときのテーマに関するテーマ設定情報、および、テーマに基づいた画像を割り付けるテンプレートを記憶する。これらの情報についてはさらに後述する。

アルバム作成部３４は、本実施の形態において、撮影日時の異なる複数の画像を関連付けてアルバムを作成する。例えば、アルバム作成部３４は、家族の中学入学式というアルバム作成依頼があった場合には、サーバ側フラッシュメモリ３３に保存されている父親、母親、長男、長女のそれぞれの時代の中学入学式の画像に基づきアルバムを作成する。

また、アルバム作成部３４は、新郎新婦が出会う前に同じ場所を訪ねていた場合や、近くにいた場合の画像に基づきアルバムを作成する。

アルバム作成部３４は、画像抽出部３６と、画像比較部３７と、画像加工部３８とを有している。

画像抽出部３６は、サーバ側制御部３５の制御に基づき、指定されたテーマに応じた画像をサーバ側フラッシュメモリ３３から抽出する。

画像比較部３７は、複数の画像を比較する。例えば画像比較部３７は、あるテーマの画像を抽出する場合に、父親の該当する写真が複数枚ある場合には、その中からベストと思われる写真、例えば笑顔検出による笑顔の画像を抽出する。更に、画像比較部３７は、家族それぞれに抽出された写真を比較して、画像の入れ替えを行なう。例えば、父親以外の他の者の写真は一人で写っているのであれば、父親も一人で写っている写真に変更したり、背景が桜であれば桜が背景の写真に変更したりして、全体として構図のバランスをとる。この場合、例えば、母親と長女が向かい合うような構図の写真（母親が右側に位置し、長女が左側に位置するような写真）を抽出するようにする。

画像加工部３８は、画像比較部３７の比較結果により抽出された画像を加工する。この場合に、画像加工部３８は、画像のリサイズ、トリミング、サイズ合わせの加工や、タイトルや、サブタイトル、例えば撮影された日時や場所を画像とともに表示する加工を行う。

サーバ側制御部３５は、サーバ３全体を制御するものであり、本実施の形態ではテーマに基づくアルバム作成の制御を行う。なお、サーバ３の上記各機能はソフトウェアプログラムにより実行されてもよい。

以上のように構成された、本実施の形態のアルバム作成システム１の動作について、以下説明を続ける。

（フローチャートＳ１０の説明）
図２は、サーバ側制御部３５による画像入力（Ｓ１０）に関するフローチャートであり、以下、このフローチャートに沿って画像入力までの動作の説明を行う。ステップＳ１０の動作は、通信機器２がサーバ３へ画像の入力を要求したことにより開始する。

サーバ側制御部３５は、通信機器２との間でユーザ登録を行なう（Ｓ１１０）。この場合に、サーバ側制御部３５は、通信部２６およびサーバ側通信部３０を介して、通信機器２からユーザの属性情報を取得する。さらにサーバ側制御部３５は、ユーザに対して例えば以下の２つのユーザＩＤを与える。
Ｎｏ．１２３４５６−ＦＡＭ−１ Ｎｏ．１２３４５６−ＦＲＩ−１

ここで、１つめのユーザＩＤのＦＡＭはＦＡＭＩＬＹを表し、サーバ側制御部３５はグループ情報としてその家族を登録する。この場合、その家族内のペアアルバムを作成する場合には、Ｎｏ．１２３４５６−ＦＡＭ−１のＩＤでサーバ３に登録した画像を全て用いることができるものとする。なお、末尾の−１はその家系の１代目を表す。例えば、子供が将来独立する場合には、Ｎｏ．１２３４５６−ＦＡＭ−１のＩＤに加えて、Ｎｏ．１２３４５６−ＦＡＭ−２のＩＤを持つようにしてもよい。

２つめのユーザＩＤのＦＲＩはＦＲＩＥＮＤを表し、サーバ側制御部３５はグループ情報として友達を登録する。この場合、その友達内のペアアルバムを作成する場合には、Ｎｏ．１２３４５６−ＦＲＩ−１のＩＤでサーバ３に登録した画像を全て用いることができるようにしてもよく、また、その都度承認を得るような設定にしてもよい。

サーバ側制御部３５は、ユーザＩＤおよび属性情報に基づいて、ユーザ付帯情報を生成し、サーバ側フラッシュメモリ３３に格納する。

図３は、ユーザ付帯情報の一例である。図３の例において、ユーザ付帯情報は、ユーザＩＤに対応づけられた当該ユーザの生年月日、住所および家族としてのグループ情報を含む。家族としてのグループ情報は、ユーザからみて家族を特定する続柄、および、当該家族の生年月日を含む。

ユーザ付帯情報は、さらに、ユーザＩＤに対応づけられた友人としてのグループ情報を含む。友人としてのグループ情報は、当該友人の名前である。家族の場合と同様に、友人の生年月日をグループ情報として追加してもよい。

サーバ側制御部３５は、ユーザ付帯情報のうち通信機器２からの属性情報に含まれていなかった情報が存在する場合には、改めてユーザの入力を促す画面を通信機器２に表示して、当該情報を取得する。

なお、ステップＳ１１０の登録でユーザ本人および家族の生年月日を登録するのは、入力した画像の撮影日時と比較して撮影されたときの年齢を判別するためである。例えば、家族の１０歳の画像がテーマのペアアルバムを作成する場合には、サーバ側制御部３５は画像抽出部３６を用いて、生年月日から１０を足した年に撮影された画像をサーバ側フラッシュメモリ３３から抽出する。同様に小学校の入学当時のペアアルバムを作成する場合には、サーバ側制御部３５は、生年月日に６を足して年の４月に撮影された画像をサーバ側フラッシュメモリ３３から抽出する。

サーバ側制御部３５は、画像の入力に先立ってユーザＩＤの確認を行う（ステップＳ１１２）。ここでは、Ｎｏ．１２３４５６−ＦＡＭ−１のＩＤで認証が行なわれたものとして説明を続ける。

サーバ側制御部３５は、通信部２６、サーバ側通信部３０を介して、画像の入力と、撮像部２０のメタ情報作成部が作成した撮影情報との入力を行なう（Ｓ１１４）。この場合、サーバ側制御部３５は、通信機器２から１枚ずつ画像を取得してもよいし、複数枚纏めて画像を取得してもよい。

サーバ側制御部３５は、画像および撮影情報に基づいて、画像付帯情報を生成し、サーバ側フラッシュメモリ３３に格納する。

図４は、画像付帯情報の一例である。図４の例において、画像付帯情報は、画像のファイル名に対応づけられた焦点情報、被写体情報、撮影日時および撮影場所を含む。被写体情報は、被写体を特定する情報、および、当該被写体の向きを特定する情報を含む。撮影日時は、年月日および当該撮影が行われたイベントのイベント名を含む。また、撮影場所は、緯度経度および当該撮影が行われた場所の場所名を含む。なお図４の例における「＊」は該当する情報が存在しないことを示す。

またステップＳ１１４において、サーバ側制御部３５は、解析部３１を用いて入力した画像の解析を行なうとともに、情報抽出部３２を用いて上記画像付帯情報の追加情報を抽出し、サーバ側フラッシュメモリ３３に格納された画像付帯情報を更新する。ここでは、前述したような画像解析部３１ａによる顔認識や、情報抽出部３２によるイベント情報の収集が行なわれる。なお、画像付帯情報の各情報がすでに入力済の場合に、当該情報については解析部３１による解析を省略してもよいし、当該情報について改めて解析部３１により解析をして矛盾が生じた場合にユーザに確認してもよい。

サーバ側制御部３５は、入力した画像についてユーザに確認事項があるかどうかを確認する（Ｓ１１６）。この場合に、サーバ側制御部３５は、ステップＳ１１４における画像付帯情報の更新が終わった時点で、画像付帯情報が予め定められた条件を満たしているか否かにより、確認事項があるかどうかを判断する。例えば、サーバ側制御部３５は、撮影日時として、年月日とイベント名のいずれもが「＊」であることを、確認事項があることの条件にする。また、サーバ側制御部３５は、撮影場所として、緯度経度と場所名のいずれもが「＊」であることを、確認事項があることの条件にしてもよい。

上記ステップＳ１１６の判断がＹｅｓの場合、ステップＳ１１８に進む。ステップＳ１１８において、サーバ側制御部３５は、画像付帯情報のうち、不足している情報の問い合わせを行う。問い合わせの結果、画像付帯情報が上記条件を満たした時点で、サーバ側制御部３５は問い合わせを終了する。

サーバ側制御部３５は、例えば、通信機器２にＧＰＳモジュール２４がなく、撮影場所が特定できない場合には、撮影場所を問い合わせる。また、登録していない顔の画像が例えば複数の画像にある場合には、その顔をユーザ登録するかどうか問い合わせる。

また、画像のイベントが特定できない場合には、そのイベントを問い合わせたり、３月に撮影した画像であればその画像を卒業式の写真として特定してよいか問い合わせたりする。

ステップＳ１１８のユーザへの問い合わせはユーザにとっては手間となる。このため、例えば、ユーザがブログやツイッターを行っている場合には、サーバ側制御部３５は、そのブログやツイッターからユーザが作成したテキストデータを入手して、そのテキストデータをテキストデータ解析部３１ｂにより解析をして、ユーザへの問い合わせを省略したり、回数を減らすようにしたりしてもよい。具体的には、図３に示すユーザ付帯情報にブログやツイッター(登録商標)などのアカウントをユーザに入力してもらえばいい。この場合、解析部３１を用いた画像の解析および情報抽出部３２を用いた追加情報の抽出は、画像入力時とは異なるタイミングで行なってもよく、これに伴いステップＳ１１８の問い合わせも画像入力後に行なえばよい。

サーバ側制御部３５は、更なる画像の入力があるかどうかをユーザに確認する（Ｓ１２０）。ここでは、サーバ側制御部３５は、ユーザＩＤをＮｏ．１２３４５６−ＦＲＩ−１に変更して画像入力を行なうかどうか確認し、ユーザが希望すればステップＳ１１２に戻り、ユーザが希望しなければステップＳ１２２に進む。

サーバ側制御部３５は、ペアアルバムを作成するかどうかをユーザに問い合わせる（Ｓ１２２）。

ここでのペアアルバム作成は２種類あり、１つめはサーバ３側から提案するものである。一例をあげると、サーバ側制御部３５は、入力した画像にユーザの子供の小学校の卒業式の写真が含まれていると判断した場合に、小学校の卒業式をテーマとした家族それぞれの写真を抽出してペアアルバムを作成するかどうかを提案するものである。

２つめはユーザのリクエストによりペアアルバムを作成する場合である。この場合に、テーマは文字列としてユーザから通信機器２を用いて入力されてもよいし、サーバ３から通信機器２へテーマのリストを提示してユーザからの選択を受け付けてもよい。

サーバ側制御部３５は、いずれの場合においても、ステップＳ１２２におけるユーザの判断がＹｅｓであれば図６のＳ２０のフローチャートへと進み、ユーザの判断がＮｏであれば本フローチャートを終了する。

図５は、テーマ設定情報の一例である。図５に示す例において、テーマ設定情報は、テーマ名に対応付けられたキーワード、テンプレート、撮影日時および撮影場所を含む。撮影日時は、生年月日からの年数および当該撮影が行われた時期を含む。また、撮影場所は、緯度経度および当該撮影が行われた場所の場所名を含む。なお図５の例における「＊」は該当する情報は画像の抽出には用いないことを示す。当該テーマ設定情報は、予め入力されてサーバ側フラッシュメモリ３３に格納されている。

（フローチャートＳ２０の説明）
図６は、サーバ側制御部３５によるペアアルバム作成（Ｓ２０）のフローチャートであり、以下、このフローチャートに沿ってペアアルバム作成の動作の説明を行う。

サーバ側制御部３５は、作成するペアアルバムのテーマを確認する（Ｓ２１０）。この場合に例えば、サーバ側制御部３５は、通信機器２から自由な文字列の入力を受け付けて、当該文字列に含まれるキーワードと、テーマ設定情報に含まれるキーワードの一致度を算出して一致度の高いテーマ名を抽出する。自由な文字列の入力を受け付けることに代えて、サーバ側制御部３５は、テーマ設定情報のテーマ名をリスト表示して、その選択を受け付けてもよい。

ここでは、中学の入学式をテーマとしたペアアルバムの作成について説明を続ける。

サーバ側制御部３５は、対象者の確認を行う（Ｓ２１２）。ここでは、ユーザの、ユーザ付帯情報に登録された家族４人（父親、母親、長男、長女）が全て対象であるとする。なお、このステップＳ２１２と次のステップＳ２１４は、ペアアルバムを作成する対象が家族の場合には省略してもよい。

サーバ側制御部３５は、ペアアルバムの作成に際し、対象者の許諾が必要かどうかを判断する（Ｓ２１４）。ここでは、前述のように家族が対象であるので、その判断をＮｏとする。このステップＳ２１４の判断が必要になるのは、グループ情報が友人であり、全ての画像の利用を承認していない場合である。このように、画像の利用に際して対象者の許諾が必要な場合には、ステップＳ２１２に戻り、当該対象者にその許諾を得る。また、その許諾が得られない場合、例えば設定した時間内に許諾を得られない場合には、対象者から除外するようにする。

サーバ側制御部３５は、テーマに基づいて、アルバム作成部３４の画像抽出部３６と協働して、サーバ側フラッシュメモリ３３に保存されている画像を抽出する（Ｓ２１６）。この場合に、画像抽出部３６は、当該テーマのテーマ設定情報に含まれる撮影日時および撮影場所の情報と、各画像の画像付帯情報に含まれる撮影日時および撮影場所の情報とを比較して、画像を抽出する。

例えば中学の入学式がテーマである場合に、画像抽出部３６は、図５のテーマ設定情報を参照して、撮影日時が生年月日から１２年後であって時期が４月、すなわち１２歳の４月の画像を抽出する。また、画像抽出部３６は、テーマ設定情報における撮影場所の場所名を参照して、画像付帯情報の撮影場所の場所名に中学校が含まれる場合、すなわち、撮像部２０のメタ情報作成部が作成した撮影情報に中学校の情報があった場合や、ＯＣＲ部が「○○中学校入学式」という文字を識別していた場合には、その写真が抽出されるように重み付けを高くしてもよい。なお、諸外国においては学校制度や、入学、卒業時期も異なる場合がある。このため、サーバ側制御部３５は、撮影場所や緯度経度の情報に基づいて、入学時期を補正して画像を抽出するようにしてもよい。例えば、母親がある国で１１歳の９月に中学に入学したとすれば、サーバ側制御部３５は、画像抽出部３６を用いて母親の１１歳の９月の写真をサーバ側フラッシュメモリ３３から抽出する。

なお、例えば、テーマが北海道であった場合には、画像抽出部３６は、北海道の緯度、経度を示す画像をサーバ側フラッシュメモリ３３から抽出する。すなわち、テーマ名が北海道であるテーマ設定情報において、撮影場所の緯度および経度として北海道の緯度および経度が設定されており、画像抽出部３６は当該緯度および経度を参照して、各画像の画像属性情報における撮影場所の緯度および経度と比較することにより、北海道の緯度、経度を示す画像を抽出する。

サーバ側制御部３５は、アルバム作成部３４の画像比較部３７と協働して、アルバムのレイアウトを決定する（Ｓ２１８）。この場合に、画像比較部３７は、テーマ設定情報に含まれるレイアウトを参照して、レイアウトを決定する。

図７は、テンプレートの一例である。図７に示すテンプレートには、写真１から写真３が割り付けられる。さらに各写真の位置に対応付けて、好ましい被写体の向きが設定され、その向きが矢印で示されている。なお、図７の向きにおける「・」は向きが正面であることを示している。この場合、サーバ側制御部３５は、中学校に入学した子供の写真を他の家族の写真よりも大きくするレイアウトを選択してもよく、家族全員ほぼ同じ大きさの写真とするレイアウトを選択してもよい。

ステップＳ２１８において対象となる画像が複数ある場合に、画像比較部３７は、対象者それぞれの画像の順位付けを笑顔判定、ブレ判定、目つぶり判定、画像の大きさ、前述の重み付け結果から行なえばよい。さらに、画像比較部３７は、例えば古い画像が左側に位置し、新しい画像が右側に来るようにレイアウトを決める。また、図７のテンプレートが用いられる場合に、画像比較部３７は、当該テンプレートに含まれる被写体の向きの情報を用いて、例えば、父親と母親とが向かい合うような画像になるように画像を抽出する。また、横並びの画像、縦並びの画像もレイアウトを決定する際のパラメータとしてもよい。

レイアウトが決定した後に、ユーザに使用する画像やレイアウトについて修正の必要があるかどうかを問い合わせる（Ｓ２２０）。サーバ側制御部３５は、例えば、２種類程度のレイアウトや画像の組み合わせを用意してユーザに選択させるようにしてもよい。ここでは、修正が無いものとして説明を続ける。

サーバ側制御部３５は、アルバム作成部３４の画像加工部３８と協働して、前述したように、画像のリサイズ、トリミング、サイズ合わせの加工や、タイトルや、サブタイトル（撮影された日時や場所）を画像に加える加工を行う（ステップＳ２２２）。

次いで、サーバ側制御部３５は、サーバ側通信部３０を介してユーザの通信機器２の表示部２３に作成したアルバムを表示する（Ｓ２２４）。そして、サーバ側制御部３５は、アルバム枚数や、画像を見せる順番や、画像に加えた加工について修正の有無をユーザに確認する（Ｓ２２６）。

なお、ユーザがお任せモードを設定した場合には、ステップＳ２２０及びステップＳ２２６を省略することができる。

図８は、図５のテーマで抽出される画像の時間軸を説明する概念図である。上記図５のテーマ設定情報を用いたペアアルバム作成において、画像抽出部３６により撮影日時が「生年＋１２」の画像が抽出される。ここで、本人と母親等の家族１との間には生年月日分の年齢差があるが、上記テーマである中学校の入学式は同じ１２歳のイベントである。よって、本人と家族１の両方について生年月日を基準とすることで人生の相対的な時間軸を合わせて、対応するイベントの画像が画像抽出部３６により抽出される。

上述の実施例では、主に家族でペアアルバムを作成する例について説明したが、これに限らず例えば、同窓会のメンバーを登録しておき、結婚や、子供の誕生をテーマにしてペアアルバムを作成してもよい。この場合に、結婚時期や、子供の誕生時期は、人それぞれに時期が異なる。このような場合にサーバ３は、画像解析部３１aのＯＣＲ部による文字認識や、ＧＰＳモジュール２４が検出した撮影位置（結婚式場や、病院（産科）の位置）に基づいて、人生の相対的な時間軸を合わせて、結婚１０周年アルバム、１歳の子供アルバムといったテーマでアルバムを作成すればよい。また、サーバ３は、図９を用いて後述するようにそのイベントに関する初めての画像から人生の相対的な時間軸を合わせるようにしてもよい。

また、最近ではさまざまなＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）が提案されており、遠く離れた人とも情報交換を行なうことができる。本実施例はこのような場合にも適用することができ、例えば、共通の趣味や嗜好を示す人たちをグループとして、そのグループのテーマに沿ったペアアルバムを作成することもできる。この場合、自分や家族の画像をオープンにすることに抵抗があれば、顔の部分にマスキングを施してもよく、ペアアルバムの作成回数に応じて、次第に画像の解像度を上げていくようにしてもよい。また、テーマとして顔の画像とは関係のない景色などを選択するようにしてもよい。

図９は、テーマ設定情報の他の一例である。図９のテーマ設定情報も図５と同様に、テーマ名に対応付けられたキーワード、テンプレート、撮影日時および撮影場所を含む。

図９において、テーマの内容はピアノの初演奏会である。ピアノの初演奏会がいつ行われるかは各人で異なり、生年月日を基準にすることはできない。しかしながら「初演奏会」であるから、被写体が同一人であってイベントがピアノ演奏である複数の異なった撮影日時の画像がサーバ側フラッシュメモリ３３に格納されている場合には、そのうちの最も早い日付の画像を「初演奏会」と推測することが妥当である。よって、図９のテーマ設定情報の撮影日時として順序が最初である旨が設定されている。

具体的には、画像解析部３１ａのＯＣＲ部により画像の中の演奏会という文字を読み取らせたり、音声データ解析部によりピアノの音を検出して画像を抽出してもよく、サーバ側フラッシュメモリ３３にピアノのテンプレート画像を記憶させて、サーバ側フラッシュメモリ３３に保存されている画像とテンプレート画像とのパターンマッチングによりサーバ側制御部３５はピアノを演奏している画像を抽出してもよい。これに加えて、サーバ側制御部３５は前述したブログやツイッターの情報からピアノの演奏会に関連する情報を抽出してもよい。このように、画像抽出部３６は、被写体が同一人であってイベントがピアノ演奏である複数の異なった撮影日時の画像のうち、最も早い日付の画像を抽出する。なお、上述したような初めてのイベントの検出は、ピアノの演奏に加えて、他の楽器の演奏や、スポーツイベントの参加などにも適用することができる。

図１０は、図９のテーマで抽出される画像の時間軸を説明する概念図である。上記図９のテーマ設定情報を用いたペアアルバム作成において、本人と友人１のそれぞれについて、撮影日時における最も早い演奏画像１が画像抽出部３６により抽出される。ここで、本人の生年月日から演奏画像１の日時までと、友人１の生年月日から演奏画像１の日時までとは異なるし、それぞれの画像の日時同士も異なる。しかしながら、本人と友人１の両方について撮影日時の順序を基準とすることで、人生の相対的な時間軸を合わせて、対応するイベントの画像が抽出される。

なお、上記実施形態においてテーマ設定情報は予め入力されるとしたが、サーバ３により自動生成されてもよい。この場合に新たな画像の入力があった場合に当該画像の画像付帯情報に含まれるイベント名を新たなテーマ名としてテーマ設定情報が作成されてもよい。

以上、本実施形態によれば、第１の人が撮影されている画像と第２の人が撮影されている画像と抽出する際に、付帯情報に基づいて、撮影日時の異なる画像を抽出しているので、付帯情報を利用した画像抽出を行なうことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ アルバム作成システム、２ 通信機器、３ サーバ、２０ 撮像部、２１ フラッシュメモリ、２２ 顔認識部、２３ 表示部、２４ ＧＰＳモジュール、２５ カレンダ部、２６ 通信部、２７ 制御部、３０ サーバ側通信部、３１ 解析部、３２ 情報抽出部、３３ サーバ側フラッシュメモリ、３４ アルバム作成部、３５ サーバ側制御部、３６ 画像抽出部、３７ 画像比較部、３８ 画像加工部

Claims (21)

1. 第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存する保存装置と、
   前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、撮影日時の異なる画像を抽出する抽出装置と
   を備えることを特徴とする電子機器。
2. 前記保存装置は、付帯情報として前記第１被写体および前記第２被写体が人の場合における第１、第２の人の生年月日を保存することを特徴とすることを請求項１記載の電子機器。
3. 前記保存装置は、付帯情報として撮影日時の情報を保存しており、
   前記生年月日と前記撮影日時とから当該撮影時の前記第１、第２の人の年齢を検出する検出部を備えたことを特徴とする請求項２記載の電子機器。
4. 前記保存装置は、付帯情報として撮影場所の情報を保存することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
5. 外部機器と通信可能な通信部を備えたことを特徴とする請求項１から４のいずれか一項に記載の電子機器。
6. 前記画像と前記付帯情報との少なくとも一方に関連した情報を前記通信部を介して抽出する情報抽出部を備えたことを特徴とする請求項５記載の電子機器。
7. 前記画像に撮影されている顔を識別する顔識別部を備えていることを特徴とする請求項１から６のいずれか一項に記載の電子機器。
8. 前記画像に撮影されている文字を識別する文字識別部を備えていることを特徴とする請求項１から７のいずれか一項に記載の電子機器。
9. 前記第１被写体が撮影されている第１画像と、前記第２被写体が撮影されている第２画像とを比較する比較部を備えたことを特徴とする請求項１から８のいずれか一項に記載の電子機器。
10. 前記比較部は前記第１画像の付帯情報と、前記第２画像の付帯情報とを比較することを特徴とする請求項９記載の電子機器。
11. 前記抽出装置は、前記比較部の比較結果に基づいて、前記第１画像と前記第２画像との少なくとも一方の画像を変更することを特徴とする請求項９または１０記載の電子機器。
12. 前記比較部の比較結果に基づいて、前記第１画像と前記第２画像との少なくとも一方の画像を加工する加工部を備えたことを特徴とする請求項９から１１のいずれか一項に記載の電子機器。
13. 前記比較部の比較結果に基づいて、前記第１画像と前記第２画像との配置を決定する決定部を備えることを特徴とする請求項９から１２のいずれか一項に記載の電子機器。
14. 前記決定部は、前記第１画像と前記第２画像との撮影日時に基づいて、前記第１画像と前記第２画像との配置を決定することを特徴とする請求項１３記載の電子機器。
15. 第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存する保存装置と、
    前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、前記第１被写体と前記第２被写体との相対的な時間軸が合うように画像を抽出する抽出装置と
    を備えることを特徴とする電子機器。
16. 前記保存装置は、付帯情報として前記第１被写体および前記第２被写体が人の場合における第１の人および第２の人の生年月日を保存しており、前記第１の人の生年月日と第２の人の生年月日との差分に基づいて、前記相対的な時間軸を合わせることを特徴とすることを請求項１５記載の電子機器。
17. 前記保存装置は、付帯情報として撮影日時の情報を保存しており、
    前記撮影日時の時間的な順序に基づいて、前記相対的な時間軸を合わせることを特徴とすることを請求項１５記載の電子機器。
18. 第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存装置に保存し、
    前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、撮影日時の異なる画像を抽出する
    ことを特徴とする電子機器の制御方法。
19. 第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存装置に保存し、
    前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、前記第１被写体と前記第２被写体との相対的な時間軸が合うように画像を抽出する
    ことを特徴とする電子機器の制御方法。
20. コンピュータを制御するプログラムであって、前記コンピュータに、
    第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存する保存機能、および、
    前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、撮影日時の異なる画像を抽出する抽出機能
    を実現させるプログラム。
21. コンピュータを制御するプログラムであって、前記コンピュータに、
    第１被写体が撮像されている画像と、前記第１被写体とは異なる第２被写体が撮影されている画像とを複数保存するとともに、前記第１被写体と前記第２被写体とに関する付帯情報を保存する保存機能、および、
    前記第１被写体が撮影されている画像と前記第２被写体が撮影されている画像とを抽出する場合に、前記付帯情報に基づいて、前記第１被写体と前記第２被写体との相対的な時間軸が合うように画像を抽出する抽出機能
    を実現させるプログラム。

Images