JP6533713B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、ユーザが所有する画像群の中からその一部の画像を抽出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

近年、スマートフォンの普及や、オンラインストレージサービスの低価格化および大容量化、スマートフォンとオンラインストレージとの連携機能の強化等に伴い、オンラインストレージ上に画像を保存するユーザが増加している。例えば、スマートフォンで撮影された画像は、ユーザがオンラインストレージ上に手動でバックアップ（保存）することや、自動的にバックアップされるように設定することができる。

その結果、オンラインストレージ上には、ユーザの画像が大量に保存される。オンラインストレージ上に保存されたユーザの画像は、同じサービスを利用する他のユーザと共有することにより、容易に画像の受け渡しを行うことが可能である。

本発明に関連性のある先行技術文献として、特許文献１〜３がある。

特許文献１には、ユーザがリストから選択した画像と他の画像との関係を基に、画像から抽出された各々の人物についてシェア候補ポイントを算出し、シェア候補ポイントが高い人物に関する情報をシェア候補として表示することが記載されている。

特許文献２には、画像の所有者のアルバムから共有者のアルバムにおいて共有するシェアリング領域を決定し、共有者のアルバムのレイアウト情報に基づいて、シェアリング領域を自動的に再レイアウトしてシェアすることが記載されている。

特許文献３には、情報共有サーバが、第２端末が第１端末から取得した共有用情報に基づくコンテンツの取得要求に応じて、第１端末から取得したコンテンツの格納先情報を第２端末に送信し、第１端末と第２端末との間で情報を共有することが記載されている。

特開２０１１−１５５３８５号公報 特開２００９−２５９２３９号公報 特開２０１４−２４６８号公報

前述のように、他のユーザと画像を共有することができるが、オンラインストレージ上に保存された各々のユーザの画像は、オンラインストレージ上に保存されているだけで、他のユーザとの共有をしそびれることが頻繁にある。

オンラインストレージ上に画像が保存された直後は、例えば、その画像が誰と旅行したときの画像で、誰と共有すべき画像なのか等をユーザははっきりと憶えているが、その記憶は時間の経過とともに曖昧になり、誰と共有すべき画像だったのかが分からなくなる。また、オンラインストレージ上に保存された画像は、その後に撮影された大量の画像によって埋もれ、次第に共有することが困難になる。

また、特許文献１〜３には、人物に関する情報や画像の共有を行うことは記載されているが、画像の共有に限らず、何らかの目的で利用するために、ユーザが所有する大量の画像群の中から、ユーザの嗜好に合致する画像を抽出する方法は記載されていない。

本発明の目的は、従来技術の問題点を解消し、ユーザが所有する大量の画像群の中から、ユーザの嗜好に合致する画像を正確に抽出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、第１ユーザから入力された指示を取得する指示取得部と、
指示に基づいて、第１ユーザが所有する第１画像群から一部の画像を第２画像群として選択する画像群選択部と、
第１画像群に含まれる画像の画像解析を行う画像解析部と、
第１画像群に含まれる画像の画像解析の結果に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第３画像群として抽出する画像群抽出部とを備え、
画像解析部は、第１画像群に含まれる画像の画像解析として、第１画像群に含まれる画像の付帯情報の取得を行い、
画像群抽出部は、第１画像群に含まれる画像の画像解析の結果に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像と第１閾値以上の関連性のある画像を第４画像群として抽出し、
さらに、画像解析部は、第２画像群および第４画像群に含まれる画像の画像解析として、第２画像群および第４画像群に含まれる画像の内容の解析を行い、
画像群抽出部は、第２画像群および第４画像群に含まれる画像の画像解析の結果に基づいて、第４画像群から、第２画像群に含まれる画像と第１閾値よりも高い第２閾値以上の関連性のある画像を第３画像群として抽出する画像処理装置を提供するものである。

さらに、指示、第１画像群に含まれる画像の画像解析の結果、および、第３画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第３画像群の利用方法を決定する利用方法決定部と、
利用方法に応じた第３画像群の利用を第１ユーザにリコメンドする表示を、第１ユーザの端末装置に対して行うリコメンド部とを備えることが好ましい。

また、画像群選択部は、第１画像群から、異なる画像群が複数回選択された場合に、複数回の異なる画像群をまとめて１つの第２画像群として選択することが好ましい。

また、画像解析部は、第１画像群から第２画像群が選択される前に、第１画像群に含まれる画像の画像解析を行うことが好ましい。

また、画像解析部は、第１画像群から第２画像群が選択された後に、第１画像群に含まれる画像の画像解析を行うことが好ましい。

また、画像解析部は、あらかじめ設定された時間帯に画像解析を行うことが好ましい。

また、画像解析部は、付帯情報として、第１画像群に含まれる画像の撮影日時の情報を取得し、
画像群抽出部は、撮影日時の情報に基づいて、第２画像群以外の第１画像群から第４画像群を抽出することが好ましい。

また、画像群抽出部は、第２画像群以外の第１画像群から、第２画像群に含まれる画像の撮影開始日よりも前の一定期間内に撮影された画像を第４画像群として抽出することが好ましい。

また、画像群抽出部は、第２画像群以外の第１画像群から、第２画像群の撮影期間の前後の期間に撮影された一定枚数の画像を第４画像群として抽出することが好ましい。

また、画像群抽出部は、第２画像群以外の第１画像群から、第２画像群に含まれる画像の撮影日時と同じ月日であって、かつ、第２画像群に含まれる画像の撮影日時よりも前の一定期間内の年に撮影された画像を第４画像群として抽出することが好ましい。

また、画像解析部は、付帯情報として、第１画像群に含まれる画像の撮影場所の情報を取得し、
画像群抽出部は、撮影場所の情報に基づいて、第２画像群以外の第１画像群から第４画像群を抽出することが好ましい。

また、画像解析部は、付帯情報として、第１画像群に含まれる画像のタグ情報を取得し、
画像群抽出部は、さらに、タグ情報に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像のタグ情報と同じまたは類似したタグ情報を有する画像を第４画像群として抽出することが好ましい。

また、画像解析部は、付帯情報として、第１画像群に含まれる画像のタグ情報を取得してタグ情報の評価値を算出し、
画像群抽出部は、さらに、タグ情報に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像のタグ情報の評価値から一定範囲内の評価値のタグ情報を有する画像を第４画像群として抽出することが好ましい。

また、画像群抽出部は、付帯情報に基づいて、第２画像群以外の第１画像群を複数の第６画像群に分けて各々の第６画像群に優先度を付け、第４画像群として、複数の第６画像群のうち、優先度が最も高い第６画像群から順に優先度が最も低い第６画像群の方向へ向かって画像を抽出し、複数の第６画像群から抽出された画像が一定枚数に到達した時点で画像の抽出を終了することが好ましい。

また、画像解析部は、画像の内容の解析として、第２画像群および第４画像群に含まれる画像のシーンを検出するシーン検出処理を行い、
画像群抽出部は、シーンに基づいて、第４画像群から、第２画像群に含まれる画像のシーンと類似したシーンの画像を第３画像群として抽出することが好ましい。

また、画像解析部は、画像の内容の解析として、第２画像群および第４画像群に含まれる画像の画像特徴を検出する画像特徴検出処理を行い、
画像群抽出部は、画像特徴に基づいて、第４画像群から、第２画像群に含まれる画像の画像特徴に類似した画像特徴を有する画像を第３画像群として抽出することが好ましい。

また、画像解析部は、画像の内容の解析として、第２画像群および第４画像群に含まれる画像に存在する被写体を検出する被写体検出処理を行い、
画像群抽出部は、被写体に基づいて、第４画像群から、第２画像群に含まれる画像に存在する被写体に類似した被写体が存在する画像を第３画像群として抽出することが好ましい。

また、画像群抽出部は、第４画像群から第１ユーザの端末装置と第２ユーザの端末装置との間で利用する第３画像群を抽出するために、第２画像群以外の第１画像群から第４画像群を抽出する場合、第１ユーザの端末装置と第２ユーザの端末装置との間で既に利用された画像を除外して第２画像群以外の第１画像群から第４画像群を抽出することが好ましい。

また、画像群抽出部は、第２画像群以外の第１画像群のうち、画像解析が既に終了している画像を第４画像群として抽出することが好ましい。

また、画像群抽出部は、第２画像群以外の第１画像群のうち、画像解析が既に終了している画像の画像解析の結果に基づいて、第２画像群以外の第１画像群から第４画像群を抽出することが好ましい。

また、画像群抽出部は、第２画像群に加え、第２画像群よりも前に選択された１以上の第２画像群に基づいて、第２画像群以外の第１画像群から第４画像群を抽出することが好ましい。

また、画像群抽出部は、第２画像群に加え、第２画像群よりも前に選択された１以上の第２画像群に基づいて、第４画像群から第３画像群を抽出することが好ましい。

また、画像解析部および画像群抽出部は、前回の第３画像群が第１ユーザの端末装置で利用された場合に、前回の第２画像群に基づいて行われた処理と同じ処理を前回の第３画像群に対して行って第３画像群を抽出することが好ましい。

また、画像解析部および画像群抽出部は、前回の第２画像群に基づいて行われた処理の結果を再利用して、前回の第２画像群に基づいて行われた処理と同じ処理を前回の第３画像群に対して行って第３画像群を抽出することが好ましい。

さらに、第３画像群に含まれる画像の画像解析の結果に基づいて、第３画像群から、画質が一定範囲内に含まれている少なくとも一部の画像を第５画像群として選別する画像群選別部を備え、
利用方法決定部は、指示、第１画像群に含まれる画像の画像解析の結果、および、第５画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第５画像群の利用方法を決定し、
リコメンド部は、利用方法に応じた第５画像群の利用を第１ユーザにリコメンドする表示を、第１ユーザの端末装置に対して行うことが好ましい。

また、画像群選別部は、第３画像群から、第３画像群に含まれる全ての画像を第５画像群として選別することが好ましい。

また、画像解析部は、第３画像群に含まれる画像の画像解析の結果に基づいて、第３画像群に含まれる画像の評価値を算出し、
画像群選別部は、評価値に基づいて、第３画像群から評価値が閾値以上である画像を第５画像群として選別することが好ましい。

また、画像群選別部は、第３画像群から、評価値が最も高い画像から順に評価値が最も低い画像の方向へ向かって一定枚数の画像を第５画像群として選別することが好ましい。

また、画像群選別部は、第３画像群から、評価値が最も高い画像から順に評価値が最も低い画像の方向へ向かって一定割合の画像を第５画像群として選別することが好ましい。

画像解析部は、さらに、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行い、
画像群抽出部は、さらに、第２画像群および第７画像群に含まれる画像の画像解析の結果に基づいて、第７画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出することが好ましい。

画像解析部は、さらに、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行い、
画像群抽出部は、さらに、第２画像群および第７画像群に含まれる画像の画像解析の結果に基づいて、第７画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出し、
利用方法決定部は、さらに、指示、第１画像群に含まれる画像の画像解析の結果、および、第８画像群のうちの少なくとも１つに基づいて、第８画像群の利用方法を決定し、
リコメンド部は、さらに、利用方法に応じた第８画像群の利用を第２ユーザにリコメンドする表示を、第２ユーザの端末装置に対して行うことが好ましい。

また、リコメンド部は、第２画像群、および、第８画像群に含まれる画像に第３ユーザが存在する場合、第２画像群および第８画像群を第３ユーザに対して利用することを第１ユーザおよび第２ユーザにリコメンドする表示を、第１ユーザおよび第２ユーザの端末装置に対して行うことが好ましい。

また、画像群抽出部は、第２画像群が第７画像群の中に取り込まれた場合、第７画像群の中に取り込まれた第２画像群を除外して第７画像群から第８画像群を抽出することが好ましい。

また、第１ユーザの端末装置と第２ユーザの端末装置とは、ネットワークを介して直接接続されていることが好ましい。

また、第１ユーザの端末装置および第２ユーザの端末装置は、それぞれ、ネットワークを介してサーバに接続されていることが好ましい。

また、第２画像群は、サーバに既にアップロードされている画像群であり、第２画像群以外の第１画像群は、第１ユーザの端末装置に格納されている画像群であることが好ましい。

また、第１画像群は、サーバに既にアップロードされている画像群であることが好ましい。

また、第２画像群は、サーバに既にアップロードされている画像群であり、第２画像群以外の第１画像群の一部の画像は、サーバに既にアップロードされている画像であり、第２画像群以外の第１画像群の他の画像は、第１ユーザの端末装置に格納されている画像であることが好ましい。

また、本発明は、指示取得部が、第１ユーザから入力された指示を取得するステップと、
画像群選択部が、指示に基づいて、第１ユーザが所有する第１画像群から一部の画像を第２画像群として選択するステップと、
画像解析部が、第１画像群に含まれる画像の画像解析を行うステップと、
画像群抽出部が、第１画像群に含まれる画像の画像解析の結果に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第３画像群として抽出するステップとを含み、
第１画像群に含まれる画像の画像解析として、第１画像群に含まれる画像の付帯情報の取得を行い、
第１画像群に含まれる画像の画像解析の結果に基づいて、第２画像群以外の第１画像群から、第２画像群に含まれる画像と第１閾値以上の関連性のある画像を第４画像群として抽出し、
さらに、第２画像群および第４画像群に含まれる画像の画像解析として、第２画像群および第４画像群に含まれる画像の内容の解析を行い、
第２画像群および第４画像群に含まれる画像の画像解析の結果に基づいて、第４画像群から、第２画像群に含まれる画像と第１閾値よりも高い第２閾値以上の関連性のある画像を第３画像群として抽出する画像処理方法を提供する。

さらに、利用方法決定部が、指示、第１画像群に含まれる画像の画像解析の結果、および、第３画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第３画像群の利用方法を決定するステップと、
リコメンド部が、利用方法に応じた第３画像群の利用を第１ユーザにリコメンドする表示を、第１ユーザの端末装置に対して行うステップとを含むことが好ましい。

さらに、画像解析部が、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行うステップと、
画像群抽出部が、第２画像群および第７画像群に含まれる画像の画像解析の結果に基づいて、第７画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出するステップとを含むことが好ましい。

さらに、画像解析部が、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行うステップと、
画像群抽出部が、第２画像群および第７画像群に含まれる画像の画像解析の結果に基づいて、第７画像群から、第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出するステップと、
利用方法決定部が、指示、第１画像群に含まれる画像の画像解析の結果、および、第８画像群のうちの少なくとも１つに基づいて、第８画像群の利用方法を決定するステップと、
リコメンド部が、利用方法に応じた第８画像群の利用を第２ユーザにリコメンドする表示を、第２ユーザの端末装置に対して行うステップとを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、例えば、オンラインストレージ上に大量に保存されているだけで、利用されていない第１ユーザの第１画像群の中から、第１ユーザにより選択された第２画像群に基づいて、第１ユーザの嗜好に合致する画像を第３画像群として正確に抽出することができる。また、第３画像群の利用方法を第１ユーザにリコメンドすることにより、第１ユーザは、第３画像群を有効に利用することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 第１ユーザが所有する画像群の様子を表す一実施形態の概念図である。 単体ユーザによるリコメンド処理を行う場合の画像処理装置の動作を表す一実施形態のフローチャートである。 複数ユーザによるリコメンド処理を行う場合の画像処理装置の動作を表す一実施形態のフローチャートである。 第１ユーザおよび第２ユーザが所有する画像群の様子を表す一実施形態の概念図である。 第１ユーザおよび第２ユーザが所有する画像群の中に第３ユーザが存在する場合の様子を表す一実施形態の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された２以上のクライアント１４とを備えている。画像処理装置１０は、各々のユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされた画像を、ネットワーク１６を介して他のクライアント１４のユーザと共有するものである。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、各々のユーザのクライアント１４からアップロードされた画像を保存し、他のクライアント１４のユーザと共有する機能を提供するオンラインストレージの一例であり、指示取得部１８と、画像群選択部２０と、画像解析部２２と、画像群抽出部２４と、画像群選別部２６と、利用方法決定部２８と、リコメンド部３０とを備えている。

サーバ１２において、指示取得部１８は、第１ユーザから入力された指示を取得するものである。

指示取得部１８は、第１ユーザが、第１ユーザのクライアント１４において入力した各種の指示を、ネットワーク１６を介して取得する。第１ユーザの指示には、画像群を選択する指示、画像群の利用方法を指定する指示等が含まれる。

続いて、画像群選択部２０は、指示取得部１８が取得したユーザの指示に基づいて、図３に示すように、第１ユーザが所有する第１画像群a1から、その一部の画像を第２画像群a2として選択するものである。

第１画像群a1は、例えば、第１ユーザのクライアント１４からサーバ１２へアップロードされた画像群であり、第２画像群a2は、第１ユーザの指示により第１画像群a1の中から選択された画像群である。

続いて、画像解析部２２は、第１画像群a1に含まれる画像の画像解析を行うものである。

画像解析部２２は、各種の画像解析、例えば、第１画像群a1に含まれる画像の撮影条件、撮影日時、撮影場所、タグ情報等の付帯情報（メタ情報）の取得、画像のボケブレ、明るさ、色等の画質についての画像の評価値の算出、画像から顔領域を検出する顔検出処理、画像に存在する人物の顔を認識する顔認識処理、画像のシーン（夕焼け、夜景、海等）を検出するシーン検出処理、画像に存在する被写体（人物および人物以外のオブジェクト（動物、建築物、花、料理等））を検出する被写体検出処理、画像特徴（色の分布、形状、画像のエッジ等）を検出する画像特徴検出処理等を行う。

続いて、画像群抽出部２４は、第１画像群a1に含まれる画像の画像解析の結果に基づいて、図３に示すように、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像と関連性のある少なくとも一部の画像を第３画像群a3として抽出するものである。

例えば、画像解析部２２は、まず、第１判断基準に基づいて、第１画像群a1に含まれる画像の画像解析、例えば、画像の付帯情報の取得を行う。これに応じて、画像群抽出部２４は、第１画像群a1に含まれる画像の画像解析の結果、例えば、画像の付帯情報に基づいて、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像と第１閾値以上の関連性のある画像を第４画像群a4として抽出する。
続いて、画像解析部２２は、第１判断基準よりも高い第２判断基準に基づいて、第２画像群a2および第４画像群a4に含まれる画像の画像解析、例えば、画像内容の解析を行う。これに応じて、画像群抽出部２４は、第２画像群a2および第４画像群a4に含まれる画像の画像解析の結果、例えば、画像内容の解析結果に基づいて、第４画像群a4から、第２画像群a2に含まれる画像と第１閾値よりも高い第２閾値以上の関連性のある画像を第３画像群a3として抽出することができる。
第１判断基準および第２判断基準は、画像解析部２２による画像解析に要する計算量の判断基準であり、第１判断基準に基づく画像解析の計算量をCa、第２判断基準に基づく画像解析の計算量をCbとすると、Ca＜Cbとなる。また、第１閾値および第２閾値は、第２画像群a2との関連性の程度を表す値であり、第１閾値をTa、第２閾値をTbとすると、Ta＜Tbとなる。

第１画像群a1に含まれる画像の枚数が膨大である場合、これ以降の処理に長い時間を必要とする可能性がある。そのため、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することは必須ではないが、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像に関連性のある画像を第４画像群a4として抽出し、処理対象となる画像の絞り込みを行うことが望ましい。これにより、第２画像群a2との関連性が低い画像から関連性が高い画像へと絞り込んでいくことができ、これ以降の処理に必要とする時間を短縮することができる。

続いて、画像群選別部２６は、画像群抽出部２４により抽出された第３画像群a3に含まれる画像の画像解析の結果に基づいて、図３に示すように、第３画像群a3から、画質が一定範囲内に含まれている少なくとも一部の画像を第５画像群a5として選別するものである。

第３画像群a3から第５画像群a5を選別することは必須ではないが、第３画像群a3から、ボケブレ、明るさ、色等の画質が一定範囲内に含まれている画像を第５画像群a5として抽出することにより、画質のよい画像を選別することができる。

続いて、利用方法決定部２８は、第１ユーザの指示、第１画像群a1に含まれる画像の画像解析の結果、および、第５画像群a5に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第５画像群a5の利用方法を決定するものである。

第５画像群a5の利用方法としては、第５画像群a5を他のユーザと共有する、第５画像群a5を閲覧する、第５画像群a5をプリント注文する、第５画像群a5を使用してフォトブック等の合成画像を作成する等の利用方法を例示することができる。
例えば、ユーザにより第２ユーザが存在する画像のプリントが指示された場合、第５画像群a5を第２ユーザと共有することを利用方法として決定する。また、第２画像群a2または第５画像群a5に含まれる画像に第３ユーザが存在する場合、第５画像群a5を第３ユーザと共有することを利用方法として決定する。

最後に、リコメンド部３０は、利用方法決定部２８により決定された利用方法に応じた第５画像群a5の利用を第１ユーザにリコメンドする表示を、第１ユーザのクライアント１４に対して行うものである。

なお、画像群選別部２６が第３画像群a3から第５画像群a5を選別しない場合、利用方法決定部２８およびリコメンド部３０は、第３画像群a3に対して処理を行う。

一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。

なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備え、サーバ１２は、さらに、画像を格納する格納部、画像の共有等を制御する制御部等を備えているが、本実施形態では、煩雑さを防ぐために送受信部、格納部、制御部等の記載を省略している。

次に、図４に示すフローチャートを参照しながら、第１ユーザが所有する画像群から選択した一部の画像群に基づいて、第１ユーザが所有する他の画像群を第１ユーザにリコメンドする単体ユーザによるリコメンド処理の場合の画像処理装置１０の動作を説明する。

本実施形態の場合、第１ユーザが所有する第１画像群a1が既にサーバ１２へアップロードされ、画像解析部２２により、第１判断基準に基づいて、第１画像群a1に含まれる画像の画像解析として、付帯情報の取得が既に行われているとする。

まず、第１ユーザのクライアント１４において、例えば、第１画像群a1の中から第２画像群a2を選択して第２ユーザと共有する指示が第１ユーザから入力される（ステップS1）と、サーバ１２では、指示取得部１８により、第１ユーザから入力された指示が取得される。

続いて、画像群選択部２０により、ユーザの指示に基づいて、第１画像群a1から第２画像群a2が選択される（ステップS2）。

続いて、画像解析部２２により、第２判断基準に基づいて、第２画像群a2に含まれる画像の画像解析、例えば、画像内容の解析が行われる（ステップS3）。

続いて、画像群抽出部２４により、第２画像群a2に含まれる画像の画像解析の結果、例えば、画像の付帯情報に基づいて、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像と第１閾値以上の関連性のある画像が第４画像群a4として抽出される（ステップS4）。

続いて、画像解析部２２により、第２判断基準に基づいて、第４画像群a4に含まれる画像の画像解析、例えば、画像内容の解析が行われる（ステップS5）。

続いて、画像群抽出部２４により、第２画像群a2および第４画像群a4に含まれる画像の画像解析の結果、例えば、画像内容の解析結果に基づいて、第４画像群a4から、第２画像群a2に含まれる画像と第２閾値以上の関連性のある少なくとも一部の画像が第３画像群a3として抽出される（ステップS6）。

続いて、画像群選別部２６により、第３画像群a3に含まれる画像の画像解析の結果、例えば、画像内容の解析結果に基づいて、第３画像群a3から、画質が一定範囲内に含まれている少なくとも一部の画像が第５画像群a5として選別される（ステップS7）。

なお、本実施形態のように、第４画像群a4から第３画像群a3を抽出した後、第３画像群a3から第５画像群a5を選別してもよいし、あるいは、第４画像群a4から第３画像群a3を抽出する時同時に第５画像群a5を選別してもよい。

続いて、利用方法決定部２８により、第１ユーザの指示、第１画像群a1に含まれる画像の画像解析の結果、および、第５画像群a5に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第５画像群a5の利用方法が決定される（ステップS8）。例えば、第１ユーザが第２ユーザに対して第５画像群a5を共有することを利用方法として決定する。

続いて、リコメンド部３０により、利用方法決定部２８により決定された利用方法に応じた第５画像群a5の利用を第１ユーザにリコメンドする表示が、第１ユーザのクライアント１４に対して行われる（ステップS9）。例えば、第５画像群a5を表示し、さらに、「これらの画像を第２ユーザと共有してはどうですか？」等の表示が、第１ユーザのクライアント１４に対して行われる。

上記のように、画像処理装置１０では、オンラインストレージ上に大量に保存されているだけで、利用されていない第１ユーザの第１画像群a1の中から、第１ユーザにより選択された第２画像群a2に基づいて、第１ユーザの嗜好に合致する画像を第５画像群a5として正確に抽出することができる。また、第５画像群a5の利用方法を第１ユーザにリコメンドすることにより、第１ユーザは、第５画像群a5を有効に利用することができる。

なお、本実施形態では、第１ユーザが第２ユーザと第２画像群a2を共有したことをトリガとし、第２画像群a2に基づいて、第２画像群a2以外の第１画像群a1から第５画像群a5を抽出しているが、本発明はこれに限定されない。つまり、第１ユーザが第２画像群a2を利用する目的に関わらず、第１ユーザが第２画像群a2を選択したことをトリガとし、第２画像群a2に基づいて、第２画像群a2以外の第１画像群a1から第５画像群a5を抽出することができる。

第１ユーザは、リコメンドされた第５画像群a5に含まれる全ての画像をそのまま第２ユーザと共有してもよいし、あるいは、第５画像群a5の中の不要な画像を除外して第２ユーザと共有することもできる。後者の場合、画像群選択部２０が、さらに、ユーザの指示に基づいて、第５画像群a5から、その中の不要な画像を除外した画像群を選択することができる。

また、画像群選択部２０は、ユーザの指示に基づいて、第１画像群a1から、異なる画像群が複数回選択された場合に、ユーザの指示を取得する毎に、第１画像群a1から第２画像群a2を選択するのではなく、第１画像群a1から、複数回の指示に対応する異なる画像群をまとめて１つの第２画像群a2として選択してもよい。これにより、第２画像群a2に含まれる画像の枚数が多くなるため、第１ユーザの嗜好により近い画像を見つけることができるとともに、これ以降の処理の回数を減らすことができるため、サーバ１２における処理の負荷を軽減することができる。

また、画像解析部２２が第１画像群a1に含まれる画像の画像解析を行うタイミングは任意である。

画像解析部２２は、第１画像群a1から第２画像群a2が選択される前に、例えば、クライアント１４からサーバ１２へ第１画像群a1がアップロードされた直後に画像解析を行ってもよい。この場合、第１画像群a1から第２画像群a2が選択された後の処理時間を短縮することができ、例えば、第１ユーザが第２画像群a2の共有を指示した後、直ちにリコメンドを行うことができる。あるいは、第１画像群a1から第２画像群a2が選択された後に、例えば、第２画像群a2が共有された後に画像解析を行ってもよい。

また、ユーザの画像群を管理するサーバ１２側の都合に応じて、あらかじめ設定された時間帯に、例えば、クライアント１４からのアクセスが少なく、サーバ１２のリソースに余裕がある深夜帯に画像解析を行うことが望ましい。

また、上記実施形態のように、画像解析部２２が、画像解析として、第１画像群a1に含まれる画像の付帯情報を取得した場合、画像群抽出部２４は、画像の付帯情報に基づいて、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することができる。

画像解析部２２が、付帯情報として、第１画像群a1に含まれる画像の撮影日時の情報を取得した場合、画像群抽出部２４は、画像の撮影日時の情報に基づいて、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することができる。

この場合、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像の撮影開始日よりも前の一定期間内に撮影された画像、例えば、撮影開始日から過去１年間に撮影された画像を第４画像群a4として抽出することができる。

また、第２画像群a2以外の第１画像群a1から、第２画像群a2の撮影期間の前後の期間に撮影された一定枚数の画像、例えば、撮影期間の前後の期間に撮影された１００枚ずつの画像を第４画像群a4として抽出することができる。

また、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像の撮影日時と同じ月日であって、かつ、第２画像群a2に含まれる画像の撮影日時よりも前の一定期間内の年に撮影された画像、例えば、撮影日時と同じ月日の過去１０年間に撮影された画像を第４画像群a4として抽出することができる。この場合は、誕生日、結婚記念日、運動会等のように、毎年行われているイベントで撮影された画像を抽出することを想定している。

また、画像解析部２２が、付帯情報として、第１画像群a1に含まれる画像の撮影場所の情報を取得した場合、画像群抽出部２４は、画像の撮影場所の情報に基づいて、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することができる。

また、画像の共有を行うサーバ１２には、画像にタグ情報を付与したり、タグ情報に基づいて画像をまとめてアルバムとして管理したりする分類機能がある。画像解析部２２が、付帯情報として、第１画像群a1に含まれる画像のタグ情報を取得した場合、画像群抽出部２４は、タグ情報に基づいて、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像のタグ情報と同じまたは類似したタグ情報を有する画像を第４画像群a4として抽出することができる。

例えば、ユーザにより、第２画像群a2に「旅行」のタグが付与されている場合、画像群抽出部２４は、第２画像群a2以外の第１画像群a1から、「旅行」のタグが付与されている画像を第４画像群a4として抽出することができる。また、画像認識処理により、第２画像群a2に「動物」のタグが付与されている場合、画像群抽出部２４は、第２画像群a2以外の第１画像群a1から、「動物」のタグが付与されている画像を第４画像群a4として抽出することができる。

また、画像解析部２２が、付帯情報として、第１画像群a1に含まれる画像のタグ情報を取得してタグ情報の評価値を算出した場合、画像群抽出部２４は、タグ情報に基づいて、第２画像群a2以外の第１画像群a1から、第２画像群a2に含まれる画像のタグ情報の評価値から一定範囲内の評価値のタグ情報を有する画像を第４画像群a4として抽出することができる。

また、画像群抽出部２４は、付帯情報に基づいて、第２画像群a2以外の第１画像群a1を複数の第６画像群a6に分けて各々の第６画像群a6に優先度を付け、第４画像群a4として、複数の第６画像群a6のうち、優先度が最も高い第６画像群a6から順に優先度が最も低い第６画像群a6の方向へ向かって画像を抽出することができる。この場合、複数の第６画像群a6から抽出された画像が一定枚数に到達した時点で画像の抽出を終了する。

例えば、第２画像群a2以外の第１画像群a1のうち、第２画像群a2の撮影開始日から過去１ヶ月間、過去１ヶ月〜３ヶ月間、過去３ヶ月〜１年間の第６画像群a6をそれぞれ優先度が高い順に優先度A、B、Cとする。この場合、優先度Aの第６画像群a6、優先度Bの第６画像群a6、優先度Cの第６画像群a6の順に画像を抽出していき、優先度A、B、Cの第６画像群a6から抽出された画像が一定枚数に到達した時点で画像の抽出を終了する。

また、第２画像群a2に加え、第２画像群a2よりも前に選択された１以上の第２画像群a2に基づいて、第４画像群a4から第３画像群a3を抽出してもよい。このように、第２画像群a2だけを第４画像群a4から第３画像群a3を抽出する際の判断基準とするのでなく、過去に選択された第２画像群a2も判断基準として加えることにより、第２画像群a2が選択される毎に、判断基準が第１ユーザに最適化されていき、第１ユーザの嗜好により近い画像を見つけることができる。

また、画像解析部２２が、付帯情報として、第２画像群a2および第４画像群a4に含まれる画像の撮影日時の情報を取得した場合、画像群抽出部２４は、撮影日時の情報に基づいて、第４画像群a4から、第２画像群a2に含まれる画像の撮影日時の前後の一定期間内に撮影された画像を第３画像群a3として抽出することができる。例えば、第２画像群a2に含まれる画像の撮影日時に近い撮影日時に撮影された画像を抽出する。

また、画像解析部２２が、付帯情報として、第２画像群a2および第４画像群a4に含まれる画像の撮影場所の情報を取得した場合、画像群抽出部２４は、撮影場所の情報に基づいて、第４画像群a4から、第２画像群a2に含まれる画像の撮影場所から一定範囲内で撮影された画像を第３画像群a3として抽出することができる。例えば、第２画像群a2に含まれる画像の撮影場所に近い撮影場所で撮影された画像を抽出する。

また、画像解析部２２が、画像解析として、第２画像群a2および第４画像群a4に含まれる画像のシーンを検出するシーン検出処理を行った場合、画像群抽出部２４は、検出された画像のシーンに基づいて、第４画像群a4から、第２画像群a2に含まれる画像のシーンと類似したシーンの画像を第３画像群a3として抽出することができる。例えば、第２画像群a2の中で頻出するシーンが海である場合、第４画像群a4から海のシーンである画像を第３画像群a3として抽出する。

また、画像解析部２２が、画像解析として、第２画像群a2および第４画像群a4に含まれる画像の画像特徴を検出する画像特徴検出処理を行った場合、画像群抽出部２４は、検出された画像の画像特徴に基づいて、第４画像群a4から、第２画像群a2に含まれる画像の画像特徴に類似した画像特徴を有する画像を第３画像群a3として抽出することができる。例えば、第４画像群a4から、画像特徴として、色の分布、形状、画像のエッジ等が類似した画像を第３画像群a3として抽出する。

また、画像解析部２２が、画像解析として、第２画像群a2および第４画像群a4に含まれる画像に存在する被写体を検出する被写体検出処理を行った場合、画像群抽出部２４は、画像から検出された被写体に基づいて、第４画像群a4から、第２画像群a2に含まれる画像に存在する被写体に類似した被写体が存在する画像を第３画像群a3として抽出することができる。例えば、第４画像群a4から、第２画像群a2に含まれる画像に存在する人物と同一の人物が存在する画像や、同じ動物、同じ建築物、同じ花、同じ料理等が存在する画像を第３画像群a3として抽出する。

なお、画像群抽出部２４は、第４画像群a4から第１ユーザのクライアント１４と第２ユーザのクライアント１４との間で利用する第３画像群a3を抽出するために、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出する場合、第１ユーザのクライアント１４と第２ユーザのクライアント１４との間で既に使用された画像を除外して第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することが望ましい。これにより、第２画像群a2以外の第１画像群a1から、第１ユーザのクライアント１４と第２ユーザのクライアント１４との間でまだ利用されていない画像を第４画像群a4として抽出することができる。

一方、第４画像群a4から第１ユーザのクライアント１４と第２ユーザとは異なる第３ユーザのクライアント１４との間で利用する第３画像群a3を抽出するために、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出する場合に、前述の第２画像群a2以外の第１画像群a1から除外された画像が、第１ユーザのクライアント１４と第３ユーザのクライアント１４との間でまだ利用されていない場合には、除外された画像を含む第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することができる。

また、第２画像群a2以外の第１画像群a1のうち、画像解析が既に終了している画像は、これ以降の処理に長い時間を必要としないため、無条件で第４画像として抽出してもよい。

また、第２画像群a2以外の第１画像群a1のうち、画像解析が既に終了している画像の画像解析の結果に基づいて、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出してもよい。

また、第２画像群a2に加え、第２画像群a2よりも前に選択された１以上の第２画像群a2に基づいて、第２画像群a2以外の第１画像群a1から第４画像群a4を抽出してもよい。

また、画像解析部２２および画像群抽出部２４は、前回の第３画像群a3が第１ユーザのクライアント１４で利用された場合に、前回の第３画像群a3を第２画像群a2と見なして、前回の第２画像群a2に基づいて行われた処理と同じ処理を前回の第３画像群a3に対して行って第３画像群a3を抽出してもよい。

この場合、前回の第２画像群a2に基づいて行われた処理の結果を再利用して、前回の第２画像群a2に基づいて行われた処理と同じ処理を前回の第３画像群a3に対して行って第３画像群a3を抽出してもよい。例えば、前回の第３画像群a3の元になった前回の第４画像群a4を第４画像群a4から除外することや、前回の第３画像群a3の元になった前回の第４画像群a4に含まれる画像は既に画像解析済みなので、この画像解析の情報を利用して第２画像群a2以外の第１画像群a1から第４画像群a4を抽出することができる。これにより、第３画像群a3の抽出に必要な処理時間を短縮することができる。

また、画像群選別部２６は、第３画像群a3に含まれる全ての画像の画質が一定範囲内に含まれている場合には、第３画像群a3から、第３画像群a3に含まれる全ての画像を第５画像群a5として選別してもよい。つまり、画像の選別を行うことなく、第３画像群a3をそのまま第５画像群a5として出力してもよい。

また、画像解析部２２が、第３画像群a3に含まれる画像の画像解析の結果に基づいて、第３画像群a3に含まれる画像のボケブレ、明るさ、色等の画質についての評価値を算出した場合、画像群選別部２６は、算出された画像の評価値に基づいて、第３画像群a3から評価値が高い（閾値以上である）画像を第５画像群a5として選別することができる。

この場合、例えば、第３画像群a3から、評価値が最も高い画像から順に評価値が最も低い画像の方向へ向かって一定枚数の画像を第５画像群a5として選別することや、第３画像群a3から、評価値が最も高い画像から順に評価値が最も低い画像の方向へ向かって一定割合の画像を第５画像群a5として選別することができる。

また、第１ユーザが第２画像群a2を第２ユーザと共有してから、リコメンド部３０が第５画像群a5の利用を第１ユーザにリコメンドするまでのタイミングは任意である。例えば、第５画像群a5の利用方法が決定された直後にリコメンドを行ってもよいし、あるいは、第５画像群a5の利用方法が決定されてから一定時間が経過した後に、第５画像群a5の利用方法をリコメンドする表示を行ってもよい。

さらに、単体ユーザによるリコメンド処理だけでなく、第１ユーザが所有する画像群から選択した一部の画像群に基づいて、第２ユーザが所有する一部の画像群を第２ユーザにリコメンドする複数ユーザによるリコメンド処理も可能である。

次に、図５に示すフローチャートを参照しながら、複数ユーザによるリコメンド処理の場合の画像処理装置１０の動作を説明する。

複数ユーザによるリコメンド処理は、図６に示すように、単体ユーザによるリコメンド処理と比べて、第２ユーザが所有する第７画像群b1が、第２画像群a2以外の第１画像群a1に相当し、第８画像群b2、第９画像群b3および第１０画像群b4が、それぞれ、第３画像群a3、第４画像群a4および第５画像群a5に相当することを除いて、単体ユーザによるリコメンド処理の場合と同様である。

同様に、第１画像群a1および第７画像群b1が既にサーバ１２へアップロードされ、画像解析部２２により、第１判断基準に基づいて、第１画像群a1および第７画像群b1に含まれる画像の画像解析として、付帯情報の取得が既に行われているとする。

ステップS11〜S13の動作は、図４に示すステップS1〜S3の動作と同じである。つまり、指示取得部１８により、第１ユーザから入力された指示が取得され（ステップS11）、画像群選択部２０により、ユーザの指示に基づいて、第１画像群a1から第２画像群a2が選択され（ステップS12）、画像解析部２２により、第２画像群a2に含まれる画像の画像解析、例えば、画像内容の解析が行われる（ステップS13）。

続いて、画像群抽出部２４により、第２画像群a2に含まれる画像の画像解析の結果、例えば、画像の付帯情報に基づいて、第７画像群b1から、第２画像群a2に含まれる画像と第１閾値以上の関連性のある画像が第９画像群b3として抽出される（ステップS14）。

続いて、画像解析部２２により、第２判断基準に基づいて、第９画像群b3に含まれる画像の画像解析、例えば、画像内容の解析が行われる（ステップS15）。

続いて、画像群抽出部２４により、第２画像群a2および第９画像群b3に含まれる画像の画像解析の結果、例えば、画像内容の解析結果に基づいて、第９画像群b3から、第２画像群a2に含まれる画像と第２閾値以上の関連性のある少なくとも一部の画像が第８画像群b2として抽出される（ステップS16）。

続いて、画像群選別部２６により、第８画像群b2に含まれる画像の画像解析の結果、例えば、画像内容の解析結果に基づいて、第８画像群b2から、画質が一定範囲内に含まれている少なくとも一部の画像が第１０画像群b4として選別される（ステップS17）。

なお、本実施形態のように、第９画像群b3から第８画像群b2を抽出した後、第８画像群b2から第１０画像群b4を選別してもよいし、あるいは、第９画像群b3から第８画像群b2を抽出する時同時に第１０画像群b4を選別してもよい。

続いて、利用方法決定部２８により、第１ユーザの指示、第１画像群a1に含まれる画像の画像解析の結果、および、第１０画像群b4に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、第１０画像群b4の利用方法が決定される（ステップS18）。例えば、第２ユーザが第１ユーザに対して第１０画像群b4を共有することを利用方法として決定する。

続いて、リコメンド部３０により、利用方法決定部２８により決定された利用方法に応じた第１０画像群b4の利用を第２ユーザにリコメンドする表示が、第２ユーザのクライアント１４に対して行われる（ステップS19）。例えば、第１０画像群b4を表示し、さらに、「これらの画像を第１ユーザと共有してはどうですか？」という表示が、第２ユーザのクライアント１４に対して行われる。

上記のように、画像処理装置１０では、オンラインストレージ上に大量に保存されているだけで、利用されていない第２ユーザの第７画像群b1の中から、第１ユーザにより選択された第２画像群a2に基づいて、第１ユーザの嗜好に合致する画像を自動で抽出することができる。また、抽出された第１０画像群b4の利用方法を第２ユーザにリコメンドすることにより、第２ユーザは、第１０画像群b4を有効に利用することができる。

なお、画像群選別部２６が第８画像群b2から第１０画像群b4を選別しない場合、利用方法決定部２８およびリコメンド部３０は、第８画像群b2に対して処理を行う。

また、図７に示すように、第２画像群a2、および、第２ユーザに利用をリコメンドした第１０画像群b4に含まれる画像に第１ユーザおよび第２ユーザの他に第３ユーザが存在する場合、リコメンド部３０は、さらに、第２画像群a2および第１０画像群b4を第３ユーザに対して利用することを第１ユーザおよび第２ユーザにリコメンドする表示を、第１ユーザおよび第２ユーザのクライアント１４に対して行ってもよい。これにより、画像の共有のやり取りを直接行っていない第３ユーザに対しても、例えば、画像を共有する機会が生まれる。

また、第１ユーザが第２ユーザに対して第２画像群a2を共有した後、この第２画像群a2が第２ユーザにより第７画像群b1の中に取り込まれることが想定される。しかし、第７画像群b1の中に取り込まれた第２画像群a2は元々第１ユーザのものであるため、この第７画像群b1の中に取り込まれた第２画像群a2を除外して第７画像群b1から第１０画像群b4を抽出することが望ましい。これにより、第２画像群a2が第２ユーザにより第７画像群b1の中に取り込まれた場合であっても、第７画像群b1から第１ユーザの画像ではない画像を第１０画像群b4として抽出することができる。

なお、第１ユーザが画像群を第２ユーザに対して共有したことをトリガとして、第２ユーザが所有する画像群の中から一部の画像群を抽出して第２ユーザにリコメンドする例を挙げて説明したが、同様に、第２ユーザが画像群を第１ユーザに対して共有したことをトリガとして、第１ユーザが所有する画像群の中から一部の画像群を抽出して第１ユーザにリコメンドすることもできる。

また、サーバ１２と、ネットワーク１６を介してサーバ１２にそれぞれ接続された２以上のクライアント１４とを備える画像処理装置１０を例に挙げて説明したが、本発明は、これに限定されない。本発明の画像処理装置は、本実施形態のように、サーバ１２が備える機能として構成することができるが、クライアント１４が備える機能としても構成することができる。また、サーバ１２を必要とすることなく、２以上のクライアント１４を、ネットワーク１６を介して直接接続してもよい。

また、上記実施形態では、第１画像群a1として、サーバ１２に既にアップロードされている画像群を使用しているが、本発明はこれに限定されない。例えば、第１ユーザの許可等がある場合には、第１画像群a1のうち、第２画像群a2として、サーバ１２に既にアップロードされている画像群を使用し、第２画像群a2以外の第１画像群a1として、第１ユーザのクライアント１４に格納されている画像群を使用してもよい。あるいは、第２画像群a2として、サーバ１２に既にアップロードされている画像群を使用し、第２画像群a2以外の第１画像群a1の一部の画像として、サーバ１２に既にアップロードされている画像を使用し、第２画像群a2以外の第１画像群a1の他の画像として、第１ユーザのクライアント１４に格納されている画像を使用してもよい。第７画像群b1の場合も同様である。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像群選択部
２２ 画像解析部
２４ 画像群抽出部
２６ 画像群選別部
２８ 利用方法決定部
３０ リコメンド部

Claims (44)

1. 第１ユーザから入力された指示を取得する指示取得部と、
   前記指示に基づいて、前記第１ユーザが所有する第１画像群から一部の画像を第２画像群として選択する画像群選択部と、
   前記第１画像群に含まれる画像の画像解析を行う画像解析部と、
   前記第１画像群に含まれる画像の画像解析の結果に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第３画像群として抽出する画像群抽出部とを備え、
   前記画像解析部は、前記第１画像群に含まれる画像の画像解析として、前記第１画像群に含まれる画像の付帯情報の取得を行い、
   前記画像群抽出部は、前記第１画像群に含まれる画像の画像解析の結果に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像と第１閾値以上の関連性のある画像を第４画像群として抽出し、
   さらに、前記画像解析部は、前記第２画像群および前記第４画像群に含まれる画像の画像解析として、前記第２画像群および前記第４画像群に含まれる画像の内容の解析を行い、
   前記画像群抽出部は、前記第２画像群および前記第４画像群に含まれる画像の画像解析の結果に基づいて、前記第４画像群から、前記第２画像群に含まれる画像と前記第１閾値よりも高い第２閾値以上の関連性のある画像を前記第３画像群として抽出する画像処理装置。
2. さらに、前記指示、前記第１画像群に含まれる画像の画像解析の結果、および、前記第３画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、前記第３画像群の利用方法を決定する利用方法決定部と、
   前記利用方法に応じた前記第３画像群の利用を前記第１ユーザにリコメンドする表示を、前記第１ユーザの端末装置に対して行うリコメンド部とを備える請求項１に記載の画像処理装置。
3. 前記画像群選択部は、前記第１画像群から、異なる画像群が複数回選択された場合に、前記複数回の異なる画像群をまとめて１つの前記第２画像群として選択する請求項１または２に記載の画像処理装置。
4. 前記画像解析部は、前記第１画像群から前記第２画像群が選択される前に、前記第１画像群に含まれる画像の画像解析を行う請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記画像解析部は、前記第１画像群から前記第２画像群が選択された後に、前記第１画像群に含まれる画像の画像解析を行う請求項１〜３のいずれか一項に記載の画像処理装置。
6. 前記画像解析部は、あらかじめ設定された時間帯に前記画像解析を行う請求項４または５に記載の画像処理装置。
7. 前記画像解析部は、前記付帯情報として、前記第１画像群に含まれる画像の撮影日時の情報を取得し、
   前記画像群抽出部は、前記撮影日時の情報に基づいて、前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記画像群抽出部は、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像の撮影開始日よりも前の一定期間内に撮影された画像を前記第４画像群として抽出する請求項７に記載の画像処理装置。
9. 前記画像群抽出部は、前記第２画像群以外の前記第１画像群から、前記第２画像群の撮影期間の前後の期間に撮影された一定枚数の画像を前記第４画像群として抽出する請求項７に記載の画像処理装置。
10. 前記画像群抽出部は、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像の撮影日時と同じ月日であって、かつ、前記第２画像群に含まれる画像の撮影日時よりも前の一定期間内の年に撮影された画像を前記第４画像群として抽出する請求項７に記載の画像処理装置。
11. 前記画像解析部は、前記付帯情報として、前記第１画像群に含まれる画像の撮影場所の情報を取得し、
    前記画像群抽出部は、前記撮影場所の情報に基づいて、前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する請求項１〜６のいずれか一項に記載の画像処理装置。
12. 前記画像解析部は、前記付帯情報として、前記第１画像群に含まれる画像のタグ情報を取得し、
    前記画像群抽出部は、さらに、前記タグ情報に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像のタグ情報と同じまたは類似したタグ情報を有する画像を前記第４画像群として抽出する請求項１〜６のいずれか一項に記載の画像処理装置。
13. 前記画像解析部は、前記付帯情報として、前記第１画像群に含まれる画像のタグ情報を取得して前記タグ情報の評価値を算出し、
    前記画像群抽出部は、さらに、前記タグ情報に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像のタグ情報の評価値から一定範囲内の評価値のタグ情報を有する画像を前記第４画像群として抽出する請求項１〜６のいずれか一項に記載の画像処理装置。
14. 前記画像群抽出部は、前記付帯情報に基づいて、前記第２画像群以外の前記第１画像群を複数の第６画像群に分けて各々の前記第６画像群に優先度を付け、前記第４画像群として、前記複数の第６画像群のうち、前記優先度が最も高い第６画像群から順に前記優先度が最も低い第６画像群の方向へ向かって画像を抽出し、前記複数の第６画像群から抽出された画像が一定枚数に到達した時点で前記画像の抽出を終了する請求項１〜６のいずれか一項に記載の画像処理装置。
15. 前記画像解析部は、前記画像の内容の解析として、前記第２画像群および前記第４画像群に含まれる画像のシーンを検出するシーン検出処理を行い、
    前記画像群抽出部は、前記シーンに基づいて、前記第４画像群から、前記第２画像群に含まれる画像のシーンと類似したシーンの画像を前記第３画像群として抽出する請求項１〜１４のいずれか一項に記載の画像処理装置。
16. 前記画像解析部は、前記画像の内容の解析として、前記第２画像群および前記第４画像群に含まれる画像の画像特徴を検出する画像特徴検出処理を行い、
    前記画像群抽出部は、前記画像特徴に基づいて、前記第４画像群から、前記第２画像群に含まれる画像の画像特徴に類似した画像特徴を有する画像を前記第３画像群として抽出する請求項１〜１４のいずれか一項に記載の画像処理装置。
17. 前記画像解析部は、前記画像の内容の解析として、前記第２画像群および前記第４画像群に含まれる画像に存在する被写体を検出する被写体検出処理を行い、
    前記画像群抽出部は、前記被写体に基づいて、前記第４画像群から、前記第２画像群に含まれる画像に存在する被写体に類似した被写体が存在する画像を前記第３画像群として抽出する請求項１〜１４のいずれか一項に記載の画像処理装置。
18. 前記画像群抽出部は、前記第４画像群から前記第１ユーザの端末装置と第２ユーザの端末装置との間で利用する前記第３画像群を抽出するために、前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する場合、前記第１ユーザの端末装置と前記第２ユーザの端末装置との間で既に利用された画像を除外して前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する請求項１〜１７のいずれか一項に記載の画像処理装置。
19. 前記画像群抽出部は、前記第２画像群以外の前記第１画像群のうち、前記画像解析が既に終了している画像を前記第４画像群として抽出する請求項１〜１８のいずれか一項に記載の画像処理装置。
20. 前記画像群抽出部は、前記第２画像群以外の前記第１画像群のうち、前記画像解析が既に終了している画像の前記画像解析の結果に基づいて、前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する請求項１〜１９のいずれか一項に記載の画像処理装置。
21. 前記画像群抽出部は、前記第２画像群に加え、前記第２画像群よりも前に選択された１以上の第２画像群に基づいて、前記第２画像群以外の前記第１画像群から前記第４画像群を抽出する請求項１〜２０のいずれか一項に記載の画像処理装置。
22. 前記画像群抽出部は、前記第２画像群に加え、前記第２画像群よりも前に選択された１以上の第２画像群に基づいて、前記第４画像群から前記第３画像群を抽出する請求項１〜２１のいずれか一項に記載の画像処理装置。
23. 前記画像解析部および前記画像群抽出部は、前回の前記第３画像群が前記第１ユーザの端末装置で利用された場合に、前回の前記第２画像群に基づいて行われた処理と同じ処理を前回の前記第３画像群に対して行って前記第３画像群を抽出する請求項１〜２２のいずれか一項に記載の画像処理装置。
24. 前記画像解析部および前記画像群抽出部は、前記前回の第２画像群に基づいて行われた処理の結果を再利用して、前記前回の第２画像群に基づいて行われた処理と同じ処理を前記前回の第３画像群に対して行って前記第３画像群を抽出する請求項２３に記載の画像処理装置。
25. さらに、前記第３画像群に含まれる画像の画像解析の結果に基づいて、前記第３画像群から、画質が一定範囲内に含まれている少なくとも一部の画像を第５画像群として選別する画像群選別部を備え、
    前記利用方法決定部は、前記指示、前記第１画像群に含まれる画像の画像解析の結果、および、第５画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、前記第５画像群の利用方法を決定し、
    前記リコメンド部は、前記利用方法に応じた前記第５画像群の利用を前記第１ユーザにリコメンドする表示を、前記第１ユーザの端末装置に対して行う請求項２に記載の画像処理装置。
26. 前記画像群選別部は、前記第３画像群から、前記第３画像群に含まれる全ての画像を前記第５画像群として選別する請求項２５に記載の画像処理装置。
27. 前記画像解析部は、前記第３画像群に含まれる画像の画像解析の結果に基づいて、前記第３画像群に含まれる画像の評価値を算出し、
    前記画像群選別部は、前記評価値に基づいて、前記第３画像群から前記評価値が閾値以上である画像を前記第５画像群として選別する請求項２５に記載の画像処理装置。
28. 前記画像群選別部は、前記第３画像群から、前記評価値が最も高い画像から順に前記評価値が最も低い画像の方向へ向かって一定枚数の画像を前記第５画像群として選別する請求項２７に記載の画像処理装置。
29. 前記画像群選別部は、前記第３画像群から、前記評価値が最も高い画像から順に前記評価値が最も低い画像の方向へ向かって一定割合の画像を前記第５画像群として選別する請求項２７に記載の画像処理装置。
30. 前記画像解析部は、さらに、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行い、
    前記画像群抽出部は、さらに、前記第２画像群および前記第７画像群に含まれる画像の画像解析の結果に基づいて、前記第７画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出する請求項１〜２９のいずれか１項に記載の画像処理装置。
31. 前記画像解析部は、さらに、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行い、
    前記画像群抽出部は、さらに、前記第２画像群および前記第７画像群に含まれる画像の画像解析の結果に基づいて、前記第７画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出し、
    前記利用方法決定部は、さらに、前記指示、前記第１画像群に含まれる画像の画像解析の結果、および、前記第８画像群のうちの少なくとも１つに基づいて、前記第８画像群の利用方法を決定し、
    前記リコメンド部は、さらに、前記利用方法に応じた第８画像群の利用を前記第２ユーザにリコメンドする表示を、前記第２ユーザの端末装置に対して行う請求項２に記載の画像処理装置。
32. 前記リコメンド部は、前記第２画像群、および、前記第８画像群に含まれる画像に第３ユーザが存在する場合、前記第２画像群および前記第８画像群を前記第３ユーザに対して利用することを前記第１ユーザおよび前記第２ユーザにリコメンドする表示を、前記第１ユーザおよび前記第２ユーザの端末装置に対して行う請求項３１に記載の画像処理装置。
33. 前記画像群抽出部は、前記第２画像群が前記第７画像群の中に取り込まれた場合、前記第７画像群の中に取り込まれた前記第２画像群を除外して前記第７画像群から前記第８画像群を抽出する請求項３１または３２に記載の画像処理装置。
34. 前記第１ユーザの端末装置と前記第２ユーザの端末装置とは、ネットワークを介して直接接続されている請求項３１〜３３のいずれか一項に記載の画像処理装置。
35. 前記第１ユーザの端末装置および前記第２ユーザの端末装置は、それぞれ、ネットワークを介してサーバに接続されている請求項３１〜３３のいずれか一項に記載の画像処理装置。
36. 前記第２画像群は、前記サーバに既にアップロードされている画像群であり、前記第２画像群以外の前記第１画像群は、前記第１ユーザの端末装置に格納されている画像群である請求項３５に記載の画像処理装置。
37. 前記第１画像群は、前記サーバに既にアップロードされている画像群である請求項３５に記載の画像処理装置。
38. 前記第２画像群は、前記サーバに既にアップロードされている画像群であり、前記第２画像群以外の前記第１画像群の一部の画像は、前記サーバに既にアップロードされている画像であり、前記第２画像群以外の前記第１画像群の他の画像は、前記第１ユーザの端末装置に格納されている画像である請求項３５に記載の画像処理装置。
39. 指示取得部が、第１ユーザから入力された指示を取得するステップと、
    画像群選択部が、前記指示に基づいて、前記第１ユーザが所有する第１画像群から一部の画像を第２画像群として選択するステップと、
    画像解析部が、前記第１画像群に含まれる画像の画像解析を行うステップと、
    画像群抽出部が、前記第１画像群に含まれる画像の画像解析の結果に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第３画像群として抽出するステップとを含み、
    前記第１画像群に含まれる画像の画像解析として、前記第１画像群に含まれる画像の付帯情報の取得を行い、
    前記第１画像群に含まれる画像の画像解析の結果に基づいて、前記第２画像群以外の前記第１画像群から、前記第２画像群に含まれる画像と第１閾値以上の関連性のある画像を第４画像群として抽出し、
    さらに、前記第２画像群および前記第４画像群に含まれる画像の画像解析として、前記第２画像群および前記第４画像群に含まれる画像の内容の解析を行い、
    前記第２画像群および前記第４画像群に含まれる画像の画像解析の結果に基づいて、前記第４画像群から、前記第２画像群に含まれる画像と前記第１閾値よりも高い第２閾値以上の関連性のある画像を前記第３画像群として抽出する画像処理方法。
40. さらに、利用方法決定部が、前記指示、前記第１画像群に含まれる画像の画像解析の結果、および、前記第３画像群に含まれる画像の画像解析の結果のうちの少なくとも１つに基づいて、前記第３画像群の利用方法を決定するステップと、
    リコメンド部が、前記利用方法に応じた前記第３画像群の利用を前記第１ユーザにリコメンドする表示を、前記第１ユーザの端末装置に対して行うステップとを含む請求項３９に記載の画像処理方法。
41. さらに、前記画像解析部が、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行うステップと、
    前記画像群抽出部が、前記第２画像群および前記第７画像群に含まれる画像の画像解析の結果に基づいて、前記第７画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出するステップとを含む請求項３９または４０に記載の画像処理方法。
42. さらに、前記画像解析部が、第２ユーザが所有する第７画像群に含まれる画像の画像解析を行うステップと、
    前記画像群抽出部が、前記第２画像群および前記第７画像群に含まれる画像の画像解析の結果に基づいて、前記第７画像群から、前記第２画像群に含まれる画像と関連性のある少なくとも一部の画像を第８画像群として抽出するステップと、
    前記利用方法決定部が、前記指示、前記第１画像群に含まれる画像の画像解析の結果、および、前記第８画像群のうちの少なくとも１つに基づいて、前記第８画像群の利用方法を決定するステップと、
    前記リコメンド部が、前記利用方法に応じた第８画像群の利用を前記第２ユーザにリコメンドする表示を、前記第２ユーザの端末装置に対して行うステップとを含む請求項４０に記載の画像処理方法。
43. 請求項３９〜４２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
44. 請求項３９〜４２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images