JP7336400B2 - 画像処理装置、画像処理方法、プログラムおよび画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラムおよび画像処理システム Download PDF

Info

Publication number
JP7336400B2
JP7336400B2 JP2020021604A JP2020021604A JP7336400B2 JP 7336400 B2 JP7336400 B2 JP 7336400B2 JP 2020021604 A JP2020021604 A JP 2020021604A JP 2020021604 A JP2020021604 A JP 2020021604A JP 7336400 B2 JP7336400 B2 JP 7336400B2
Authority
JP
Japan
Prior art keywords
image
group
images
recommendation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021604A
Other languages
English (en)
Other versions
JP2021128425A (ja
JP2021128425A5 (ja
Inventor
啓 山路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020021604A priority Critical patent/JP7336400B2/ja
Priority to US17/150,484 priority patent/US20210248661A1/en
Publication of JP2021128425A publication Critical patent/JP2021128425A/ja
Publication of JP2021128425A5 publication Critical patent/JP2021128425A5/ja
Application granted granted Critical
Publication of JP7336400B2 publication Critical patent/JP7336400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像処理装置、画像処理方法、プログラムおよび画像処理システムに係り、特に、画像保存サービスを利用するユーザに画像を用いた商材のレコメンドを行うコンピュータシステムに好適な画像処理技術およびコンピュータ関連技術に関する。
近年、スマートフォンあるいはデジタルカメラなどの撮影機器を用いて撮影された写真や動画のデータをクラウドストレージに保存して、大量の画像を管理する写真クラウドサービスが知られている。
特許文献１には、クラウドサービスを提供するサーバのストレージに保存されたユーザの画像を用いて、フォトブックあるはコラージュプリントなどのフォト商材に対応した合成画像を作成してユーザに提供するシステムが記載されている。
また、特許文献２には、ユーザが所有する大量の画像の中に含まれる所定の画像群のテーマを自動的に判別し、判別したテーマに基づいてその画像群のテーマに対応した推奨のフォト商材をユーザに提案する画像処理装置が記載されている。
特開２０１４－７５７７８号公報 特開２０１６－１６７２９９号公報
写真クラウドサービスの利用者であるユーザに対して、フォト商材などの商品のレコメンドを行う場合、ストレージに保存された大量の画像群の中の画像群に対して、適切な商材を選択し、商材に対応した適切な画像の選択とレイアウトによる商材サンプルの画像を作成し、適切なタイミングで、その推奨商材をユーザに提案することが望まれる。
本発明はこのような事情に鑑みてなされたもので、画像群の分類に基づき画像群に対して適切な商材を適時に提案するレコメンドを実施できる画像処理装置、画像処理方法、プログラムおよび画像処理システムを提供することを目的とする。
本開示の一態様に係る画像処理装置は、少なくとも１つのプロセッサを備える画像処理装置であって、少なくとも１つのプロセッサは、第１画像群を取得し、第１画像群に含まれる画像の画像内容に応じて第１画像群を１つ以上のグループにグルーピングし、第１画像群の取得日情報とグルーピングされたグループの第２画像群の内容とに基づき、グループの分類に応じて推奨商材を決定し、決定した推奨商材に合わせて、グループの第２画像群の中から推奨商材の作成に使用する１つ以上の画像を選択し、選択した１つ以上の画像のレイアウトを決定して推奨商材に対応した候補画像を作成し、候補画像を用いて作成される推奨商材に関するレコメンド情報を提供する。
本開示の他の態様に係る画像処理方法は、少なくとも１つのプロセッサが実施する画像処理方法であって、少なくとも１つのプロセッサが、第１画像群を取得することと、第１画像群に含まれる画像の画像内容に応じて第１画像群を１つ以上のグループにグルーピングすることと、第１画像群の取得日情報とグルーピングされたグループの第２画像群の内容とに基づき、グループの第２画像群に対して推奨商材を決定することと、決定した推奨商材に合わせて、グループの第２画像群の中から推奨商材の作成に使用する１つ以上の画像を選択し、選択した１つ以上の画像のレイアウトを決定して推奨商材に対応した候補画像を作成することと、候補画像を用いて作成される推奨商材に関するレコメンド情報を提供することと、を含む。
本開示の他の態様に係るプログラムは、コンピュータに、第１画像群を取得する処理と、第１画像群に含まれる画像の画像内容に応じて第１画像群を１つ以上のグループにグルーピングする処理と、第１画像群の取得日情報とグルーピングされたグループの第２画像群の内容とに基づき、グループの第２画像群に対して推奨商材を決定する処理と、決定した推奨商材に合わせて、グループの第２画像群の中から推奨商材の作成に使用する１つ以上の画像を選択し、選択した１つ以上の画像のレイアウトを決定して推奨商材に対応した候補画像を作成する処理と、候補画像を用いて作成される推奨商材に関するレコメンド情報を提供する処理と、を実現させる。
本開示の他の態様に係る画像処理システムは、少なくとも１つのサーバと、ストレージと、を備える画像処理システムであって、少なくとも１つのサーバは、ネットワークを介してユーザ端末から第１画像群のアップロードを受け付けることと、ユーザ端末から取得した第１画像群をユーザ識別情報と関連付けてストレージに保存することと、第１画像群に含まれる画像の画像内容に応じて第１画像群を１つ以上のグループにグルーピングすることと、第１画像群の取得日情報とグルーピングされたグループの第２画像群の内容とに基づき、グループの第２画像群に対して推奨商材を決定することと、決定した推奨商材に合わせて、グループの第２画像群の中から推奨商材の作成に使用する１つ以上の画像を選択し、選択した１つ以上の画像のレイアウトを決定して推奨商材に対応した候補画像を作成することと、候補画像を用いて作成される推奨商材に関するレコメンド情報をユーザ端末に提供することと、を含む処理を実施する。
本発明によれば、画像群の分類に応じて画像群に対して適切な商材を、ユーザに対して適時に提案するレコメンド情報の提供か可能になる。
図１は、本発明の実施形態に係る画像処理システムの構成例を示す概念図である。 図２は、画像処理システムの動作の概要を示すフローチャートである。 図３は、ユーザ端末のディスプレイの表示画面における画面遷移の例を概念的に示す図である。 図４は、画像一覧画面の例である。 図５は、フォルダ一覧画面の例である。 図６は、フォルダ内画像一覧画面の例である。 図７は、商材プレビュー画面の例である。 図８は、レコメンドの対象となるフォト商材の種類を例示的に示す図表である。 図９は、レコメンドの条件とレコメンドする商材との関係をまとめた図表である。 図１０は、画像処理装置による処理の実施タイミングの例を示す図表である。 図１１は、ロジック有効期間とレコメンド表示有効期間の設定例を模式的に示す図である。 図１２は、カレンダーイベントおよび通常イベントの分類に応じてレコメンドされる商材の例を示す図表である。 図１３は、画像処理装置に適用される商材レコメンドロジック仕様の具体例を示す図表である。 図１４は、画像管理サーバによる画像群の受領動作と、画像処理サーバによる画像解析および画像管理サーバによるフォルダ作成の動作を例示的に示すフローチャートである。 図１５は、レコメンドサーバにおけるロジック有効期間内か否かの判定の動作を例示的に示すフローチャートである。 図１６は、レコメンドロジック処理に関する動作とレコメンド表示に関する動作を例示的に示すフローチャートである。 図１７は、商材プレビュー画面の表示に関する動作を例示的に示すフローチャートである。 図１８は、注文画面の表示例である。 図１９は、コンピュータのハードウェア構成の例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
《画像処理システムの構成例》
図１は、本発明の実施形態に係る画像処理システムの構成例を示す概念図である。画像処理システム１０は、ネットワーク３０を介してユーザ端末５０と接続される。画像処理システム１０は、例えば、クラウドコンピューティングシステムである。また、画像処理システム１０は、ユーザ端末５０からアップロードされた画像（第１画像群）を保存する。なお、画像処理システム１０は、保存された画像を用いて各種プリント関連商品を提供してもよい。ネットワーク３０はインターネットを含む電気通信回線である。
ユーザ端末５０からアップロードされる画像（第１画像群）は、写真やスキャン画像などの静止画像であってもよいし、動画像であってもよく、連写、若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、時系列による撮影の時間間隔は必ずしも一定でなくてもよい。第１画像群の画像毎に付与された日付情報の時間間隔は必ずしも一定でなくてもよい。第１画像群の画像毎に付与された日付情報とは、Ｅｘｉｆ（Exchangeable image file format）情報として画像毎に記録される画像取得日情報（撮影日情報等）を示す。
各種プリント関連商品には、例えば、フォトブック、フォトカレンダー、あるいはデザインコラージュプリントなどのフォト商材が含まれる。フォト商材の商品形態は、リアル商材であってもよいし、バーチャル商材であってもよく、またはこれらの両方であってよもよい。リアル商材とは、フォトブックやフォトカレンダーなどの商材の仕様に合わせて複数の画像のデータを用いて作成された合成画像のデータを基にプリントを実施して製作される実物の印刷物製品である。リアル商材は、生産工場４０にて生産され、ユーザに対応付けられた送付先に配送される。
バーチャル商材とは、フォトブックやフォトカレンダーなどの商材の仕様に合わせて複数の画像のデータを用いて作成された合成画像のデータを、データのまま商品として提供する形態である。バーチャル商材は、ネットワーク３０を介してダウンロード販売されてもよいし、ＤＶＤ（Digital Versatile Disc）あるいはメモリカードに代表される可搬型の外部記憶装置にデータが記録され、外部記憶装置の形態で提供されてもよい。バーチャル商材を記録した外部記憶装置は生産工場４０にて生産され、ユーザに対応付けられた送付先に配送される。
なお、本実施形態においては、クラウドストレージと連携してフォト商材を販売する電子商取引を提供するシステムの例を説明するが、フォト商材は有料で提供されるものに限らず、無料で提供するものであってもよい。画像処理システム１０は、クラウドストレージ、またはオンラインストレージとも呼ばれる。
画像処理システム１０は、画像管理サーバ１２と、画像処理サーバ１４と、レコメンドサーバ１６と、受注サーバ１８とを備える。各サーバの構成は図１に示さないが、各サーバは、プロセッサとメモリとを備える。各サーバは、さらに、入力装置とディスプレイとを備えてもよい。
画像管理サーバ１２は、ユーザ端末５０から画像のアップロードを受け付け、画像の保存および管理を行うサーバである。画像管理サーバ１２は、例えば、クラウドストレージサーバである。画像管理サーバ１２はストレージ２２を備える。画像管理サーバ１２は、ネットワーク３０に接続され、ユーザ端末５０からネットワーク３０を介してアップロードされた画像をストレージ２２に保存して管理する。
画像管理サーバ１２は、複数の画像を、複数のフォルダに対応付けて保存することができる。複数のフォルダは、例えば、オンラインアルバムに対応する。画像管理サーバ１２は、例えば、ユーザの指定や画像毎に付与された年月日のような日付情報（撮影日情報）に基づいて、複数の画像を複数の画像群（グループ）に分けてそれぞれ１つのフォルダを対応付けて保存することができる。「アルバム」は「フォルダ」と同義である。フォルダは階層構造で構築され得る。１つの画像は複数のフォルダと関連付けされてよい。画像管理サーバ１２は、ストレージ２２に保存された画像群をネットワーク３０経由によりユーザ端末５０に提供することができる。
画像管理サーバ１２は、画像処理サーバ１４、レコメンドサーバ１６および受注サーバ１８と連携して各種の処理を行う。画像管理サーバ１２は、画像処理サーバ１４、レコメンドサーバ１６および受注サーバ１８などの他のサーバにて生成された情報を取得し、これら情報をユーザ端末５０に提供することができる。
ユーザ端末５０は、ネットワーク３０に接続可能な通信機能を備えた電子機器であり、例えば、携帯電話やスマートフォンなどのモバイル端末、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣなどであってよい。ユーザ端末５０の構成は図示しないが、ユーザ端末５０は、プロセッサと、メモリと、入力装置と、ディスプレイとを備える。
ユーザ端末５０は、画像処理システム１０に接続されるクライアント端末装置である。ユーザは、ユーザ端末５０を用いて画像処理システム１０にログインすることにより、本システムを利用することができる。例えば、ユーザ端末５０を用いることで、ユーザが所有する画像を、ユーザ端末５０からネットワーク３０を介して画像管理サーバ１２にアップロードしたり、ストレージ２２に保存された画像や受注サーバ１８によって作成されたフォト商材の合成画像（候補画像）などを閲覧したり、ネットワーク３０を介してユーザ端末５０に画像をダウンロードしたり、あるいはフォト商材を注文したりすることが可能である。
画像処理サーバ１４は、ユーザ端末５０からアップロードされた画像を解析し、それぞれの画像に対して画像内容に応じた分類情報を付与する。「画像内容」という記載は、撮影内容、撮影シーン、撮影が行われたイベントあるいはアクティビティ、撮影時の状況、および被写体の種類などの概念を含む。１つの画像に対して複数の分類情報が付与されてよい。
画像処理サーバ１４は、人工知能（ＡＩ：Artificial Intelligence）モデルを用いて画像認識を行うＡＩモジュールを含む。ＡＩモジュールは深層学習によって学習された学習済みモデルを用いて構成される。ＡＩモジュールは、例えば、畳み込みニューラルネットワークを含む。
「画像認識」という記載は、画像のクラス分類に限らず、画像の中から物体の位置とその物体のクラスとを検出する物体検出の概念をも含む。画像処理サーバ１４は、画像単位で画像認識を行うシーン認識技術と、複数の画像を含む画像群の単位で画像群の内容を認識するアクティビティ認識（行動認識）技術とを併用して画像解析を行う。シーン認識技術による認識処理は本開示における「第１認識処理」の一例である。アクティビティ認識技術による認識処理は本開示における「第２認識処理」の一例である。
アクティビティ認識技術は、例えば「サイクリング」の画像群、「卒業式」の画像群、あるいは「北海道旅行」の画像群などのように、意味のある画像群のまとまりとして認識して、その画像群にカテゴリーラベルを付与する技術である。カテゴリーラベルは、画像群のまとまりに対する意味付け示すラベルであり、画像群の内容に対応したイベントあるいはアクティビティなどの内容を示す分類カテゴリーのラベルである。カテゴリーラベルは、イベントラベルあるいはアクティビティラベルと言い換えてもよい。アクティビティ認識の処理には、画像のデータと、画像に関連付けされた撮影日情報とが用いられる。
画像管理サーバ１２は、画像処理サーバ１４による画像解析の結果に基づき、画像群を画像内容に応じて分類し、画像群の内容に応じたイベントカテゴリーのグループに分けるグルーピングを行う。「イベントカテゴリー」という記載は、アクティビティのカテゴリーの概念を含む。同じ分類情報が付与された画像群はその共通の分類情報のカテゴリーでグルーピングされる。
画像管理サーバ１２は、カテゴリーラベルと撮影日情報とを用いてグルーピングを行う。ここでのグルーピングは、特定の撮影内容（イベント、アクティビティ、テーマなど）に沿ったまとまりのある画像群のグループを作成する処理である。
レコメンドサーバ１６は、グルーピングされた画像群のグループ単位（画像群単位）でおすすめのフォト商材（推奨商材）を決定する処理と、グループ内からフォト商材に使用する画像を自動的に選択する処理と、自動選択された画像のレイアウトを決定する処理とを行い、その推奨商材に関するレコメンド情報をユーザ端末５０に提供する。グルーピングされた画像群からフォト商材の作成に使用する画像の選択およびレイアウトの決定を含む推奨商材の合成画像の作成とレコメンド情報の提供に関するレコメンドロジックは、ユーザ端末５０による本システムへのアクセス日情報を用いて制御される。本システムへのアクセスは、例えば、画像のアップデート、ログイン／ログアウト、あるいはフォルダのアップデートなどであってよい。画像のアップデート日、ログイン日、ログアウト日、あるいはフォルダのアップデート日などはユーザ端末５０によるアクセス日の例である。なお、アクセス日情報とは、アクセス日に限らず、アクセス月、アクセス年、又は、アクセス時刻に関する情報であってもよい。
受注サーバ１８は、ユーザからの各種プリント関連商品の注文をネットワーク３０経由で受け付け、受注処理および決済処理をオンラインで行う。また、受注サーバ１８は、レコメンドサーバ１６によってグループ単位で決定された推奨商材の種類と、自動選択された画像と、レイアウト情報とを基に、それぞれの推奨商材に用いる合成画像を作成する。つまり、受注サーバ１８は、レコメンドサーバ１６からの情報をもとに、推奨商材のサンプル画像を作成する。受注サーバ１８はストレージ２８を備えており、グループ単位で作成した推奨商材のサンプル画像である合成画像をストレージ２８に保存する。受注サーバ１８にて作成された合成画像は、レコメンドサーバ１６および画像管理サーバ１２を介してユーザ端末５０に表示させることができる。なお、合成画像のデータは画像管理サーバ１２のストレージ２２に保存されてもよい。
ユーザは、ユーザ端末５０の画面上で合成画像の内容を確認して、フォト商材の購入の要否を判断することができる。また、ユーザは、ユーザ端末５０を操作することにより合成画像を編集することができる。例えば、ユーザは、レコメンドサーバ１６にて自動選択された複数の画像の一部を、他の画像に差し替えるなど編集を行うことができる。
なお、受注サーバ１８の処理機能は複数のサーバを用いて実現されてもよい。例えば、フォト商材の合成画像を作成する画像処理を行うサーバと、受注処理を行うサーバと、決済処理を行うサーバとがそれぞれ別々のサーバとして構成されてもよい。
また、図１では、画像管理サーバ１２、画像処理サーバ１４、レコメンドサーバ１６および受注サーバ１８の４つのサーバを用いて処理を分担して画像処理システム１０の処理機能を実現する例を示すが、画像処理システム１０の処理機能を実現するための構成はこの例に限らない。例えば、画像処理システム１０の処理機能を単一のサーバによって実現してもよいし、２以上の適宜の台数による複数台のサーバを用いて実現してもよい。
画像管理サーバ１２は本開示における「第１サーバ」の一例である。ストレージ２２は本開示における「第１ストレージ」の一例である。画像処理サーバ１４は本開示における「第２サーバ」の一例である。レコメンドサーバ１６は本開示における「第３サーバ」の一例である。受注サーバ１８は本開示における「第４サーバ」の一例である。ストレージ２８は本開示における「第２ストレージ」の一例である。
《画像処理システム１０の動作の概要》
図２は、画像処理システム１０の動作の概要を示すフローチャートである。図２においては、画像処理システム１０の全体が１つの画像処理装置１１０であるとして説明する。画像処理装置１１０が実施する処理のステップは、画像処理装置１１０に含まれる少なくとも１つのプロセッサがメモリに記憶されたプログラムの命令を実行することにより実現される。また、ユーザ端末５０が行う処理のステップは、ユーザ端末５０に含まれる１つ以上のプロセッサがメモリに記憶されたプログラムの命令を実行することにより実現される。
ユーザ端末５０は、ネットワーク３０を介して画像処理装置１１０に画像をアップロードする（ステップＳＵ１）。画像処理装置１１０は、ユーザ端末５０からアップロードされた画像群を受信し（ステップＳ１０）、受信した画像群のグルーピングを行う（ステップＳ１１）。ステップＳ１０にて画像処理装置１１０が受信する画像群は本開示における「第１画像群」の一例である。画像処理装置１１０は、各画像に紐付けされた撮影日時情報（画像取得日情報）から１日単位でアルバムを作成し、１日あたりの撮影枚数と撮影間隔とに基づいて重要画像群であるか否かを判定する。例えば、撮影枚数が多い撮影日は重要と判定される。また、１日の中で撮影間隔のまとまりが複数あれば重要と判定される。撮影枚数が多くても、短い期間で類似画像が多数存在する場合は、撮り直しや連写によるものとして、重要度が低いと判定してよい。ステップＳ１１によるグルーピングの結果を受けて、ユーザ端末５０のディスプレイには日付単位で整理された画像群のアルバムが表示される（ステップＳＵ２）。なお、画像処理装置１１０は、１日単位でフォルダを作成する場合を例示したが、これに限られず、１月単位、若しくは１年単位でフォルダを作成してもよい。
画像処理装置１１０は、ステップＳ１１においてグルーピングされた画像群の画像解析に基づき、画像群の撮影内容を判断する（ステップＳ１２）。ここでの「撮影内容」とは、画像群中の複数の画像の画像内容に共通するイベントであり、例えば、旅行、運動会、卒業式、結婚式などのカテゴリーがあり得る。撮影内容の判断は、アクティビティ認識技術を用いて行われる。
画像処理装置１１０は、日付単位でグルーピングされた画像群の全体に対して共通のイベントのラベルを与えてもよいし、日付単位でグルーピングされた画像群の中に複数のイベントの画像群が含まれている場合には、イベントごとにグルーピングしてそれぞれのラベルを与えてもよい。
次いで、画像処理装置１１０は、連続する撮影日の同じイベントの画像群を１つにまとめる処理を行う（ステップＳ１３）。例えば、画像処理装置１１０は、複数日の旅行の画像群を１つのグループにまとめる処理を行う。
ステップＳ１２によりカテゴリー別にグループ化された画像群およびステップＳ１３によりグループ化された画像群は本開示における「第２画像群」の一例である。
次いで、画像処理装置１１０は、それぞれのグループの撮影内容に応じた最適なフォト商材（推奨商材）を決定する（ステップＳ１４）。推奨商材の決定に際しては、レコメンドに関する有効期間と、画像群の内容（撮影内容）とが考慮される。画像処理装置１１０のレコメンドロジックに関して詳細は後述する。画像処理装置１１０は、決定した商材に合わせた自動画像選択と自動レイアウトにより合成画像を作成する（ステップＳ１５）。自動画像選択と自動レイアウトにより合成画像を作成する技術については特許文献１および特許文献２に記載の技術などを適用してよい。ステップＳ１５により作成される合成画像は本開示における「候補画像」の一例である。そして、画像処理装置１１０は、合成画像を作成したフォト商材に関するレコメンド情報をユーザ端末５０に提供する（ステップＳ１６）。
画像処理装置１１０からレコメンド情報を受信したユーザ端末５０のディスプレイにはレコメンド表示が行われる（ステップＳＵ６）。図２に示す画像処理装置１１０のステップＳ１０～Ｓ１６、は画像処理装置１１０のプロセッサによって実施される画像処理方法の一例である。
《ユーザ端末５０における表示画面の例》
図３は、ユーザ端末５０のディスプレイの表示画面における画面遷移の例を概念的に示す図である。画像群をアップロードしたユーザ端末５０のディスプレイには、画像一覧画面５１が表示される。また、ユーザ端末５０は、ユーザの操作に応じて、画像一覧画面５１からフォルダ一覧画面５２、フォルダ内画像一覧画面５３、あるいは商材プレビュー画面５４などの画面に遷移する。
図４は、画像一覧画面５１の例である。図５は、フォルダ一覧画面５２の例である。図６は、フォルダ内画像一覧画面５３の例である。図７は、商材プレビュー画面５４の例である。ここでは、ユーザ端末５０としてスマートフォンを例示する。
図４に示すように、画像一覧画面５１は、画像表示エリア５１１とツールバー５１２とを含む。画像表示エリア５１１には、画像管理サーバ１２のストレージ２２にアップロードされた画像５１０が一覧表示される。画像表示エリア５１１には、最新のアップロードに係る画像群のみならず、過去にアップロードされた画像、すなわち、ストレージ２２に保存されている画像も表示させることができる。
ツールバー５１２には、検索ボタン５６１、フォルダ表示ボタン５６２、ホームボタン５６３、シェアボタン５６４およびその他ボタン５６５が含まれる。画像一覧画面５１は、ホームボタン５６３が押されたときに表示される。なお、「ボタン」は、ＧＵＩ（Graphical User Interface）ボタンである。ＧＵＩボタンについて「押す」という表現には、クリックする、あるいはタッチするなど、ボタンに対応した指令の入力あるいは選択を行う動作が含まれる。フォルダ表示ボタン５６２が押されるとされと、図５に示すフォルダ一覧画面５２に遷移する。
フォルダ一覧画面５２は、フォルダ表示エリア５２１とツールバー５１２とを含む。フォルダ表示エリア５２１には、それぞれ画像群がグルーピングされた複数のフォルダ５２０が一覧表示される。それぞれのフォルダ５２０は、例えば、フォルダ内の画像を代表する代表画像がアイコンとして表示される。なお、代表画像は、フォルダ内に含まれる複数の画像が組み合わさった組み合わせ画像がアイコンとして表示されてもよい。また、おすすめのフォト商材（推奨商材）が決定されたアルバム（フォルダ）には、フォルダに近接する領域に、おすすめのフォト商材が決定されたことを示す表示をしてもよい。例えば、おすすめのフォト商材が決定されたアルバム（フォルダ）のアイコンの右下に、おすすめのフォト商材の提案があることを知らせるお知らせマーク５２２が付される。
ユーザが、フォルダ一覧画面５２から所望のフォルダ５２０を選択すると、図６に示すフォルダ内画像一覧画面５３に遷移する。
フォルダ内画像一覧画面５３は、フォルダ内画像表示エリア５３２と、レコメンド表示エリア５３６とを含む。フォルダ内画像表示エリア５３２には、選択に係るフォルダ内の画像群が一覧表示される。レコメンド表示エリア５３６には、おすすめのフォト商材（推奨商材）に関するレコメンド情報が表示される。レコメンド表示エリア５３６は、フォルダ内画像表示エリア５３２の上部に配置される。レコメンド表示エリア５３６には、おすすめのフォト商材のサンプルが作成されていることをユーザに伝えるメッセージと、推奨商材の表紙に用いられる合成画像５３７と、プレビューボタン５３８とを含むレコメンドバナーが表示される。
なお、フォルダ内画像表示エリア５３２に表示させているフォルダの画像群に対して、おすすめのフォト商材が存在しない場合には、レコメンドバナーは非表示となる。プレビューボタン５３８が押されると、図７に示すような商材プレビュー画面５４に遷移する。
商材プレビュー画面５４には、商材使用画像表示エリア５４１と、購入手続きボタン５４４と、ツールバー５４６とを含む。商材使用画像表示エリア５４１には、自動選択された画像５４０とレイアウト情報とが表示される。図７では、フォト商材の一例としてフォトブックがレコメンドされた場合のプレビュー表示が示されている。
ユーザは、商材プレビュー画面５４にて推奨商材の内容を確認し、プレビュー表示された商材の購入を希望する場合には、購入手続きボタン５４４を押す。一方、商材の購入を希望しない場合、ユーザは、ツールバー５４６の戻るボタン５４７を押す。戻るボタン５４７が押されると、図６のフォルダ内画像一覧画面５３に戻る。
なお、図７の商材プレビュー画面５４において、ユーザは、プレビュー表示された画像の一部を他の画像に差し替えたり、レイアウトを変更したり、アルバムのタイトルを変更したりするなど編集操作を行うこともできる。例えば、ツールバー５４６のメニューボタン５４８が押されると、図示しない編集ボタンが表示され、編集ボタンが押されることにより、ユーザ端末５０の表示画面は編集操作を受け付ける編集画面に遷移する。
《レコメンドの概要》
画像処理装置１１０によって実施されるレコメンドの概要について具体例を示して説明する。図８は、レコメンドの対象となるフォト商材の種類を例示的に示す図表である。ここでは、フォトブック、カレンダー、コラージュ、壁掛け、およびマグカップが例示されている。フォトブックには複数のタイプがある。図８の「Ｎｏ．１」に示すフォトブックは、一辺が１４５ｍｍのスクエア形状のハードカバー（ＨＣ）のフォトブックである。「Ｎｏ．２」に示すフォトブックは、一辺が１４５ｍｍのスクエア形状のソフトカバー（ＳＣ）のフォトブックである。
「Ｎｏ．３」に示すカレンダーは、リング製本タイプの卓上カレンダーであって、サイズが１５２ｍｍ×１４５ｍｍの形状のカレンダーである。「Ｎｏ．４」に示すコラージュは、テンプレートに複数の画像を配置して画像合成を行ったプリント物であり、デザインコラージュプリントと呼ばれる。なお、本実施形態において、フォト商材としてフォトブック、カレンダー、コラージュ、壁掛け、およびマグカップを例示したが、これに限られない。例えば、Ｔシャツ等の服飾、または、文具やカップ等の日用品に写真を印刷したフォト商材を含んでもよい。また、１つの商材の種別に対して、大きさ、材質、形状の異なる複数の商材を推奨商材の候補商材として保存していてもよい。
それぞれの商材の詳細な仕様は適宜設計することが可能である。本実施形態において、商材は、画像数情報とレイアウト情報が対応付けて記憶される。画像数情報は、例えば、ページ数と、ページごとの画像数で示される情報が含まれる。レイアウト情報は、例えば、ページ内における画像の配置位置情報、画像を配置する台紙情報、タイトル情報等が含まれる。例えば、フォトブックの仕様として、ページ数は１６ページ、１ページについて１画像、画像数は表紙に１画像、中のページに１４画像の合計１５画像、レイアウトパターンはスクエアの画像を１ページの中央に配置、背景台紙は白、タイトルはアルバムの画像群のイベント内容を表すタイトルを背表紙に付す、などと定めることができる。カレンダーの仕様として、例えば、ページ数は１３ページ、１ページについて１画像、画像数は表紙に１画像、中のページに１２画像の合計１３画像、レイアウトパターンはカレンダー台紙のパターンに従い画像と月別カレンダーと合成したカレンダー合成画像、タイトル無し、カレンダーの開始月はレコメンド時期が１月の場合には１月開始とし、レコメンド時期が４月の場合には４月開始とするという具合にレコメンド時期に応じて１月開始または４月開始とする、などと定めることができる。なお、図８では３種類の商材が例示しているが、実際には、さらに多数の商材の種類が用意されてよい。
図９は、レコメンドの条件とレコメンドする商材との関係をまとめた図表である。図９に示すように、レコメンドの対象とする商材として複数種類の商材が用意されており、商材ごとにレコメンド条件が設定される。
ユーザが画像をアップロードした時期およびグルーピングされたアルバムの内容によってレコメンド内容が決定される。例えば、１月に画像のアップロードが行われた場合、過去１年間の写真を含む年間アルバムの中の画像を用いて作成したカレンダーのレコメンドが行われる。アップロードの時期が１月であれば１月始まりのカレンダーが提案される。同様に、４月に画像のアップロードが行われた場合、過去１年間の写真を含む年間アルバムの中の画像を用いて作成したカレンダーのレコメンドが行われる。アップロードの時期が４月であれば４月始まりのカレンダーが提案される。
また、３月に画像のアップロードが行われ、そのアルバムの内容が「卒業式」のイベントアルバムであった場合には、フォトブックのレコメンドが行われる。また、時期に関する条件が「通年」に設定されている場合、例えば、「旅行」などのイベントアルバムに対して、時期を問わずに、フォトブックのレコメンドが行われてもよい。
本実施形態に係る画像処理装置１１０においては、レコメンドの時期に関する条件の設定として、ロジック有効期間と、レコメンド表示有効期間との２種類の有効期間が設定される。ロジック有効期間とは、対象とするアルバムについて、レコメンドするフォト商材の合成画像（候補画像）を作成する処理（以下、レコメンドロジック処理という。）を実施することが許容される期間である。ロジック有効期間内に限り、レコメンドロジック処理が実行可能であり、レコメンドロジック処理を実行して作成された合成画像を含むレコメンドプレビュー（レコメンド情報）のデータはストレージ２８に保存される。
レコメンド表示有効期間とは、ロジック有効期間内に実施されたレコメンドロジック処理の結果に基づくレコメンド情報をユーザ端末５０に表示させることが許容される期間である。つまり、レコメンド表示有効期間は、レコメンド情報をユーザに提供する期間を定めるものである。レコメンド表示有効期間はロジック有効期間と同等に設定することも可能であるし、レコメンド表示有効期間の終了日はロジック有効期間の終了日よりも後の日付に設定することができる。また、レコメンド表示有効期間は、レコメンドプレビュー作成後の一定期間（例えば、レコメンドプレビュー作成後、２週間）というように設定されてもよい。
図１０は、画像処理装置１１０による処理の実施タイミングの例を示す図表である。図中のＳ１１などのステップ番号は図２で説明した処理のステップ番号に対応している。
ステップＳ１１～ステップＳ１３の処理は、ユーザ端末５０からストレージ２２への画像アップロードが行われた際に実施される。ステップＳ１１～ステップＳ１３が実施されると、ユーザ端末５０の表示画面には画像一覧画面５１またはフォルダ一覧画面５２が表示される。
ステップＳ１４およびＳ１５の処理は、レコメンドのロジック有効期間にステップＳ１１からステップＳ１３が行われた場合に実施される。例えば、卒業式のフォトブック（ＰＢ：Photo Book）をレコメンドする場合のロジック有効期間は３月１日から４月１５日の期間に設定される。卒業式のフォトブックに関するロジック有効期間は卒業式の前後の時期を含む期間に設定されることが効果的であると考えられる。
ステップＳ１６の処理は、ステップＳ１５完了からレコメンド表示有効期間の期間内に実施される。例えば、卒業式のフォトブック（ＰＢ：Photo Book）のレコメンド表示有効期間は３月１日から５月１０日の期間に設定される。ロジック有効期間の終了後であってもロジック有効期間内にレコメンドロジック処理が既に実施されており、その処理結果の合成画像等のデータがストレージ２８に保存されている場合には、ストレージ２８に保存されたデータを用いてレコメンド表示が行われる。
図１１は、ロジック有効期間とレコメンド表示有効期間の設定例を模式的に示す図である。図１１には、卒業式のフォトブックをレコメンドする場合の例が示されている。卒業式のフォトブックについて、ロジック有効期間は、例えば、３月１日から４月１５日までの期間が設定され、レコメンド表示有効期間は、例えば、３月１日から５月１０日の期間が設定される。また、図１１には、ユーザ端末５０において実際にレコメンド表示が行われるレコメンド表示期間の例が示されている。
アップロードされた画像群についてアルバムが作成され、そのアルバムについてロジック有効期間の条件を含むレコメンド条件が一致すると、レコメンドロジック処理が実施されてレコメンドプレビューが作成され、ユーザ端末５０にレコメンド情報が表示される。図１１では３月２６日にアップロードされた画像群の中に「卒業式」のイベントに関する画像群が含まれており、卒業式のアルバムが作成された場合の例が示されている。
この場合、画像群のアップロード日が卒業式のフォトブックをレコメンドするロジック有効期間であるため、レコメンドロジック処理が実施され、推奨商材としての卒業式のフォトブックのレコメンドプレビューが作成される。このとき作成されたレコメンドプレビューの情報は、ストレージ２８に保存され、レコメンド表示有効期間が満了するまで保存される。したがって、以後、レコメンド有効表示期間内にユーザ端末５０が画像処理装置１１０にアクセスすると、ユーザ端末５０において、対象アルバムのレコメンド情報が表示される。レコメンド表示有効期間を過ぎた場合にはレコメンド表示はオフになる。なお、レコメンド表示有効期間が満了した後は、ストレージ２８からレコメンドプレビューの情報は削除されてよい。
《カレンダーイベントと通常イベントの分類について》
「卒業式」あるいは「夏休み」などのようにカレンダー上で概ね時期が限定されるイベントを「カレンダーイベント」といい、「旅行」などのように年間を通していろいろな時期が想定され、特段の時期的な限定がないイベントを「通常イベント」という。カレンダーイベントのアルバムに対してはロジック有効期間が設定される。
一方で通常イベントのアルバムに対しては、年間を通してレコメンドロジック処理が有効とされる。
図１２は、イベントの分類に応じてレコメンドされる商材の例を示す図表である。図１２中の「イベント種別」とは、カレンダー（暦）上の定めによる特定の時期的な制約があるイベントであるか、通常の（任意の時期の）イベントであるかの種別である。「時期」とは、ロジック有効期間として設定されるおよその時期を示す。例えば「１月」とは、ロジック有効期間として１月１日から１月３１日までの期間が設定されることを意味する。「時期」のコラムに記載された「通年」とは、通年有効であることを意味する。「商材」のコラムに記載された「コラージュ」とはデザインコラージュプリントを指す。「壁掛け」とは壁に飾るパネル加工（額装）が施された写真パネルを指す。
《レコメンドのプッシュ通知の設定について》
画像処理装置１１０は、レコメンドする内容に応じてプッシュ通知の実施（プッシュ通知Ｏｎ）または不実施（プッシュ通知Ｏｆｆ）を設定できるように構成される。例えば、カレンダーイベントのような重要なイベントに関連する商材のレコメンドについては、プッシュ通知を行うように「プッシュ通知Ｏｎ」に設定される。一方、その他の通常イベントに関連する商材のレコメンドについては、プッシュ通知をオフするように「プッシュ通知Ｏｆｆ」に設定される。
推奨商材は、アルバムの内容に応じてできるだけ沢山の種類を作成すること望まれる一方で、レコメンドの通知が過剰に多くなりすぎると、ユーザにとって煩わしく感じられることが懸念される。そのためカレンダーイベントのアルバムに対する推奨商材のお知らせなど、特定の商材に限定してプッシュ通知を行うように、プッシュ通知のＯｎ／Ｏｆｆを定義できる構成であることが望ましい。
《商材レコメンドロジック仕様の具体例》
図１３は、画像処理装置１１０に適用される商材レコメンドロジック仕様の具体例を示す図表である。図１３に示されるように、レコメンド仕様として、レコメンドする商材ごとに、ロジック有効期間、レコメンド表示有効期間、およびプッシュ通知のＯｎ／Ｏｆｆが設定される。プッシュ通知Ｏｎの場合のプッシュ通知の有効期間はレコメンド表示有効期間と同じであってよい。
グルーピングされたアルバムに対して最適な商材を決定する際には、ロジック有効期間と撮影内容とが考慮される。例えば、アルバムの撮影内容としてカテゴリーラベルである卒業と、カテゴリーラベルである卒業に対応付けられた、卒業シーズンである３月を示すロジック有効期間に、「卒業式」のフォトブックなど、卒業式向けの商材が対応付けられて記憶される。
アルバムの撮影内容に関しては、カテゴリーラベルだけではなく、アルバムに含まれる画像枚数や、人物又は風景画像の比率、画像の評価値を考慮してレコメンドロジック処理が実施されてもよい。例えば、卒業式のカテゴリーにグルーピングされた画像が一定枚数以上あれば、「卒業式」のフォトブック、旅行のカテゴリーにグルーピングされた画像が一定枚数以上あれば「旅行」のフォトブックなどに決定される。また、レコメンドロジックには優先度が設定されていてもよい。例えば、Ｎｏ．列は優先度を示し、カテゴリーラベルが「旅行」であるフォルダにおいて、Ｎｏ．４とＮｏ．６を同時に満たす場合において、Ｎｏ．４のレコメンドロジックを優先して実行するようにしてもよい。なお、優先度は予めフォルダの画像内容（カテゴリーラベル）毎に設定されてもよい。
商材に応じた自動画像選択およびレイアウトの処理に関しては、例えば、カレンダーではれば月単位でベストショットを抽出して各ページに配置するなどの処理が行われる。なお、ベストショットの抽出は、画像解析に基づいて画像ごとに付される画像評価値としての画像スコアを用いて行われる。
《画像処理システム１０の動作》
画像処理システム１０は、概ね次のような処理を実施する。
［ステップ１］画像群の受領。
［ステップ２］画像解析およびフォルダ（アルバム）作成。
［ステップ３］ロジック有効期間内か否かの判定。
［ステップ４］ロジック有効期間である場合に、レコメンドロジック処理を実施する。ロジック有効期間でない場合にはレコメンドロジック処理を不実施とする。
［ステップ５］レコメンド表示有効期間である場合に、合成画像（レコメンドプレビュー）が存在しているか否かを判定し、存在している場合には合成画像を表示。
［ステップ６］レコメンドバナーのボタンが押された場合に受注サーバに遷移。
以下、ステップ１からステップ６の各ステップについてさらに詳述する。
［ステップ１］の説明
画像群の受領を実施するステップは、図２で説明したステップＳ１０に対応し、ユーザ端末５０における表示画面としては画像一覧画面５１に対応する。
画像管理サーバ１２はユーザ端末５０からアップロードされた画像群を受領して、ストレージ２２に保存する画像群をアップデートする。アップデートのタイミングは、例えば、ユーザによるアプリの起動に応じて自動処理により、またはユーザ操作に基づいてアップデートされてよい。あるいは、ユーザ端末５０のアプリ起動とＷｉ－Ｆｉ接続環境下での自動アップデートであってもよいし、アプリ起動とモバイル通信環境下での自動アップデートであってもよい。
画像管理サーバ１２は、画像群の受領日（画像受領日）を示すデータと、アップロードされた画像のデータを取得する。なお、画像受領日は画像受信日と言い換えてもよい。画像管理サーバ１２は、画像受領日を示すデータとして、アップデート日またはログイン日のデータを取得する。画像群の画像受領日の情報は本開示における「第１画像群の取得日情報」の一例である。画像受領日の情報はユーザ識別情報（ユーザＩＤ）と紐付けされ、最新の日付（最新日）に更新される。もしくは、更新順で画像受領日のデータが順次記録され、履歴として蓄積される。また、画像にはそれぞれ、その画像が取得された日（生成された日）の日付情報が関連付けられている。スマートフォンあるいはデジタルカメラなどを用いて撮影された画像の画像取得日は、典型的には撮影日である。スキャナを用いてデジタル化された画像の画像取得日はスキャナによってデジタル画像が生成された日である。以下、画像毎の画像取得日情報の一例として、撮影日情報が付与されている場合を例示する。
図１４は、画像管理サーバ１２による画像群の受領動作と、画像処理サーバ１４による画像解析および画像管理サーバ１２によるフォルダ作成の動作を例示的に示すフローチャートである。図１４にはユーザ端末５０と画像管理サーバ１２と画像処理サーバ１４との関係が示されている。
ユーザ端末５０のアプリが起動され（ステップＳ５００）、画像処理システム１０にログインがなされると、ユーザ端末５０から画像群のアップロードが行われる（ステップＳ５１０）。画像管理サーバ１２は、ユーザ端末５０からアップロードされた画像群を取得し（ステップＳ１２０）、管理情報を取得する（ステップＳ１２２）。画像管理サーバ１２は、管理情報として、アップデート日またはログイン日の情報、ならびに画像ごとの撮影日情報を取得する。画像管理サーバ１２は、取得した画像群をストレージ２２に保存する（ステップＳ１２４）。ストレージ２２のデータがアップデートされると、ユーザ端末５０において撮影日順に画像群が一覧表示される（ステップＳ５１２）。ステップＳ５１２における表示例が図４で説明した画像一覧画面５１である。なお、ユーザ端末５０のアプリを起動するとは、画像処理システム１０に関する専用のアプリをダウンロードし、そのアプリを起動することであってもよいし、ユーザ端末５０のブラウザアプリを起動し、特定のＵＲＬからログインページにアクセスすることも含む。なお、ステップＳ５１２において、撮影日順に画像群を一覧表示するとしたが、これに限らず、アップデート日順に画像群を一覧表示するとしてもよい。
［ステップ２］の説明
画像解析およびフォルダ（アルバム）作成を行うステップは、図２で説明したステップＳ１１～Ｓ１３に対応し、ユーザ端末５０における表示画面としてはフォルダ一覧画面５２およびフォルダ内画像一覧画面５３に対応する。
画像管理サーバ１２は、画像の撮影日情報（画像取得日情報）に基づいてフォルダを作成する。例えば、画像処理サーバ１４は、フォルダごとに画像解析を行い、分類条件に応じてフォルダに対して分類情報（ラベル）を付与する。
もしくは、画像管理サーバ１２は、画像の撮影日情報に基づいてフォルダを作成する。そして、画像処理サーバ１４は、画像毎に画像解析を行い、画像の内容に応じて分類情報を付与する。画像管理サーバ１２は、分類情報が付与された画像の割合に応じて、フォルダに対して分類情報を付与する。なお、画像処理サーバ１４が画像毎に画像解析を行い、画像の内容に応じて分類情報を付与し、画像管理サーバ１２が、分類情報が付与された画像毎にフォルダを作成してもよい。
あるいは、次のような形態であってもよい。すなわち、画像管理サーバ１２は、画像取得日に基づいて仮フォルダ作成する。画像処理サーバ１４は、画像毎に画像解析を行い、内容に応じて第１の仮フォルダに分類情報を付与する。
画像処理サーバ１４は、第１の仮フォルダが第１分類である場合は、第１の仮フォルダのまま維持する。画像処理サーバ１４は、第１の仮フォルダに日付として連続する第２の仮フォルダに分類情報を付与する。
画像処理サーバ１４は、第１の仮フォルダの分類情報と第２の仮フォルダの分類情報とを比較して、異なる分類である場合に、第１の仮フォルダを正規フォルダとして分類情報を付与する。一方で、同一の分類である場合は、第２の仮フォルダの分類情報と、第２の仮フォルダに日付として連続する第３の仮フォルダの分類情報を比較する。第２の仮フォルダの分類情報と第３の仮フォルダの分類情報が異なる場合は、第１の仮フォルダと第２の仮フォルダを合わせて１つの正規フォルダとして分類情報を付与する。このように複数の日付に関連する写真群（第２写真群）を有するフォルダを生成してもよい。画像処理サーバ１４は、仮フォルダは表示として非表示とし、正規フォルダのみを表示させる。
フォルダに関連付けされるデータには、正規フォルダフラグ、仮フォルダフラグ、および分類情報などがある。
分類条件に関連するデータとしては、分類ラベルを示す分類情報、撮影日、画像枚数、人物風景画像比率、画像の評価値（画像スコア）が閾値以上であること、画像内容、および優先度などがある。
図１４に示すように、画像処理サーバ１４は、画像管理サーバ１２から画像群を取得して画像解析を行う（ステップＳ１４４）。画像処理サーバ１４は、画像毎の撮影内容を判別し、イベントラベルなどの分類情報を付与する。また、画像処理サーバ１４は、画像毎の画像評価値を示す画像スコアなどを取得する。画像処理サーバ１４の画像解析結果は画像管理サーバ１２に送られる。
画像管理サーバ１２は、画像解析結果を基に、撮影日単位でフォルダを作成する（ステップＳ１２６）。画像管理サーバ１２にて作成されたフォルダの情報はユーザ端末５０に送られ、ユーザ端末５０においてフォルダ一覧が表示される（ステップＳ５１４）。
［ステップ３］の説明
ロジック有効期間内か否かの判定を行うステップは、図２で説明したステップＳ１４に対応する。
レコメンドサーバ１６は、第１画像群の取得日情報とロジック有効期間とを比較してロジック有効期間内であるか否かを判定する。
もしくは、レコメンドサーバ１６は、第１画像群の取得日情報とロジック有効期間とを比較し、さらにロジック条件に適合するか否かを判定してもよい。
あるいはまた、レコメンドサーバ１６は、第１画像群の取得日情報とロジック有効期間とを比較し、複数のロジック有効期間と合致した場合に、ロジック優先度を判定する。
第１画像群の取得日情報は、ユーザ端末５０から画像がアップロードされたアップロード日情報であってよい。レコメンドロジックに関するデータには、ロジック条件、商材仕様（ロジック内容）、ロジック有効期間、ロジック優先度などが含まれる。
ロジック優先度は、例えば、商材のページ数、ロジック有効期間の長さ、商材の人気度などの観点から設定されてよい。
ロジック条件に関するデータには、ユーザ属性、画像のフォルダ分類情報、画像枚数、人物画像比率、撮影日、および除外画像条件などが含まれる。
商材仕様に関するデータには、ページ数、レイアウト情報、タイトルなどが含まれる。
図１５は、レコメンドサーバ１６におけるロジック有効期間内か否かの判定の動作を例示的に示すフローチャートである。図１５にはユーザ端末５０と画像管理サーバ１２と画像処理サーバ１４とレコメンドサーバ１６との関係が示されている。図１５において図１４と共通するステップには同一のステップ番号を付し、その説明は省略する。
レコメンドサーバ１６は、画像管理サーバ１２を介してアップロード日の情報を取得し、アップロード日とロジック有効期間のチェックを行う（ステップＳ１６２）。さらに、レコメンドサーバ１６は、フォルダとロジック条件のチェックを行う（ステップＳ１６４）。レコメンドサーバ１６は、ステップＳ１６２とステップＳ１６４の判定結果に基づき、フォルダごとにレコメンド可否を判定し、判定結果を画像管理サーバ１２に送信する（ステップＳ１６６）。
［ステップ４］の説明
ロジック有効期間である場合にレコメンドロジック処理を実施し、ロジック有効期間でない場合にレコメンドロジック処理を不実施とするステップは、図２で説明したステップＳ１５に対応する。ユーザ端末５０における表示画面としては図６に例示したフォルダ内画像一覧画面５３の上部のレコメンド表示エリア５３６に示されるレコメンドバナーおよび図７に例示した商材プレビュー画面５４に対応する。
レコメンドロジック処理は、推奨商材を決定し、フォルダから画像を選択し、レイアウトを決定する処理を含む。レコメンドサーバ１６は、レコメンドロジック処理を実施する。レコメンドサーバ１６は、フォルダから画像を選択してレイアウトを決定し、その選択画像とレイアウト情報を受注サーバ１８に送信する。
受注サーバ１８は、推奨商材情報と、レコメンドサーバ１６から受信した画像とレイアウト情報とを基に推奨商材の合成画像を生成し、生成した合成画像をストレージ２８に保存する。
レコメンドロジック処理に使用されるデータとしては、フォルダに関する情報、画像選択のための抽出条件、およびレイアウト条件などが含まれる。フォルダに関する情報には、正規フォルダ、選択画像、レイアウト、合成画像、非選択画像などに関する情報が含まれる。非選択画像は、編集用画像となり得る。
選択画像の抽出条件には、自動画像選択の優先度、および除去画像に関する情報が含まれる。優先度は、例えば、画像スコア、登場回数、あるいは優先タグ、またはこれらの適宜の組み合わせによって定められてよい。除去画像については、例えば、低解像度の画像、あるいは類似画像などを除外するように定められてよい。レイアウト条件は、例えば、撮影日の時系列順に画像を並べるように定められてよい。
図１６は、レコメンドロジック処理に関する動作とレコメンド表示に関する動作を例示的に示すフローチャートである。図１６にはユーザ端末５０と画像管理サーバ１２と画像処理サーバ１４とレコメンドサーバ１６と受注サーバとの関係が示されている。図１６において図１５と共通するステップには同一のステップ番号を付し、その説明は省略する。
レコメンドサーバ１６は、ロジック有効期間とロジック条件とに適合するフォルダについて、推奨商材に用いる画像の選択を行い、かつ、選択した画像のレイアウトを決定する（ステップＳ１６７）。選択された画像とレイアウトの情報は受注サーバ１８に送られる。
受注サーバ１８は、レコメンドサーバ１６から受信した選択画像とレイアウト情報に基づいて推奨商材の合成画像を生成する（ステップＳ１８２）。生成された合成画像の情報はレコメンドサーバ１６に送られ、レコメンドサーバ１６にてレコメンド情報が生成される（ステップＳ１６８）。
レコメンド情報は、レコメンドサーバ１６から画像管理サーバ１２を経由して、ユーザ端末５０に送られる。ユーザ端末５０では、フォルダ内画像一覧表示（ステップＳ５１６）の際に、画面上部に、推奨商材の表紙の合成画像５３７を含むレコメンド表示（ステップＳ５１８）が行われる（図６参照）。
［ステップ５］の説明
レコメンド表示有効期間である場合に、合成画像（レコメンドプレビュー）が存在しているか否かを判定し、存在している場合には合成画像を表示するステップは、図２で説明したステップＳ１６に対応している。
受注サーバ１８にて生成された合成画像はストレージ２８に保存されており、レコメンド表示有効期間内であればストレージ２８から合成画像が読み出されてユーザ端末５０に提供される。
例えば、ユーザ端末５０に表示される画像一覧画面５１においてフォルダ表示ボタン５６２が押されると、フォルダ一覧画面５２に遷移する。フォルダ一覧画面５２の表示を行う際に、レコメンドサーバ１６にて、正規フォルダの有無、合成画像の有無、およびレコメンド表示有効期間の判定が行われる。
正規フォルダかつレコメンド表示有効期間を満たすフォルダについて、合成画像の有無に応じてユーザ端末５０上で差別化表示が行われる。図５で説明したお知らせマーク５２２は差別化表示の一例である。
また、お知らせマーク５２２が付されたフォルダを選んでフォルダ内画像一覧画面５３を表示させると、図６のように、合成画像５３７と、画像群の表示と、商材プレビューへのリンクが張られたプレビューボタン５３８と、が表示される。
対象とするフォルダがレコメンド表示有効期間を満たしていない場合、すなわち、ユーザに提案する推奨商材がない場合は、レコメンド表示エリア５３６のレコメンドバナーは非表示となる。
［ステップ６］の説明
レコメンドバナーのプレビューボタン５３８が押された場合に受注サーバ１８のサイトに移動し、ユーザ端末５０には、商材プレビュー画面５４が表示される（図７）。プレビューボタン５３８を「レコメンドボタン」という場合がある。
受注サーバ１８からユーザ端末５０に対して選択画像とレイアウト情報が送信され、ユーザ端末５０に表示される商材プレビュー画面５４から、商材の購入手続きがである。
また、受注サーバ１８からユーザ端末５０に対して選択画像とレイアウト情報に加え非選択画像（編集用画像）の情報を送信し、商材プレビュー画面５４において、画像の入れ替えなどの編集操作を受け付けてもよい。
図１７は、商材プレビュー画面の表示に関する動作を例示的に示すフローチャートである。ユーザ端末５０には、図１６で説明したレコメンド表示（ステップＳ５１８）が行われている状態であるとする。
図１７に示すように、ユーザ端末５０はレコメンドバナーが表示された状態でレコメンドボタンの押下操作を受け付ける（ステップＳ５２０）。ユーザ端末５０のレコメンドボタンが押下されると、ユーザ端末５０から画像管理サーバ１２にレコメンドボタンに対する入力が行われ、画像管理サーバ１２は受注サーバ１８にプレビューリクエストを送信する（ステップＳ１２８）。
受注サーバ１８は、画像管理サーバ１２からのリクエストに応じて該当する商材の合成画像を含む商材情報をユーザ端末５０に送信する（ステップＳ１８４）。
ユーザ端末５０は、受注サーバ１８から商材情報を受信し、商材プレビュー表示を行う（ステップＳ５２６）。ユーザ端末５０は、ユーザからの編集操作を受け付ける（ステップＳ５２８）。編集操作が行われた場合には、その指示内容が受注サーバ１８に送られ、受注サーバ１８において画像の入れ替えなどの編集処理が実施される（ステップＳ１８６）。ユーザ端末５０には、編集後の商材プレビューが表示される。
また、ユーザ端末５０において商材プレビュー画面５４に購入手続きボタンが表示され、購入手続を受け付ける（ステップＳ５３０）。
購入手続きボタンが押されると、受注サーバ１８における注文および決済の処理に移行する（ステップＳ１８８）。受注サーバ１８は注文サーバと言い換えてもよい。
図１８は、注文画面の表示例を示す。図７に示す購入手続きボタンが押されると、ユーザ端末５０には図２０のよう注文画面５５が表示される。注文画面は決済画面を兼ねており、オンライン上で決済を完了させることができる。
《コンピュータのハードウェア構成の例》
図１９は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明したユーザ端末５０、画像処理装置１１０、画像管理サーバ１２、画像処理サーバ１４、レコメンドサーバ１６および受注サーバ１８のいずれかの一部または全部、あるいはこれらの複数の機能を備えた装置として用いることができる。
コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ（Graphics Processing Unit）８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６およびバス８１８を備える。なお、コンピュータ８００は、さらにＧＰＵ（Graphics Processing Unit）を備えてもよい。
ＣＰＵ８０２は、ＲＯＭ８０６またはストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラムおよび各種のデータを一時的に記憶する記憶部として用いられる。
ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、もしくは半導体メモリ、またはこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータ８００は、プログラムで規定される各種の処理を行う手段として機能する。
通信部８１２は、有線または無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。通信部８１２は、画像等の入力を受け付ける情報取得部の役割を担うことができる。
入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、タッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせであってよい。
表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせであってよい。
《コンピュータを動作させるプログラムについて》
上述の実施形態で説明した画像管理サーバ１２、画像処理サーバ１４、レコメンドサーバ１６、受注サーバ１８および画像処理装置１１０などの装置の処理機能のうち少なくとも１つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
《各処理部のハードウェア構成について》
上述の実施形態で説明した画像管理サーバ１２、画像処理サーバ１４、レコメンドサーバ１６、受注サーバ１８および画像処理装置１１０などの装置の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
《本実施形態に係る画像処理システムの利点》
（１）画像保存サービスの利用者（ユーザ）に対して、ユーザが画像処理システム１０にアクセスしたタイミングに合わせて、適切なタイミングで、ユーザのストック画像を用いた適切な商材を提案することが可能になる。
（２）ユーザがアップロードした画像群から商材用の適切な自動的に選択され、自動レイアウトにより、推奨商材のサンプルの候補画像が作成されるため、ユーザは画像の選択操作など煩わしい操作を行うことなく、商材の内容を簡単に確認することができる。
（３）商材用の画像選択およびレイアウト決定に基づく合成画像の作成などのレコメンドロジック処理の動作の有効期間を制限することにより、処理負荷の低減およびリソースの有効活用が可能である。
《変形例１》
レコメンドの対象とする商材の種類は、フォトブックおよびカレンダーに限らず、例えば、デザインコラージュプリント、あるいは壁掛けなどであってもよい。商材の種類によっては、商材の作成に使用する画像数が１枚という場合もありうる。この場合、「合成画像」に代えて、１枚の選択画像から作成されるサンプル画像が作成される。
《変形例２》
上述の実施形態では、画像処理システム１０を例に説明したが、本開示の技術の適用範囲は、この例に限らない。例えば、本開示の技術はソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）システムに適用することもできる。ＳＮＳシステムは、ユーザから画像の投稿を受け付け、ユーザごとに画像を保存する点で画像処理システム１０と類似する。ＳＮＳシステムにおいて、画像処理システム１０と同様のレコメンドシステムを適用することが可能である。
《用語の説明および本開示の他の態様》
第１画像群の取得日情報は、画像処理装置が第１画像群を受領した日（受領日）に関する情報に相当する。候補画像は推奨商材に対応した商材サンプル（見本）の画像に相当する。本開示の一態様に係る画像処理装置によれば、第１画像群から画像内容に応じて分類されたグループの第２画像群の内容と取得日情報とに応じて、適切な推奨商材を適切なタイミングで提案するレコメンドを実施できる。なお、第１画像群の取得日情報とは、第１画像群の取得日に限らず、第１画像群の取得月、第１画像群の取得年、又は、第１画像群の取得時刻に関する情報であってもよい。また、候補画像は、例えば、フォト商材の表紙や各ページ等に用いられる画像として選択された画像や、選択された画像が商材のレイアウト情報に基づいてレイアウトされた合成画像等を含む。なお、合成画像は、第１画像群から選択された複数の画像が商材のレイアウト情報に沿って合成された画像を含む。また、レコメンド情報とは、推奨商材を示す情報、推奨商材に用いられる候補画像や、推奨商材のレイアウト情報に沿って候補画像を配置した情報（プレビュー画面）を含む。
画像処理装置は、あらかじめ定められたレコメンド条件にしたがい、推奨商材を決定するように構成されてよい。グループの内容に対応した推奨商材が存在しない場合には、該当する推奨商材がないと決定されてよい。グループの内容に対応した推奨商材がある場合には、グルーピングされた第２画像群の中から、推奨商材に使用される画像が自動選択され、候補画像が作成される。なお、推奨商材がない場合、候補画像の作成処理およびレコメンド情報の提供は不実施とされてよい。
「作成」という記載は「生成」の概念を含む。画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、画像処理装置は、１台または複数台のコンピュータを用いて実現し得る。「装置」という記載は、「システム」および「モジュール」の概念を含む。
本開示の他の態様に係る画像処理装置は、第１画像群を保存する第１ストレージをさらに備え、少なくとも１つのプロセッサは、ネットワークを介してユーザ端末から第１画像群のアップロードを受け付け、ユーザ端末から取得した第１画像群をユーザ識別情報と関連付けて第１ストレージに保存させる構成とすることができる。「保存」という記載は「保管」の概念を含む。
本開示の他の態様に係る画像処理装置において、第１画像群の取得日情報は、ユーザ端末からの第１画像群のアップロード日情報であってよい。なお、アップロード日情報とは、アップロード日に限らず、アップロード月、アップロード年、又は、アップロード時刻に関する情報であってもよい。
本開示の他の態様に係る画像処理装置は、グループの分類に応じて、推奨商材の決定および候補画像の作成を行う処理を含むレコメンドロジック処理のロジック有効期間が設定されており、少なくとも１つのプロセッサは、取得日情報がロジック有効期間の期間内であるグループの画像群に限り、レコメンドロジック処理を実施する構成とすることができる。
本開示の他の態様に係る画像処理装置は、候補画像を保存する第２ストレージをさらに備え、少なくとも１つのプロセッサは、レコメンドロジック処理を実施して作成された候補画像を第２ストレージに保存する構成とすることができる。
第２ストレージは第１ストレージと別体の記憶装置として構成されてもよいし、第１ストレージを構成する記憶装置における記憶領域の一部として構成されてもよい。
本開示の他の態様に係る画像処理装置は、レコメンド情報をユーザ端末に表示させる期間を定めるレコメンド表示有効期間が設定されており、少なくとも１つのプロセッサは、レコメンド表示有効期間の期間内に限り、レコメンド情報をユーザ端末に表示させる構成とすることができる。
画像処理装置は、ロジック有効期間内にレコメンドロジック処理を実施して候補画像を作成した場合、その作成した候補画像を、少なくともレコメンド表示有効期間が終了するまでの間、第２ストレージに保存しておくことが好ましい。これにより、レコメンド表示有効期間内に、ユーザ端末から再度のアクセスがあった際に、第２ストレージから候補画像を読み出して、レコメンド情報を提供することが可能である。また、画像処理装置は、レコメンド表示有効期間が終了したか否かを判定し、レコメンド表示有効期間が終了した場合には第２ストレージから候補画像を削除する構成としてもよい。
本開示の他の態様に係る画像処理装置において、少なくとも１つのプロセッサは、ネットワークを介してユーザ端末との接続が行われたアクセス日情報がレコメンド表示有効期間である場合に、レコメンド情報をユーザ端末に表示させる構成とすることができる。なお、アクセス日情報とは、アクセス日に限らず、アクセス月、アクセス年、又は、アクセス時刻に関する情報であってもよい。
本開示の他の態様に係る画像処理装置において、少なくとも１つのプロセッサは、レコメンド情報についてのプッシュ通知の実施または不実施の設定にしたがい、ユーザ端末へのプッシュ通知を制御する構成であってよい。
推奨する商材に応じて個別にプッシュ通知の実施（プッシュ通知Ｏｎ）または不実施（プッシュ通知Ｏｆｆ）の設定を行うことができる構成であることが好ましい。過剰なプッシュ通知の提供を抑制し、より効果的なレコメンドを実現することができる。
本開示の他の態様に係る画像処理装置において、レコメンド情報には、候補画像が含まれる構成とすることができる。
ユーザ端末におけるレコメンド表示に含める候補画像は、推奨商材に使用する候補画像の一部または全部であってよい。例えば、推奨商材がフォトアルバムなどの複数ページを含む商材である場合、フォトアルバムの表紙に用いた画像をレコメンド表示に使用する構成としてもよい。
本開示の他の態様に係る画像処理装置において、グループの分類に応じて複数種類の推奨商材が用意され、複数種類の推奨商材のそれぞれは、画像数情報およびレイアウト情報が定められており、少なくとも１つのプロセッサは、グループの第２画像群に対して決定した推奨商材の画像数情報およびレイアウト情報にしたがい、第２画像群から画像を選択し、選択した画像を用いて推奨商材に対応した候補画像としての合成画像を作成する構成とすることができる。
本開示の他の態様に係る画像処理装置において、少なくとも１つのプロセッサは、第１画像群に含まれる画像の画像単位で画像内容を認識する第１認識処理と、第２画像群の画像群単位で画像群の内容を認識する第２認識処理とを行うことにより、第１画像群を１つ以上のグループにグルーピングする構成とすることができる。
「認識」という記載は、識別、判別、推論、推定、および検出などの概念を含む。少なくとも１つのプロセッサは、例えば、深層学習に代表される機械学習によって認識性能を獲得した学習済みモデルを用いて認識の処理を行う構成であってよい。
本開示の他の態様に係る画像処理装置において、少なくとも１つのプロセッサは、第１画像群の画像毎に関連付けされた画像取得日情報に基づいて画像取得日ごとにアルバムを作成し、連続する画像取得日の共通するイベントカテゴリーに分類される画像群を１つのグループにまとめる構成とすることができる。なお、画像取得日情報とは、画像取得日に限らず、画像取得月、画像取得年、又は、画像取得時刻に関する情報であってもよい。なお、画像毎に関連付けられた画像取得日とは、例えば、撮影日である。
少なくとも１つのプロセッサは、メモリに記録された命令を実行することにより、本開示の他の態様係る画像処理方法を実施することができる。
本開示の他の態様に係るプログラムは、コンピュータに、第１画像群を取得する処理と、第１画像群に含まれる画像の画像内容に応じて第１画像群を１つ以上のグループにグルーピングする処理と、第１画像群の取得日情報とグルーピングされたグループの第２画像群の内容とに基づき、グループの第２画像群に対して推奨商材を決定する処理と、決定した推奨商材に合わせて、グループの第２画像群の中から推奨商材の作成に使用する１つ以上の画像を選択し、選択した１つ以上の画像のレイアウトを決定して推奨商材に対応した候補画像を作成する処理と、候補画像を用いて作成される推奨商材に関するレコメンド情報を提供する処理と、を実現させる。
コンピュータは、１台のコンピュータであってもよいし、複数台のコンピュータであってもよい。
本開示の他の態様に係る画像処理システムにおいて、少なくとも１つのサーバとしての、第１サーバと、第２サーバと、第３サーバと、第４サーバと、を含み、第１サーバは、ネットワークを介してユーザ端末から第１画像群のアップロードを受け付け、ユーザ端末から取得した第１画像群をユーザ識別情報と関連付けて第１ストレージに保存し、第２サーバは、第１画像群の画像を解析し、第３サーバは、第２サーバによる画像解析結果を基にグルーピングされたグループの第２画像群に対して推奨商材の決定、推奨商材の作成に使用する１つ以上の画像の選択、および選択した１つ以上の画像のレイアウトの決定を行い、第４サーバは、第３サーバによって選択された画像とレイアウトの情報を基に推奨商材に対応した候補画像を作成し、作成した候補画像を第２ストレージに保存し、第３サーバは、ユーザ端末からのアクセス日情報に基づき、ユーザ端末へのレコメンド情報の提供を制御する構成とすることができる。
画像は、写真やスキャン画像などの静止画像であってもよいし、動画像であってもよい。第１画像群は、連写、若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、第１画像群の時系列による撮影の時間間隔は必ずしも一定でなくてもよい。
《その他》
上述した実施形態で説明した構成要素、および変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 画像処理システム
１２ 画像管理サーバ
１４ 画像処理サーバ
１６ レコメンドサーバ
１８ 受注サーバ
２２ ストレージ
２８ ストレージ
３０ ネットワーク
４０ 生産工場
５０ ユーザ端末
５１ 画像一覧画面
５２ フォルダ一覧画面
５３ フォルダ内画像一覧画面
５４ 商材プレビュー画面
５５ 注文画面
１１０ 画像処理装置
５１０ 画像
５１１ 画像表示エリア
５１２ ツールバー
５２０ フォルダ
５２１ フォルダ表示エリア
５２２ お知らせマーク
５３２ フォルダ内画像表示エリア
５３６ レコメンド表示エリア
５３７ 合成画像
５３８ プレビューボタン
５４０ 画像
５４１ 商材使用画像表示エリア
５４４ 購入手続きボタン
５４６ ツールバー
５４７ 戻るボタン
５４８ メニューボタン
５６１ 検索ボタン
５６２ フォルダ表示ボタン
５６３ ホームボタン
５６４ シェアボタン
５６５ その他ボタン
８００ コンピュータ
８０２ ＣＰＵ
８０４ ＲＡＭ
８０６ ＲＯＭ
８１０ ストレージ
８１２ 通信部
８１４ 入力装置
８１６ 表示装置
８１８ バス
ＳＵ１～ＳＵ６ ユーザ端末が実施する処理のステップ
Ｓ１０～Ｓ１６ 画像処理装置が実施する処理のステップ
Ｓ１２０～Ｓ１２８ 画像管理サーバが実施する処理のステップ
Ｓ１４４ 画像処理サーバが実施する処理のステップ
Ｓ１６２～Ｓ１６８ レコメンドサーバが実施する処理のステップ
Ｓ１８２～Ｓ１８８ 受注サーバが実施する処理のステップ
Ｓ５００～Ｓ５３０ ユーザ端末が実施する処理のステップ

Claims (16)

  1. 少なくとも１つのプロセッサを備える画像処理装置であって、
    前記少なくとも１つのプロセッサは、
    第１画像群を取得し、
    前記第１画像群に含まれる画像の画像内容に応じて前記第１画像群を１つ以上のグループにグルーピングし、
    前記第１画像群の取得日情報と前記グルーピングされた前記グループの第２画像群の内容とに基づき、前記グループの分類に応じて推奨商材を決定し、
    前記決定した前記推奨商材に合わせて、前記グループの前記第２画像群の中から前記推奨商材の作成に使用する１つ以上の画像を選択し、前記選択した前記１つ以上の画像のレイアウトを決定して前記推奨商材に対応した候補画像を作成し、
    前記候補画像を用いて作成される前記推奨商材に関するレコメンド情報を提供する、
    画像処理装置であり、
    前記グループの分類に応じて前記推奨商材の決定および前記候補画像の作成を行う処理を含むレコメンドロジック処理のロジック有効期間が設定されており、
    前記少なくとも１つのプロセッサは、
    前記取得日情報が前記ロジック有効期間の期間内である前記グループの画像群に対し、前記レコメンドロジック処理を実施する、
    画像処理装置。
  2. 前記第１画像群を保存する第１ストレージをさらに備え、
    前記少なくとも１つのプロセッサは、
    ネットワークを介してユーザ端末から前記第１画像群のアップロードを受け付け、
    前記ユーザ端末から取得した前記第１画像群をユーザ識別情報と関連付けて前記第１ストレージに保存させる、
    請求項１に記載の画像処理装置。
  3. 前記第１画像群の前記取得日情報は、前記ユーザ端末からの前記第１画像群のアップロード日情報である、
    請求項２に記載の画像処理装置。
  4. レコメンドの対象となる商材ごとに前記ロジック有効期間が設定される、
    請求項１から３のいずれか一項に記載の画像処理装置。
  5. 前記候補画像を保存する第２ストレージをさらに備え、
    前記少なくとも１つのプロセッサは、
    前記レコメンドロジック処理を実施して作成された前記候補画像を前記第２ストレージに保存する、
    請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記レコメンド情報をユーザ端末に表示させる期間を定めるレコメンド表示有効期間が設定されており、
    前記少なくとも１つのプロセッサは、前記レコメンド表示有効期間の期間内に限り、前記レコメンド情報を前記ユーザ端末に表示させる、
    請求項１から５のいずれか一項に記載の画像処理装置。
  7. 前記少なくとも１つのプロセッサは、ネットワークを介してユーザ端末との接続が行われたアクセス日情報が前記レコメンド表示有効期間である場合に、前記レコメンド情報を前記ユーザ端末に表示させる、
    請求項６に記載の画像処理装置。
  8. 前記少なくとも１つのプロセッサは、
    前記レコメンド情報についてのプッシュ通知の実施または不実施の設定にしたがい、
    ユーザ端末への前記プッシュ通知を制御する、
    請求項１から７のいずれか一項に記載の画像処理装置。
  9. 前記レコメンド情報には、前記候補画像が含まれる、
    請求項１から８のいずれか一項に記載の画像処理装置。
  10. 前記グループの分類に応じて複数種類の推奨商材が用意され、
    前記複数種類の推奨商材のそれぞれは、画像数情報およびレイアウト情報が定められており、
    前記少なくとも１つのプロセッサは、前記グループの前記第２画像群に対して前記決定した前記推奨商材の画像数情報およびレイアウト情報にしたがい、前記第２画像群から画像を選択し、前記選択した画像を用いて前記推奨商材に対応した前記候補画像としての合成画像を作成する、
    請求項１から９のいずれか一項に記載の画像処理装置。
  11. 前記少なくとも１つのプロセッサは、前記第１画像群に含まれる画像の画像単位で画像内容を認識する第１認識処理と、前記第２画像群の画像群単位で画像群の内容を認識する第２認識処理とを行うことにより、前記第１画像群を１つ以上の前記グループにグルーピングする、
    請求項１から１０のいずれか一項に記載の画像処理装置。
  12. 前記少なくとも１つのプロセッサは、前記第１画像群の画像毎に関連付けされた画像取得日情報に基づいて画像取得日ごとにアルバムを作成し、
    連続する画像取得日の共通するイベントカテゴリーに分類される画像群を１つのグループにまとめる、
    請求項１から１１のいずれか一項に記載の画像処理装置。
  13. 少なくとも１つのプロセッサが実施する画像処理方法であって、
    前記少なくとも１つのプロセッサが、
    第１画像群を取得することと、
    前記第１画像群に含まれる画像の画像内容に応じて前記第１画像群を１つ以上のグループにグルーピングすることと、
    前記第１画像群の取得日情報と前記グルーピングされた前記グループの第２画像群の内容とに基づき、前記グループの分類に応じて推奨商材を決定することと、
    前記決定した前記推奨商材に合わせて、前記グループの前記第２画像群の中から前記推奨商材の作成に使用する１つ以上の画像を選択し、前記選択した前記１つ以上の画像のレイアウトを決定して前記推奨商材に対応した候補画像を作成することと、
    前記候補画像を用いて作成される前記推奨商材に関するレコメンド情報を提供することと、
    を含み、
    前記グループの分類に応じて前記推奨商材の決定および前記候補画像の作成を行う処理を含むレコメンドロジック処理のロジック有効期間が設定されており、
    前記少なくとも１つのプロセッサが、前記取得日情報が前記ロジック有効期間の期間内である前記グループの画像群に対し、前記レコメンドロジック処理を実施することを含む、
    画像処理方法。
  14. コンピュータに、
    第１画像群を取得する処理と、
    前記第１画像群に含まれる画像の画像内容に応じて前記第１画像群を１つ以上のグループにグルーピングする処理と、
    前記第１画像群の取得日情報と前記グルーピングされた前記グループの第２画像群の内容とに基づき、前記グループの分類に応じて推奨商材を決定する処理と、
    前記決定した前記推奨商材に合わせて、前記グループの前記第２画像群の中から前記推奨商材の作成に使用する１つ以上の画像を選択し、前記選択した前記１つ以上の画像のレイアウトを決定して前記推奨商材に対応した候補画像を作成する処理と、
    前記候補画像を用いて作成される前記推奨商材に関するレコメンド情報を提供する処理と、を実現させるプログラムであって、
    前記グループの分類に応じて前記推奨商材の決定および前記候補画像の作成を行う処理を含むレコメンドロジック処理のロジック有効期間を設定する処理と、
    前記取得日情報が前記ロジック有効期間の期間内である前記グループの画像群に対し、前記レコメンドロジック処理を実施させる処理と、
    を前記コンピュータに実現させるプログラム。
  15. 少なくとも１つのサーバと、ストレージと、を備える画像処理システムであって、
    前記少なくとも１つのサーバは、
    ネットワークを介してユーザ端末から第１画像群のアップロードを受け付けることと、
    前記ユーザ端末から取得した前記第１画像群をユーザ識別情報と関連付けて前記ストレージに保存することと、
    前記第１画像群に含まれる画像の画像内容に応じて前記第１画像群を１つ以上のグループにグルーピングすることと、
    前記第１画像群の取得日情報と前記グルーピングされた前記グループの第２画像群の内容とに基づき、前記グループの分類に応じて推奨商材を決定することと、
    前記決定した前記推奨商材に合わせて、前記グループの前記第２画像群の中から前記推奨商材の作成に使用する１つ以上の画像を選択し、前記選択した前記１つ以上の画像のレイアウトを決定して前記推奨商材に対応した候補画像を作成することと、
    前記候補画像を用いて作成される前記推奨商材に関するレコメンド情報を前記ユーザ端末に提供することと、
    を含む処理を実施し、
    前記グループの分類に応じて前記推奨商材の決定および前記候補画像の作成を行う処理を含むレコメンドロジック処理のロジック有効期間が設定されており、
    前記少なくとも１つのサーバは、前記取得日情報が前記ロジック有効期間の期間内である前記グループの画像群に対し、前記レコメンドロジック処理を実施する、
    画像処理システム。
  16. 前記少なくとも１つのサーバとしての、第１サーバと、第２サーバと、第３サーバと、第４サーバと、を含み、
    前記第１サーバは、前記ネットワークを介して前記ユーザ端末から前記第１画像群のアップロードを受け付け、前記ユーザ端末から取得した前記第１画像群をユーザ識別情報と関連付けて第１ストレージに保存し、
    前記第２サーバは、前記第１画像群の画像を解析し、
    前記第３サーバは、前記第２サーバによる画像解析結果を基にグルーピングされた前記グループの前記第２画像群に対して前記推奨商材の決定、前記推奨商材の作成に使用する前記１つ以上の画像の選択、および前記選択した前記１つ以上の画像のレイアウトの決定を行い、
    前記第４サーバは、前記第３サーバによって選択された画像と前記レイアウトの情報を基に前記推奨商材に対応した前記候補画像を作成し、前記作成した前記候補画像を第２ストレージに保存し、
    前記第３サーバは、前記ユーザ端末からのアクセス日情報に基づき、前記ユーザ端末への前記レコメンド情報の提供を制御する、
    請求項１５に記載の画像処理システム。
JP2020021604A 2020-02-12 2020-02-12 画像処理装置、画像処理方法、プログラムおよび画像処理システム Active JP7336400B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020021604A JP7336400B2 (ja) 2020-02-12 2020-02-12 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US17/150,484 US20210248661A1 (en) 2020-02-12 2021-01-15 Image processing apparatus, image processing method, program, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021604A JP7336400B2 (ja) 2020-02-12 2020-02-12 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Publications (3)

Publication Number Publication Date
JP2021128425A JP2021128425A (ja) 2021-09-02
JP2021128425A5 JP2021128425A5 (ja) 2022-04-22
JP7336400B2 true JP7336400B2 (ja) 2023-08-31

Family

ID=77178427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021604A Active JP7336400B2 (ja) 2020-02-12 2020-02-12 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Country Status (2)

Country Link
US (1) US20210248661A1 (ja)
JP (1) JP7336400B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220382811A1 (en) * 2021-06-01 2022-12-01 Apple Inc. Inclusive Holidays

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020325A (ja) 2011-07-08 2013-01-31 Canon Inc 情報処理装置、制御方法、プログラム
JP2014075778A (ja) 2012-09-14 2014-04-24 Fujifilm Corp 合成画像作成システム、画像処理装置および画像処理方法
JP2016167299A (ja) 2013-09-24 2016-09-15 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2018097583A (ja) 2016-12-13 2018-06-21 株式会社Ｎｔｔドコモ 情報処理装置
US20190139285A1 (en) 2015-12-08 2019-05-09 Shutterfly, Inc. Proactive creation of photo products

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054600A1 (en) * 2010-08-31 2012-03-01 Picaboo Corporation Image clustering and page layout system and method
US20120265758A1 (en) * 2011-04-14 2012-10-18 Edward Han System and method for gathering, filtering, and displaying content captured at an event
US9990666B2 (en) * 2012-09-12 2018-06-05 Canon Kabushiki Kaisha Method, system and apparatus for delivering a recommendation
JP5744982B2 (ja) * 2013-08-07 2015-07-08 本田技研工業株式会社 情報配信システム及びクライアント端末
JP6422409B2 (ja) * 2015-08-07 2018-11-14 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
JP6902860B2 (ja) * 2016-12-09 2021-07-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7076974B2 (ja) * 2017-10-03 2022-05-30 キヤノン株式会社 画像処理装置、制御方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020325A (ja) 2011-07-08 2013-01-31 Canon Inc 情報処理装置、制御方法、プログラム
JP2014075778A (ja) 2012-09-14 2014-04-24 Fujifilm Corp 合成画像作成システム、画像処理装置および画像処理方法
JP2016167299A (ja) 2013-09-24 2016-09-15 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20190139285A1 (en) 2015-12-08 2019-05-09 Shutterfly, Inc. Proactive creation of photo products
JP2018097583A (ja) 2016-12-13 2018-06-21 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
JP2021128425A (ja) 2021-09-02
US20210248661A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
US8799756B2 (en) Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US11734335B2 (en) Method and system for organizing digital files
US8897597B2 (en) Proactive creation of image-based products
US9538019B2 (en) Proactive creation of photo products
US9549085B2 (en) Proactive creation of image-based products
US20130051684A1 (en) Smart creation of photobooks
US20200090243A1 (en) Photo product engine powered by blog content
JP2004118573A (ja) 画像整理装置およびプログラム
JP6660835B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2018124779A (ja) 画像処理装置、制御方法、及びプログラム
US20150339325A1 (en) Method, an apparatus for labelling images, and a non-transitory computer-readable medium
JP7336400B2 (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US20180068479A1 (en) Proactive creation of personalized products
JP2005196615A (ja) 情報処理システムおよび情報処理方法
US11379484B1 (en) Event and/or location based media capture and upload platform based on a URL or a link associated with a machine-readable optical label
JP7292895B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6572054B2 (ja) 画像処理装置、画像処理方法
JP2017161993A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2017169963A1 (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
KR20140130974A (ko) 모바일 전자카드 서비스방법
CN115605917A (zh) 样品保存装置、其工作方法及工作程序
JP2002123508A (ja) ネットワーク通信環境を用いた編集システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7336400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150