JP6035288B2 - 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像に対して、サーバとクライアントとで分担して画像処理を施す画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体に関するものである。

スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等のモバイル端末の普及に伴い、モバイル端末で静止画や動画などの画像を撮影し、保存する機会が増加している。モバイル端末では、画像の編集や注文を行うモバイルアプリを利用して、静止画や動画に対して、画像補正、画像解析、動画処理などの様々な画像処理を行うことが可能である。

画像処理の方式には、図１２に示すように、実際に画像処理が行われる場所に応じて以下の２つのパターンがある。
（１）クライアント処理：モバイル端末上で画像処理を実施し、画像処理結果として、クライアント処理された画像処理後の画像を得る。
（２）サーバ処理：モバイル端末内に保持された画像を、ネットワークを介してサーバへ送信してサーバ上で画像処理を実施する。その後、画像処理後の画像をサーバからモバイル端末へ送信し、画像処理結果として、サーバ処理された画像処理後の画像を得る。

クライアント処理の場合、モバイル端末の負荷は高いが、画像処理の応答性が高いという利点がある。
しかし、モバイル端末の性能は一般的なＰＣやサーバと比べて劣る。そのため、画像処理を多数実施するとモバイル端末の負荷が高くなって処理速度が低下し、ユーザの操作性が損なわれるという問題がある。

一方、サーバ処理の場合、画像処理の応答性は低いが、モバイル端末の負荷が低いという利点がある。
しかし、画像を一旦モバイル端末からサーバへ送信し、更に処理結果をサーバから端末へ送信する必要がある。そのため、モバイル端末とサーバとの間で通信を行っている間、待ち時間が発生し、ユーザの操作性が損なわれるという問題がある。

ここで、本発明に関連性があると思われる先行技術文献として、特許文献１〜５がある。

特許文献１には、サーバーコンピュータおよびクライアントコンピュータ間のネットワークのトラフィック量および伝送能力、サーバーコンピュータの負荷状況および処理能力、クライアントコンピュータの負荷状況および処理能力に基づいて、クライアントコンピュータおよびサーバーコンピュータのそれぞれが分担する画像処理プロセスを動的に配分する医用画像処理システムが記載されている。

特許文献２には、検査スケジュールと、画像処理負荷、サーバにおける画像処理可能負荷、クライアント端末の処理能力などに基づいて処理負荷を予測し、その予測結果に基づいて、医用画像に対する画像処理をサーバで行うかクライアント端末で行うかを判断する医用画像処理装置が記載されている。

特許文献３には、ユーザがどれだけその画像に関心があるかを示す関心度を、その画像の閲覧要求指示に起因するアクセスの回数や画像評価値などの要素を用いて算出することが記載されている。

特許文献４には、ユーザが所定回数以上入力した語句、携帯電話機に備えられたアプリケーションの操作履歴情報やウェブサイトの閲覧履歴情報に記載される語句を抽出し、抽出された語句に基づいて、ユーザの嗜好性を解析することが記載されている。

特許文献５には、ユーザの携帯端末装置から、端末装置の利用履歴に関連する利用履歴情報を受信し、受信した利用履歴情報に基づいて、ユーザの興味の対象を分析することが記載されている。

特開２０１０−１０８０３６号公報 特開２０１０−２４５８６２号公報 特開２０１４−１６８１９号公報 特開２０１０−７９６８３号公報 特開２０１０−２０６５３４号公報

本発明の目的は、前記従来技術の問題点を解消し、ユーザの操作性を損なうことなく、画像処理の対象となる画像に所望の画像処理を施すことができる画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
サーバは、
クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
クライアントは、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、クライアントで画像処理を施す場合、クライアントの性能が高いほど、クライアントで同時に画像処理を施す画像の枚数を増加させるように制御するものであることを特徴とする画像処理システムを提供するものである。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
サーバは、
クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
クライアントは、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、クライアントで画像処理を施す場合、クライアントの負荷が高くなるほど、クライアントで画像処理を施す画像の枚数を少なくするように制御するものであることを特徴とする画像処理システムを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
サーバは、
クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
クライアントは、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、サーバの稼働状況に応じて、サーバで画像処理を施すことができない場合には、クライアントで画像処理を施すように制御するものであることを特徴とする画像処理システムを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
サーバは、
クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
クライアントは、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部と、
画像処理を施す場所を指定する画像処理場所指定部とを備え、
制御部は、画像処理場所指定部により指定された、画像処理を施す場所に応じて、サーバまたはクライアントにより画像処理が施されるように制御するものであることを特徴とする画像処理システムを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
サーバは、
クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
クライアントは、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、画像処理が、ユーザが目視で処理結果を確認できる画像処理である場合に、クライアントで画像処理を施し、画像処理が、ユーザが目視で処理結果を確認できない画像処理である場合に、サーバで画像処理を施すように制御するものであることを特徴とする画像処理システムを提供する。

ここで、サーバは、さらに、サーバとクライアントとの間で画像処理に関するデータを転送する第１転送部を備え、
クライアントは、さらに、クライアントとサーバとの間でデータを転送する第２転送部を備え、
制御部は、第１画像処理部により画像処理が施される場合、第２転送部により、第１閾値未満であると判定された画像の画像処理に関するデータがクライアントからサーバへ送信され、第１転送部により、第１閾値未満であると判定された画像の画像処理に関するデータがクライアントからサーバに受信され、第１画像処理部により、第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、第１閾値未満であると判定された画像に画像処理が施され、第１転送部により、画像処理後の画像がサーバからクライアントへ送信され、第２転送部により、画像処理後の画像がサーバからクライアントに受信されるように制御するものであることが好ましい。

また、ユーザの操作情報は、画像の閲覧、画像の編集、画像の注文、画像の共有のうちの１以上の情報を含むことが好ましい。

また、画像の情報は、画像の所有者、画像の被写体、画像の撮影日時、画像のサイズ、画像のメタ情報のうちの１以上の情報を含むことが好ましい。

また、関心度算出部は、関心度の算出基準として、
１．ユーザが現在操作中の画像か否か、
２．ユーザが現在操作中の画像と撮影日が同一の画像か否か、
３．ユーザが過去に操作した画像か否か、
４．ユーザが過去に操作した回数が第２閾値よりも多い画像か否か、
５．ユーザが過去に操作した時間が第３閾値よりも長い画像か否か、
６．ユーザがＳＮＳにアップロードした画像か否か、
７．ユーザが他のユーザに送信した画像か否か、
８．ユーザが過去にプリント注文した画像か否か、
９．ユーザまたはユーザの家族が元の所有者である画像か否か、
１０．ユーザまたはユーザの家族が被写体である画像か否か、または、ユーザの嗜好に一致する被写体が撮影された画像か否か、
１１．被写体の顔が第４閾値よりも大きく撮影された画像か否か、
１２．被写体の数が第５閾値よりも多い画像か否か、
１３．撮影日時がユーザまたはユーザの家族の記念日である画像か否か、
１４．撮影日時が第６閾値よりも新しい画像か否か、
１５．画素数が第７閾値よりも大きい画像か否か、
１６．アスペクト比が他の画像のアスペクト比と異なる画像か否か、
１７．他の画像と異なる撮影方法で撮影された画像か否か、
１８．第８閾値よりも短い時間で、第９閾値以上の回数撮影された画像か否か、
１９．撮影間隔が第１０閾値よりも長く空いた後に撮影された画像か否か、
２０．撮影場所がユーザの生活圏内から第１１閾値よりも遠く離れた画像か否か、
２１．撮影時間が第１２閾値よりも長い動画か否か、
２２．ユーザが加工した画像か否か、または、複数種類の加工が施された画像か否か、
２３．統計的に撮影頻度が第１３閾値よりも高い画像か否か、または、統計的に撮影頻度が第１４閾値よりも低い画像か否か、
のうちの１の算出基準に基づいて、または、２以上の算出基準を組み合わせて関心度を算出するものであることが好ましい。

また、関心度算出部は、各々の算出基準の重要度に応じて、各々の算出基準に基づいて算出された関心度に重み付けを行うものであることが好ましい。

また、関心度算出部は、２以上の算出基準を組み合わせて関心度を算出する場合、２以上の算出基準の中から、重みが第１５閾値以上の算出基準を２以上選択し、選択された２以上の算出基準を組み合わせて重み付けが行われた関心度を算出するものであることが好ましい。

クライアントは、さらに、関心度算出部が関心度を算出する毎に、関心度の算出基準および算出結果の履歴を記憶する関心度記録部を備え、
関心度算出部は、ユーザの操作情報、および、画像の情報に加え、関心度の算出基準および算出結果の履歴に基づいて、関心度を算出するものであることが好ましい。

また、関心度算出部は、関心度の算出結果の履歴の中から、ユーザの操作情報、および、画像の情報に対応する関心度の算出結果を、算出された関心度として使用するものであることが好ましい。

また、関心度算出部は、画像の情報として、画像に付与された、画像の感性を表す感性タグに基づいて、関心度を算出するものであることが好ましい。

また、関心度算出部は、関心度として、現在の画像処理の対象となる各々の画像に付与された感性タグの情報に基づいて、現在の画像処理の対象となる画像の中で、各々の感性タグが占める割合を算出するものであることが好ましい。

また、関心度算出部は、関心度として、現在の画像処理の対象となる各々の画像に付与された感性タグの情報に基づいて、現在の画像処理の対象となる画像の中で、各々の感性タグが付与された画像の枚数を算出するものであることが好ましい。

また、関心度算出部は、過去に画像処理の対象となった画像および感性タグの統計情報に基づいて、関心度を算出するものであることが好ましい。

また、関心度算出部は、ユーザの操作情報に応じて、統計情報に基づいて算出された関心度に重み付けを行うものであることが好ましい。

また、制御部は、サーバで画像処理が施された後、クライアントが、画像処理後の画像を必要とするまで、サーバが画像処理後の画像を保持しておき、クライアントが、画像処理後の画像を必要とする時に、画像処理後の画像をサーバから受信するように制御するものであることが好ましい。

また、制御部は、画像のサイズが第１６閾値以上である場合に、関心度に関わらず、サイズが第１６閾値以上である画像にクライアントで画像処理が施され、画像のサイズが第１６閾値よりも小さい第１７閾値未満である場合に、関心度に関わらず、サイズが第１７閾値未満である画像にサーバで画像処理が施されるように制御するものであることが好ましい。

また、関心度算出部は、関心度が算出された画像が、クライアントで画像処理を施されるか、サーバへ送信されるまでの間に、ユーザにより、関心度が算出された画像が操作された場合に、ユーザにより操作された、関心度が算出された画像に対するユーザの操作情報に基づいて、関心度が算出された画像に対するユーザの関心度を算出し直すものであることが好ましい。

また、関心度算出部は、ユーザにより、関心度が算出された画像が操作された場合に、関心度が算出された画像に対するユーザの操作情報を一定時間記憶しておき、一定時間記憶された、関心度が算出された画像に対するユーザの操作情報に基づいて、関心度が算出された画像に対するユーザの関心度を算出し直すものであることが好ましい。

また、関心度算出部は、ユーザが過去に画像を操作した回数または時間に基づいて、関心度を算出する場合に、ユーザにより、操作および操作のやり直しが第１８閾値未満の回数行われた場合には、やり直しが行われた操作の回数または時間を、ユーザが過去に画像を操作した回数または時間にカウントしないものであることが好ましい。

また、関心度算出部は、ユーザにより、操作および操作のやり直しが第１８閾値以上の回数行われた場合、やり直しが行われた操作の回数または時間を、ユーザが過去に画像を操作した回数または時間にカウントするものであることが好ましい。

また、関心度算出部は、ユーザが過去に画像を操作した時間に基づいて、関心度を算出する場合に、ユーザにより、画像が一定時間操作されていない場合には、ユーザにより画像が操作されていない一定時間を、ユーザが過去に画像を操作した時間にカウントしないものであることが好ましい。

また、制御部は、クライアントとサーバとの間の通信速度が第１９閾値以上である場合に、サーバで画像処理を施す画像の枚数を多くするように制御するものであることが好ましい。

また、制御部は、クライアントとサーバとの間で従量課金方式の通信回線が利用されている場合に、サーバで画像処理を施す枚数を少なくするように制御するものであることが好ましい。

また、制御部は、２以上のサーバが存在する場合に、画像処理に要する時間が短いサーバになるほど、関心度の高い画像に画像処理が施されるように制御するものであることが好ましい。

また、制御部は、２以上のサーバが存在する場合に、所望の画像処理を施す機能を提供するサーバで所望の画像処理が施されるように制御するものであることが好ましい。

また、制御部は、２以上のクライアントが存在する場合に、ユーザが現在操作しているクライアントにより、ユーザが現在操作していないクライアントにより画像処理が施される画像よりも関心度の高い画像に画像処理が施されるように制御するものであることが好ましい。

また、画像処理場所指定部は、画像処理を施す場所をユーザが指定するためのＧＵＩ画面を、ユーザが現在操作しているクライアントの表示部に表示させるものであることが好ましい。

また、制御部は、クライアントで画像処理の一部の処理だけを施した後、関心度に基づいて、画像処理の残りの処理を、クライアントで引き続き施すか、サーバで施すかを決定するものであることが好ましい。

また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用されるクライアントであって、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、サーバが備える第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、クライアントで画像処理を施す場合、クライアントの性能が高いほど、クライアントで同時に画像処理を施す画像の枚数を増加させるように制御するものであることを特徴とするクライアントを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用されるクライアントであって、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、サーバが備える第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、クライアントで画像処理を施す場合、クライアントの負荷が高くなるほど、クライアントで画像処理を施す画像の枚数を少なくするように制御するものであることを特徴とするクライアントを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用されるクライアントであって、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、サーバが備える第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、サーバの稼働状況に応じて、サーバで画像処理を施すことができない場合には、クライアントで画像処理を施すように制御するものであることを特徴とするクライアントを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用されるクライアントであって、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、サーバが備える第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部と、
画像処理を施す場所を指定する画像処理場所指定部とを備え、
制御部は、画像処理場所指定部により指定された、画像処理を施す場所に応じて、サーバまたはクライアントにより画像処理が施されるように制御するものであることを特徴とするクライアントを提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用されるクライアントであって、
ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出する関心度算出部と、
関心度が第１閾値以上なのか否かを判定する関心度判定部と、
画像に画像処理を施す第２画像処理部と、
関心度判定部により関心度が第１閾値以上であると判定された場合に、第２画像処理部により、第１閾値以上であると判定された画像に画像処理が施され、関心度判定部により関心度が第１閾値未満であると判定された場合に、サーバが備える第１画像処理部により、第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
制御部は、画像処理が、ユーザが目視で処理結果を確認できる画像処理である場合に、クライアントで画像処理を施し、画像処理が、ユーザが目視で処理結果を確認できない画像処理である場合に、サーバで画像処理を施すように制御するものであることを特徴とするクライアントを提供する。

さらに、クライアントとサーバとの間で、画像処理に関するデータを転送する第２転送部を備え、
制御部は、第１画像処理部により画像処理が施される場合、第２転送部により、第１閾値未満であると判定された画像の画像処理に関するデータがクライアントからサーバへ送信され、サーバが備える第１転送部により、第１閾値未満であると判定された画像の画像処理に関するデータがクライアントからサーバに受信され、第１画像処理部により、第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、第１閾値未満であると判定された画像に画像処理が施され、第１転送部により、画像処理後の画像がサーバからクライアントへ送信され、第２転送部により、画像処理後の画像がサーバからクライアントに受信されるように制御するものであることが好ましい。

また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出するステップと、
クライアントの関心度判定部が、関心度が第１閾値以上なのか否かを判定するステップと、
関心度判定部が、関心度が第１閾値以上であると判定した場合に、クライアントの第２画像処理部が、第１閾値以上であると判定された画像に画像処理を施し、関心度判定部が、関心度が第１閾値未満であると判定した場合に、サーバの第１画像処理部が、第１閾値未満であると判定された画像に画像処理を施すように、クライアントの制御部が制御するステップとを含み、
制御するステップは、クライアントで画像処理を施す場合、クライアントの性能が高いほど、クライアントで同時に画像処理を施す画像の枚数を増加させるように制御することを特徴とする画像処理方法を提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出するステップと、
クライアントの関心度判定部が、関心度が第１閾値以上なのか否かを判定するステップと、
関心度判定部が、関心度が第１閾値以上であると判定した場合に、クライアントの第２画像処理部が、第１閾値以上であると判定された画像に画像処理を施し、関心度判定部が、関心度が第１閾値未満であると判定した場合に、サーバの第１画像処理部が、第１閾値未満であると判定された画像に画像処理を施すように、クライアントの制御部が制御するステップとを含み、
制御するステップは、クライアントで画像処理を施す場合、クライアントの負荷が高くなるほど、クライアントで画像処理を施す画像の枚数を少なくするように制御することを特徴とする画像処理方法を提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出するステップと、
クライアントの関心度判定部が、関心度が第１閾値以上なのか否かを判定するステップと、
関心度判定部が、関心度が第１閾値以上であると判定した場合に、クライアントの第２画像処理部が、第１閾値以上であると判定された画像に画像処理を施し、関心度判定部が、関心度が第１閾値未満であると判定した場合に、サーバの第１画像処理部が、第１閾値未満であると判定された画像に画像処理を施すように、クライアントの制御部が制御するステップとを含み、
制御するステップは、サーバの稼働状況に応じて、サーバで画像処理を施すことができない場合には、クライアントで画像処理を施すように制御することを特徴とする画像処理方法を提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出するステップと、
クライアントの関心度判定部が、関心度が第１閾値以上なのか否かを判定するステップと、
関心度判定部が、関心度が第１閾値以上であると判定した場合に、クライアントの第２画像処理部が、第１閾値以上であると判定された画像に画像処理を施し、関心度判定部が、関心度が第１閾値未満であると判定した場合に、サーバの第１画像処理部が、第１閾値未満であると判定された画像に画像処理を施すように、クライアントの制御部が制御するステップと、
クライアントの画像処理場所指定部が、画像処理を施す場所を指定するステップとを含み、
制御するステップは、場所を指定するステップにより指定された、画像処理を施す場所に応じて、サーバまたはクライアントにより画像処理が施されるように制御することを特徴とする画像処理方法を提供する。
また、本発明は、サーバと、ネットワークを介してサーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度を算出するステップと、
クライアントの関心度判定部が、関心度が第１閾値以上なのか否かを判定するステップと、
関心度判定部が、関心度が第１閾値以上であると判定した場合に、クライアントの第２画像処理部が、第１閾値以上であると判定された画像に画像処理を施し、関心度判定部が、関心度が第１閾値未満であると判定した場合に、サーバの第１画像処理部が、第１閾値未満であると判定された画像に画像処理を施すように、クライアントの制御部が制御するステップとを含み、
制御するステップは、画像処理が、ユーザが目視で処理結果を確認できる画像処理である場合に、クライアントで画像処理を施し、画像処理が、ユーザが目視で処理結果を確認できない画像処理である場合に、サーバで画像処理を施すように制御することを特徴とする画像処理方法を提供する。

ここで、第１画像処理部が画像処理を施す場合、
クライアントの第２転送部が、第１閾値未満であると判定された画像の画像処理に関するデータをクライアントからサーバへ送信するステップと、
サーバの第１転送部が、第１閾値未満であると判定された画像の画像処理に関するデータをクライアントからサーバに受信するステップと、
第１画像処理部が、第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、第１閾値未満であると判定された画像に画像処理を施すステップと、
第１転送部が、画像処理後の画像をサーバからクライアントへ送信するステップと、
第２転送部が、画像処理後の画像をサーバからクライアントに受信するステップとを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々をコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

本発明では、画像処理の対象となる複数の画像をサーバとクライアントとで分担して画像処理するため、クライアントの負荷を低減することができる。また、ユーザは、関心度の低い画像の画像処理結果を直ちに必要としないため、サーバとクライアントとの間の通信のための待ち時間を気にすることはないと考えられる。そのため、本発明によれば、ユーザの操作性を損なうことなく、画像処理を施すことができる。

本発明の画像処理システムの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 図１に示すクライアントの内部構成を表す一実施形態のブロック図である。 画像処理システムの動作を表す一実施形態のフローチャートである。 画像処理システムの動作を表す別の実施形態のフローチャートである。 ユーザの所有する画像を表す一例の概念図である。 図６に示す画像の中から、表示部上に表示された一部の画像を表す一例の概念図である。 図６に示す画像の中から、表示部上に表示された他の部分の画像を表す一例の概念図である。 画像処理システムの動作を表す別の実施形態のフローチャートである。 画像処理を施す場所をユーザが指定するためのＧＵＩ画面を表す一例の概念図である。 画像処理システムの動作を表す別の実施形態のフローチャートである。 画像処理の方式として、クライアント処理およびサーバ処理を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、サーバ１２と、ネットワーク１４を介してサーバ１２に接続されたクライアント１６とを備えている。画像処理システム１０は、ユーザが使用するクライアント１６に保持された複数の画像（静止画、動画の両方を含む）に対して、サーバ１２とクライアント１６とで分担して所望の画像処理を施すものである。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、第１転送部１８と、第１画像処理部２０とを備えている。

第１転送部１８は、サーバ１２とクライアント１６との間で、画像処理の対象となる画像（画像データ）、画像処理の内容、画像処理後の画像（画像データ）などを含む、画像処理に関する各種のデータを転送するものである。

第１画像処理部２０は、第１転送部１８がクライアント１６から受信したデータに基づいて、クライアント１６から受信した画像処理の対象となる画像に画像処理（サーバ処理）を施すものである。

図３は、図１に示すクライアントの内部構成を表す一実施形態のブロック図である。クライアント１６は、スマートフォンなどのモバイル端末、タブレット端末、ＰＣ等であり、同図に示すように、指示入力部２２と、操作履歴保持部２４と、画像保存部２６と、関心度算出部２８と、関心度判定部３０と、第２転送部３２と、第２画像処理部３４と、制御部３６と、表示部３８とを備えている。

指示入力部２２は、ユーザの操作により入力された様々な指示（ユーザの現在の操作状況）を受け取るものである。
操作履歴保持部２４は、指示入力部２２が受け取った指示の履歴（ユーザの過去の操作履歴）を保持するものである。
ここで、ユーザの現在の操作状況は、ユーザが現在行った操作を表す。ユーザの過去の操作履歴は、ユーザが過去に行った操作を表す。本実施形態では、ユーザの現在の操作状況および過去の操作履歴をまとめて、ユーザの操作情報と呼ぶ。つまり、ユーザの操作情報は、ユーザが行った操作の情報を表すものであり、画像の閲覧、画像の編集、画像の注文（プリント、フォトブック等の注文）、画像の共有等のうちの１以上の情報を含む。

画像保存部２６は、画像処理の対象となる画像（画像データ）、画像の情報、画像処理後の画像（画像データ）などを保持するものである。
ここで、画像の情報は、画像の所有者、画像の被写体、画像の撮影日時、画像のサイズ、画像のメタ情報（Ｅｘｉｆ（Exchangeable image file format）情報等）等のうちの１以上の情報を含む。

関心度算出部２８には、指示入力部２２からユーザの現在の操作状況が、操作履歴保持部２４からユーザの過去の操作履歴が、画像保存部２６から画像の情報が入力される。
関心度算出部２８は、ユーザの操作情報（ユーザの現在の操作状況および過去の操作履歴）、および、画像の情報に基づいて、画像に対するユーザの関心度を、例えば１０段階で算出するものである。ここでは、関心度の数値が大きいほど、関心度が高いものとする。

関心度判定部３０は、関心度算出部２８により算出された関心度が、あらかじめ設定された第１閾値以上なのか否かを判定するものである。

第２転送部３２は、クライアント１６とサーバ１２との間で、前述の画像処理に関する各種のデータを転送するものである。

第２画像処理部３４は、前述のデータに基づいて、画像処理の対象となる画像に画像処理（クライアント処理）を施すものである。

制御部３６は、関心度判定部３０により関心度が第１閾値以上であると判定された場合に、第２画像処理部３４により、関心度が第１閾値以上であると判定された画像に画像処理が施され（クライアント処理され）、関心度判定部３０により関心度が第１閾値未満であると判定された場合に、第１画像処理部２０により、関心度が第１閾値未満であると判定された画像に画像処理が施される（サーバ処理される）ように制御するものである。

表示部３８は、画像処理の対象となる画像、画像処理後の画像、ユーザが画像処理の対象となる画像や画像処理の内容等の指示を入力するための画面などを表示するものである。

次に、図４に示すフローチャートを参照しながら、本発明の画像処理方法に従って、画像処理システム１０の動作を説明する。

指示入力部２２が、画像処理の対象となる画像に対して画像処理を行う指示を受け取ると、関心度算出部２８により、ユーザの操作情報、および、画像の情報（画像情報）に基づいて、画像に対するユーザの関心度が算出される（ステップＳ１）。

続いて、関心度判定部３０により、関心度が第１閾値以上なのか否か（第１閾値以上に高いのか低いのか）が判定される（ステップＳ２）。

ここで、関心度判定部３０により関心度が第１閾値以上であると判定された場合（ステップＳ２で「高」）、制御部３６により、クライアント１６で画像処理が施されるように制御される。

この場合、第２画像処理部３４により、関心度が第１閾値以上であると判定された画像に画像処理が施され（ステップＳ３）、その画像処理結果として、クライアント処理された画像処理後の画像が画像保存部２６に保存される。

一方、関心度判定部３０により関心度が第１閾値未満であると判定された場合（ステップＳ２で「低」）、制御部３６により、サーバ１２で画像処理が施されるように制御される。

この場合、第２転送部３２により、関心度が第１閾値未満であると判定された画像の画像処理に関するデータがクライアント１６からサーバ１２へ送信され、第１転送部１８により受信される（ステップＳ４）。

続いて、第１画像処理部２０により、第１転送部１８がクライアント１６から受信したデータに基づいて、関心度が第１閾値未満であると判定された画像に画像処理が施される（ステップＳ５）。

続いて、第１転送部１８により、関心度が第１閾値未満であると判定された画像の画像処理後の画像がサーバ１２からクライアント１６へ送信され、第２転送部３２により受信される（ステップＳ６）。その画像処理結果として、サーバ処理された画像処理後の画像が画像保存部２６に保存される。

画像処理システム１０では、画像処理の対象となる複数の画像をサーバ１２とクライアント１６とで分担して画像処理するため、クライアント１６の負荷を低減することができる。また、ユーザは、関心度の低い画像の画像処理結果を直ちに必要としないため、サーバ１２とクライアント１６との間の通信のための待ち時間を気にすることはないと考えられる。そのため、画像処理システム１０では、ユーザの操作性を損なうことなく、画像処理を施すことができる。

次に、関心度の算出基準について具体例を挙げて説明する。

ここでは、関心度算出部２８が関心度を算出する場合の算出基準として、下記の１〜２３のものを例示する。

１．ユーザが現在操作（閲覧、編集など）中の画像か否か。
ユーザが現在操作している画像は、操作中ではない画像よりもユーザの関心度が高いと考えることができる。一方、ユーザが現在操作している画像との関連性が小さい画像（操作中の画像から、撮影日時、ファイル名などが離れている画像）は、関連性が大きい画像よりもユーザの関心度が低いと考えることができる。

２．ユーザが現在操作中の画像と撮影日が同一の画像か否か。
ユーザが現在操作している画像と同じ日に撮影された画像は、操作中の画像から撮影日が離れている画像よりもユーザの関心度が高いと考えることができる。

３．ユーザが過去に操作した画像か否か。
ユーザが過去に操作したことのある画像は、過去に一度も操作したことがない画像よりもユーザの関心度が高いと考えることができる。

４．ユーザが過去に操作した回数が、あらかじめ設定された第２閾値よりも多い画像か否か。
ユーザが過去に操作した回数が多い画像は、過去に操作した回数が少ない画像よりもユーザの関心度が高いと考えることができる。例えば、第２閾値が３回の場合、操作回数の累計が５回以上であれば、ユーザの関心度が高く、操作回数の累計が２回以下であれば、ユーザの関心度が低いと判断する。

５．ユーザが過去に操作した時間が、あらかじめ設定された第３閾値よりも長い画像か否か。
ユーザが過去に操作した時間が長い画像は、過去に操作した時間が短い画像よりもユーザの関心度が高いと考えることができる。例えば、第３閾値が４５秒の場合、操作時間の累計が１分以上であれば、ユーザの関心度が高く、操作時間の累計が３０秒以下であれば、ユーザの関心度が低いと判断する。

６．ユーザがＳＮＳ（ソーシャル・ネットワーキング・サービス）にアップロードした画像か否か。
ユーザがＳＮＳにアップロードして共有した画像は、アップロードして共有していない画像よりもユーザの関心度が高いと考えることができる。

７．ユーザが他のユーザに送信した画像か否か。
ユーザがメールやメッセージングアプリなどで他のユーザに送信して共有した画像は、送信して共有していない画像よりもユーザの関心度が高いと考えることができる。

８．ユーザが過去にプリント注文した画像か否か。
ユーザが過去にプリント注文を行った画像は、プリント注文を行っていない画像よりもユーザの関心度が高いと考えることができる。逆に、既に注文済みの画像であるため、ユーザの関心度は低いと考えることもできる。

９．ユーザまたはユーザの家族が元の所有者である画像か否か。
ユーザ自身やユーザの家族が撮影した画像は、他のユーザが撮影した画像よりもユーザの関心度が高いと考えることができる。

１０．ユーザまたはユーザの家族が被写体である画像か否か、または、ユーザの嗜好に一致する被写体（風景、車、夜景など）が撮影された画像か否か。
ユーザ自身やユーザの家族が撮影された画像、または、ユーザの嗜好に一致する被写体が撮影された画像は、それ以外の画像よりもユーザの関心度が高いと考えることができる。

１１．被写体の顔が、あらかじめ設定された第４閾値よりも大きく撮影された画像か否か。
被写体の顔が大きく撮影された画像は、被写体の顔が小さく撮影された画像よりもユーザの関心度が高いと考えることができる。

１２．被写体の数が、あらかじめ設定された第５閾値よりも多い画像か否か。
集合写真のように、被写体の数が多い画像は、被写体の数が少ない画像よりもユーザの関心度が高いと考えることができる。

１３．撮影日時がユーザまたはユーザの家族の記念日である画像か否か。
記念日に撮影された画像は、それ以外の日に撮影された画像よりもユーザの関心度が高いと考えることができる。

１４．撮影日時が、あらかじめ設定された第６閾値よりも新しい画像か否か。
最近撮影された画像（撮影日時が新しい画像）は、撮影日時が古い画像よりもユーザの関心度が高いと考えることができる。

１５．画素数が、あらかじめ設定された第７閾値よりも大きい画像か否か。
高解像度で撮影された画像（画素数が大きい画像）は、低解像度で撮影された画像（画素数が小さい画像）よりもユーザの関心度が高いと考えることができる。

１６．アスペクト比が他の画像のアスペクト比と異なる画像か否か。
特殊なアスペクト比で撮影された画像（パノラマ画像、正方画像等）は、通常のアスペクト比で撮影された画像（アスペクト比が４：３、３：２の画像）よりもユーザの関心度が高いと考えることができる。

１７．他の画像と異なる撮影方法で撮影された画像か否か。
他の画像と異なる特殊な撮影方法（ＨＤＲ（High Dynamic Range imaging）撮影、ブラケット撮影等）で撮影された画像は、通常の撮影方法で撮影された画像よりもユーザの関心度が高いと考えることができる。

１８．あらかじめ設定された第８閾値よりも短い時間で、あらかじめ設定された第９閾値以上の回数撮影された画像か否か。
短時間で何度も撮影された画像は、失敗したくない重要な画像であり、時間をおいて撮影された画像よりもユーザの関心度が高いと考えることができる。

１９．撮影間隔が、あらかじめ設定された第１０閾値よりも長く空いた後に撮影された画像か否か。
撮影間隔が長く空いた後に撮影された画像は、イベントの切り替わりのタイミングで撮影された画像であり、通常の撮影間隔で撮影された画像よりもユーザの関心度が高いと考えることができる。

２０．撮影場所がユーザの生活圏内から、あらかじめ設定された第１１閾値よりも遠く離れた画像か否か。
撮影場所がユーザの生活圏内から遠く離れた画像は、海外旅行先などで撮影された画像であり、撮影場所が普段の生活圏内の画像よりもユーザの関心度が高いと考えることができる。

２１．撮影時間が、あらかじめ設定された第１２閾値よりも長い動画か否か。
撮影時間が長い動画は、撮影時間が短い動画よりもユーザの関心度が高いと考えることができる。

２２．ユーザが加工（画像処理）した画像か否か、または、複数種類の加工が施された画像か否か。
ユーザが時間をかけて手を加えた画像は、未加工の画像よりもユーザの関心度が高いと考えることができる。

２３．統計的に撮影頻度が、あらかじめ設定された第１３閾値よりも高い画像か否か、または、統計的に撮影頻度が、あらかじめ設定された第１４閾値よりも低い画像か否か。
頻繁に撮影する条件（夕方に撮影された画像が多い、広角で撮影された画像が多いなど）に合致した画像は、それ以外の画像よりもユーザの関心度が高いと考えることができる。逆に、普段滅多に撮影しない条件に合致した画像の方が、頻繁に撮影する条件に合致した画像よりもユーザの関心度が高いと考えることもできる。

関心度算出部２８は、各算出基準に基づいて、各算出基準に対応する関心度を、例えば１０段階で算出する。また、関心度算出部２８は、１つの算出基準に基づいて、または、２以上の算出基準を組み合わせて関心度を算出することができる。
なお、算出基準は、上記の算出基準１〜２３に限定されず、これら以外の各種の算出基準も同様に利用することができる。

また、関心度の各算出基準の重要度は異なるため、関心度算出部２８は、各算出基準の重要度に応じて、各算出基準に基づいて算出された関心度の重み付けを行うことが望ましい。

例えば、ここでは、上記算出基準１〜２３を、ユーザの現在の操作状況を表す算出基準１，２、ユーザの過去の操作履歴を表す算出基準３〜８、人物情報を表す算出基準９〜１３、撮影情報を表す算出基準１４〜２０、その他の算出基準２１〜２３からなる５つのグループに分類する。この場合、例えば、ユーザの現在の操作状況を表す算出基準１，２は、それ以外の算出基準に比べて重要であるため、ユーザの現在の操作状況を表す算出基準１，２には、それ以外のグループの算出基準よりも相対的に大きな重みを設定することが考えられる。

例えば、重み付けを５段階で行う場合、ユーザの現在の操作状況を表す算出基準１，２には最も大きい５の重みを与える。また、ユーザの現在の操作状況を表す算出基準１，２以外のグループの算出基準についても、その重要度に応じて重みを与える。例えば、ユーザの過去の操作履歴の算出基準３〜８には３の重みを、人物情報の算出基準９〜１３には４の重みを、撮影情報の算出基準１４〜２０には１の重みを、その他の算出基準２１〜２３には３の重みを与える。

関心度算出部２８は、１の算出基準に基づいて、重み付けが行われた関心度を算出する場合、１の算出基準に基づいて、１の算出基準に対応する関心度を、例えば１０段階で算出する。続いて、算出した１の算出基準に対応する関心度を、１の算出基準の重みで重み付けすることにより、１の算出基準に基づいて重み付けされた関心度を算出する。

また、関心度算出部２８は、２以上の算出基準を組み合わせて、重み付けが行われた関心度を算出する場合、２以上の各算出基準に基づいて、２以上の算出基準の各々に対応する関心度を、同様に１０段階で算出する。続いて、算出された２以上の算出基準の各々に対応する関心度を、各々対応する算出基準の重みで重み付けし、重み付けされた２以上の算出基準に対応する全ての関心度を足し合わせることにより、２以上の算出基準を組み合わせて重み付けされた関心度を算出する。

また、関心度算出部２８は、２以上の算出基準を組み合わせて関心度を算出する場合、２以上の算出基準の中から、重みが、あらかじめ設定された第１５閾値以上の算出基準を２以上選択し、選択された２以上の算出基準を組み合わせて、重み付けされた関心度を算出してもよい。これにより、算出基準が多い場合であっても、関心度の算出時間を短縮することができる。

なお、上記例では、算出基準１〜２３を５つのグループに分類したが、グループに分類することは必須ではなく、各算出基準について異なる重みを設定してもよい。

また、関心度記録部をクライアント１６に設け、図５のフローチャートに示すように、関心度算出部２８が関心度を算出する毎に（ステップＳ１）、関心度記録部により、関心度の算出基準および算出結果の履歴（関心度算出履歴）を記録しておき（ステップＳ７）、関心度記録部に記録された関心度算出履歴を、関心度算出部２８による次回以降の関心度の算出に利用してもよい。
この場合、関心度算出部２８は、ユーザの操作情報、および、画像情報に加え、関心度算出履歴に基づいて、関心度を算出する。これにより、関心度の算出基準および算出結果を個々のユーザに応じて最適化することができる。

なお、図５において、ステップＳ１，Ｓ７以外の他のステップは、図４の場合と同じである。

算出基準２３に記載したように、ユーザが頻繁に撮影する条件に合致した画像は、ユーザの関心度が高いと考えることができる。例えば、普段は夕方に撮影した画像が多いユーザの場合、撮影日時が１７時台の画像は、ユーザの関心度が高いと判断することができる。逆に、ユーザが普段滅多に撮影しない条件に合致した画像は、ユーザの関心度が高いと考えることもできる。例えば、普段は広角で撮影した画像が多いユーザの場合、望遠で撮影された画像は、ユーザの関心度が高いと判断することができる。

また、関心度算出部２８により、関心度算出履歴の中から、ユーザの操作情報、および、画像情報に対応する関心度の算出結果を、算出された関心度として使用してもよい。これにより、関心度の算出時間を短縮することができる。
例えば、算出基準が画像の画素数の場合、関心度算出履歴の中から、画像の画素数の算出基準に対応する関心度の算出結果を、算出された関心度として使用する。これ以外の算出基準についても同様である。

また、画像に対して、例えば、かわいい、たのしい、クール、シックなどのように、画像の感性を表す感性用語を感性タグとして付与する技術が知られている。画像に対するユーザの関心度の算出および判定に、画像の情報として、この感性タグを使用してもよい。

この場合、関心度算出部２８は、関心度として、ユーザが所有する各々の画像に付与された感性タグの情報に基づいて、ユーザが所有する画像の中で、各々の感性タグの占める割合を算出する。
そして、関心度判定部３０は、例えば、割合が、あらかじめ設定された閾値よりも大きい（あるいは、小さい）感性タグが付与された画像を、関心度が高いと判定する。

あるいは、関心度算出部２８は、関心度として、現在の画像処理の対象となる各々の画像に付与された感性タグの情報に基づいて、現在の画像処理の対象となる画像の中で、各々の感性タグが付与された画像の枚数を算出する。
そして、関心度判定部３０は、例えば、相対的に最も多い（あるいは、少ない）感性タグが付与された画像を、関心度が高いと判定する。

例えば、割合が多い感性タグ（例えば、「かわいい」という感性タグが５０％を占めている）はユーザの嗜好と合致しており、関心度が高いと判定することができる。
逆に、割合が少ない感性タグ（例えば、「クール」という感性タグは１％を占めている）は、ユーザにとって特別なものである可能性があるため、関心度が高いと判定してもよい。

上記例は、現在の画像処理の対象となる画像だけを、関心度の判定に利用した場合であるが、過去に画像処理の対象となった画像およびその感性タグの情報を記録しておき、その統計情報に基づいて、関心度を算出および判定することもできる。

例えば、過去に処理対象となった画像の中で、統計的に特定の感性タグが付与された画像が多い（画像の数が、あらかじめ設定された閾値よりも大きい）場合には、それと同じ感性タグが付与された画像はユーザの関心度が高いと判定することができる。
逆に、統計上ほとんど登場しない感性タグが付与された画像（画像の数が、閾値よりも小さい）の方が、ユーザの興味を引き、関心度が高いという判定を行うこともできる。

また、統計情報にユーザの操作情報を反映させることもできる。
例えば、ある感性タグが付与された画像に対して、ユーザが操作を行ったり、注文を行ったり、他者と共有したりといった関心度が高いと判定される行動を行った場合、その感性タグに対する重み付けを大きくする。つまり、ユーザの操作情報に応じて、統計情報に基づいて算出された関心度に重み付けを行う。

例えば、表１に示す例の場合、「シック」の感性タグの割合は１０％と少ないため、割合による重みは、低１〜高５までの５段階で１と小さい。しかし、ユーザは、「シック」の感性タグが付与された画像を注文するという重要な行動を行っている。このことから、この「シック」の感性タグが付与された画像は、ユーザの関心度が高いと判断できるため、行動による重みは、低１〜高１０までの１０段階で１０と大きくする。その結果、割合による重みの１、および、行動による重みの１０を加えて、「シック」の感性タグが付与された画像の関心度を１１とする。

また、サーバ１２で画像処理が施された場合、その画像処理後の画像をクライアント１６へ直ちに転送する必要はない。サーバ１２で画像処理が施された画像は、ユーザの関心度が低い画像であり、画像処理後の画像をクライアント１６が直ちに必要とすることは少ないと考えられる。そのため、サーバ１２で画像処理が施された後、クライアント１６が、画像処理後の画像を必要とするまで、サーバ１２が画像処理後の画像を保持しておき、クライアント１６が、画像処理後の画像を必要とする時に、制御部３６が、画像処理後の画像を、サーバ１２からクライアント１６へ転送するように制御してもよい。

また、画像処理の対象となる画像のサイズ（容量）が大きい場合、サーバ１２への通信時間が増大し、処理時間が多くかかる場合がある。逆に、画像のサイズが小さい場合、通信時間が無視できる場合もある。そのため、画像のサイズを算出基準に加味してもよい。

例えば、制御部３６は、画像のサイズが、あらかじめ設定された第１６閾値以上であれば、通信時間が長くなるため、ユーザの関心度に関わらず、クライアント処理とすることが望ましい。
一方、画像のサイズが、第１６閾値よりも小さい、あらかじめ設定された第１７閾値未満であれば、通信時間が無視できるため、ユーザの関心度に関わらず、サーバ処理とすることが望ましい。
また、画像のサイズが、第１７閾値以上で、かつ、第１６閾値未満である場合に、ユーザの関心度が第１閾値以上であれば、クライアント処理とし、ユーザの関心度が第１閾値未満であれば、サーバ処理とする。

ユーザの関心対象は常に一定ではない。そのため、関心度が既に算出された画像であっても、クライアント１６で画像処理を施されるか、サーバ１２へ転送されるまでの間に、ユーザにより、関心度が既に算出された画像が操作された場合、関心度算出部２８は、ユーザにより操作された、関心度が算出された画像に対するユーザの操作情報（ユーザの現在の操作状況）に基づいて、関心度が算出された画像に対するユーザの関心度を算出し直すことが望ましい。

例えば、サーバ処理とすることが決定された画像であっても、関心度算出部２８が、関心度を算出し直した結果、ユーザの関心度が上がった画像は、制御部３６が、サーバ処理からクライアント処理に変更するように制御する。
一方、クライアント処理とすることが決定された画像であっても、関心度算出部２８が、関心度を算出し直した結果、ユーザの関心度が下がった画像は、制御部３６が、クライアント処理からサーバ処理へ変更するように制御する。

図６は、ユーザの所有する画像を表す一例の概念図である。同図は、ユーザが所有する画像として、クライアント１６に格納された９行×５列からなる合計４５枚の画像（画像０１〜画像４５）を表したものである。

続いて、図７は、図６に示す画像の中から、表示部上に表示された一部の画像を表す一例の概念図である。同図は、図６に示す４５枚の画像の中から、表示部３８上に表示された２〜４行目の１５枚の画像（画像０６〜画像２０）を枠線で囲んで表したものである。

この場合、関心度算出部２８は、表示部３８上に表示された２〜４行目の１５枚の画像に対するユーザの関心度が高く、その上下の表示部３８上に一部だけ表示された１および５行目の１０枚の画像に対するユーザの関心度が中程度であり、表示部３８上に表示されない６〜９行目の２０枚の画像に対するユーザの関心度が低いと判断する。従って、制御部３６は、２〜４行目の１５枚の画像をクライアント処理とし、６〜９行目の２０枚の画像をサーバ処理とするように制御する。

続いて、図８は、図６に示す画像の中から、表示部上に表示された他の部分の画像を表す一例の概念図である。同図は、ユーザにより、図７に示す状態から、表示部３８上に表示された画像がスクロールされて、図６に示す４５枚の画像の中から、他の部分の画像が表示された場合であって、この場合に表示部３８上に表示された５〜７行目の１５枚の画像（画像２１〜画像３５）を枠線で囲んで表したものである。

関心度算出部２８は、表示部３８上に表示された画像が変化した場合、関心度を算出し直す。その結果、図８に示す例では、表示部３８上に表示された５〜７行目の１５枚の画像に対するユーザの関心度が高く、その上下の表示部３８上に一部だけ表示された４および８行目の１０枚の画像に対するユーザの関心度が中程度であり、表示部３８上に表示されない１〜３，９行目の２０枚の画像に対するユーザの関心度が低いと判断する。従って、制御部３６は、５〜７行目の１５枚の画像をクライアント処理とし、１〜３，９行目の２０枚の画像をサーバ処理とするように制御する。

このように、ユーザの操作情報（ユーザの現在の操作状況）に応じて、関心度を随時算出し直すことにより、常に最新の状況に応じて関心度を算出し、クライアント処理とするかサーバ処理とするかを決定することができる。

また、関心度を算出し直す場合の他の例としては、画像に対するユーザの操作回数が、あらかじめ設定された第２０閾値を超えた場合、その操作回数が第２０閾値を超えた画像に対するユーザの関心度が上昇したと判断することができる。また、ユーザが画像をＳＮＳにアップロードした場合、アップロードされた画像に対するユーザの関心度が上昇したと判断することができる。さらに、ここに例示したユーザの現在の操作情報以外の操作情報に対しても同様に判断することができる。

なお、関心度算出部２８により、全ての画像について、ユーザの関心度の算出が順次行われた後、関心度判定部３０により、全ての画像について、関心度が第１閾値以上なのか否かが順次判定され、制御部３６により、全ての画像について、関心度の判定結果に基づいて、クライアント処理とするかサーバ処理とするかを順次決定するように制御することができる。

一方、関心度算出部２８により、１つの画像に対するユーザの関心度が算出される毎に、関心度判定部３０により、関心度が第１閾値以上なのか否かの判定が行われ、制御部３６により、関心度の判定結果に基づいて、関心度が算出された画像をクライアント処理とするかサーバ処理とするかを決定するように制御することを、全ての画像について順次行うこともできる。

従って、関心度算出部２８により、ユーザの操作に応じて関心度が算出される場合、関心度が既に算出された画像である場合や、関心度がまだ算出されていない画像である場合、両者が混在している場合もある。つまり、関心度算出部２８は、関心度が既に算出された画像の場合には、ユーザの操作に応じて関心度の算出をし直し、関心度がまだ算出されていない画像の場合には、ユーザの操作に応じて関心度を算出する。

また、ユーザの操作に応じて関心度を随時算出し直した場合、関心度が頻繁に変化することが考えられる。そのため、関心度算出部２８は、例えば、ユーザにより、関心度が算出された画像が操作された場合に、関心度が算出された画像に対するユーザの操作情報（ユーザの操作の履歴）を、あらかじめ設定された一定時間記憶しておき、一定時間記憶された、関心度が算出された画像に対するユーザの操作情報に基づいて、関心度が算出された画像に対するユーザの関心度を算出し直すことが望ましい。

また、前述の算出基準４，５のように、ユーザが過去に画像を操作した回数や時間に基づいて関心度を算出する場合、ユーザの操作が、意図的なものなのか、意図せずに行われたものなのかを判定した上で操作の回数や時間をカウントすることが望ましい。

つまり、ユーザにより画像の操作が行われた後で、その操作のやり直しが行われた場合には、やり直しが行われた操作の回数や時間を、ユーザが過去に画像を操作した回数や時間にカウントしないものとする。ユーザにより、画像に対する操作およびその操作のやり直しが、あらかじめ設定された第１８閾値未満の回数、例えば、１回だけ行われた場合、その操作はキャンセルされたものと見なすことができる。

しかし、ユーザにより操作のやり直しが行われた場合でも、同じ画像に対して何度も操作とやり直しが行われた場合には、ユーザがその画像に対して試行錯誤を重ねている可能性があるため、操作の回数や時間を、ユーザが過去に画像を操作した回数や時間にカウントしてもよい。ユーザにより、同じ画像に対する操作および操作のやり直しが、第１８閾値以上の回数、例えば、３回以上行われた場合、その操作は、ユーザがその画像に対して試行錯誤しているものと見なすことができる。

また、ユーザにより、画像が一定時間操作されていない場合には、ユーザが席を外していたり、他の作業を行っていたりする可能性があるため、ユーザにより画像が操作されていない一定時間を、ユーザが過去に画像を操作した時間にカウントしないものとする。

また、関心度の高い画像を無条件でクライアント処理とするのではなく、以下の（１）〜（８）に示すようなモバイル端末（クライアント１６）の内部状態や外部環境などを算出基準に加味してもよい。この場合、下記（１）〜（８）の算出基準による関心度の算出を行うために、モバイル端末の性能や通信速度などの測定処理を実施する。測定処理は、例えば、本発明を実施するモバイル端末のアプリケーションの起動時に一度実施し、その後は一定間隔毎に実施する。

（１）モバイル端末の性能（ＣＰＵ（中央処理装置）の速度、メモリ容量など）
モバイル端末の性能が高いほど、クライアント処理を同時に実施する画像の枚数を多くする。
例えば、モバイル端末のＣＰＵのコア数が４コア以上、クロック周波数が１．５ＧＨｚ以上であれば、最大４枚の画像のクライアント処理を同時に実施する。同時に処理したい画像の数が４枚を超える場合は、サーバ１２で処理する。

（２）モバイル端末の負荷状況
モバイル端末上で別のアプリケーション等が動作するなど、モバイル端末の負荷（ＣＰＵ使用率、メモリ使用量など）が高くなるほど、ユーザの操作性を損なわないようにするために、クライアント処理とする画像の枚数を少なくする。
例えば、ＣＰＵ使用率が５０％以下、メモリ使用量が１００ＭＢ以下の条件を満たしている限り、クライアント処理とする。

（３）サーバの稼働状況
サーバ１２の負荷が大きい、サーバ１２にトラブルが発生したなど、サーバ１２の稼働状況に応じて、サーバ処理とすることができない場合にはクライアント処理とする。
例えば、サーバ処理にかかる時間が１画像当たり３０秒を超過したり、あるいは、サーバ１２からエラーが返ってきたりした場合、クライアント処理とする。

（４）モバイル端末とサーバ間の通信速度
Ｗｉ−Ｆｉ（Wireless Fidelity）接続やＬＴＥ（Long Term Evolution）接続などの高速な通信環境を利用することができ、両者の間の通信速度が、あらかじめ設定された第１９閾値以上である場合、サーバ処理のデメリットである通信時間の問題が無視できるため、サーバ処理とする画像の枚数を多くする。
例えば、サーバ１２の応答時間が１００［ｍｓ］以下であれば、クライアント処理は行わず全ての画像をサーバ処理とする。

（５）通信回線の種類
モバイル端末とサーバ１２との間で従量課金方式の通信回線が利用されている場合、ユーザのコスト負担とならないように、サーバ処理とする画像の枚数を少なくする。
例えば、サーバ１２との通信が携帯キャリア経由で、データ通信容量の制限がある契約であれば、サーバ処理は行わず全ての画像をクライアント処理とする。

（６）複数のサーバ
複数のサーバ１２が存在する場合、ネットワーク的により近いサーバ、より高性能なサーバなどのように、画像処理に要する時間が短いサーバになるほど、相対的に関心度の高い画像に画像処理を施す。

この場合、図９のフローチャートに示すように、関心度が高いのか、中程度なのか、それとも低いのかが判定される（ステップＳ８）。
ここで、ユーザの関心度が高いと判定された画像は（ステップＳ８で「高」）、クライアント１６で画像処理が施される。
サーバＡの処理時間（＋転送時間）＜サーバＢの処理時間（＋転送時間）の場合、関心度が中程度と判定された画像（ステップＳ８で「中」）は、サーバＡで画像処理され（ステップＳ９〜Ｓ１１）、関心度が低いと判定された画像（ステップＳ８で「低」）は、サーバＢで画像処理が施される（ステップＳ４〜Ｓ６）。

また、複数のサーバが存在する場合でも、全てのサーバ１２が同一の画像処理の機能を提供しているとは限らない。各サーバ１２が提供する画像処理の機能に応じて、所望の画像処理を施す機能を提供するサーバ１２で、その所望の画像処理が施されるように、どのサーバ１２で画像処理を施すのかを決定する。
例えば、画像処理機能として、サーバＡでは顔検出機能を、サーバＢでは画像補正機能を提供している場合、顔検出処理は、クライアント１６とサーバＡとの間で処理を分担する。

（７）複数のクライアント
ユーザが使用しているネットワーク上にモバイル端末、タブレット端末、ＰＣなど、複数のクライアント１６が存在する場合、それらも処理分担の対象に加える。
例えば、関心度が高い画像は、ユーザが現在操作しているモバイル端末で、関心度が中程度の画像は、ユーザが現在使用していないタブレット端末、ＰＣで、関心度が低い画像はサーバ１２で処理する。

（８）画像処理場所の選択
画像処理を行う場所を限定したいという要望を持つユーザも存在するため、画像処理をクライアント１６とサーバ１２のどちらで実施するのかをユーザが設定可能とする。
例えば、個人情報をサーバ１２にアップロードするのは嫌なので、常にクライアント１６で処理したい、ネットワーク転送量に制約があるため、常にクライアント１６で処理したい、クライアント１６のスペックが低いため、常にサーバ１２で処理しない、などの要望がある。

この場合、クライアント１６は、さらに、画像処理場所指定部を備え、画像処理場所指定部により指定された、画像処理を施す場所に応じて、サーバ１２で画像処理を施すのか、クライアント１６で画像処理を施すのかを決定する。つまり、画像処理場所指定部によりサーバ１２が指定された場合にはサーバ１２で、クライアント１６が指定された場合にはクライアント１６で画像処理を施す。

図１０に示すように、画像処理場所指定部は、画像処理を施す場所をユーザが指定するためのＧＵＩ（グラフィカルユーザインターフェース）画面を、ユーザが現在操作しているクライアント１６の表示部３８に表示させることが望ましい。これにより、ユーザは、操作中のクライアント１６の表示部３８に表示されたＧＵＩを介して所望の画像処理場所を指定することができる。

また、各々の画像について、１つの画像に対する画像処理の全ての処理をクライアント１６またはサーバ１２のどちらか一方で行うのではなく、画像処理の一部の処理（前処理）だけをクライアント１６で行った後、画像処理の残りの処理（後処理）を引き続きクライアント１６で行うか、あるいは、サーバ１２で行うかを、関心度に基づいて決定してもよい。

クライアント１６で行われる画像処理としては、顔検出、顔認識、シーン判別などを例示することができる。
例えば、クライアント１６で顔検出を行った結果、顔が撮影された画像や、クライアント１６で顔認識を行った結果、特定の人物が撮影された画像、クライアント１６でシーン判別を行った結果、特定のシーンが撮影された画像は、ユーザの関心度が高いと考えられるため、引き続きクライアント１６で残りの画像処理を施す。一方、これら以外の画像は、ユーザの関心度が低いと考えられるため、サーバ１２で残りの画像処理を施す。

この場合、図１１のフローチャートに示すように、クライアント１６で画像に前処理が施され、その画像処理結果として、前処理後の画像が保存される（ステップＳ１２）。
続いて、ユーザの操作情報、および、画像の情報に基づいて、画像に対するユーザの関心度が算出され（ステップＳ１）、関心度が第１閾値以上なのか否か（第１閾値よりも高いのか低いのか）が判定される（ステップＳ２）。

ここで、関心度が高いと判定された画像（ステップＳ２で「高」）は、クライアント１６で画像処理が施され（ステップＳ３）、画像処理結果として、クライアント処理された後処理後の画像が保存される。
一方、関心度が低いと判定された画像（ステップＳ２で「低」）は、サーバ１２で画像処理が施され（ステップＳ４〜Ｓ６）、画像処理結果として、サーバ処理された後処理後の画像が保存される。

サーバ１２では、画像処理の残りの処理だけが実施されるため、必ずしも画像処理に関する全てのデータをサーバ１２へ転送する必要はなく、画像処理の残りの処理に必要なデータだけを転送すればよいため、データの転送量を削減することができる。

また、画像処理には様々な種類があり、それぞれユーザに対して与える効果が異なる。従って、ユーザに与える効果が大きい画像処理は、優先的にクライアント処理とし、ユーザに与える効果が小さい画像処理は、サーバ処理としてもよい。
例えば、画像補正や顔検出を行った結果は、ユーザが目視で確認できることから、ユーザに与える効果が大きいため、クライアント１６で処理を行う。
一方、画像のボケブレ判定を行った結果は、ユーザに見えないことから、ユーザに与える効果が小さいため、サーバ１２で処理を行う。

また、関心度は、クライアント１６とサーバ１２との間の画像処理の分担に使用するだけでなく、別の用途に使用することもできる。
例えば、関心度の高い画像を自動でサーバ１２へアップロードしたり、バックアップしたり、関心度の高い画像を使用して、フォトブックなどのフォト商材（コンテンツ）の見本を作成し、クライアント１６の表示部３８に表示させてユーザに提案したり、それ以外にも様々な用途に利用することができる。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理システム
１２ サーバ
１４ ネットワーク
１６ クライアント
１８ 第１転送部
２０ 第１画像処理部
２２ 指示入力部
２４ 操作履歴保持部
２６ 画像保存部
２８ 関心度算出部
３０ 関心度判定部
３２ 第２転送部
３４ 第２画像処理部
３６ 制御部
３８ 表示部

Claims (46)

1. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
   前記サーバは、
   前記クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
   前記クライアントは、
   ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
   前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
   前記画像に画像処理を施す第２画像処理部と、
   前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
   前記制御部は、前記クライアントで前記画像処理を施す場合、前記クライアントの性能が高いほど、前記クライアントで同時に前記画像処理を施す画像の枚数を増加させるように制御するものであることを特徴とする画像処理システム。
2. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
   前記サーバは、
   前記クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
   前記クライアントは、
   ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
   前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
   前記画像に画像処理を施す第２画像処理部と、
   前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
   前記制御部は、前記クライアントで前記画像処理を施す場合、前記クライアントの負荷が高くなるほど、前記クライアントで前記画像処理を施す画像の枚数を少なくするように制御するものであることを特徴とする画像処理システム。
3. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
   前記サーバは、
   前記クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
   前記クライアントは、
   ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
   前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
   前記画像に画像処理を施す第２画像処理部と、
   前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
   前記制御部は、前記サーバの稼働状況に応じて、前記サーバで前記画像処理を施すことができない場合には、前記クライアントで前記画像処理を施すように制御するものであることを特徴とする画像処理システム。
4. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
   前記サーバは、
   前記クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
   前記クライアントは、
   ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
   前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
   前記画像に画像処理を施す第２画像処理部と、
   前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部と、
   前記画像処理を施す場所を指定する画像処理場所指定部とを備え、
   前記制御部は、前記画像処理場所指定部により指定された、前記画像処理を施す場所に応じて、前記サーバまたは前記クライアントにより前記画像処理が施されるように制御するものであることを特徴とする画像処理システム。
5. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムであって、
   前記サーバは、
   前記クライアントから受信した画像に画像処理を施す第１画像処理部を備え、
   前記クライアントは、
   ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
   前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
   前記画像に画像処理を施す第２画像処理部と、
   前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
   前記制御部は、前記画像処理が、前記ユーザが目視で処理結果を確認できる画像処理である場合に、前記クライアントで前記画像処理を施し、前記画像処理が、前記ユーザが目視で処理結果を確認できない画像処理である場合に、前記サーバで前記画像処理を施すように制御するものであることを特徴とする画像処理システム。
6. 前記サーバは、さらに、前記サーバと前記クライアントとの間で前記画像処理に関するデータを転送する第１転送部を備え、
   前記クライアントは、さらに、前記クライアントと前記サーバとの間で前記データを転送する第２転送部を備え、
   前記制御部は、前記第１画像処理部により前記画像処理が施される場合、前記第２転送部により、前記第１閾値未満であると判定された画像の画像処理に関するデータが前記クライアントから前記サーバへ送信され、前記第１転送部により、前記第１閾値未満であると判定された画像の画像処理に関するデータが前記クライアントから前記サーバに受信され、前記第１画像処理部により、前記第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、前記第１閾値未満であると判定された画像に画像処理が施され、前記第１転送部により、前記画像処理後の画像が前記サーバから前記クライアントへ送信され、前記第２転送部により、前記画像処理後の画像が前記サーバから前記クライアントに受信されるように制御するものである請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記ユーザの操作情報は、画像の閲覧、画像の編集、画像の注文、画像の共有のうちの１以上の情報を含む請求項１〜６のいずれか１項に記載の画像処理システム。
8. 前記画像の情報は、画像の所有者、画像の被写体、画像の撮影日時、画像のサイズ、画像のメタ情報のうちの１以上の情報を含む請求項１〜７のいずれか１項に記載の画像処理システム。
9. 前記関心度算出部は、前記関心度の算出基準として、
   １．前記ユーザが現在操作中の画像か否か、
   ２．前記ユーザが現在操作中の画像と撮影日が同一の画像か否か、
   ３．前記ユーザが過去に操作した画像か否か、
   ４．前記ユーザが過去に操作した回数が第２閾値よりも多い画像か否か、
   ５．前記ユーザが過去に操作した時間が第３閾値よりも長い画像か否か、
   ６．前記ユーザがＳＮＳにアップロードした画像か否か、
   ７．前記ユーザが他のユーザに送信した画像か否か、
   ８．前記ユーザが過去にプリント注文した画像か否か、
   ９．前記ユーザまたは前記ユーザの家族が元の所有者である画像か否か、
   １０．前記ユーザまたは前記ユーザの家族が被写体である画像か否か、または、前記ユーザの嗜好に一致する被写体が撮影された画像か否か、
   １１．被写体の顔が第４閾値よりも大きく撮影された画像か否か、
   １２．被写体の数が第５閾値よりも多い画像か否か、
   １３．撮影日時が前記ユーザまたは前記ユーザの家族の記念日である画像か否か、
   １４．撮影日時が第６閾値よりも新しい画像か否か、
   １５．画素数が第７閾値よりも大きい画像か否か、
   １６．アスペクト比が他の画像のアスペクト比と異なる画像か否か、
   １７．他の画像と異なる撮影方法で撮影された画像か否か、
   １８．第８閾値よりも短い時間で、第９閾値以上の回数撮影された画像か否か、
   １９．撮影間隔が第１０閾値よりも長く空いた後に撮影された画像か否か、
   ２０．撮影場所が前記ユーザの生活圏内から第１１閾値よりも遠く離れた画像か否か、
   ２１．撮影時間が第１２閾値よりも長い動画か否か、
   ２２．前記ユーザが加工した画像か否か、または、複数種類の加工が施された画像か否か、
   ２３．統計的に撮影頻度が第１３閾値よりも高い画像か否か、または、統計的に前記撮影頻度が第１４閾値よりも低い画像か否か、
   のうちの１の算出基準に基づいて、または、２以上の算出基準を組み合わせて前記関心度を算出するものである請求項１〜８のいずれか１項に記載の画像処理システム。
10. 前記関心度算出部は、各々の前記算出基準の重要度に応じて、各々の前記算出基準に基づいて算出された関心度に重み付けを行うものである請求項９に記載の画像処理システム。
11. 前記関心度算出部は、２以上の前記算出基準を組み合わせて前記関心度を算出する場合、２以上の前記算出基準の中から、前記重みが第１５閾値以上の算出基準を２以上選択し、前記選択された２以上の算出基準を組み合わせて前記重み付けが行われた関心度を算出するものである請求項１０に記載の画像処理システム。
12. 前記クライアントは、さらに、前記関心度算出部が前記関心度を算出する毎に、前記関心度の算出基準および算出結果の履歴を記憶する関心度記録部を備え、
    前記関心度算出部は、前記ユーザの操作情報、および、前記画像の情報に加え、前記関心度の算出基準および算出結果の履歴に基づいて、前記関心度を算出するものである請求項１〜１１のいずれか１項に記載の画像処理システム。
13. 前記関心度算出部は、前記関心度の算出結果の履歴の中から、前記ユーザの操作情報、および、前記画像の情報に対応する関心度の算出結果を、前記算出された関心度として使用するものである請求項１２に記載の画像処理システム。
14. 前記関心度算出部は、前記画像の情報として、前記画像に付与された、前記画像の感性を表す感性タグに基づいて、前記関心度を算出するものである請求項１〜８のいずれか１項に記載の画像処理システム。
15. 前記関心度算出部は、前記関心度として、現在の画像処理の対象となる各々の画像に付与された感性タグの情報に基づいて、前記現在の画像処理の対象となる画像の中で、各々の前記感性タグが占める割合を算出するものである請求項１４に記載の画像処理システム。
16. 前記関心度算出部は、前記関心度として、現在の画像処理の対象となる各々の画像に付与された感性タグの情報に基づいて、前記現在の画像処理の対象となる画像の中で、各々の前記感性タグが付与された画像の枚数を算出するものである請求項１４に記載の画像処理システム。
17. 前記関心度算出部は、過去に画像処理の対象となった画像および感性タグの統計情報に基づいて、前記関心度を算出するものである請求項１４に記載の画像処理システム。
18. 前記関心度算出部は、前記ユーザの操作情報に応じて、前記統計情報に基づいて算出された関心度に重み付けを行うものである請求項１７に記載の画像処理システム。
19. 前記制御部は、前記サーバで前記画像処理が施された後、前記クライアントが、前記画像処理後の画像を必要とするまで、前記サーバが前記画像処理後の画像を保持しておき、前記クライアントが、前記画像処理後の画像を必要とする時に、前記画像処理後の画像を前記サーバから受信するように制御するものである請求項１〜１８のいずれか１項に記載の画像処理システム。
20. 前記制御部は、画像のサイズが第１６閾値以上である場合に、前記関心度に関わらず、前記サイズが前記第１６閾値以上である画像に前記クライアントで画像処理が施され、画像のサイズが前記第１６閾値よりも小さい第１７閾値未満である場合に、前記関心度に関わらず、前記サイズが前記第１７閾値未満である画像に前記サーバで画像処理が施されるように制御するものである請求項１〜１９のいずれか１項に記載の画像処理システム。
21. 前記関心度算出部は、前記関心度が算出された画像が、前記クライアントで前記画像処理を施されるか、前記サーバへ送信されるまでの間に、前記ユーザにより、前記関心度が算出された画像が操作された場合に、前記ユーザにより操作された、前記関心度が算出された画像に対する前記ユーザの操作情報に基づいて、前記関心度が算出された画像に対する前記ユーザの関心度を算出し直すものである請求項１〜２０のいずれか１項に記載の画像処理システム。
22. 前記関心度算出部は、前記ユーザにより、前記関心度が算出された画像が操作された場合に、前記関心度が算出された画像に対する前記ユーザの操作情報を一定時間記憶しておき、前記一定時間記憶された、前記関心度が算出された画像に対する前記ユーザの操作情報に基づいて、前記関心度が算出された画像に対する前記ユーザの関心度を算出し直すものである請求項２１に記載の画像処理システム。
23. 前記関心度算出部は、前記ユーザが過去に画像を操作した回数または時間に基づいて、前記関心度を算出する場合に、前記ユーザにより、前記操作および前記操作のやり直しが第１８閾値未満の回数行われた場合には、前記やり直しが行われた操作の回数または時間を、前記ユーザが過去に画像を操作した回数または時間にカウントしないものである請求項１〜２２のいずれか１項に記載の画像処理システム。
24. 前記関心度算出部は、前記ユーザにより、前記操作および前記操作のやり直しが前記第１８閾値以上の回数行われた場合、前記やり直しが行われた操作の回数または時間を、前記ユーザが過去に画像を操作した回数または時間にカウントするものである請求項２３に記載の画像処理システム。
25. 前記関心度算出部は、前記ユーザが過去に画像を操作した時間に基づいて、前記関心度を算出する場合に、前記ユーザにより、前記画像が一定時間操作されていない場合には、前記ユーザにより前記画像が操作されていない一定時間を、前記ユーザが過去に画像を操作した時間にカウントしないものである請求項１〜２４のいずれか１項に記載の画像処理システム。
26. 前記制御部は、前記クライアントと前記サーバとの間の通信速度が第１９閾値以上である場合に、前記サーバで前記画像処理を施す画像の枚数を多くするように制御するものである請求項１〜２５のいずれか１項に記載の画像処理システム。
27. 前記制御部は、前記クライアントと前記サーバとの間で従量課金方式の通信回線が利用されている場合に、前記サーバで前記画像処理を施す枚数を少なくするように制御するものである請求項１〜２６のいずれか１項に記載の画像処理システム。
28. 前記制御部は、２以上の前記サーバが存在する場合に、前記画像処理に要する時間が短いサーバになるほど、前記関心度の高い画像に画像処理が施されるように制御するものである請求項１〜２７のいずれか１項に記載の画像処理システム。
29. 前記制御部は、２以上の前記サーバが存在する場合に、所望の前記画像処理を施す機能を提供するサーバで所望の前記画像処理が施されるように制御するものである請求項１〜２７のいずれか１項に記載の画像処理システム。
30. 前記制御部は、２以上の前記クライアントが存在する場合に、前記ユーザが現在操作しているクライアントにより、前記ユーザが現在操作していないクライアントにより画像処理が施される画像よりも前記関心度の高い画像に画像処理が施されるように制御するものである請求項１〜２９のいずれか１項に記載の画像処理システム。
31. 前記画像処理場所指定部は、前記画像処理を施す場所を前記ユーザが指定するためのＧＵＩ画面を、前記ユーザが現在操作しているクライアントの表示部に表示させるものである請求項４に記載の画像処理システム。
32. 前記制御部は、前記クライアントで前記画像処理の一部の処理だけを施した後、前記関心度に基づいて、前記画像処理の残りの処理を、前記クライアントで引き続き施すか、前記サーバで施すかを決定するものである請求項１〜３１のいずれか１項に記載の画像処理システム。
33. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用される前記クライアントであって、
    ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
    前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
    前記画像に画像処理を施す第２画像処理部と、
    前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記サーバが備える第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
    前記制御部は、前記クライアントで前記画像処理を施す場合、前記クライアントの性能が高いほど、前記クライアントで同時に前記画像処理を施す画像の枚数を増加させるように制御するものであることを特徴とするクライアント。
34. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用される前記クライアントであって、
    ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
    前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
    前記画像に画像処理を施す第２画像処理部と、
    前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記サーバが備える第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
    前記制御部は、前記クライアントで前記画像処理を施す場合、前記クライアントの負荷が高くなるほど、前記クライアントで前記画像処理を施す画像の枚数を少なくするように制御するものであることを特徴とするクライアント。
35. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用される前記クライアントであって、
    ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
    前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
    前記画像に画像処理を施す第２画像処理部と、
    前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記サーバが備える第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
    前記制御部は、前記サーバの稼働状況に応じて、前記サーバで前記画像処理を施すことができない場合には、前記クライアントで前記画像処理を施すように制御するものであることを特徴とするクライアント。
36. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用される前記クライアントであって、
    ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
    前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
    前記画像に画像処理を施す第２画像処理部と、
    前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記サーバが備える第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部と、
    前記画像処理を施す場所を指定する画像処理場所指定部とを備え、
    前記制御部は、前記画像処理場所指定部により指定された、前記画像処理を施す場所に応じて、前記サーバまたは前記クライアントにより前記画像処理が施されるように制御するものであることを特徴とするクライアント。
37. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理システムで使用される前記クライアントであって、
    ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出する関心度算出部と、
    前記関心度が第１閾値以上なのか否かを判定する関心度判定部と、
    前記画像に画像処理を施す第２画像処理部と、
    前記関心度判定部により前記関心度が前記第１閾値以上であると判定された場合に、前記第２画像処理部により、前記第１閾値以上であると判定された画像に画像処理が施され、前記関心度判定部により前記関心度が前記第１閾値未満であると判定された場合に、前記サーバが備える第１画像処理部により、前記第１閾値未満であると判定された画像に画像処理が施されるように制御する制御部とを備え、
    前記制御部は、前記画像処理が、前記ユーザが目視で処理結果を確認できる画像処理である場合に、前記クライアントで前記画像処理を施し、前記画像処理が、前記ユーザが目視で処理結果を確認できない画像処理である場合に、前記サーバで前記画像処理を施すように制御するものであることを特徴とするクライアント。
38. さらに、前記クライアントと前記サーバとの間で、前記画像処理に関するデータを転送する第２転送部を備え、
    前記制御部は、前記第１画像処理部により前記画像処理が施される場合、前記第２転送部により、前記第１閾値未満であると判定された画像の画像処理に関するデータが前記クライアントから前記サーバへ送信され、前記サーバが備える第１転送部により、前記第１閾値未満であると判定された画像の画像処理に関するデータが前記クライアントから前記サーバに受信され、前記第１画像処理部により、前記第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、前記第１閾値未満であると判定された画像に画像処理が施され、前記第１転送部により、前記画像処理後の画像が前記サーバから前記クライアントへ送信され、前記第２転送部により、前記画像処理後の画像が前記サーバから前記クライアントに受信されるように制御するものである請求項３３〜３７のいずれか１項に記載のクライアント。
39. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
    前記クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出するステップと、
    前記クライアントの関心度判定部が、前記関心度が第１閾値以上なのか否かを判定するステップと、
    前記関心度判定部が、前記関心度が前記第１閾値以上であると判定した場合に、前記クライアントの第２画像処理部が、前記第１閾値以上であると判定された画像に画像処理を施し、前記関心度判定部が、前記関心度が前記第１閾値未満であると判定した場合に、前記サーバの第１画像処理部が、前記第１閾値未満であると判定された画像に画像処理を施すように、前記クライアントの制御部が制御するステップとを含み、
    前記制御するステップは、前記クライアントで前記画像処理を施す場合、前記クライアントの性能が高いほど、前記クライアントで同時に前記画像処理を施す画像の枚数を増加させるように制御することを特徴とする画像処理方法。
40. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
    前記クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出するステップと、
    前記クライアントの関心度判定部が、前記関心度が第１閾値以上なのか否かを判定するステップと、
    前記関心度判定部が、前記関心度が前記第１閾値以上であると判定した場合に、前記クライアントの第２画像処理部が、前記第１閾値以上であると判定された画像に画像処理を施し、前記関心度判定部が、前記関心度が前記第１閾値未満であると判定した場合に、前記サーバの第１画像処理部が、前記第１閾値未満であると判定された画像に画像処理を施すように、前記クライアントの制御部が制御するステップとを含み、
    前記制御するステップは、前記クライアントで前記画像処理を施す場合、前記クライアントの負荷が高くなるほど、前記クライアントで前記画像処理を施す画像の枚数を少なくするように制御することを特徴とする画像処理方法。
41. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
    前記クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出するステップと、
    前記クライアントの関心度判定部が、前記関心度が第１閾値以上なのか否かを判定するステップと、
    前記関心度判定部が、前記関心度が前記第１閾値以上であると判定した場合に、前記クライアントの第２画像処理部が、前記第１閾値以上であると判定された画像に画像処理を施し、前記関心度判定部が、前記関心度が前記第１閾値未満であると判定した場合に、前記サーバの第１画像処理部が、前記第１閾値未満であると判定された画像に画像処理を施すように、前記クライアントの制御部が制御するステップとを含み、
    前記制御するステップは、前記サーバの稼働状況に応じて、前記サーバで前記画像処理を施すことができない場合には、前記クライアントで前記画像処理を施すように制御することを特徴とする画像処理方法。
42. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
    前記クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出するステップと、
    前記クライアントの関心度判定部が、前記関心度が第１閾値以上なのか否かを判定するステップと、
    前記関心度判定部が、前記関心度が前記第１閾値以上であると判定した場合に、前記クライアントの第２画像処理部が、前記第１閾値以上であると判定された画像に画像処理を施し、前記関心度判定部が、前記関心度が前記第１閾値未満であると判定した場合に、前記サーバの第１画像処理部が、前記第１閾値未満であると判定された画像に画像処理を施すように、前記クライアントの制御部が制御するステップと、
    前記クライアントの画像処理場所指定部が、前記画像処理を施す場所を指定するステップとを含み、
    前記制御するステップは、前記場所を指定するステップにより指定された、前記画像処理を施す場所に応じて、前記サーバまたは前記クライアントにより前記画像処理が施されるように制御することを特徴とする画像処理方法。
43. サーバと、ネットワークを介して前記サーバに接続されたクライアントとで分担して複数の画像に画像処理を施す画像処理方法であって、
    前記クライアントの関心度算出部が、ユーザが行った操作の情報を表す操作情報、および、前記画像の情報に基づいて、前記画像に対する前記ユーザの関心度を算出するステップと、
    前記クライアントの関心度判定部が、前記関心度が第１閾値以上なのか否かを判定するステップと、
    前記関心度判定部が、前記関心度が前記第１閾値以上であると判定した場合に、前記クライアントの第２画像処理部が、前記第１閾値以上であると判定された画像に画像処理を施し、前記関心度判定部が、前記関心度が前記第１閾値未満であると判定した場合に、前記サーバの第１画像処理部が、前記第１閾値未満であると判定された画像に画像処理を施すように、前記クライアントの制御部が制御するステップとを含み、
    前記制御するステップは、前記画像処理が、前記ユーザが目視で処理結果を確認できる画像処理である場合に、前記クライアントで前記画像処理を施し、前記画像処理が、前記ユーザが目視で処理結果を確認できない画像処理である場合に、前記サーバで前記画像処理を施すように制御することを特徴とする画像処理方法。
44. 前記第１画像処理部が前記画像処理を施す場合、
    前記クライアントの第２転送部が、前記第１閾値未満であると判定された画像の画像処理に関するデータを前記クライアントから前記サーバへ送信するステップと、
    前記サーバの第１転送部が、前記第１閾値未満であると判定された画像の画像処理に関するデータを前記クライアントから前記サーバに受信するステップと、
    前記第１画像処理部が、前記第１閾値未満であると判定された画像の画像処理に関するデータに基づいて、前記第１閾値未満であると判定された画像に画像処理を施すステップと、
    前記第１転送部が、前記画像処理後の画像を前記サーバから前記クライアントへ送信するステップと、
    前記第２転送部が、前記画像処理後の画像を前記サーバから前記クライアントに受信するステップとを含む請求項３９〜４３のいずれか１項に記載の画像処理方法。
45. 請求項３９〜４４のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
46. 請求項３９〜４４のいずれか１項に記載の画像処理方法の各々をコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。