JP7230396B2 - 画像処理プログラムおよび画像処理装置、並びにプログラム - Google Patents

Description

本開示の技術は、画像処理プログラムおよび画像処理装置、並びにプログラムに関する。

特許文献１には、被写体を広角で静止画撮影する撮影用カメラと、撮影用カメラで撮影した撮影画像から被写体のマスクパターンを生成するとともに、撮影画像から肌色部分を抽出して、マスクパターン中に肌色部分が存在するマスクパターンを人物パターンとして検出する人物検出部と、撮影画像から、人物検出部が人物パターンとして検出したマスクパターンに対応する部分を切り出して、切り出した部分画像を所定の画像サイズに拡大する自動トリミング部と、を備えた自動写真館が開示されている。

特許文献２には、画像を取得するステップと、画像に関する属性を識別するステップと、画像に関する属性ごとに取得した画像を分類するステップと、ユーザからの画像選択操作に基づいて取得した画像の中から所望の画像を選択するステップと、画像に関する属性ごとに選択した画像を分類するステップと、画像に関する属性ごとに分類された取得した画像および選択した画像のうち、同一の属性に対応する取得した画像の数と選択した画像の数とを比較するステップと、取得した画像の数と選択した画像の数とを比較した結果に応じ、属性ごとに分類された選択した画像の重要度を示す指標を作成し、指標を選択した画像に付与するステップと、を含む画像重要度判定方法が開示されている。

特開２００８－０６１１１４号公報 特開２００９－２２３７６４号公報

カメラ機能を有する携帯端末等で撮影した画像を、通信回線上のサーバに送信することが行われている。具体的には、コンビニエンスストア等に設置された印刷機に画像を印刷させるために、通信回線上の印刷管理サーバに画像を送信する、または、画像共有に特化したソーシャルネットワーキングサービスに画像を投稿するために、通信回線上の画像受付サーバに画像を送信する、等である。こうした場合、画像の送信に先立ち、画像に対して、トリミング、画像エフェクト、余白付与といった画像処理が実行されることがある。

ところで、最近は、写真フイルムの時代と比べて、手軽に何枚も画像を撮影することが可能となった。このため、撮影した画像の中には、構図が類似した画像が多く含まれる場合がある。以下、構図が類似する等の関係を有する画像のことを類似画像と略記する。類似画像は、例えば、同じ撮影場所で時間を置かずに画角を少し変えて撮影した画像や、連写機能を用いて撮影した画像等である。

こうした類似画像の中から、通信回線上のサーバに送信する画像を選択する場合を考える。この場合、類似画像のいくつかに対して画像処理が実行される。この際、利用者は、多くの類似画像の各々に対して同じような画像処理を指示する必要がある。

本開示の技術は、類似画像の各々に対して処理を指示する場合と比較して、類似画像の処理に掛かる利用者の作業負担を軽減することが可能な画像処理プログラムおよび画像処理装置、並びにプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、画像に対して画像処理する処理部と、利用者が指示した第１処理の対象画像について、前記第１処理を前記処理部に処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理部に処理させる制御を行う制御部として、コンピュータを機能させる画像処理プログラムである。

請求項２に記載の発明は、前記類似画像を抽出する画像抽出部として、前記コンピュータを機能させる請求項１に記載の画像処理プログラムである。

請求項３に記載の発明は、前記対象画像から主要被写体を抽出する被写体抽出部として、前記コンピュータを機能させ、前記画像抽出部は、前記主要被写体を含む画像を、前記類似画像として抽出する請求項２に記載の画像処理プログラムである。

請求項４に記載の発明は、前記画像抽出部は、前記対象画像と撮影日時が連続し、かつ前記主要被写体を含む画像であって、前記主要被写体を含まない画像で前後が区切られる一連の画像を、前記類似画像として抽出する請求項３に記載の画像処理プログラムである。

請求項５に記載の発明は、前記被写体抽出部は、前記第１処理前後の前記対象画像、および前記利用者の前記第１処理に関わる指示の操作履歴のうちの少なくとも１つに基づいて、前記主要被写体を抽出する請求項３または４に記載の画像処理プログラムである。

請求項６に記載の発明は、前記被写体抽出部は、前記第１処理後の前記対象画像における被写体の写り具合、および前記操作履歴における前記対象画像への前記利用者の操作点と前記被写体との距離のうちの少なくとも１つに基づいて、前記主要被写体を抽出する請求項５に記載の画像処理プログラムである。

請求項７に記載の発明は、前記写り具合は、前記第１処理後の前記対象画像に含まれる前記被写体の割合、部位、および位置のうちの少なくとも１つである請求項６に記載の画像処理プログラムである。

請求項８に記載の発明は、前記第２処理は、前記第２処理後の前記類似画像の前記主要被写体が、前記第１処理後の前記対象画像の前記主要被写体の位置および大きさのうちの少なくとも１つを受け継いだものとなる処理である請求項３ないし７のいずれか１項に記載の画像処理プログラムである。

請求項９に記載の発明は、前記被写体抽出部は、前記対象画像から、除外すべき被写体である除外対象被写体を抽出し、前記第２処理は、前記除外対象被写体を前記類似画像から除外する処理を含む請求項３ないし８のいずれか１項に記載の画像処理プログラムである。

請求項１０に記載の発明は、前記画像抽出部は、前記対象画像との撮影間隔に基づいて、前記類似画像を抽出する請求項２ないし９のいずれか１項に記載の画像処理プログラムである。

請求項１１に記載の発明は、前記画像抽出部は、前記対象画像と撮影日時が連続する画像であって、直後の画像との前記撮影間隔が設定間隔よりも離れている画像と、直前の画像との前記撮影間隔が前記設定間隔よりも離れている画像とで前後が区切られる一連の画像を、前記類似画像として抽出する請求項１０に記載の画像処理プログラムである。

請求項１２に記載の発明は、前記利用者による前記類似画像の指定を受け付ける受付部として、前記コンピュータを機能させる請求項１ないし１１のいずれか１項に記載の画像処理プログラムである。

請求項１３に記載の発明は、前記第１処理の実行履歴を管理する管理部として、前記コンピュータを機能させ、前記制御部は、前記実行履歴を参照して、前記第１処理が既に実行された前記類似画像については、前記第２処理を前記処理部に処理させない請求項１ないし１２のいずれか１項に記載の画像処理プログラムである。

請求項１４に記載の発明は、画像に対して画像処理する処理部と、利用者が指示した第１処理の対象画像について、前記第１処理を前記処理部に処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理部に処理させる制御を行う制御部と、を備える画像処理装置である。

請求項１５に記載の発明は、対象画像に対する利用者の操作から前記対象画像と類似した類似画像を抽出する機能と、前記操作に応じた前記対象画像に対する処理と同様の処理を前記類似画像に対して実行する機能と、を実現させるためのプログラムである。

請求項１、１４、１５に記載の発明によれば、類似画像の各々に対して処理を指示する場合と比較して、類似画像の処理に掛かる利用者の作業負担を軽減することが可能となる。

請求項２に記載の発明によれば、利用者が類似画像を抽出する手間を省くことができる。

請求項３に記載の発明によれば、対象画像に構図がより類似した画像を、類似画像として抽出することができる。

請求項４に記載の発明によれば、類似画像として適切な画像を抽出する確率を高めることができる。

請求項５に記載の発明によれば、適切な主要被写体を抽出する確率を高めることができる。

請求項６に記載の発明によれば、第１処理に込めた利用者の意図を汲んだ主要被写体を抽出することができる。

請求項７に記載の発明によれば、抽出した主要被写体の尤もらしさを高めることができる。

請求項８に記載の発明によれば、対象画像と類似画像を容易に比較することができる。

請求項９に記載の発明によれば、第１処理に込めた利用者の意図を汲んだ第２処理を実行することができる。

請求項１０に記載の発明によれば、撮影日時の情報で類似画像を抽出することができる。

請求項１１に記載の発明によれば、類似画像として適切な画像を抽出する確率を高めることができる。

請求項１２に記載の発明によれば、利用者が視認して判断した画像を類似画像とすることができる。

請求項１３に記載の発明によれば、利用者により指示された第１処理の内容を尊重することができる。

画像管理システムを示す図である。 対象画像について第１処理を実行し、対象画像と類似した類似画像について、第１処理に応じた第２処理を実行する様子を示す図である。 携帯端末を構成するコンピュータを示すブロック図である。 携帯端末のＣＰＵの処理部を示すブロック図である。 画像表示画面を示す図であり、図５Ａは画像の一覧が表示された画像表示画面を、図５Ｂは対象画像が拡大表示された画像表示画面をそれぞれ示す。 トリミングの指示の例を示す図である。 画像エフェクトの例を示す図である。 余白付与の例を示す図である。 余白付与の別の例を示す図である。 実行履歴情報の内容を示す図である。 被写体抽出部による主要被写体の抽出手順の概要を示したフローチャートである。 被写体抽出部により主要被写体を抽出する様子を示す図である。 第１処理後の対象画像に含まれる被写体の位置に基づくスコアリングの例を示す図である。 画像抽出部により類似画像を抽出する様子を示す図である。 第２処理後の類似画像の主要被写体が、第１処理後の対象画像の主要被写体の位置および大きさを受け継いだものとなる第２処理を実行する様子を示す図であり、図１５Ａは第１処理の様子、図１５Ｂは第２処理の様子をそれぞれ示す。 携帯端末の処理手順を示すフローチャートである。 被写体抽出部により主要被写体と除外対象被写体を抽出する様子を示す図である。 除外対象被写体を類似画像から除外する処理を、第２処理として実行する様子を示す図であり、図１８Ａは第１処理の様子、図１８Ｂは第２処理の様子をそれぞれ示す。 対象画像との撮影間隔に基づいて、類似画像を抽出する様子を示す図である。 受付部において、利用者による類似画像の指定を受け付ける様子を示す図である。 第１処理が既に実行された類似画像については、第２処理を処理させない第５実施形態を示す図である。

［第１実施形態］
図１において、画像管理システム２は、携帯端末１０と画像管理サーバ１１とを備える。携帯端末１０は、画像管理システム２の利用者１２が操作する端末であり、例えばスマートフォン等のタブレット型のパーソナルコンピュータで構成される。携帯端末１０は、画像処理装置の一例である。画像管理サーバ１１はサーバコンピュータで構成される。携帯端末１０および画像管理サーバ１１は、インターネットあるいは公衆通信回線等のＷＡＮ（Wide Area Network）１３で相互に通信可能に接続されている。

携帯端末１０および画像管理サーバ１１は、タブレット型のパーソナルコンピュータ、サーバコンピュータ、ワークステーションといったコンピュータをベースとする。携帯端末１０および画像管理サーバ１１は、これらのコンピュータに、オペレーティングシステム等の制御プログラムや、各種アプリケーションプログラムをインストールして構成される。

携帯端末１０はカメラ機能を有し、画像を撮影することが可能である。携帯端末１０で撮影された画像は、ＷＡＮ１３を経由して画像管理サーバ１１に送信され、画像管理サーバ１１で携帯端末１０毎（利用者１２毎）に記憶管理される。また、画像管理サーバ１１に記憶された画像は、ＷＡＮ１３を経由して携帯端末１０に送信され、携帯端末１０で閲覧したり画像処理したりすることができる。

ＷＡＮ１３上には、画像管理サーバ１１以外にも、携帯端末１０から画像が送信される様々なサーバが存在する。例えば、コンビニエンスストア等に設置された印刷機に印刷させるための画像を管理する印刷管理サーバや、画像共有に特化したソーシャルネットワーキングサービスに投稿する画像を受け付ける画像受付サーバ等である。利用者１２は、こうしたサーバに画像を送信する際に、携帯端末１０にて、画像に対して、トリミング、画像エフェクト、余白付与といった画像処理を実行することがある。以下、利用者１２が指示した画像処理を第１処理といい、第１処理の対象の画像を対象画像２０Ｔと表現する。

図２に示すように、携帯端末１０では、対象画像２０Ｔについて実行した第１処理に応じた第２処理を、対象画像２０Ｔと類似した類似画像２０Ｓに対して実行する。ここで、符号２０Ｔ－Ｂは第１処理前の対象画像２０Ｔを、符号２０Ｔ－Ａは第１処理後の対象画像２０Ｔを、それぞれ表す。同様に、符号２０Ｓ－Ｂは第２処理前の類似画像２０Ｓを、符号２０Ｓ－Ａは第２処理後の類似画像２０Ｓを、それぞれ表す。以下では、特に区別する必要がない場合は、添え字の「－Ｂ」、「－Ａ」を記載しない。なお、類似しているとは、図２のように対象画像２０Ｔと類似画像２０Ｓとで同じ被写体を含む態様のほか、後述するような撮影日時が連続する態様や、画像間で一定の撮影間隔を有する態様や、その他利用者１２が指定する態様等を含む。

図２では、対象画像２０Ｔ－Ｂに第１処理として画像エフェクトＡが実行され、対象画像２０Ｔ－Ａとされた場合を例示している。この場合、類似画像２０Ｓ－Ｂに対しても、第２処理として画像エフェクトＡが実行され、類似画像２０Ｓ－Ａとされる。

図３において、携帯端末１０を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Central Processing Unit）３２、通信部３３、ディスプレイ３４、およびタッチパネル３５を備えている。これらはデータバス３６を介して相互接続されている。

ストレージデバイス３０は、携帯端末１０を構成するコンピュータに内蔵、またはネットワークを通じて接続されたハードディスクドライブである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラムや各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。

メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

通信部３３は、ＷＡＮ１３を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。各種画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。携帯端末１０を構成するコンピュータは、各種画面を通じて、タッチパネル３５からの操作指示の入力を受け付ける。

図４において、携帯端末１０のストレージデバイス３０には、アプリケーションプログラムとして画像処理プログラム４０が記憶されている。画像処理プログラム４０は、携帯端末１０を構成するコンピュータを、画像処理装置として機能させるためのアプリケーションプログラムである。ストレージデバイス３０には、画像処理プログラム４０の他に、実行履歴情報４１が記憶されている。

画像処理プログラム４０が起動されると、携帯端末１０のＣＰＵ３２は、メモリ３１等と協働して、画像送受信部４５、受付部４６、処理部４７、制御部４８、管理部４９、被写体抽出部５０、および画像抽出部５１として機能する。

画像送受信部４５は、画像を画像管理サーバ１１に送信する。また、画像送受信部４５は、携帯端末１０に対応する画像の送信要求を画像管理サーバ１１に送信する。そして、送信要求に応じて画像管理サーバ１１から送信された画像を受信する。画像送受信部４５は、受信した画像を制御部４８に出力する。

受付部４６は、タッチパネル３５を介した様々な操作指示を受け付ける。操作指示には、対象画像２０Ｔの選択指示や第１処理に関わる指示が含まれる。受付部４６は、受け付けた操作指示を制御部４８に出力する。

処理部４７は、制御部４８から対象画像２０Ｔ（第１処理前の対象画像２０Ｔ－Ｂ）および第１処理に関わる指示を受け取る。そして、対象画像２０Ｔに対して第１処理を実行する。また、処理部４７は、画像抽出部５１から類似画像２０Ｓを受け取る。そして、類似画像２０Ｓに対して第２処理を実行する。処理部４７は、第１処理後の対象画像２０Ｔ－Ａ、第２処理後の類似画像２０Ｓ－Ａを制御部４８に出力する。また、処理部４７は、第１処理前の対象画像２０Ｔ－Ｂ、第１処理後の対象画像２０Ｔ－Ａ、および第１処理に関わる指示を管理部４９に出力する。

制御部４８は、受付部４６からの操作指示の内容に基づく制御を行う。具体的には、制御部４８は、対象画像２０Ｔの選択指示を受付部４６で受け付けた場合、選択指示された対象画像２０Ｔを処理部４７および被写体抽出部５０に出力する。また、第１処理に関わる指示を受付部４６で受け付けた場合、制御部４８は、第１処理に関わる指示を処理部４７に出力し、対象画像２０Ｔについて、指示に応じた第１処理を処理部４７に処理させる制御を行う。また、制御部４８は、類似画像２０Ｓについて、第２処理を処理部４７に処理させる制御を行う。

制御部４８は、画像送受信部４５からの画像を画像抽出部５１に出力する。さらに、制御部４８は、画像送受信部４５からの画像や対象画像２０Ｔをディスプレイ３４に表示する制御を行う（図５参照）。

管理部４９は、第１処理の実行履歴の情報である実行履歴情報４１を管理する。具体的には、管理部４９は、処理部４７からの対象画像２０Ｔ－Ｂ、２０Ｔ－Ａ、および第１処理に関わる指示を、実行履歴情報４１としてストレージデバイス３０に書き込む。また、管理部４９は、処理部４７、被写体抽出部５０からの要求に応じて、実行履歴情報４１をストレージデバイス３０から読み出し、読み出した実行履歴情報４１を、処理部４７、被写体抽出部５０に出力する。

処理部４７は、第２処理を実行する際に、管理部４９に実行履歴情報４１の出力を要求する。処理部４７は、この要求に応じて管理部４９から出力された実行履歴情報４１の第１処理の内容に応じた第２処理を実行する。

被写体抽出部５０は、制御部４８からの対象画像２０Ｔに対して周知の被写体認識技術を適用し、対象画像２０Ｔに写る被写体を抽出する。また、被写体抽出部５０は、制御部４８からの対象画像２０Ｔに対応する実行履歴情報４１の出力を管理部４９に要求する。そして、この要求に応じて管理部４９から出力された実行履歴情報４１に基づいて、抽出した被写体からさらに主要被写体ＭＳ（図１２等参照）を抽出する。主要被写体ＭＳは、対象画像２０Ｔの撮影者が主に撮影したかったであろうと推察される被写体である。被写体抽出部５０は、抽出した主要被写体ＭＳの情報を画像抽出部５１に出力する。

画像抽出部５１は、類似画像２０Ｓを抽出する。具体的には、画像抽出部５１は、制御部４８からの画像のうち、被写体抽出部５０において抽出した主要被写体ＭＳを含む画像を、類似画像２０Ｓとして抽出する。画像抽出部５１は、抽出した類似画像２０Ｓを処理部４７に出力する。

図５は、制御部４８により携帯端末１０のディスプレイ３４に表示される画像表示画面６０の例である。制御部４８は、まず、図５Ａに示すように、画像送受信部４５からの画像のサムネイルを縦横にタイル状に並べた一覧６１を画像表示画面６０に表示させる。一覧６１を構成する画像は、当該携帯端末１０に対応する画像であって、画像管理サーバ１１に記憶されている全ての画像である。また、一覧６１を構成する画像は、例えば、上から下、かつ左から右に向かうにつれて撮影日時が新しい。画像表示画面６０に一度に表示しきれない画像は、タッチパネル３５に対するスワイプ操作またはフリック操作でスクロール表示される。スワイプ操作は、タッチパネル３５に触れた状態で指を一定方向に滑らせる操作である。フリック操作は、タッチパネル３５上で指を一定方向に滑らせつつタッチパネル３５から指を離す操作である。

ハッチングで示すように、タッチパネル３５を指で軽く叩くタップ操作により、一覧６１の中の１つの画像が選択される。この操作指示が、対象画像２０Ｔの選択指示に相当する。対象画像２０Ｔの選択指示がなされた場合、図５Ｂに示すように、制御部４８は、一覧６１の表示を対象画像２０Ｔの拡大表示に切り替える。そして、トリミングボタン６２、エフェクトボタン６３、余白付与ボタン６４を画像表示画面６０の下部に配する。

トリミングボタン６２が選択された場合、制御部４８は、受付部４６を介して、第１処理に関わる指示として、対象画像２０Ｔに対するトリミングの指示を受ける。同様に、エフェクトボタン６３、余白付与ボタン６４が選択された場合、制御部４８は、受付部４６を介して、第１処理に関わる指示として、対象画像２０Ｔに対する画像エフェクトの指示、余白付与の指示を受ける。なお、符号６５は、対象画像２０Ｔの拡大表示を一覧６１の表示に戻すためのキャンセルボタンである。

図６に示すように、トリミングの指示は、画像の移動指示と、画像の拡大指示および縮小指示とを含む。移動指示は、予め設定された画像の表示枠７０に対して、画像を移動させる指示である。拡大指示および縮小指示は、表示枠７０に表示する画像の大きさを変更する指示である。

移動指示は、スワイプ操作またはフリック操作で行われる。画像は、スワイプ操作またはフリック操作で最初に指が置かれた点を始点として、指の移動方向に移動する。移動指示の場合、スワイプ操作またはフリック操作で最初に指が置かれた点が、操作点に相当する。

拡大指示はピンチアウト操作、縮小指示はピンチイン操作でそれぞれ行われる。ピンチアウト操作は、タッチパネル３５に２本の指（人差し指と親指）を閉じた状態で置き、その状態で２本の指の間を広げる操作である。ピンチイン操作は、ピンチアウト操作とは逆に、タッチパネル３５に２本の指を離した状態で置き、その状態で２本の指の間を狭める操作である。拡大指示において、画像は、ピンチアウト操作で最初に２本の指が置かれた点を中心に拡大される。拡大指示の場合、ピンチアウト操作で最初に２本の指が置かれた点が、操作点に相当する。また、縮小指示において、画像は、ピンチイン操作で最初に２本の指が置かれた点を結んだ直線の中点を中心に縮小される。縮小指示の場合、ピンチイン操作で最初に２本の指が置かれた点を結んだ直線の中点が、操作点に相当する。

なお、ピンチアウト操作で最初に２本の指が置かれた点は、厳密には２点であるが、例えば、これら２点を含む最小半径の円形領域の中心を、ピンチアウト操作で最初に２本の指が置かれた点とする。また、操作点は、縮小指示におけるピンチイン操作で最初に２本の指が置かれた点を結んだ直線の中点を操作点としたように、利用者１２の指が実際に置かれた点に限らない。さらに、縮小指示におけるピンチイン操作で最後に２本の指が合わさった点（ピンポイン操作の終了点）を操作点としてもよい。

図６では、まず、対象画像２０Ｔ－Ｂに対して左下に移動指示をし、次いで拡大指示をした後、最終的なトリミングの指示をした例を示している。なお、図６はあくまでも一例であり、これに限定されない。図６の例とは逆に、拡大指示をした後に移動指示をしてもよいし、移動指示、拡大指示、縮小指示を何度か繰り返してもよい。移動指示をせず、拡大指示のみで済ませてもよい。

図７は、エフェクトボタン６３を選択して指示可能な画像エフェクトの例である。画像エフェクトには、モノクローム、セピア、ビビット等がある。モノクロームは、画像をモノクロにする画像エフェクトである。セピアは、画像をセピア色にする画像エフェクトである。ビビットは、画像の明度と彩度を高める画像エフェクトである。

図８および図９は、余白付与の例である。図８は、正方形状の対象画像２０Ｔ－Ｂの左右に余白７５を付与し、Ｌ判等の長方形状の対象画像２０Ｔ－Ａとする例である。対して図９は、長方形状の対象画像２０Ｔ－Ｂの左右に余白７５を付与し、正方形状の対象画像２０Ｔ－Ａとする例である。

これらトリミング、画像エフェクト、余白付与は、それぞれ単独で実行することもできるし、複合して実行することもできる。例えば、画像エフェクトとしてビビットを実行した後に、余白付与を実行することもできる。

図１０において、実行履歴情報４１は、画像を識別する画像ＩＤ（Identification Data）毎に、対象画像２０Ｔと、第１処理に関わる指示の操作履歴との組を登録したものである。対象画像２０Ｔには、第１処理前の対象画像２０Ｔ－Ｂと、第１処理後の対象画像２０Ｔ－Ａとが登録される。操作履歴には、第１処理に関わる指示の内容と、対象画像２０Ｔ－Ｂへの利用者１２の操作点とが登録される。

図１０では、拡大指示を伴うトリミングの指示が行われた対象画像２０Ｔ（画像ＩＤ：ＩＭ００１０）を例示している。この場合、操作履歴の内容には、拡大指示を伴うトリミングである旨が登録される。また、図示は省略したが、操作履歴の内容には、対象画像２０Ｔ－Ｂを基準にした対象画像２０Ｔ－Ａの拡大率も登録される。移動指示を伴うトリミングの指示であった場合は、対象画像２０Ｔ－Ｂを基準にした対象画像２０Ｔ－Ａの移動方向、移動量も、操作履歴の内容に登録される。操作履歴の操作点には、前述のように、ピンチアウト操作で最初に２本の指が置かれた点の座標が登録される。この座標は、例えば画像の左端の画素を原点とし、画像の横方向をＸ軸、縦方向をＹ軸としたＸＹ座標で表される。

また、図１０では、画像エフェクトＢの指示が行われた対象画像２０Ｔ（画像ＩＤ：ＩＭ００５０）、および正方形状の対象画像２０Ｔ－Ｂを長方形状の対象画像２０Ｔ－Ａにする余白付与の指示が行われた対象画像２０Ｔ（画像ＩＤ：ＩＭ００７０）も例示している。これら画像エフェクトおよび余白付与の場合は、操作履歴の操作点には何も登録されない。

図１１は、第１処理としてトリミングが実行された場合の、被写体抽出部５０による主要被写体ＭＳの抽出手順の概要を示したフローチャートである。被写体抽出部５０は、まず、管理部４９からの実行履歴情報４１に登録された対象画像２０Ｔ－Ｂ、対象画像２０Ｔ－Ａのそれぞれに写る被写体を抽出する（ステップＳＴ１０）。次いで、被写体抽出部５０は、対象画像２０Ｔ－Ａの被写体の写り具合、および操作点と被写体との距離を検出する（ステップＳＴ１１）。

続いて、被写体抽出部５０は、ステップＳＴ１１で検出した被写体の写り具合、および操作点と被写体との距離に基づいて、ステップＳＴ１０で抽出した被写体に対してスコアリングする（ステップＳＴ１２）。スコアリング後、被写体抽出部５０は、最高スコアの被写体を主要被写体ＭＳとして抽出する（ステップＳＴ１３）。

図１２は、被写体抽出部５０により主要被写体ＭＳを抽出する様子を示す。図１２では、肩車されている少女Ｓ１、少女Ｓ１を肩車している男性Ｓ２、歩いてくる女性Ｓ３、歩き去る男性Ｓ４、歩いてくる男性Ｓ５が被写体として写った対象画像２０Ｔ－Ｂを例示している。また、少女Ｓ１の顔付近の符号ＯＰで示す点を操作点として、少女Ｓ１と男性Ｓ２を拡大してトリミングを実行した対象画像２０Ｔ－Ａを例示している。

この場合、被写体抽出部５０は、対象画像２０Ｔ－Ｂから、少女Ｓ１、男性Ｓ２、女性Ｓ３、男性Ｓ４、男性Ｓ５を被写体として抽出する。また、対象画像２０Ｔ－Ａから、少女Ｓ１、男性Ｓ２、女性Ｓ３、男性Ｓ５を被写体として抽出する。次いで、被写体抽出部５０は、各被写体Ｓ１～Ｓ５に対して、対象画像２０Ｔ－Ａの写り具合、および操作点との距離を検出する。

表８０に示すように、写り具合は、対象画像２０Ｔ－Ａに含まれる被写体の割合、部位、および位置である。割合は、対象画像２０Ｔ－Ａ全体に占める被写体の面積率の大小である。部位は、例えば対象画像２０Ｔ－Ａへの顔の写り込みの有無である。位置は、例えば対象画像２０Ｔ－Ａを破線のように縦に３等分した場合の中央領域への存在有無である。

続いて、被写体抽出部５０は、検出した被写体の写り具合、および操作点と被写体との距離に基づいて、各被写体Ｓ１～Ｓ５に対してスコアリングする。具体的には、割合に関しては、割合が最大である少女Ｓ１に最高点の１５点をつけ、割合が２番目に大きい男性Ｓ２に次点の１０点をつける。そして、割合が３番目に大きい男性Ｓ５には５点をつけ、割合が最小である女性Ｓ３には０点をつける。また、対象画像２０Ｔ－Ｂには写っていたが、対象画像２０Ｔ－Ａには写っていない男性Ｓ４には－５点をつける。部位に関しては、対象画像２０Ｔ－Ａに顔が写っている少女Ｓ１と男性Ｓ２に５点をつけ、顔が写っていない他の被写体Ｓ３～Ｓ５には０点をつける。位置に関しては、対象画像２０Ｔ－Ａの中央領域に存在する少女Ｓ１と男性Ｓ２には５点をつけ、中央領域に存在しない他の被写体Ｓ３、Ｓ５には０点をつける。

また、操作点と被写体との距離に関しては、操作点との距離が最短である少女Ｓ１に最高点の１５点をつけ、操作点との距離が２番目に短い男性Ｓ２に次点の１０点をつける。そして、操作点との距離が３番目に短い男性Ｓ５には５点をつけ、操作点との距離が４番目に短い女性Ｓ３には０点をつける。また、操作点との距離が最長である男性Ｓ４には－５点をつける。なお、ここで示したスコアリングの仕方は、あくまでも一例である。

被写体抽出部５０は、表８１に示すように、上記のようにしてスコアリングしたスコアを合計する。合計したスコアは、少女Ｓ１が４０点と最高で、男性Ｓ２が３０点、女性Ｓ３が０点、男性Ｓ４が－１０点、男性Ｓ５が１０点である。このため、被写体抽出部５０は、最高スコアである少女Ｓ１を主要被写体ＭＳとして抽出する。

なお、被写体抽出部５０は、対象画像２０Ｔ－Ａ、および第１処理に関わる指示の操作履歴に基づいて、主要被写体ＭＳを抽出しているが、これに限定されない。被写体抽出部５０は、対象画像２０Ｔ－Ａ、および第１処理に関わる指示の操作履歴のうちの少なくとも１つに基づいて、主要被写体ＭＳを抽出するものであればよい。同様に、被写体抽出部５０は、対象画像２０Ｔ－Ａにおける被写体の写り具合、および操作点と被写体との距離に基づいて、主要被写体ＭＳを抽出しているが、これに限定されない。被写体抽出部５０は、対象画像２０Ｔ－Ａにおける被写体の写り具合、および操作点と被写体との距離のうちの少なくとも１つに基づいて、主要被写体ＭＳを抽出するものであればよい。また、写り具合は、上記で例示した対象画像２０Ｔ－Ａに含まれる被写体の割合、部位、および位置のうちの少なくとも１つでよい。さらに、写り具合として、対象画像２０Ｔ－Ａに含まれる被写体の鮮鋭度を加えてもよい。

対象画像２０Ｔ－Ａに含まれる被写体の部位に基づくスコアリングとしては、対象画像２０Ｔ－Ａへの顔の写り込みの有無に代えて、対象画像２０Ｔ－Ａへの全身の写り込みの有無に基づいてスコアリングしてもよい。また、対象画像２０Ｔ－Ａに含まれる被写体の位置に基づくスコアリングとしては、図１３に示すように、対象画像２０Ｔ－Ａを破線のように縦横に３等分、計９等分し、９等分した各領域のスコアを、記載の数字のように設定してもよい。

図１１および図１２は、第１処理としてトリミングが実行された場合の主要被写体ＭＳの抽出例である。対して、第１処理として、画像エフェクトおよび余白付与が実行された場合、被写体抽出部５０は、対象画像２０Ｔ－Ｂの被写体の写り具合に基づいて、主要被写体ＭＳを抽出する。写り具合は、上記と同様に、対象画像２０Ｔ－Ｂに含まれる被写体の割合、部位、および位置のうちの少なくとも１つである。被写体抽出部５０は、上記と同様に対象画像２０Ｔ－Ｂの被写体を抽出して、抽出した被写体に対してスコアリングを行い、最高スコアの被写体を主要被写体ＭＳとして抽出する。

なお、画像エフェクトの場合は、画像エフェクトを実行する被写体を利用者１２が指定し、利用者１２が指定した被写体にのみ画像エフェクトを実行する態様もある。こうした態様の場合は、利用者１２が画像エフェクトを実行するとして指定した被写体の点を操作点とし、この操作点との距離に基づくスコアリングをしてもよい。

図１４に示すように、画像抽出部５１は、対象画像２０Ｔと撮影日時が連続し、かつ被写体抽出部５０において抽出した主要被写体ＭＳを含む画像であって、主要被写体ＭＳを含まない画像２０Ｎで前後が区切られる一連の画像を、類似画像２０Ｓとして抽出する。

図１４では、画像ＩＤ：ＩＭ００６８、撮影日時：２０１８．０７．０９、１１：１０：２９で、主要被写体ＭＳとして幼女が写った対象画像２０Ｔを例示している。この場合、画像ＩＤ：ＩＭ００６０、撮影日時：２０１８．０７．０９、１０：２２：４８で、赤ちゃんが写った画像が、主要被写体ＭＳを含まない画像２０Ｎである。同じく、画像ＩＤ：ＩＭ００６９、撮影日時：２０１８．０７．１１、１４：１５：１８で、樹木が写った画像が、主要被写体ＭＳを含まない画像２０Ｎである。そして、主要被写体ＭＳである幼女が写り、これら画像ＩＤ：ＩＭ００６０の画像２０Ｎと画像ＩＤ：ＩＭ００６９の画像２０Ｎとで前後が区切られる、画像ＩＤ：ＩＭ００６１～ＩＭ００６７の画像が、画像抽出部５１において類似画像２０Ｓとして抽出される。

図１５に示すように、第１処理としてトリミングが実行された場合、処理部４７は、第２処理後の類似画像２０Ｓ－Ａの主要被写体ＭＳが、第１処理後の対象画像２０Ｔ－Ａの主要被写体ＭＳの位置および大きさを受け継いだものとなる第２処理を実行する。

図１５Ａでは、赤ちゃんを乗せた乳母車を押している女性、街路樹、および自動車が被写体として写る対象画像２０Ｔ－Ｂを例示している。そして、第１処理として、主に女性の上半身の部分を拡大してトリミングを実行し、女性が主要被写体ＭＳとして抽出された対象画像２０Ｔ－Ａを例示している。また、図１５Ｂでは、対象画像２０Ｔ－Ｂよりも乳母車と女性が自動車に近付き、かつ対象画像２０Ｔ－Ｂよりもズームインした類似画像２０Ｓ－Ｂを例示している。この場合、処理部４７は、主要被写体ＭＳである女性の位置および大きさが、対象画像２０Ｔ－Ａに写る女性の位置および大きさを受け継いだものとなるように第２処理を実行し、類似画像２０Ｓ－Ａを作成する。このため、類似画像２０Ｓ－Ａは、街路樹や自動車の位置は対象画像２０Ｔ－Ａとは若干異なるものの、主要被写体ＭＳである女性の位置および大きさは、対象画像２０Ｔ－Ａと略同じものとなる。

図１５は、第１処理としてトリミングが実行された場合の第２処理の例である。対して、第１処理として、画像エフェクトおよび余白付与が実行された場合は、処理部４７は、第２処理として、第１処理と同じ画像エフェクトおよび余白付与を実行する。利用者１２が指定した被写体にのみ画像エフェクトを実行する態様の場合は、第２処理も、利用者１２が指定した被写体にのみ画像エフェクトを実行する。

第１処理前の対象画像２０Ｔ－Ｂと第１処理後の対象画像２０Ｔ－Ａは、関連付けて画像管理サーバ１１で記憶管理される。同じく、第２処理前の類似画像２０Ｓ－Ｂと第２処理後の類似画像２０Ｓ－Ａは、関連付けて画像管理サーバ１１で記憶管理される。

以下、上記構成による作用について、図１６のフローチャートを参照して説明する。まず、画像処理プログラム４０が起動されると（ステップＳＴ１００でＹＥＳ）、図４で示したように、ＣＰＵ３２が、画像送受信部４５、受付部４６、処理部４７、制御部４８、管理部４９、被写体抽出部５０、および画像抽出部５１として機能し、携帯端末１０を構成するコンピュータが、画像処理装置として機能する。

画像送受信部４５によって、携帯端末１０に対応する画像の送信要求が画像管理サーバ１１に送信される。そして、送信要求に応じて画像管理サーバ１１から送信された画像が、画像送受信部４５で受信される（ステップＳＴ１１０）。画像は、画像送受信部４５から制御部４８に出力される。

画像は、図５Ａで示したように、制御部４８によって、画像表示画面６０に一覧６１として表示される（ステップＳＴ１２０）。一覧６１の中の１つの画像が選択された場合、すなわち、対象画像２０Ｔの選択指示が受付部４６で受け付けられた場合、図５Ｂで示したように、制御部４８によって、画像表示画面６０は対象画像２０Ｔの拡大表示に切り替えられる。この状態でトリミングボタン６２、エフェクトボタン６３、余白付与ボタン６４のいずれかが選択され、第１処理に関わる指示が受付部４６で受け付けられた場合（ステップＳＴ１３０でＹＥＳ）、制御部４８によって、対象画像２０Ｔ－Ｂについて、第１処理を処理部４７に処理させる制御が行われる（ステップＳＴ１４０）。そして、管理部４９によって、図１０で示した実行履歴情報４１がストレージデバイス３０に書き込まれる（ステップＳＴ１５０）。

次いで、被写体抽出部５０において主要被写体ＭＳが抽出される（ステップＳＴ１６０）。第１処理としてトリミングが実行された場合は、図１１および図１２で示したように、対象画像２０Ｔ－Ａの被写体の写り具合、および対象画像２０Ｔ－Ｂへの利用者１２の操作点と被写体との距離に基づいて、主要被写体ＭＳが抽出される。主要被写体ＭＳの情報は、被写体抽出部５０から画像抽出部５１に出力される。

被写体抽出部５０において、第１処理前の対象画像２０Ｔ－Ｂ、第１処理後の対象画像２０Ｔ－Ａ、および利用者１２の第１処理に関わる指示の操作履歴のうちの少なくとも１つに基づいて、主要被写体ＭＳを抽出する。より具体的には、被写体抽出部５０において、第１処理後の対象画像２０Ｔ－Ａにおける被写体の写り具合、および操作履歴における対象画像２０Ｔ－Ｂへの利用者１２の操作点と被写体との距離のうちの少なくとも１つに基づいて、主要被写体ＭＳを抽出する。したがって、適切な主要被写体ＭＳを抽出する確率が高まる。

第１処理前の対象画像２０Ｔ－Ｂでは中央領域に存在していた被写体でも、第２処理としてトリミングした後の対象画像２０Ｔ－Ａに中央領域に存在しているとは限らない。場合によっては対象画像２０Ｔ－Ａには存在しない場合もある。したがって、第１処理後の対象画像２０Ｔ－Ａに基づいて主要被写体ＭＳを抽出することは、第１処理に込めた利用者１２の意図をより汲むことになるので、特に意味がある。

写り具合は、第１処理後の対象画像２０Ｔ－Ａに含まれる被写体の割合、部位、および位置のうちの少なくとも１つである。したがって、例えば、割合が大きく、顔が写っていて、かつ画像の中央領域に存在する被写体を主要被写体ＭＳとして抽出することができ、抽出した主要被写体ＭＳの尤もらしさが高まる。

続いて、図１４で示したように、画像抽出部５１において類似画像２０Ｓが抽出される（ステップＳＴ１７０）。具体的には、対象画像２０Ｔと撮影日時が連続し、かつ主要被写体ＭＳを含む画像であって、主要被写体ＭＳを含まない画像２０Ｎで前後が区切られる一連の画像が、類似画像２０Ｓとして抽出される。類似画像２０Ｓは、画像抽出部５１から処理部４７に出力される。

画像抽出部５１において類似画像２０Ｓを抽出するので、利用者１２が類似画像２０Ｓを抽出する手間が掛からない。

被写体抽出部５０において主要被写体ＭＳを抽出し、画像抽出部５１において、主要被写体ＭＳを含む画像を、類似画像２０Ｓとして抽出する。したがって、対象画像２０Ｔに構図がより類似した画像が、類似画像２０Ｓとして抽出される。

画像抽出部５１において、対象画像２０Ｔと撮影日時が連続し、かつ主要被写体ＭＳを含む画像であって、主要被写体を含まない画像２０Ｎで前後が区切られる一連の画像を、類似画像として抽出する。したがって、類似画像２０Ｓとして適切な画像を抽出する確率が高まる。

制御部４８によって、類似画像２０Ｓ－Ｂについて、第２処理を処理部４７に処理させる制御が行われる（ステップＳＴ１８０）。第１処理としてトリミングが実行された場合は、図１５で示したように、処理部４７によって、第２処理後の類似画像２０Ｓ－Ａの主要被写体ＭＳが、第１処理後の対象画像２０Ｔ－Ａの主要被写体ＭＳの位置および大きさを受け継いだものとなる第２処理が実行される。

第２処理は、第２処理後の類似画像２０Ｓ－Ａの主要被写体ＭＳが、第１処理後の対象画像２０Ｔ－Ａの主要被写体ＭＳの位置および大きさを受け継いだものとなる画像処理である。したがって、類似画像２０Ｓ－Ａの主要被写体ＭＳが、対象画像２０Ｔ－Ａの主要被写体ＭＳと略同じ写り具合となり、対象画像２０Ｔ－Ａと類似画像２０Ｓ－Ａ、および類似画像２０Ｓ－Ａ同士の比較がしやすくなる。

ステップＳＴ１２０からステップＳＴ１８０までの処理は、画像処理プログラム４０が終了されるまで（ステップＳＴ１９０でＹＥＳ）、繰り返し続けられる。

制御部４８は、利用者１２が指示した第１処理の対象画像２０Ｔについて、第１処理を処理部４７に処理させる制御を行う。かつ制御部４８は、対象画像２０Ｔと類似した類似画像２０Ｓについて、第１処理に応じた第２処理を処理部４７に処理させる制御を行う。利用者１２は、対象画像２０Ｔに対して第１処理に関わる指示を行うだけで、第１処理に応じた第２処理が類似画像２０Ｓに実行されるので、類似画像２０Ｓの各々に対して処理を指示する場合と比較して、類似画像２０Ｓの画像処理に掛かる利用者１２の作業負担が軽減される。このため、対象画像２０Ｔを含む類似画像２０Ｓの中からの、印刷管理サーバや画像受付サーバ等に送信する画像の選択が容易になる。

［第２実施形態］
図１７および図１８に示す第２実施形態では、対象画像２０Ｔから、除外すべき被写体である除外対象被写体ＥＳを抽出し、除外対象被写体ＥＳを類似画像２０Ｓから除外する処理を、第２処理として実行する。

図１７では、男性Ｓ１０、男性Ｓ１０の右側に立つ樹木Ｓ１１、歩いている女性Ｓ１２、カップルの女性Ｓ１３、カップルの男性Ｓ１４が被写体として写った対象画像２０Ｔ－Ｂを例示している。また、男性Ｓ１０の胸付近の符号ＯＰで示す点を操作点として、男性Ｓ１０を拡大してトリミングを実行した対象画像２０Ｔ－Ａを例示している。

この場合も図１２で示した場合と同様に、表８５に示すように、対象画像２０Ｔ－Ａの被写体の写り具合、および操作点と被写体との距離に基づいて、各被写体Ｓ１０～Ｓ１４に対してスコアリングする。そして、表８６に示すように、各被写体Ｓ１０～Ｓ１４の合計スコアを算出する。

被写体抽出部５０は主要被写体ＭＳを抽出し、かつ除外対象被写体ＥＳも抽出する。図１７では、被写体抽出部５０は、図１２の場合と同様に、最高スコアである男性Ｓ１０を主要被写体ＭＳとして抽出する。また、被写体抽出部５０は、スコアが負の被写体Ｓ１３、Ｓ１４を、除外対象被写体ＥＳとして抽出する。なお、除外対象被写体ＥＳの抽出条件としては、上記のスコアが負の被写体に限らない。最低スコアの被写体のみを除外対象被写体ＥＳとして抽出してもよいし、スコアが０以下の被写体を除外対象被写体ＥＳとして抽出してもよい。

図１８において、図１８Ａの第１処理前の対象画像２０Ｔ－Ｂと第１処理後の対象画像２０Ｔ－Ａとは、図１７で示したものと同じである。図１８Ｂでは、男性Ｓ１０と樹木Ｓ１１は変わりないが、女性Ｓ１２が左側に移動し、カップルの女性Ｓ１３と男性Ｓ１４が男性Ｓ１０に近付いている類似画像２０Ｓ－Ｂを例示している。

この場合、処理部４７は、図１５で示した場合と同様に、主要被写体ＭＳである男性Ｓ１０の位置および大きさが、対象画像２０Ｔ－Ａに写る男性Ｓ１０の位置および大きさを受け継いだものとなるように第２処理を実行する。しかし、そうした第２処理を実行すると、破線で示すように、除外対象被写体ＥＳである女性Ｓ１３が類似画像２０Ｓ－Ａに写り込んでしまう。そこで、処理部４７は、矢印で示すように、除外対象被写体ＥＳである女性Ｓ１３が類似画像２０Ｓ－Ａに写り込まないよう、表示枠７０を左側に移動させる。この表示枠７０を移動させる処理が、除外対象被写体ＥＳを類似画像２０Ｓ－Ａから除外する処理である。

このように、第２実施形態では、被写体抽出部５０において、対象画像２０Ｔから除外対象被写体ＥＳを抽出し、処理部４７において、除外対象被写体ＥＳを類似画像２０Ｓから除外する処理を、第２処理として実行する。除外対象被写体ＥＳは、利用者１２が積極的に画像から除外したい確率が比較的高い被写体であると考えられる。したがって、除外対象被写体ＥＳを類似画像２０Ｓから除外する処理は、第１処理に込めた利用者１２の意図を汲んだ第２処理であるといえる。

［第３実施形態］
図１９に示す第３実施形態では、画像抽出部５１は、対象画像２０Ｔとの撮影間隔に基づいて、類似画像２０Ｓを抽出する。より具体的には、画像抽出部５１は、対象画像２０Ｔと撮影日時が連続する画像であって、直後の画像との撮影間隔が設定間隔よりも離れている画像２０Ｄ－１と、直前の画像との撮影間隔が設定間隔よりも離れている画像２０Ｄ－２とで前後が区切られる一連の画像を、類似画像２０Ｓとして抽出する。

図１９では、画像ＩＤ：ＩＭ００７１、撮影日時：２０１８．０７．１１、１４：１７：０１で、主要被写体ＭＳとして幼女が写った対象画像２０Ｔを例示している。また、設定間隔として５秒を例示している。この場合、画像ＩＤ：ＩＭ００６９、撮影日時：２０１８．０７．１１、１４：１５：１８で、樹木が写った画像が、直後の画像（画像ＩＤ：ＩＭ００７０、撮影日時：２０１８．０７．１１、１４：１７：００の画像）との撮影間隔が設定間隔よりも離れている画像２０Ｄ－１である。また、画像ＩＤ：ＩＭ００７３、撮影日時：２０１８．０７．１１、１４：２０：４１で、カップルが写った画像が、直前の画像（画像ＩＤ：ＩＭ００７２、撮影日時：２０１８．０７．１１、１４：１７：０２の画像）との撮影間隔が設定間隔よりも離れている画像２０Ｄ－２である。そして、これら画像ＩＤ：ＩＭ００６９の画像２０Ｄ－１と画像ＩＤ：ＩＭ００７３の画像２０Ｄ－２とで前後が区切られる、画像ＩＤ：ＩＭ００７０、ＩＭ００７２の画像が、画像抽出部５１により類似画像２０Ｓとして抽出される。

このように、第３実施形態では、画像抽出部５１において、対象画像２０Ｔとの撮影間隔に基づいて、類似画像２０Ｓを抽出する。したがって、撮影日時の情報で類似画像２０Ｓが抽出される。図１４で示した手法のように、画像内に主要被写体ＭＳを含むか否かを確かめる必要がない。

また、画像抽出部５１において、対象画像２０Ｔと撮影日時が連続する画像であって、直後の画像との撮影間隔が設定間隔よりも離れている画像２０Ｄ－１と、直前の画像との撮影間隔が設定間隔よりも離れている画像２０Ｄ－２とで前後が区切られる一連の画像を、類似画像２０Ｓとして抽出する。したがって、類似画像２０Ｓとして適切な画像を抽出する確率が高まる。

なお、設定間隔を５秒としたが、あくまでも一例である。連写機能を用いて撮影した画像を想定して、設定間隔を１秒としてもよいし、逆に設定間隔を長めの１分等としてもよい。利用者１２が設定間隔を変更可能に構成してもよい。

対象画像２０Ｔとの撮影間隔が設定範囲内の画像を、類似画像２０Ｓとして抽出してもよい。例えば、対象画像２０Ｔの前後１分以内に撮影された画像を、類似画像２０Ｓとして抽出する。

第１実施形態の主要被写体ＭＳを含む画像を類似画像２０Ｓとして抽出する手法と、第３実施形態の対象画像２０Ｔとの撮影間隔に基づいて類似画像２０Ｓを抽出する手法とを複合して実施してもよい。例えば、対象画像２０Ｔとの撮影間隔が設定範囲内の画像に対して、図１４で示した手法を適用して類似画像２０Ｓを抽出する。または、図１４で示した手法で類似画像２０Ｓを抽出する。次いで、図１４で示した手法で抽出した類似画像２０Ｓに対して、図１９で示した手法を適用し、さらに類似画像２０Ｓを絞り込む。

［第４実施形態］
図２０に示す第４実施形態では、受付部４６において、利用者１２による類似画像２０Ｓの指定を受け付ける。

図２０に示す画像表示画面６０は、一覧６１が表示される点では、図５Ａで示したものと同じである。図５Ａで示した画像表示画面６０との相違点は、類似画像２０Ｓを指定する旨のメッセージが上部に表示され、指定ボタン９０が下部に配され、さらに対象画像２０Ｔがグレーアウト表示されている点である。制御部４８は、対象画像２０Ｔ－Ｂへの第１処理が終了した後（図１６で示したステップＳＴ１４０の後）に、図２０に示す画像表示画面６０をディスプレイ３４に表示させる。

ハッチングで示すように、タップ操作により一覧６１の中の類似画像２０Ｓが利用者１２により指定される。そして、指定ボタン９０が選択される。指定ボタン９０が選択された場合、そのとき画像表示画面６０上で指定されている画像が、類似画像２０Ｓとして受付部４６で受け付けられる。

このように、第４実施形態では、受付部４６において、利用者１２による類似画像２０Ｓの指定を受け付ける。したがって、利用者１２が視認して判断した画像が類似画像２０Ｓとされる。なお、第４実施形態を単独で実施する場合は、被写体抽出部５０と画像抽出部５１は不要となる。

上記各実施形態と第４実施形態とを複合して実施してもよい。例えば、画像表示画面６０の一覧６１において、画像抽出部５１が抽出した類似画像２０Ｓを枠で囲う等して利用者１２に表示し、かつ利用者１２による類似画像２０Ｓの指定を受け付けてもよい。利用者１２は、画像抽出部５１が抽出した類似画像２０Ｓが適切か否かを、画像表示画面６０で視認して判断する。そして、画像抽出部５１が抽出した類似画像２０Ｓが適切でなかった場合は、類似画像２０Ｓの指定を外す。

あるいは、第１実施形態の主要被写体ＭＳを含む画像を類似画像２０Ｓとして抽出する手法と、第３実施形態の対象画像２０Ｔとの撮影間隔に基づいて類似画像２０Ｓを抽出する手法と、第４実施形態の利用者１２による類似画像２０Ｓの指定を受け付ける手法とのいずれで類似画像２０Ｓを特定するかを、利用者１２が選択可能に構成してもよい。

［第５実施形態］
図２１に示す第５実施形態では、制御部４８は、第１処理が既に実行された類似画像２０Ｓについては、第２処理を処理部４７に処理させない。

制御部４８は、第１処理の実行履歴である実行履歴情報４１を参照して、類似画像２０Ｓが、第１処理が既に実行されたものであるか否かを判断する。具体的には、制御部４８は、類似画像２０Ｓとして抽出された画像が、実行履歴情報４１に登録されていた場合、当該画像に対して第１処理が既に実行されていると判断する。一方、実行履歴情報４１に登録されていなかった場合は、第１処理が実行されていないと判断する。

図２１では、図１４と同じく、画像ＩＤ：ＩＭ００６８で、主要被写体ＭＳとして幼女が写った対象画像２０Ｔを例示している。また、図１４と同じく、画像ＩＤ：ＩＭ００６１～ＩＭ００６７の画像が、類似画像２０Ｓとして抽出された場合を例示している。そして、画像ＩＤ：ＩＭ００６５の類似画像２０Ｓが、画像ＩＤ：ＩＭ００６８の対象画像２０Ｔの前に、第１処理が既に実行されていた場合を例示している。この場合、制御部４８は、画像ＩＤ：ＩＭ００６５の類似画像２０Ｓについては、第２処理を処理部４７に処理させない。

例えば、画像ＩＤ：ＩＭ００６５の類似画像２０Ｓに対して、第１処理として画像エフェクトＡが実行され、画像ＩＤ：ＩＭ００６８の対象画像２０Ｔに対して、第１処理として画像エフェクトＢが実行された場合を考える。この場合、制御部４８は、画像ＩＤ：ＩＭ００６５以外の類似画像２０Ｓに対しては、第２処理として画像エフェクトＢを処理部４７に処理させる。一方、画像ＩＤ：ＩＭ００６５の類似画像２０Ｓに対しては、画像エフェクトＢを処理部４７に処理させず、画像エフェクトＡが掛けられたままとする。

このように、第５実施形態では、制御部４８は、第１処理が既に実行された類似画像２０Ｓについては、第２処理を処理部４７に処理させない。したがって、利用者１２により指示された第１処理の内容が尊重される。

図１７等の樹木Ｓ１１で例示したように、被写体は人物に限らない。樹木をはじめとして、花、山岳、川、湖といった自然造形物、動物、昆虫、あるいは建物、椅子、机、ベッドといった人工物でもよい。

また、主要被写体ＭＳは１つの被写体に限らない。例えば最高スコアの被写体と次点のスコアの被写体を主要被写体ＭＳとして抽出する等、複数の被写体を主要被写体ＭＳとして抽出してもよい。この場合、例えば３人の人物を主要被写体ＭＳとして抽出した場合に、３人の人物が写った画像だけでなく、３人のうちの２人が写った画像も、画像抽出部５１において類似画像２０Ｓとして抽出してもよい。

第１実施形態、第３実施形態、第４実施形態の類似画像２０Ｓを抽出する手法に代えて、あるいは加えて、ＧＰＳ（Global Positioning System）等で取得した位置情報に基づいて類似画像２０Ｓを抽出する手法を用いてもよい。例えば、位置情報で示される撮影場所が設定範囲内の画像を類似画像２０Ｓとして抽出する。

画像表示画面６０に、第２処理をワンタッチで取り消すためのＧＵＩを設けてもよい。こうすれば、類似画像２０Ｓの抽出精度が比較的低かった場合や、利用者１２が第２処理を不要と考えた場合に、簡単に第２処理前の状態に戻せる。

画像管理サーバ１１に画像を記憶管理させるのではなく、携帯端末１０のストレージデバイス３０に画像を記憶しておいてもよい。この場合は、画像送受信部４５は不要となる。

画像処理装置は上記各実施形態で例示した携帯端末１０に限らない。デスクトップ型のパーソナルコンピュータに画像処理プログラム４０をインストールし、デスクトップ型のパーソナルコンピュータを画像処理装置として稼働させてもよい。ただし、デスクトップ型のパーソナルコンピュータの場合は、携帯端末１０のようにピンチアウト操作およびピンチイン操作に相当する操作がない。このため、デスクトップ型のパーソナルコンピュータを画像処理装置として稼働させた場合は、拡大指示の操作点に基づくスコアリング、縮小指示の操作点に基づくスコアリングは行われない。

また、画像管理サーバ１１をはじめとするＷＡＮ１３上のサーバに画像処理プログラム４０をインストールし、ＷＡＮ１３上のサーバを画像処理装置として稼働させてもよい。この場合、携帯端末１０は、対象画像２０Ｔの選択指示や第１処理に関わる指示を、画像処理装置として稼働するサーバ（以下、画像編集サーバ）に送信する。画像編集サーバは、画像表示画面６０を、携帯端末１０のウェブブラウザ上で閲覧可能な画面データの形式で送信する。携帯端末１０は、画像表示画面６０の画面データを画像編集サーバから受信し、受信した画面データに基づきウェブブラウザ上に表示する画像表示画面６０を再現し、これをディスプレイ３４に表示する。より具体的には、画像編集サーバは、画像表示画面６０を、例えばＸＭＬ（Extensible Markup Language）等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で送信する。ＸＭＬに代えて、ＪＳＯＮ（JavaScript（登録商標） Object Notation）等の他のデータ記述言語を利用してもよい。

画像編集サーバを構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像編集サーバを、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。具体的には、受付部４６、処理部４７、および制御部４８の機能と、管理部４９、被写体抽出部５０、および画像抽出部５１の機能とを、２台のサーバコンピュータに分散して担わせる。この場合は２台のサーバコンピュータで画像編集サーバを構成する。

このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、画像処理プログラム４０等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

上記各実施形態において、例えば、画像送受信部４５、受付部４６、処理部４７、制御部４８、管理部４９、被写体抽出部５０、画像抽出部５１といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（画像処理プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

以上の記載から、以下の付記項１に記載の発明を把握することができる。

［付記項１］
画像に対して画像処理する処理プロセッサと、
利用者が指示した第１処理の対象画像について、前記第１処理を前記処理プロセッサに処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理プロセッサに処理させる制御を行う制御プロセッサと、
を備える画像処理装置。

本開示の技術は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。

さらに、本開示の技術は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。具体的には、画像処理プログラム４０といったアプリケーションプログラムは、上記各実施形態のようにストレージデバイス３０に記憶されている形態に限らない。画像処理プログラム４０をコンピュータで読み取り可能な記憶媒体に記憶した形態で提供してもよい。記憶媒体としては、例えば、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)およびＤＶＤ－ＲＯＭ(Digital Versatile Disc Read Only Memory)等の光ディスク、ＵＳＢ(Universal Serial Bus)メモリおよびメモリカード等の半導体メモリが挙げられる。また、画像処理プログラム４０を、通信部３３に接続されたＷＡＮ１３等の通信回線を介して外部装置から取得するようにしてもよい。

２ 画像管理システム
１０ 携帯端末（画像処理装置）
１１ 画像管理サーバ
１２ 利用者
１３ ＷＡＮ
２０Ｔ 対象画像
２０Ｔ－Ｂ 第１処理前の対象画像
２０Ｔ－Ａ 第１処理後の対象画像
２０Ｓ 類似画像
２０Ｓ－Ｂ 第２処理前の類似画像
２０Ｓ－Ａ 第２処理後の類似画像
２０Ｎ 主要被写体を含まない画像
２０Ｄ－１ 直後の画像との撮影間隔が設定間隔よりも離れている画像
２０Ｄ－２ 直前の画像との撮影間隔が設定間隔よりも離れている画像
３０ ストレージデバイス
３１ メモリ
３２ ＣＰＵ
３３ 通信部
３４ ディスプレイ
３５ タッチパネル
３６ データバス
４０ 画像処理プログラム
４１ 実行履歴情報
４５ 画像送受信部
４６ 受付部
４７ 処理部
４８ 制御部
４９ 管理部
５０ 被写体抽出部
５１ 画像抽出部
６０ 画像表示画面
６１ 一覧
６２ トリミングボタン
６３ エフェクトボタン
６４ 余白付与ボタン
６５ キャンセルボタン
７０ 表示枠
７５ 余白
８０、８１、８５、８６ 表
９０ 指定ボタン
ＳＴ１０～ＳＴ１３、ＳＴ１００～ＳＴ１９０ ステップ
Ｓ１～Ｓ５、Ｓ１０～Ｓ１４ 被写体
ＯＰ 操作点
ＭＳ 主要被写体
ＥＳ 除外対象被写体

Claims (13)

1. 画像に対して画像処理する処理部と、
   利用者が指示した第１処理の対象画像について、前記第１処理を前記処理部に処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理部に処理させる制御を行う制御部と、
   前記対象画像から主要被写体を抽出する被写体抽出部と
   前記主要被写体を含む画像を、前記類似画像として抽出する画像抽出部として、コンピュータを機能させ、
   前記被写体抽出部は、前記第１処理前後の前記対象画像、および前記利用者の前記第１処理に関わる指示の操作履歴のうちの少なくとも１つに基づいて、前記主要被写体を抽出する、
   画像処理プログラム。
2. 前記画像抽出部は、前記対象画像と撮影日時が連続し、かつ前記主要被写体を含む画像であって、前記主要被写体を含まない画像で前後が区切られる一連の画像を、前記類似画像として抽出する請求項１に記載の画像処理プログラム。
3. 前記被写体抽出部は、前記第１処理後の前記対象画像における被写体の写り具合、および前記操作履歴における前記対象画像への前記利用者の操作点と前記被写体との距離のうちの少なくとも１つに基づいて、前記主要被写体を抽出する請求項１または２に記載の画像処理プログラム。
4. 前記写り具合は、前記第１処理後の前記対象画像に含まれる前記被写体の割合、部位、および位置のうちの少なくとも１つである請求項３に記載の画像処理プログラム。
5. 前記第２処理は、前記第２処理後の前記類似画像の前記主要被写体が、前記第１処理後の前記対象画像の前記主要被写体の位置および大きさのうちの少なくとも１つを受け継いだものとなる処理である請求項１ないし４のいずれか１項に記載の画像処理プログラム。
6. 前記被写体抽出部は、前記対象画像から、除外すべき被写体である除外対象被写体を抽出し、
   前記第２処理は、前記除外対象被写体を前記類似画像から除外する処理を含む請求項１ないし５のいずれか１項に記載の画像処理プログラム。
7. 前記画像抽出部は、前記対象画像との撮影間隔に基づいて、前記類似画像を抽出する請求項１ないし６のいずれか１項に記載の画像処理プログラム。
8. 前記画像抽出部は、前記対象画像と撮影日時が連続する画像であって、直後の画像との前記撮影間隔が設定間隔よりも離れている画像と、直前の画像との前記撮影間隔が前記設定間隔よりも離れている画像とで前後が区切られる一連の画像を、前記類似画像として抽出する請求項７に記載の画像処理プログラム。
9. 前記利用者による前記類似画像の指定を受け付ける受付部として、前記コンピュータを機能させる請求項１ないし８のいずれか１項に記載の画像処理プログラム。
10. 前記第１処理の実行履歴を管理する管理部として、前記コンピュータを機能させ、
    前記制御部は、前記実行履歴を参照して、前記第１処理が既に実行された前記類似画像については、前記第２処理を前記処理部に処理させない請求項１ないし９のいずれか１項に記載の画像処理プログラム。
11. 画像に対して画像処理する処理部と、
    利用者が指示した第１処理の対象画像について、前記第１処理を前記処理部に処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理部に処理させる制御を行う制御部と、
    前記対象画像から主要被写体を抽出する被写体抽出部と
    前記主要被写体を含む画像を、前記類似画像として抽出する画像抽出部と、
    を備え、
    前記被写体抽出部は、前記第１処理前後の前記対象画像、および前記利用者の前記第１処理に関わる指示の操作履歴のうちの少なくとも１つに基づいて、前記主要被写体を抽出する、
    画像処理装置。
12. コンピュータに、
    対象画像に対する利用者の操作から前記対象画像と類似した類似画像を抽出する機能と、
    前記操作に応じた前記対象画像に対する処理と同様の処理を前記類似画像に対して実行する機能と、
    前記対象画像から主要被写体を抽出する機能であって、前記処理前後の前記対象画像、および前記利用者の前記操作の操作履歴のうちの少なくとも１つに基づいて、前記主要被写体を抽出する機能と、
    前記主要被写体を含む画像を、前記類似画像として抽出する機能と、
    を実現させるためのプログラム。
13. 画像に対して画像処理する処理部と、
    利用者が指示した第１処理の対象画像について、前記第１処理を前記処理部に処理させる制御を行い、かつ、前記対象画像と類似した類似画像について、前記第１処理に応じた第２処理を前記処理部に処理させる制御を行う制御部と、
    前記対象画像から主要被写体を抽出する被写体抽出部と
    前記主要被写体を含む画像を、前記類似画像として抽出する画像抽出部として、コンピュータを機能させ、
    前記第１処理はトリミングであり、
    前記被写体抽出部は、トリミング後の前記対象画像、および前記利用者のトリミングに関わる指示の操作履歴、のうちの少なくとも１つに基づいて、前記主要被写体を抽出する、
    画像処理プログラム。

Images