JP7310178B2 - 情報処理システム、情報処理装置およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置およびプログラムに関する。

画像のトリミングを行う発明として、例えば特許文献１に開示された画像処理装置がある。この画像処理装置は、ユーザにより画像が選択されると、選択された対象画像の特徴部分を検出し、検出した特徴部分を含むトリミング範囲の候補を複数設定する。画像処理装置は、複数のトリミング範囲の候補を表示し、候補の一つがユーザにより選択されると、トリミング枠を対象画像上に表示する。トリミング枠は、ユーザにより微調整が可能となっている。画像処理装置は、印刷をユーザから指示されると、微調整された範囲で対象画像のトリミングを行い、トリミングされた画像を印刷する。

特許第４６２５３３６号公報

トリミングの対象となる画像がユーザにより選択されてから画像の特徴部分を検出し、検出した特徴部分についてトリミングの候補を設定する場合、画像が選択されてから特徴部分の検出を行うため、候補の表示までに時間を要することとなる。

本発明は、トリミングの対象となる画像が選択されてから画像の特徴部分を検出する構成と比較して、短時間でトリミングの候補を提示することを目的とする。

本発明の請求項１に係る情報処理システムは、原画像を取得する取得手段と、前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段とを備える。

本発明の請求項２に係る情報処理システムにおいては、前記原画像を記憶する記憶手段を有し、前記取得手段は、前記原画像を前記記憶手段から取得し、前記領域データは、前記原画像を識別する情報を含み、前記提示手段は、前記領域データが含む識別情報で識別される原画像から生成する。

本発明の請求項３に係る情報処理システムにおいては、第１装置は、前記取得手段と、前記検出手段と、前記データ生成手段と、前記領域データを送信する送信手段とを有し、第２装置は、前記提示手段と、前記送信手段から送信された前記領域データを受信する受信手段とを有し、前記提示手段は、前記受信手段が受信した前記領域データが表す領域の画像を前記領域データが含む識別情報で識別される原画像から生成する。

本発明の請求項４に係る情報処理システムにおいては、前記領域データは、それぞれ異なる複数の領域を表し、前記提示手段は、前記複数の領域毎に対応した画像を提示する。

本発明の請求項５に係る情報処理システムにおいては、前記複数の領域のいずれかは、前記原画像の領域より広い領域である。

本発明の請求項６に係る情報処理システムにおいては、前記提示手段は、前記原画像に対して予め定められた条件を満たす見本画像の領域データを取得し、取得した領域データが表す領域の画像を前記原画像から生成する。

本発明の請求項７に係る情報処理システムにおいては、前記提示手段は、前記見本画像の構図に対応した画像を前記原画像から生成し、取得した領域データが表す領域の画像を前記見本画像から生成した画像から生成する。

本発明の請求項８に係る情報処理装置は、原画像を取得する取得手段と、前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段とを備える。

本発明の請求項９に係るプログラムは、コンピュータを、原画像を取得する取得手段と、前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段として機能させるためのプログラムである。

本発明の請求項１に係る情報処理システムによれば、トリミングの対象となる画像が選択されてから画像の特徴部分を検出する構成と比較して、短時間で画像の特徴部分を含む領域の候補を提示することができる。
本発明の請求項２に係る情報処理システムによれば、記憶されている画像が選択されてから画像の特徴部分を検出する構成と比較して、短時間で画像の特徴部分を含む領域の候補を提示することができる。
本発明の請求項３に係る情報処理システムによれば、第１装置へ短時間で画像の特徴部分を含む領域の候補を提示することができる。
本発明の請求項４に係る情報処理システムによれば、画像の特徴部分を含む領域の候補となる画像を短時間で複数提示することができる。
本発明の請求項５に係る情報処理システムによれば、原画像より広い領域をユーザに提示することができる。
本発明の請求項６に係る情報処理システムによれば、画像の特徴部分を含む領域の候補となる画像として、見本画像における画像の特徴部分を含む領域の候補と同様の画像を提示することができる。
本発明の請求項７に係る情報処理システムによれば、画像の特徴部分を含む領域の候補となる画像として、見本画像における画像の特徴部分を含む領域の複数の候補と同様の画像を提示することができる。
本発明の請求項８に係る情報処理装置によれば、トリミングの対象となる画像が選択されてから画像の特徴部分を検出する構成と比較して、短時間で画像の特徴部分を含む領域の候補を提示することができる。
本発明の請求項９に係るプログラムによれば、トリミングの対象となる画像が選択されてから画像の特徴部分を検出する構成と比較して、短時間で画像の特徴部分を含む領域の候補を提示することができる。

本発明の一実施形態の情報処理システム１に係る装置を示した図。 情報処理端末装置１０のハードウェア構成を示した図。 情報処理装置２０のハードウェア構成を示した図。 情報処理装置２０の機能ブロック図。 制御部２０１が行う前処理の流れを示したフローチャート。 対象画像の一例を示した図。 トリミングの構図の第１候補の一例を示した図。 トリミングの構図の第２候補の一例を示した図。 トリミングの構図の第３候補の一例を示した図。 トリミングデータの内容の一例を示した図。 実施形態の動作例を説明するためのシーケンス図。 トリミングの構図の候補の一例を示した図。 候補画像を選択させるＷｅｂページの一例を示した図。 変形例に係る見本画像の一例を示した図。 対象画像から見本画像と同じ構図の候補画像を生成する動作を説明する図。 変形例に係る候補画像の一例を示した図。

［実施形態］
（全体構成）
図１は、本発明の一実施形態である情報処理システム１に係る装置を示した図である。情報処理システム１は、情報処理の一例として画像データが示す画像のトリミング処理を実行するシステムであり、トリミング処理を施す画像についてトリミングの構図の候補を複数提示する機能や、提示した複数の候補の中からユーザにより選択された構図で画像のトリミング処理を行う機能を有する。通信回線２は、データ通信が行われる通信回線であり、データ通信を行う複数のコンピュータ装置が接続される。通信回線２には、例えば有線ＬＡＮ（Local Area Network）および無線ＬＡＮ、ＷＡＮ（Wide Area Network），インターネット等が含まれる。

本発明に係る情報処理装置の一例である情報処理端末装置１０は、データ通信を行う装置であり、例えば、デスクトップ型のパーソナルコンピュータである。情報処理端末装置１０は、有線又は無線で通信回線２に接続し、通信回線２を介してデータ通信を行う。本実施形態においては、複数の情報処理端末装置１０が通信回線２に接続可能であるが、図１においては、図面が煩雑になるのを防ぐため、一つの情報処理端末装置１０のみを示している。なお、情報処理端末装置１０は、デスクトップ型のパーソナルコンピュータに限定されるものではなく、例えば、ラップトップ型のパーソナルコンピュータ、タブレット端末、スマートフォンであってもよい。

情報処理端末装置１０は、画像のトリミングを希望するユーザにより操作される。ユーザは、情報処理端末装置１０を操作して情報処理装置２０へアクセスし、トリミング処理が施される画像を選択する操作や、選択した画像に対応して提示される複数のトリミングの構図の中から希望する構図を選択する操作を行ってもよい。また、情報処理端末装置１０において、トリミングするフレームの構図に関する属性情報や、表示したい画像部に透過情報を指定し、表示したくない画像部に他の色、背景色や背景画像などを指定するマスク情報の設定ができるようにしてもよい。この属性情報とは、構図に関して定義された識別情報のことである。

情報処理装置２０は、入力された画像に対してトリミング処理を施す装置である。情報処理装置２０は、トリミング処理を施す画像として入力された画像について、トリミングの構図の候補をユーザに複数提示し、提示した複数候補の中から選択された構図に応じてトリミング処理を行う。また、予めユーザがトリミングの構図に関する属性情報を入力していた場合は、トリミングの構図の候補を提示してユーザに選択させる処理を省略してもよい。

（情報処理端末装置１０の構成）
図２は、情報処理端末装置１０のハードウェア構成の一例を示したブロック図である。ディスプレイ１０３は、例えば、文字やＧＵＩ（Graphical User Interface）などを表示する液晶ディスプレイ装置である。操作部１０４は、入力機器であるキーボード及びマウスを有し、ユーザに操作される。通信部１０５は、通信回線２を介したデータ通信を行う通信インターフェースとして機能する。通信部１０５は、本発明に係る送信手段および受信手段の一例である。

記憶部１０２は、例えばハードディスク装置などの記憶装置を有しており、オペレーティングシステムのプログラムやアプリケーションプログラム、アプリケーションプログラムが使用するデータを記憶する。記憶部１０２は、アプリケーションプログラムとして、例えば、Ｗｅｂブラウザのアプリケーションプログラムを記憶する。本実施形態においては、情報処理端末装置１０は、アプリケーションプログラムにより実現するＷｅｂブラウザで情報処理装置２０へアクセスする。

制御部１０１は、ＣＰＵ（Central Processing Unit）及びメモリを有している。情報処理端末装置１０において実現する機能は、記憶部１０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部１０２の制御、通信部１０５の制御、メモリ及び記憶部１０２におけるデータの読み出し及び／又は書き込みの制御を行うことで実現される。

（情報処理装置２０の構成）
図３は、情報処理装置２０のハードウェア構成の一例を示したブロック図である。通信部２０５は、通信回線２を介したデータ通信を行う通信インターフェースとして機能する。通信部２０５は、本発明に係る送信手段および受信手段の一例である。

記憶部２０２は、例えばハードディスク装置などの記憶装置を有しており、オペレーティングシステムのプログラムやアプリケーションプログラム、アプリケーションプログラムが使用するデータを記憶する。記憶部２０２は、アプリケーションプログラムとして、例えば、ユーザが選択した画像に対してトリミング処理を施すアプリケーションプログラムを記憶する。また、記憶部２０２は、トリミングが行われる画像を示す画像データや、トリミングが行われた後の画像を示す画像データや画像データに対してマスク情報を付加したデータ（複数レイヤーをもつ状態、または文書データの形式で保持してもよい）、本発明に係るトリミングデータを記憶する。文書データとは、例えば、透明と透明でない情報を区別するための手段を有し、画像に画像を重ねたマスクやレイヤー構造をもつデザインデータ、画像にベクター情報をマスクしたものを示す。トリミングデータの詳細については後述する。記憶部２０２は、本発明に係る記憶手段の一例である。

制御部２０１は、ＣＰＵ（Central Processing Unit）及びメモリを有している。情報処理装置２０において実現する機能は、記憶部２０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部２０２の制御、通信部２０５の制御、メモリ及び記憶部２０２におけるデータの読み出し及び／又は書き込みの制御を行うことで実現される。

（情報処理装置２０の機能構成）
図４は、情報処理装置２０において実現する機能のうち、本発明に係る特徴的な機能の構成を示した機能ブロック図である。取得部２００１は、後述する対象画像データを取得し、取得した対象画像データを記憶部２０２に記憶させる。取得部２００１は、本発明に係る取得手段の一例である。検出部２００２は、対象画像データが示す対象画像の特徴部分を検出する。検出部２００２は、本発明に係る検出手段の一例である。データ生成部２００３は、対象画像において検出部２００２が検出した特徴部分を含む領域を表すトリミングデータを生成する。トリミングデータは、本発明に係る領域データの一例であり、データ生成部２００３は、本発明に係るデータ生成手段の一例である。提示部２００４は、トリミングデータが示す領域の画像を対象画像から生成し、生成した画像を情報処理端末装置１０のユーザに提示する。提示部２００４は、本発明に係る提示手段の一例である。

（実施形態の動作例）
次に本実施形態の動作例について、トリミング処理が施される画像としてユーザが選択可能な画像に対して前処理を行うときの動作例と、ユーザが選択した画像に対してトリミング処理を施すときの動作例を説明する。

まず、トリミング処理が施される画像としてユーザが選択可能な画像に対して前処理を行うときの動作例を説明する。情報処理装置２０の記憶部２０２には、トリミング処理が施される画像としてユーザが選択可能な画像を示す画像データが記憶される。説明の便宜上、トリミング処理が施される画像としてユーザが選択可能な画像を示す画像データを対象画像データと称する。対象画像データが示す画像は、本発明に係る原画像の一例である。対象画像データは、情報処理装置２０の管理者がコンピュータ装置を操作することにより、通信回線２を介して情報処理装置２０へアクセスして記憶部２０２に記憶させてもよい。また、情報処理端末装置１０のユーザが、デジタルカメラで撮影した画像の画像データを情報処理端末装置１０に転送し、転送された画像データを情報処理端末装置１０から情報処理装置２０へ送信して対象画像データとして記憶部２０２に記憶させてもよい。対象画像データを記憶部２０２に記憶させる際には、通信部２０５が受信した対象画像データを取得部２００１が取得し、取得部２００１は、取得した対象画像データを記憶部２０２に記憶させる。

図５は、記憶部２０２に対象画像データが記憶されたときに制御部２０１が行う前処理の流れを示したフローチャートである。制御部２０１（検出部２００２）は、記憶部２０２に対象画像データが記憶されると、対象画像データが示す画像（以下、対象画像と称する）を解析し、対象画像において特徴がある部分を検出する（ステップＳＡ１）。例えば、ここで制御部２０１は、人間の顔、人間の身体、動物、物などを特徴部分として検出する。特徴部分の検出は、公知の検出技術を用いて行われる。なお、検出される特徴部分は上述のものに限定されるものではなく、例えば、対象画像においてフォーカスが合っている部分を特徴部分として検出してもよく、エッジ強度やカラーコントラストといった画像の物理的特徴に基づいて、画像中から人間の注目を集める領域を抽出し、抽出した領域を特徴部分として検出してもよい。

例えば、制御部２０１は、対象画像データが示す画像が図６に例示した画像である場合、顔や身体を検出し、人間の顔の領域Ａ１１や人間の身体の領域Ａ１２を特徴部分として検出する。また、制御部２０１は、注目を集める領域として顔の領域を検出する。

次に制御部２０１（データ生成部２００３）は、予め定められたアスペクト比のフレーム（枠）で対象画像のトリミングの構図の候補を複数決定し（ステップＳＡ２）、決定した候補を示すトリミングデータを生成する（ステップＳＡ３）。

具体的には、例えば制御部２０１は、図７に例示したように、検出した特徴部分の領域Ａ１１を中央に配置するセンタリング構図の領域Ａ２１をトリミングの構図の第１候補とする。制御部２０１は、対象画像の左上頂点を対象画像の座標の原点（０，０）とし、領域Ａ２１の左上頂点ｖ２１の座標（０．２５，０．１）と右下頂点ｖ２２の座標（０．７５，０．６）を構図の第１候補を示す情報としてトリミングデータに含める。なお、領域Ａ２１の左上頂点ｖ２１の座標の値と右下頂点ｖ２２の座標の値は、対象画像の幅および高さをそれぞれ１としてスケーリングしたときの値としている。

また、例えば制御部２０１は、図８に例示したように、注目を集める領域として検出した顔の領域を、フレーム内を縦横に三分割する仮想線の交点に配置した三分割構図である領域Ａ３１をトリミングの構図の第２候補とする。制御部２０１は、対象画像の左上頂点を画像の座標の原点（０，０）とし、領域Ａ３１の左上頂点ｖ３１の座標（０．２，０．０）と右下頂点ｖ３２の座標（１．０，０．８）を構図の第２候補を示す情報としてトリミングデータに含める。

また、例えば制御部２０１は、図９に例示したように、フレーム内に領域Ａ１１の一部を含む構図である領域Ａ４１をトリミングの構図の第３候補とする。制御部２０１は、対象画像の左上頂点を画像の座標の原点（０，０）とし、領域Ａ４１の左上頂点ｖ４１の座標（０．５，０．１）と右下頂点ｖ４２の座標（０．８，０．４）を構図の第３候補示す情報としてトリミングデータに含める。

なお、トリミングの構図の候補として、領域Ａ１２をセンタリング構図とした構図や、領域Ａ１２の一部を含む構図をトリミングの構図の候補とし、これらの構図の左上頂点の座標および右下頂点の座標をトリミングデータに含めてもよい。

図１０は、制御部２０１が生成するトリミングデータの内容の一例を示した図である。トリミングデータは、生成されるときに用いられた対象画像の情報として、対象画像のアスペクト比と、対象画像を示す対象画像データを識別する情報である画像識別情報を含み、対象画像のトリミングを行うときに画像を切り取るフレーム（枠）の情報として、フレームのアスペクト比を含む。また、トリミングデータは、上述した構図の第１候補、第２候補および第３候補の左上頂点の座標と右下頂点の座標を含む。生成されたトリミングデータは、記憶部２０２に記憶される（ステップＳＡ４）。ここで、画像識別情報は、画像毎に付加されて識別子でもよいし、ファイル管理における格納場所を示すアドレス情報であってもよい。

次に、ユーザが選択した画像に対してトリミング処理を施すときの動作例について説明する。図１１は、ユーザが選択した画像に対してトリミング処理を施すときの動作を説明するためのシーケンス図である。

ユーザは、記憶部２０２に記憶されている対象画像データが示す対象画像にトリミング処理を施す場合、情報処理端末装置１０で実行されているＷｅｂブラウザを操作し、情報処理装置２０へアクセスする（ステップＳＢ１）。

情報処理装置２０は、情報処理端末装置１０からアクセスされると、記憶部２０２に記憶されている対象画像データが示す対象画像の一覧のＷｅｂページを生成し（ステップＳＢ２）、生成したＷｅｂページのデータを情報処理端末装置１０へ送信する（ステップＳＢ３）。情報処理端末装置１０は、情報処理装置２０から送信されたデータに従って、対象画像の一覧のＷｅｂページを表示する（ステップＳＢ４）。ユーザが、表示された対象画像の一覧の中からトリミング処理を施す対象画像を選択する操作を操作部１０４で行うと（ステップＳＢ５）、制御部１０１は、ユーザが選択した対象画像を示す情報を情報処理装置２０へ送信する（ステップＳＢ６）。

制御部２０１は、ユーザが選択した対象画像を示す情報を受信する。制御部２０１は、受信した情報で特定される対象画像から生成されて記憶部２０２に記憶されているトリミングデータを取得し、さらに、取得したトリミングデータに含まれている画像識別情報に対応する対象画像データを記憶部２０２から取得する（ステップＳＢ７）。制御部２０１は、取得したトリミングデータに含まれている座標を取得し、取得した座標により特定される構図の画像を対象画像データが示す対象画像から生成する（ステップＳＢ８）。

例えば、図６に示した対象画像がユーザにより選択された場合、制御部２０１（提示部２００４）は、対象画像から生成された図１０に示すトリミングデータに含まれる座標を取得し、取得した座標で図１２（ａ）～（ｃ）に示す構図の画像を生成する。図１２（ａ）は、構図の第１候補の座標に従って生成された画像であり、図１２（ｂ）は、構図の第２候補の座標に従って生成された画像であり、図１２（ｃ）は、構図の第３候補の座標に従って生成された画像である。以下、図１２（ａ）～（ｃ）に示す画像を、説明の便宜上、候補画像と称する。制御部２０１（提示部２００４）は、候補画像を生成すると、対象画像と、生成した複数の候補画像を含み、複数の候補画像のいずれかをユーザに選択させるＷｅｂページを生成し（ステップＳＢ９）、生成したＷｅｂページのデータを情報処理端末装置１０へ送信する（ステップＳＢ１０）。この候補画像は、実際にトリミング処理した画像データでもよいが、構図だけユーザに理解されればよいため、対象画像を縮小した画像データをトリミングデータに定義された座標に基づき切り抜いた画像データでもよいし、対象画像の縮小画像に対しトリミングデータに定義された座標の領域の外側の領域をマスクする情報を縮小画像とともに送信するようにしてもよい。また、縮小画像とともにトリミングデータのみを情報処理端末装置１０に送信し、情報処理端末装置１０は受信した縮小画像とトリミングデータに基づき、候補画像を生成して表示しユーザに提示するようにしてもよい。

情報処理端末装置１０は、情報処理装置２０から送信されたデータに従って、複数の候補画像のいずれかをユーザに選択させるＷｅｂページを表示する（ステップＳＢ１１）。図１３は、候補画像をユーザに選択させるＷｅｂページの一例を示した図である。ユーザは、表示された候補画像のいずれかを選択する操作を操作部１０４で行う。ユーザが、候補画像のいずれかを選択（ステップＳＢ１２）した後、図１３に示す保存ボタンをクリックする操作を行うと、情報処理端末装置１０は、ユーザが選択した候補画像を示す情報を情報処理装置２０へ送信する（ステップＳＢ１３）。

制御部２０１は、ユーザが選択した候補画像を示す情報を受信する。制御部２０１は、ユーザが選択した候補画像を受信した情報から特定し、特定した候補画像を生成する際に使用した座標を、ステップＳＢ７で取得したトリミングデータから取得する（ステップＳＢ１４）。例えば、ユーザが選択した候補画像が図１３に示したように第２候補の画像である場合、制御部２０１は、第２候補の画像を生成するときに使用した左上頂点の座標（０．２，０．０）と右下頂点の座標（１．０，０．８）を図１０のトリミングデータから取得する。

次に制御部２０１は、ステップＳＢ７で取得した対象画像データが示す対象画像を、取得した座標でトリミング処理し（ステップＳＢ１５）、対象画像をトリミングして生成した画像を、記憶部２０２に記憶させる（ステップＳＢ１６）。このトリミング処理においいて、実際に対象画像データを選択された構図に対応したトリミングデータの座標に基づいて切り抜く処理を行ってもよい。また、対象画像に対して加工処理を行わず、選択された構図に対応したトリミングデータとともに保存するのみでもよい。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。

上述した実施形態においては、トリミングデータの生成を情報処理装置２０が行っているが、トリミングデータの生成を行う装置は情報処理装置２０に限定されるものではなく、情報処理端末装置１０がトリミングデータの生成を行ってもよい。この変形例の場合、例えば、情報処理端末装置１０は、情報処理システム１を利用するアプリケーションプログラムを記憶し、情報処理端末装置１０は、本発明に係る第１装置となり、情報処理装置２０は、本発明に係る第２装置となる。このアプリケーションプログラムを実行した制御部１０１は、図５に示した処理を実行し、記憶部１０２に記憶されている対象画像データからトリミングデータを生成する。制御部１０１は、ユーザがトリミング処理を施す対象画像データを選択する操作を行うと、ユーザが選択した対象画像データと、当該対象画像データから生成したトリミングデータを情報処理装置２０へ送信する。制御部２０１は、情報処理端末装置１０が送信した対象画像データとトリミングデータを受信する。制御部２０１は、受信した対象画像データを記憶部２０２に記憶させ、トリミングデータに含まれている画像を識別する情報のうちのひとつである格納場所の情報を、記憶部２０２における対象画像データの格納場所に更新する。

制御部２０１は、受信したトリミングデータに含まれている座標を取得し、取得した座標により特定される構図の候補画像を、受信した対象画像データが示す対象画像から生成する。制御部２０１は、候補画像を生成すると、複数の候補画像のいずれかをユーザに選択させるＷｅｂページを生成し、生成したＷｅｂページのデータを情報処理端末装置１０へ送信する。アプリケーションプログラムを実行中の制御部１０１は、情報処理装置２０から送信されたデータに従って、複数の候補画像のいずれかをユーザに選択させるＷｅｂページを表示する。ユーザが、候補画像のいずれかを選択した後、図１３に示す保存ボタンをクリックする操作を行うと、制御部１０１は、ユーザが選択した候補画像を示す情報を情報処理装置２０へ送信する。制御部２０１は、ユーザが選択した候補画像を示す情報を受信する。制御部２０１は、ユーザが選択した候補画像を受信した情報から特定し、特定した候補画像を生成する際に使用した座標を、情報処理端末装置１０から受信したトリミングデータから取得する。次に制御部２０１は、情報処理端末装置１０から受信した対象画像データが示す対象画像を、取得した座標でトリミングし、対象画像をトリミングして生成した画像を、記憶部２０２に記憶させる。
また、この変形例においては、情報処理端末装置１０は、Ｗｅｂブラウザでオンライン上の文書を編集する際に、生成したトリミングデータと対象画像の対象画像データを文書編集を行うサーバ装置へ送信し、サーバ装置は、送信されたトリミングデータと対象画像データからトリミングされた画像を生成し、生成した画像を文書に埋め込むようにしてもよい。

本発明においては、制御部２０１は、ステップＳＢ８で生成した複数の候補画像を一時的に記憶し、ユーザが選択した候補画像を示す情報をステップＳＢ１３で受信すると、受信した情報が示す候補画像を一時的に記憶している候補画像の中から取得し、取得した候補画像を、対象画像をトリミングした画像として記憶部２０２に記憶させてもよい。

上述した実施形態においては、対象画像をトリミングして得た画像は情報処理装置２０の記憶部２０２に記憶されるが、対象画像をトリミングして得た画像を情報処理端末装置１０へ送信し、情報処理端末装置１０にも記憶するようにしてもよい。

本発明においては、複数の候補画像を情報処理端末装置１０に表示させる際には、対象画像を縮小した画像の画像データと、対象画像から生成したトリミングデータを情報処理装置２０から情報処理端末装置１０へ送信し、情報処理端末装置１０は、対象画像を縮小した画像の画像データと、対象画像から生成したトリミングデータを受信し、受信した画像データが示す画像に対して、受信したトリミングデータに含まれる座標で候補画像を生成して表示してもよい。

本発明においては、候補画像を生成する方法は上述の実施形態の方法に限定されるものではなく、他の方法であってもよい。例えば、記憶部２０２は、予め定められた画像を見本画像として記憶部２０２に複数記憶する。制御部２０１は、対象画像の特徴部分と見本画像の特徴部分とを比較し、対象画像の特徴部分と同じ特徴部分を有する見本画像を特定する。例えば、制御部２０１は、図１４の見本画像があり、図６の画像が対象画像である場合、共に特徴部分として人間の顔があるため、図１４の見本画像を特定し、見本画像の構図と同じ構図の候補画像を対象画像から生成する。

具体的には、制御部２０１は、画像解析により顔の領域の位置と大きさを検出する。制御部２０１は、図１５に示すように顔の領域を正方形とし、図１５（ａ）に示す見本画像の顔の領域の１辺の長さをＬ_refとし、図１５（ｂ）に示す対象画像の顔の領域の１辺の長さをＬ_srcとする。また、制御部２０１は、見本画像の顔の領域の左上頂点ｖ５１の座標を（Ｘ_ref，Ｙ_ref）とし、対象画像の顔の領域の左上頂点ｖ５２の座標を（Ｘ_src，Ｙ_src）とし、図１５（ｃ）に示す候補画像の左上頂点の座標ｖ６１の座標を（Ｘ_ul，Ｙ_ul）とし、候補画像の右下頂点の座標ｖ６２の座標を（Ｘ_dr，Ｙ_dr）とする。

見本画像と対象画像の比率Ｎは、Ｎ＝Ｌ_src／Ｌ_refとなる。見本画像のアスペクト比がＲ_refのとき、座標ｖ６１と座標ｖ６２は、以下の式で算出される。
Ｘ_ul＝Ｘ_src－ＮＸ_ref
Ｙ_ul＝Ｙ_src－ＮＹ_ref
Ｘ_dr＝Ｎ（１＋Ｘ_ref）－Ｘ_src
Ｙ_dr＝Ｎ（１＋Ｙ_ref）－Ｙ_src

上述した実施形態においては、候補画像は対象画像の一部を切り取った画像であるが、候補画像の構図は実施形態の構図に限定されるものではない。例えば、制御部２０１は、候補画像を生成するときのフレームのサイズを対象画像より大きなものとし、対象画像より大きなサイズのフレーム内に対象画像を収めて候補画像を生成してもよい。図１６は、対象画像より大きなサイズのフレーム内に対象画像を収めて生成した候補画像の一例を示した図である。図１６に示す候補画像においては、フレームを縦および横に三分割する仮想線の交点に対象画像の特徴部分が位置した構図となっており、候補画像の左上頂点の座標ｖ７１は（－０．４，－１．０）であり、候補画像の右下頂点の座標ｖ７２は（１．２，１．０）となっている。

上述した実施形態においては、対象画像からトリミングデータを生成しているが、対象画像を縮小した画像（縮小画像）を対象にしてトリミングデータを生成してもよい。トリミング処理した候補画像も縮小画像を生成し、選択後、改めて対象画像に対してトリミング処理を施すことで処理効率が向上する。例えば、対象画像が印刷用画像や高解像度ディスプレイ用(デジタルサイネージなど)に利用する場合、または高解像度カメラで取得した画像の場合には大容量画像が使われるが、トリミングするなどのレイアウトを決める作業においては縮小画像の方が好ましい。

本発明においては、トリミングデータに対して、各候補画像の効果を示す情報を含めるようにしてもよい。例えば、図１０に示したトリミングデータにおいて、第１候補の項目に対して、「主題が明確になる」との情報を対応付けて含め、第２候補の項目に対して、「自然な印象になる」との情報を対応付けて含め、第３候補の項目に対して、「インパクトを与える」との情報を対応付けて含めてもよい。また、制御部２０１は、複数の候補画像のいずれかをユーザに選択させるＷｅｂページを生成する際に、各候補画像に対応付けて、トリミングデータに含まれている候補画像の効果を記載してもよい。

本発明においては、トリミングデータにおいて、対象画像の特徴部分の情報を含めるようにしてもよい。例えば、制御部２０１は、図６に示したように顔を特徴部分として検出した場合、特徴部分にある被写体の情報として、顔を示す「face」との情報と、特徴部分の領域Ａ１１の一辺の長さの情報として「０．２」との情報と、領域Ａ１１の左上頂点の座標の情報をトリミングデータに含める。この構成によれば、制御部２０１は、上述した変形例で対象画像と同じ被写体である見本画像を特定する際に、特徴部分の被写体の情報が同じであるトリミングデータを検索し、検索でヒットしたトリミングデータに含まれている格納場所の情報から、対象画像と同じ被写体である見本画像を取得する。

本発明においては、上述した変形例のように、対象画像の特徴部分の領域の情報をトリミングデータに含める場合、制御部２０１は、対象画像の候補画像を生成するときに、特徴部分の被写体の情報が類似するトリミングデータを検索し、検索でヒットしたトリミングデータに含まれている格納場所の情報から、対象画像と同じ被写体である見本画像の画像データを取得し、取得した画像データが示す見本画像と同じ構図の画像を対象画像から生成して候補画像としてもよい。また、この変形例においては、制御部２０１は、見本画像と同じ構図の候補画像を生成した場合、見本画像のトリミングデータに含まれている座標を用いて複数の候補画像を生成してもよい。

本発明においては、制御部２０１は、候補画像を生成する際に上述した変形例で対象画像に対する見本画像を特定し、特定した見本画像から生成したトリミングデータに含まれている座標で対象画像から候補画像を生成してもよい。また、特徴部分が類似である対象画像が複数ある場合、複数の対象画像に対して一つの見本画像を特定し、特定した見本画像から生成したトリミングデータに含まれている座標で複数の対象画像の各々から候補画像を生成してもよい。

上述した実施形態においては、ユーザが情報処理端末装置１０において行った操作に応じて選択された構図に応じて、トリミングされた画像が情報処理装置２０に記憶されるが、予めユーザが構図を設定することにより、画像データが情報処理装置２０に記憶されると、設定された構図でトリミングされた画像を記憶する構成としてもよい。

上述した実施形態においては、対象画像データが示す画像は、原画像であるが、原画像を縮小した画像であってもよい。この場合、トリミングの構図の候補を縮小された画像で提供し、ユーザに選択された構図で原画像をトリミング処理してもよい。

本発明に係る各装置のプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、インストールしてもよい。また、通信回線を介してプログラムをダウンロードしてインストールしてもよい。

１…情報処理システム、２…通信回線、１０…情報処理端末装置、２０…情報処理装置、１０１…制御部、１０２…記憶部、１０３…ディスプレイ、１０４…操作部、１０５…通信部、２０１…制御部、２０２…記憶部、２０５…通信部、２００１…取得部、２００２…検出部、２００３…データ生成部、２００４…提示部

Claims (8)

1. 原画像を取得する取得手段と、
   前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、
   前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、
   前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段と
   を備え、
   前記提示手段は、予め記憶された複数の見本画像から、前記原画像の前記特徴部分と同じ前記特徴部分を有する前記見本画像を特定し、前記特定した前記見本画像が表す領域の画像を前記原画像から生成する
   情報処理システム。
2. 前記原画像を記憶する記憶手段を有し、
   前記取得手段は、前記原画像を前記記憶手段から取得し、
   前記領域データは、前記原画像を識別する情報を含み、
   前記提示手段は、前記領域データが含む識別情報で識別される原画像から前記領域データが表す領域の画像を生成する
   請求項１に記載の情報処理システム。
3. 第１装置は、
   前記取得手段と、前記検出手段と、前記データ生成手段と、
   前記原画像及び前記領域データを送信する送信手段と
   を有し、
   第２装置は、
   前記提示手段と、
   前記送信手段から送信された前記原画像及び前記領域データを受信する受信手段と
   を有し、
   前記提示手段は、前記受信手段が受信した前記領域データが表す領域の画像を前記領域データが含む識別情報で識別される原画像から生成する
   請求項２に記載の情報処理システム。
4. 前記領域データは、それぞれ異なる複数の領域を表し、
   前記提示手段は、前記複数の領域毎に対応した画像を提示する
   請求項１に記載の情報処理システム。
5. 前記複数の領域のいずれかは、前記原画像の領域より広い領域である
   請求項４に記載の情報処理システム。
6. 前記提示手段は、前記見本画像と同じ構図の候補画像を前記原画像から生成し、前記見本画像の領域データに含まれている座標を用いて複数の候補画像を生成する
   請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 原画像を取得する取得手段と、
   前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、
   前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、
   前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段と
   を備え、
   前記提示手段は、予め記憶された複数の見本画像から、前記原画像の前記特徴部分と同じ前記特徴部分を有する前記見本画像を特定し、前記特定した前記見本画像が表す領域の画像を前記原画像から生成する
   情報処理装置。
8. コンピュータを、
   原画像を取得する取得手段と、
   前記取得手段が前記原画像を取得すると前記原画像の特徴部分を検出する検出手段と、
   前記検出手段で検出された特徴部分を含む領域を表す領域データを生成するデータ生成手段と、
   前記原画像を識別する情報を受付けると、前記原画像における前記領域データに対応する領域を表す画像をユーザに提示する提示手段
   として機能させるためのプログラムであって、
   前記提示手段は、予め記憶された複数の見本画像から、前記原画像の前記特徴部分と同じ前記特徴部分を有する前記見本画像を特定し、前記特定した前記見本画像が表す領域の画像を前記原画像から生成する
   プログラム。

Images