JPWO2013031096A1 - 画像処理装置、画像処理方法、プログラム、集積回路 - Google Patents

Abstract

画像Ｉについて、オブジェクト（人物）セグメントＯＳ１，ＯＳ２、前景セグメントＦＳ１，ＦＳ２のセグメントに分類する。そして、画像Ｉ内の構図と、画像I内の前景セグメントＦＳ１，ＦＳ２と画像Ｉ以外の画像における前景セグメントとの関係性に基づき、前景セグメントＦＳ１，ＦＳ２の重要度を算出する。

Description

本発明は、画像内からユーザにとって重要と推定される領域を特定する画像処理装置に関する。

近年は、デジタルカメラの普及や記録メディアの容量増加により、ユーザが気軽に画像を撮影できる環境となっている。

もっとも、ユーザが撮影した画像を撮影後に確認すると、ユーザが不要と思うものが写ってしまっていることはよくあることであり、画像内から必要な部分だけを切り抜きたいというニーズがある。また、アルバム作成に際して、アルバム内のあるフレームに挿入するために、そのフレームの形や大きさに合わせた大きさで画像を切抜くことが必要な場合もある。

切り抜きに関する技術としては、証明写真用の顔写真を作成するために、人物の顔や顔から胴体の首近辺の部分を画像から切り抜く技術がある（特許文献１参照）。

特開2001-307122号公報 特許第4315344号公報

Gabor特徴の情報量による重みづけマッチングを用いた顔認識、堀田 一弘（埼玉大学(日本学術振興会特別研究員)）、電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 100(34) pp.31-38 20000504 John C. Platt, Mary Czerwinski, Brent A. Field, Photo TOC: Automatic Clustering for Browsing Personal Photographs, Fourth IEEE Pacific Rim Conference on Multimedia (2003) Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. PAMI 20 (1998) 1254 - 1259 Y.Cheng. Mean Shift, mode seeking, and clustering. IEEE Trans. Pattern Anal. And Machine Intell., 17(8):790-799, 1995 Swain,M.J. and Ballard,D.H.:"Color Indexing",IJCV,7,pp.11-32(1991)

しかしながら、ユーザが重要と考える対象は、人物だけでなく、画像内の物体も含むことが多い。現状では、顔認識技術に関しては一定の精度が期待できるが、顔以外の一般物体を認識する物体認識技術に関しては精度やロバスト性の面で物足りない面がある。

このため、例えば家族とタワーとが一緒に写る画像を切り抜く場合、人物が写る部分は認識できるのに対して、物体であるタワーは認識できない状況が考えられ、物体認識技術だけを頼りに画像内の人物とタワーとの両者を含む領域を切り抜くのは困難である。

本発明は、上述の課題を鑑みてなされたものであり、物体認識技術だけに全面的に依拠せずとも、ユーザにとって重要であると推定される領域を画像の中から特定することができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割部と、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出部と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、ユーザにとって重要であると推定される領域を画像の中から特定することに貢献でき、例えば領域のトリミングにおいて適切に用いることができる。

画像処理システムのブロック図 全体フローチャート 画像取得、オブジェクト・イベント・セグメント抽出動作を示すフローチャート オブジェクトの抽出動作のフロー図 人物クラスタリングの動作の具体例を示すイメージ図 オブジェクトクラスタ情報のデータ構造を示す図 イベントの抽出動作のフロー図 イベントクラスタリングの動作の具体例を示すイメージ図 イベントクラスタ情報のデータ構造を示す図 セグメントの抽出動作のフロー図 セグメントクラスタリングの動作のフロー図 セグメントクラスタリングの動作の具体例を示すイメージ図 セグメントクラスタ情報のデータ構造を示す図 セグメント特徴量抽出の動作の具体例を示すイメージ図 セグメント特徴量のデータ構造を示す図 画像評価のフロー図 オブジェクト重要度算出の動作を示すフロー図 オブジェクト重要度のデータ構造を示す図 セグメント重要度算出の動作を示すフロー図 オブジェクトセグメントの重要度算出の動作を示すフロー図 オブジェクトセグメントの重要度算出の具体例を示すイメージ図 セグメント注目度算出の動作を示すフロー図 セグメント注目度算出の具体例を示すフロー図 前景セグメントの重要度算出の動作を示すフロー図 前景セグメントの重要度算出の具体例を示すイメージ図 背景セグメントの重要度算出の動作を示すフロー図 背景セグメントの重要度算出の具体例を示すイメージ図 セグメント重要度のデータ構造を示す図 画像トリミングの動作のフロー図 トリミング判定の動作のフロー図 トリミング判定の具体例を示すイメージ図 トリミング領域算出の動作を示すフロー図 トリミング領域算出（寄りトリミング）の具体例を示すイメージ図 トリミング領域算出（引きトリミング）の具体例を示すイメージ図 トリミング情報のデータ構造の図 トリミング中心算出の具体例を示すイメージ図 前景（背景）セグメントの重要度算出に用いる画像の選び方の具体例を示すイメージ図 画像処理システムの例を示す図 実施の形態２の概要を示す図 画像処理システムのブロック図 全体フローチャート、画像取得、オブジェクト・イベント・セグメント抽出動作を示すフローチャートを示す図 イベント統合の動作を示す図 同一人物の出現判定の具体例を示すイメージ図 撮影期間の重複判定の具体例を示すイメージ図 同一イベント判定の具体例を示すイメージ図 実施の形態３の概要を示す図 画像処理システムのブロック図 トリミング領域算出の動作を示すフロー図 トリミング中心算出の例を示す図 トリミング中心算出の例を示す図 実施の形態４の概要を示す図 実施の形態４に係る画像処理システムのブロック図 トリミング領域算出の動作を示すフロー図 トリミング中心算出の例を示す図 実施の形態５に係る画像処理システムのブロック図 （ａ）ズームイン・アウトの例を示す図、（ｂ）サムネイル作成の例を示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜構成＞
本実施の形態１は、旅行などのイベントでユーザが撮影した画像群について、各画像をいくつかのセグメントに分割し、個々の画像の特徴や個々の画像の周辺の画像の特徴から、分割したセグメント毎の評価を示す重要度を算出し、算出した重要度に基づいて、画像を切抜く手法に関するものである。

図１は、実施の形態１の画像処理システム１の原理的な構成を示すブロック図である。

画像処理システム１は、記憶媒体２、画像処理装置３およびディスプレイ４を含んで構成される。

画像処理装置３は、画像取得部１０、オブジェクト抽出部２０（オブジェクト特徴量抽出部２１、オブジェクトクラスタリング部２２を含む）、イベント抽出部３０（撮影日時情報抽出部３１、イベントクラスタリング部３２を含む）、セグメント抽出部４０（セグメント分割部４１、セグメント分類部４２、セグメント特徴量抽出部４３を含む）、画像評価部５０（オブジェクト重要度算出部５１、セグメント重要度算出部５２を含む）、画像加工部６０（判定部６１、領域算出部６２、加工実行部６３を含む）、記憶部７０（オブジェクトクラスタ情報記憶部７１、イベントクラスタ情報記憶部７２、セグメントクラスタ情報記憶部７３、セグメント特徴量記憶部７４、オブジェクト重要度記憶部７５、セグメント重要度記憶部７６、加工情報記憶部７７を含む）、表示制御部８０を備える。

以下、各ブロックについて説明するが、詳細な内容は図２以降を用いて後述するので、ここでは概略に留める。

画像取得部１０は、例えばＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカードなどの記憶媒体２から画像データを取得する。

オブジェクト特徴量抽出部２１は、画像取得部１０が取得した画像データを対象として、画像に写るオブジェクトの特徴量であるオブジェクト特徴量を抽出する。画像からオブジェクト特徴量を抽出する方法としては、Gaborフィルタによる抽出手法（非特許文献１参照）を用いることができる。なお、以下では、オブジェクトとして人の顔を例に挙げて説明する。

オブジェクトクラスタリング部２２は、抽出したオブジェクト特徴量に基づくクラスタリングを行うことでオブジェクトクラスタ情報を抽出し、抽出した情報をオブジェクトクラスタ情報記憶部７１に記憶させる。オブジェクト特徴量のクラスタリング手法については、非階層的な手法（固定されたクラスタのそれぞれに代表を与えてクラスタリングする手法）のひとつである、k-means法（非特許文献１参照）を用いることができる。

撮影日時情報抽出部３１は、画像取得部１０が取得した画像データを対象として、画像に付加する撮影日時情報を抽出する。

また、イベントクラスタリング部３２は、抽出した情報に基づくクラスタリングを行ってイベントクラスタ情報を抽出し、抽出した情報をイベントクラスタ情報記憶部７２に記憶させる。イベントのクラスタリング手法については、任意の時間を閾値として設定し、画像同士の撮影日時の差分が閾値を超えていたものを、イベントの区切りとする手法を用いることができる（非特許文献２参照）。

セグメント分割部４１は、画像取得部１０が取得した画像データを対象として、画像の特徴量抽出し、抽出した特徴量を基に画像を複数のセグメント（領域）に分割する（区分けする）。この分割手法については、平均値アルゴリズムによる画像分割手法を用いることができる（非特許文献４参照）。

セグメント特徴量抽出部４３は、画像の前景特徴量を抽出する。前景特徴量の抽出は、画像に写る色、輝度、エッジ方向、奥行き情報などの情報の少なくとも１つを用いて行うことができる。このような前景特徴量の抽出手法の一例として、Saliency Map（サリエンシーマップ）による前景抽出手法を用いることができる（非特許文献３参照）。

そして、セグメント分類部４２は、抽出された前景特徴量とオブジェクト抽出部２０で抽出されたオブジェクトクラスタ情報を用いて、分割された複数のセグメントそれぞれを、
・画像に写る人物の部分・・・オブジェクトセグメント
・画像に写る人物以外で物体が被写体となっている部分・・・前景セグメント
・画像に写る人物や物体以外の残りの部分・・・背景セグメント
の３種類のいずれかに分類し、分類結果を示す情報をセグメントクラスタ情報記憶部７３に記憶させる。

セグメント特徴量抽出部４３は、分類されたそれぞれのセグメントの特徴を示すセグメント特徴量を抽出し、抽出したセグメント特徴量を示す情報をセグメント特徴量記憶部７４に記憶させる。このセグメント特徴量を抽出する手法については、例えば、セグメント内を区分し、区分した領域における頻度の高い色特徴量を代表色として抽出し、セグメント内の代表色ヒストグラムを特徴量とする手法を用いる。色ヒストグラムは、非特許文献５に詳しい。

オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部７１に記憶されたオブジェクトクラスタ情報に基づいて、画像に写る人物などのオブジェクトの重要度を示すオブジェクト重要度を算出し、算出した情報をオブジェクト重要度記憶部７５に記憶させる。

セグメント重要度算出部５２は、記憶部７１〜７４に記憶された情報に基づいて、複数のセグメント毎に、分類されたセグメントの種類に応じた手法により重要度を算出し、算出したセグメント重要度をセグメント重要度記憶部７６に記憶させる。

画像加工部６０は、画像の特定の領域が注目されるような加工を行う。本実施の形態では、この加工はトリミングであるとして説明する。

判定部６１は、２種類用意されたトリミングの手法（「寄りトリミング」と「引きトリミング」）のいずれを採用するかを判定する。

領域算出部６２は、判定されたトリミングの種類に応じた手法にしたがって、各セグメントの種類や各セグメントの重要度を基に、画像内の切り抜きする領域を算出し、算出した領域を示す情報を加工情報記憶部７７に記憶させる。

加工実行部６３は、算出された領域に従って、画像のトリミングを行う。

記憶部７０は、各記憶部７１〜７７を含んでおり、例えばRAMから構成される。

表示制御部８０は、ディスプレイ４の表示制御を行う。
＜動作＞
次に、画像をトリミングする全体的な流れについて説明する。

図２に示すように、画像処理装置３は、画像取得、オブジェクト・イベント・セグメント抽出（Ｓ２１）、画像評価（Ｓ２２）を行い、画像トリミング（Ｓ２３）で処理を終える。

図２の画像取得、オブジェクト・イベント・セグメント抽出（Ｓ２１）について、図３を用いて説明する。

図３に示すように、画像取得、オブジェクト・イベント・セグメント抽出の処理では、画像取得部１０は、記憶媒体２から、記憶媒体２内に記憶された画像データを取得する（Ｓ３１）。

続いて、オブジェクト抽出部２０は、取得された画像データを対象として、画像から人物のオブジェクトを抽出する（Ｓ３２）。

次に、イベント抽出部３０は、取得された画像データを対象として、画像が属するイベントを抽出する（Ｓ３３）。

そして、セグメント抽出部４０は、取得された画像データを対象として、画像を分割したセグメントを抽出する（Ｓ３４）。

オブジェクト抽出（Ｓ３２）の処理について、図４を用いて説明する。オブジェクト特徴量抽出部２１は、画像に写る顔の領域を切り出し、顔の位置や大きさなどの顔特徴量を抽出する（Ｓ４１）。次に、オブジェクトクラスタリング部２２は、抽出された顔特徴量を用いてクラスタリングを行い、クラスタリングした結果であるオブジェクトクラスタ情報をオブジェクトクラスタ情報記憶部７１に記憶させる（Ｓ４２）。

図５を用いて、Ｓ４１、Ｓ４２の動作を具体的に説明する。

オブジェクト特徴量抽出部２１は、３枚の画像Ａ〜画像Ｃ（図５（ａ））から４つの顔Ｆ１〜Ｆ４を切り出し（Ｓ５１）、顔Ｆ１〜Ｆ４それぞれの特徴量を抽出する（図５（ｂ））。

そして、オブジェクトクラスタリング部２２は、４つの顔Ｆ１〜Ｆ４のうち、類似している顔同士の顔Ｆ２、Ｆ３を人物ａとして、また顔Ｆ１、Ｆ４を人物ｂとクラスタリングする（Ｓ５２）（図５（ｃ））。

図６は、オブジェクトクラスタリング（Ｓ４２）の結果を示すオブジェクトクラスタ情報のデータ構造を示す図である。オブジェクトクラスタ情報は、画像に出現する顔のそれぞれがどの人物クラスタに属しているかを示す情報であり、「クラスタID」、「顔ID」、「画像ID」、「顔の位置(X,Y)」「顔の大きさ(W,H)」の項目を含む。

イベント抽出（Ｓ３３）の処理について、図７を用いて説明する。撮影日時情報抽出部３１は、画像の撮影時に付与された撮影日時情報を抽出する（Ｓ７１）。次にイベントクラスタリング部３２は、抽出された撮影日時情報を用いて、クラスタリングを行い、クラスタリングした結果であるイベントクラスタ情報をイベントクラスタ情報記憶部７２に記憶させる（Ｓ７２）。

図８を用いて、Ｓ７１、Ｓ７２の動作を具体的に説明すると、撮影日時抽出部３１は、４枚の画像Ａ〜画像Ｄ（図８（ａ））からそれぞれ撮影日時を抽出する（Ｓ８１）（図８（ｂ））。撮影日時の抽出方法としては、例えばデジタルカメラ等で撮影された画像に付与されるExif（Exchangeable image file format）情報から撮影日時を抽出することができる。そして、イベントクラスタリング部３２は、４つの撮影日時の内、日時が近い画像同士の画像Ａ，Ｂをイベントｆとして、また画像Ｃ，Ｄをイベントｇとクラスタリングする（Ｓ８２）（図８（ｃ））。

図９は、イベントクラスタリング（Ｓ７２）の結果を示すイベントクラスタ情報のデータ構造を示す図である。イベントクラスタ情報は、画像がどのイベントクラスタに属しているかを示す情報であり、「クラスタID」、「画像ID」、「撮影日時」の項目を含む。

次にセグメント抽出（Ｓ３４）の詳細について、図１０を用いて説明する。セグメント分割部４１は、画像のエッジ特徴量を抽出し（Ｓ１０１）、抽出したエッジ特徴量から画像を複数のセグメント（領域）に分割する（Ｓ１０２）。次に、セグメント分類部４２は、分割されたセグメントをオブジェクト・前景・背景の３種類に分類する（Ｓ１０３）。そして、分類されたセグメントの画像特徴量を抽出し、抽出した特徴量をセグメント特徴量記憶部７４に記憶させる（Ｓ１０４）。

セグメントクラスタリング（Ｓ１０３）の処理について、図１１を用いて説明する。セグメント分類部４２は、オブジェクトクラスタ情報記憶部７１からオブジェクト情報を取得し（Ｓ１１１）、オブジェクト情報に含まれる顔の位置や大きさから、胴体の位置や大きさを推定して、顔と胴体からなる人物の範囲を推定する。そして、推定された範囲に含まれる領域を、オブジェクトセグメントとして分類する（Ｓ１１２）。

続いて、画像の前景特徴量を抽出し（Ｓ１１３）、オブジェクトセグメントに分類されなかった領域で前景特徴量が抽出された領域を前景セグメントとして分類する（Ｓ１１４）。

そして、分類されなかった残りの領域を背景として背景セグメントとして分類する。このように、画像内の複数のセグメントそれぞれをオブジェクト・前景・背景のいずれかのセグメントに分類し、分類結果を示すセグメントクラスタ情報をセグメントクラスタ情報記憶部７３に記憶させる（Ｓ１１５）。

図１２の画像Ｅの例を用いて、Ｓ１１２〜Ｓ１１５の動作を具体的に説明すると、セグメント分類部４２は、画像Ｅからエッジ特徴量を抽出し、画像をセグメントで区分する（Ｓ１２１）。次に、画像Ｅに写る顔を検出する（Ｓ１２２）。検出された顔の位置と大きさで、セグメントで区分した画像の中で、顔と胴体を含む領域を含むセグメントを推定し、推定されたセグメントをオブジェクトセグメントとして分類する（Ｓ１２３）。ここでは一例として、画像Ｅに写る母と息子の顔と胴体の領域にあたるセグメントをオブジェクトセグメントＯＳ１，ＯＳ２として分類している。次に、画像Ｅから前景特徴量を抽出する（Ｓ１２４）。図１２（ａ）の右上の図は、Saliency Mapを示し、人物と灯台とが前景部分として薄白く抽出されている様子を示している。

続いて、セグメント分類部４２は抽出した前景特徴量に基づいて、セグメントで区分した画像の中で、前景を含むセグメントを推定し、推定されたセグメントを前景セグメントとして分類する（Ｓ１２５）。

画像Ｅの例では、前景部分は２人の人物と灯台とを含んでいるが、２人の人物はオブジェクトセグメントＯＳ１，ＯＳ２として分類済みなので、灯台が写る部分を前景セグメントＦＳ１として分類している。

そして、オブジェクトセグメントＯＳ１，ＯＳ２および前景セグメントＦＳ１に分類されなかった残りのセグメントを、背景セグメントＢＳとして分類する（Ｓ１２６）。図１２（ａ）の右下部分には、背景セグメントをまとめてＢＳとして示したが、図１２（ｂ）に示すように、実際には８個の背景セグメントＢＳ１〜ＢＳ８に細分化されている。

図１３は、セグメントクラスタリング（Ｓ１０３）の結果を示すセグメントクラスタ情報のデータ構造を示す図である。セグメントクラスタ情報は、画像に含まれる領域のそれぞれがどの種類のセグメントに属しているかを示す情報であり、「画像ID」、セグメントの種類を示す「セグメント分類」、セグメントを一意に特定するための「セグメントID」、セグメントの位置や大きさを示す「セグメント情報」の項目を含む。

図１４を用いて、Ｓ１０４の動作を具体的に説明すると、セグメント特徴量部抽出部４３は、ひとつのセグメントを抽出の対象に特定し（Ｓ１４１）、特定したセグメントの領域を格子状に区分けし、各区分において最も頻出する色をその区分の代表色として抽出し、抽出した代表色のヒストグラムをセグメント特徴量として算出する（Ｓ１４２）。ここでは一例として、画像Ｅ（図１４（ａ））から、ひとつのオブジェクトセグメントＯＳ１を抽出の対象に特定し、ＯＳ１の領域を３２個に区分して、各区分の代表色（黒・白・赤・緑・青）のヒストグラムを算出している（図１４（ｃ））。このようにして、セグメント特徴量部抽出部４３は、画像Ｅの１１個の各セグメントＯＳ１，ＯＳ２，ＦＳ１，ＢＳ１〜ＢＳ８それぞれの特徴量を抽出する。

図１５は、セグメント特徴量抽出（Ｓ１０４）の結果を示すセグメント特徴量のデータ構造を示す図である。セグメント特徴量は、画像のセグメントの色合いを示す情報であり、「セグメントID」、「黒・白・赤・緑・青」などの項目を含む。

図２に戻って説明を続ける。次に、画像評価（Ｓ２２）の処理について、図１６を用いて説明する。オブジェクト重要度算出部５１は、画像に写るオブジェクトの重要度を算出するオブジェクト重要度を算出し（Ｓ１６１）、次にセグメント重要度算出部５２は、画像内のセグメントの重要度を算出する（Ｓ１２）。

図１７を用いて、オブジェクト重要度を算出する処理（Ｓ１６１）について、説明する。オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部７１からオブジェクトクラスタ情報を取得する（Ｓ１７１）。

オブジェクト重要度算出部５１は、取得されたオブジェクトクラスタ情報に基づいて、オブジェクトクラスタ毎に、
（Ａ）そのオブジェクトクラスタに属するオブジェクトが写る画像の枚数
を求め、これを
（Ｂ）全画像枚数
で除することにより（Ａ／Ｂ）、オブジェクトの出現頻度を求めこれをオブジェクトの重要度として算出する。そして、算出したオブジェクト重要度をオブジェクト重要度記憶部７５に記憶させる（Ｓ１７２）。

例えば、２枚の画像に同一のオブジェクトクラスタに属する人物Ｘが写っていた場合、
人物Ｘの出現頻度は２であり、人物Ｘのオブジェクト重要度も２となる。これは、ユーザが重要なオブジェクトを頻繁に撮影する傾向から考慮されたものであり、全ての画像において出現頻度が高いオブジェクトを重要と考える。

図１８は、オブジェクト重要度算出の結果を示すオブジェクト重要度のデータ構造を示す図である。オブジェクト重要度は、画像に写るオブジェクトの重要度を示す情報であり、「人物」「オブジェクト重要度」「順位」の項目を含む。ここでは一例として、画像に写る人物ａと人物ｂそれぞれのオブジェクト重要度１．０と０．６７、そしてその重要度による順位を記憶している。

図１６のセグメント重要度算出（Ｓ１６２）の詳細について説明する。

図１９に示すように、セグメント重要度算出部５２は、画像に含まれるオブジェクトセグメントの重要度を算出し（Ｓ１９１）、続いて画像に含まれる前景・背景セグメントの注目度を算出する（Ｓ１９２）。次に、算出した前景セグメントの注目度に基づいて、前景セグメントの重要度を算出し（Ｓ１９３）、続いて背景セグメントの重要度を算出する（Ｓ１９４）。

注目度とは、重要な人物と重要な被写体とが点対称となる位置関係で撮影しがちなユーザの傾向を前提とした画像の重要度を算出する為の１つの要素である。注目度は、画像における人物と前景（物体）との位置関係から算出されるものであり、その算出処理は図２２を用いて後述する。

オブジェクトセグメントの重要度算出（Ｓ１９１）の処理について、図２０を用いて説明する。セグメント重要度算出部５２は、オブジェクトクラスタ情報記憶部７１からオブジェクトクラスタ情報とオブジェクト重要度情報記憶部７１からオブジェクト重要度とセグメントクラスタ情報記憶部７３からオブジェクトセグメントに関するセグメントクラスタ情報を取得し（Ｓ２０１）、オブジェクトセグメントに含まれる人物の重要度をオブジェクトセグメントの重要度として算出する（Ｓ２０２）。

図２１を用いて、Ｓ２０２の動作を具体的に説明する。セグメント重要度算出部５２は、画像からＳ３２で抽出された顔（オブジェクト）の全画像において出現した頻度を算出し、算出した頻度を正規化することで、画像内の各オブジェクトセグメントの重要度を算出する（Ｓ２１１）。ここでは一例として、画像Ｅ、Ａ、Ｃ（図２１（ａ））から、画像Ｅ内に写る人物Ａ、人物Ｂをそれぞれオブジェクトセグメント１（ＯＳ１）、オブジェクトセグメント２（ＯＳ２）と分類する。次に、オブジェクトセグメントＯＳ１，ＯＳ２の重要度をそれぞれ人物Ａ、Ｂの出現頻度を正規化した値で算出する（図２１（ｂ））。

次に図１９のセグメント注目度算出（Ｓ１９２）について、説明する。

図２２に示すように、セグメント重要度算出部５２は、セグメントクラスタ情報記憶部７３からセグメント情報とセグメント重要度記憶部７６からセグメント重要度を取得し（Ｓ２２１）、取得したセグメント情報とセグメント重要度に基づいて、注目位置を算出し（Ｓ２２２）、算出した注目位置に基づいて、画像内の前景・背景セグメントのセグメント注目度を算出する（Ｓ２２３）。

図２３を用いて、Ｓ２２２、Ｓ２２３の動作を具体的に説明すると、セグメント重要度算出部５２は、画像からオブジェクトセグメントの中心位置と重要度から重心を算出し（Ｓ２３１）、算出された重心と画像の中心位置から、重心と点対称の注目位置を算出する（Ｓ２３２）。そして、算出した注目位置とオブジェクトセグメント以外のセグメントの距離とオブジェクトセグメントの重要度の平均から、セグメント注目度を算出する（Ｓ２３３）。ここでは一例として、画像Ｅ（図２３（ａ））に基づいて、
・人物ＡのオブジェクトセグメントＯＳ１の中心位置Ｃ１
・人物ＢのオブジェクトセグメントＯＳ２の中心位置Ｃ２
を求める。

そして、（Ｃ１の座標×ＯＳ１の重要度＋Ｃ２の座標×ＯＳ２の重要度）／（ＯＳ１の重要度＋ＯＳ２の重要度）を求めることにより、重心Ｇの座標を算出する（図２３（ｂ））。

次に、画像Ｅの中心点を中心としたときの、重心Ｇの点対称となる位置を注目位置Ｐとする（図２３（ｃ））。

また、灯台の前景セグメントＦＳ１の中心位置Ｃ３を求め、注目位置Ｐと中心位置Ｃ３との距離を基にＦＳ１のセグメント注目度を算出する（図２３（ｄ））。上述のように重要な人物に対して点対称となる位置にある被写体は撮影したユーザが重要と考えるものと推定されるので、この注目位置Ｐにより近い前景（背景）セグメントほど、セグメント注目度を高く評価する。

次に、図１９の前景セグメントの重要度算出（Ｓ１９３）について説明する。

図２４に示すように、セグメント重要度算出部５２は、各記憶部７２〜７３，７６からイベントクラスタ情報、セグメントクラスタ情報、セグメント特徴量、セグメント注目度、撮影日時情報を取得する（Ｓ２４１）。

そして、セグメント重要度算出部５２はイベントクラスタ情報を参照して、前景セグメントの重要度を算出する対象画像と同じイベントに属する他の画像を特定し、対象画像と他の画像の特徴量の類似度を算出する（Ｓ２４２）。そして、撮影日時情報から対象画像と他の画像との撮影間隔の算出を行う（Ｓ２４３）。

続いてセグメント重要度算出部５２は、Ｓ２４２で算出された類似度とＳ２４３で算出された撮影間隔から前景共起度を算出する（Ｓ２４４）。このＳ２４２〜Ｓ２４４の処理を、あるひとつのイベントに含まれる対象画像と対象以外の全ての画像とを用いて行い、算出された全ての前景共起度から、対象画像の前景セグメントの重要度を算出し、セグメント重要度記憶部に記憶させる（Ｓ２４５）。

「前景共起度」とは、重要な被写体をユーザは短期間で何度も撮影する傾向を前提とした、画像の重要度を算出するための１つの要素であり、対象画像と同じイベントに属する他の画像（周辺画像）に写る画像の前景との関係から算出される。

図２５を用いて、Ｓ２４２〜Ｓ２４５の動作を具体的に説明すると、セグメント重要度算出部５２は、対象画像から抽出した前景セグメントと対象画像の前後の画像から抽出した前景セグメントとでセグメント特徴量の類似度を算出する。算出した類似度で最も高かった前景セグメントの類似度と注目度と前後の画像と対象画像との撮影間隔から、対象画像の前景セグメントの共起度を算出する。

ここでは一例として、画像Ｆ、Ｅ、Ｇ（図２５（ａ））から、前景セグメントＦＳ１、ＦＳ２、ＦＳ３を抽出し、画像Ｅの前景セグメントＦＳ２と前後の画像Ｆ、Ｇの前景セグメントＦＳ１、ＦＳ３との類似度を算出する。

次に、前後の画像で最も類似度が高い前景セグメントを選別する。ここでは、前景セグメントＦＳ１、ＦＳ３である。そして、選別された前景セグメントの類似度と注目度と対象画像との撮影間隔の三者をそれぞれ１を加算した上で掛け合わせ、対象画像の前景セグメントＦＳ２の共起度を算出する（Ｓ２５１）。ここでは、画像Ｅの前景セグメントＦＳ２の共起度は、５．４３である。なお、撮影間隔は、０〜１の範囲であり、１に近いほど撮影間隔が近いことを示す。また、類似度は、０〜１の範囲であり、１に近いほどよく似ていることを示す。

最後に、セグメント重要度算出部５２は、共起度５．４３と、注目度０．７に１を加算した値とを掛け合わせ、得られた値９．２３を、前景セグメントＦＳ２の重要度として出力する（Ｓ２５２）。

このような計算により、撮影間隔がより短い画像であったり、セグメント特徴量がより類似した前景を含んでいたりするほど、より重要な前景セグメントとして評価されることとなる。

図２５（ｄ）の計算式の例は一例であり、上述のように重要な被写体をユーザは短期間で何度も撮影する傾向を反映できるような計算式であれば、これに限られない。つまり、重要度を算出する対象の前景セグメントが、前後の画像における前景セグメントと類似しているほど、かつ（または）、前後の画像との撮影間隔が近いほど、その前景セグメントの重要度を高く算出できるような計算式であれば足りる。また、撮影間隔の要素については必須ではなく、用いない場合も考えられる。

図１９の背景セグメントの重要度算出（Ｓ１９４）について、図２６を用いて説明する。

セグメント重要度算出部５２は、各記憶部などからイベントクラスタ情報、セグメントクラスタ情報、セグメント特徴量、前景セグメントの重要度、撮影日時情報を取得する（Ｓ２６１）。

そして、セグメント重要度算出部５２はイベントクラスタ情報を参照して、前景セグメントの重要度を算出する対象画像と同じイベントに属する他の画像を特定し、対象画像と他の画像の特徴量の類似度を算出する（Ｓ２６２）。

そして、撮影日時情報から対象画像と他の画像との撮影間隔の算出を行う（Ｓ２６３）。

続いてセグメント重要度算出部５２は、Ｓ２６２で算出された類似度とＳ２６３で算出された撮影間隔から背景共起度を算出する（Ｓ２６４）。

このＳ２６２〜Ｓ２６４の処理を、あるひとつのイベントに含まれる対象画像と対象以外の全ての画像とを用いて行い、算出された全ての前景共起度から、対象画像の前景セグメントの重要度を算出し、セグメント重要度記憶部に記憶させる（Ｓ２６５）。

図２７を用いて、Ｓ２６２〜Ｓ２６５の動作を具体的に説明すると、セグメント重要度算出部５２は、対象画像から抽出した背景セグメントと対象画像の前後の画像から抽出した背景セグメントとでセグメント特徴量の類似度を算出する。

そしてセグメント重要度算出部５２は、算出した類似度で最も高かった背景セグメントの類似度と注目度と前後の画像と対象画像との撮影間隔から、対象画像の背景セグメントの共起度を算出する。

ここでは一例として、画像Ｆ，Ｅ，Ｇ（図２５（ａ））から、画像Ｆは６個、画像Ｅは７個、画像Ｇは６個の背景セグメントを抽出する（Ｓ２７１，図２５（ｂ））。そして、画像Ｅの６個の背景セグメントの中から、背景セグメントが未算出な背景セグメントＢＳ２を算出対象として決定する。そして、画像Ｆ，Ｇのそれぞれの背景セグメントの中から、この背景セグメントＢＳ２と最も類似度の高い背景セグメントＢＳ１，ＢＳ３を選別する（Ｓ２７２）。そして、ＢＳ２とＢＳ１の類似度、ＢＳ２とＢＳ３の類似度を求める。

求められた類似度と注目度と対象画像との撮影間隔を掛け合わせ、対象画像の背景セグメントＢＳ２の共起度を算出する。ここでは、画像Ｅの背景セグメントＢＳ２の共起度は、０．５２である。

最後に、セグメント重要度算出部５２は、共起度５．４３と、注目度０．７に１を加算した値とを掛け合わせ、得られた値９．２３を、背景セグメントＢＳ２の重要度として出力する（Ｓ２７３）。

なお、画像Ｅには６個の背景セグメントがあるので、セグメント重要度算出部５２は、残りの５個の背景セグメントについても同様に背景セグメントの重要度を算出することとなる。

また、図２７の計算方法は一例であり、上で述べた前景セグメントの重要度と同様な変形例が考えられる。

図２８は、セグメント重要度算出（Ｓ１６２）の結果を示すセグメント特徴量のデータ構造を示す図である。セグメント重要度は、画像のオブジェクト・前景・前景セグメントの重要度を示す情報であり、「画像ID」、「セグメント分類」、「注目度」、「共起度」、「セグメント重要度」などの項目を含む。

次に、図２の画像トリミング（Ｓ２３）について、図２９を用いて説明する。判定部６１は、トリミング判定を行い（Ｓ２９１）、判定されたトリミングの種類に応じて、トリミング領域を算出する（Ｓ２９２）。

図３０を用いて、トリミング判定する処理（Ｓ２９１）について、説明する。判定部６１は、セグメントクラスタ情報記憶部７３からセグメント情報を取得する（Ｓ３０１）。

そして、セグメント情報に示されるセグメントの種類や各セグメントの領域の大きさに基づいて、トリミングをする対象画像と前後に撮影された画像とのオブジェクト・前景セグメントの領域の大きさの変化度を算出し（Ｓ３０２）、算出された変化度から、「寄りトリミング」か「引きトリミング」のいずれかを判定し、加工情報記憶部７７に記憶させる（Ｓ３０３）。

ここで、寄りトリミングとは、重要度の高いオブジェクトと前景の領域を切り出すものである。引きトリミングとは、重要度の高いオブジェクト、前景および背景の領域を切り出すものである。

図３１を用いて、Ｓ３０２〜Ｓ３０３の動作を具体的に説明すると、判定部６１は、対象画像から抽出したオブジェクト・前景の画像を占める割合（以降、占有度とする）と対象画像の前後の画像から抽出したオブジェクト・前景の占有度の差分から変化度を算出し、算出した変化度の値に応じてトリミングの種類を判定する。ここでは一例として、画像Ｈ、Ｅ（図３１（ａ））から、オブジェクトとして人物ＡＢと前景Ａを抽出する（Ｓ３１１）。次に、各画像で抽出したオブジェクト・前景の占有度を算出する。この場合、画像ＨとＥのオブジェクトの占有度は０．１３、０．２３となる。また、画像ＨとＥの前景の占有度は０．１３、０．１５となる。次に、対象画像Ｅのオブジェクトと前景の占有度から前の画像Ｈのオブジェクトの占有度を差し引いて変化度を算出する。この場合、オブジェクトの変化度は０．１となり、前景の変化度は０．０２となる。そして、オブジェクトと前景の変化度を合わせた全体の変化度０．１２を算出する（Ｓ３１２）。

この結果、前の画像から対象画像にかけて、オブジェクトと前景が大きくなること（変化度が正数であること）から、寄りトリミングと判定する。

なお、前の画像から対象画像にかけてオブジェクトが小さくなる場合は、引きトリミングと判定する。

なお、図３１の例では、計算を簡単にするために顔の領域を人物の領域の大きさとして用いているが、胴体をも含めた領域を用いても構わない。

次に図２９のトリミング領域算出（Ｓ２９２）について、図３２を用いて説明する。領域算出部６２は、セグメントクラスタ情報記憶部７３からセグメントクラスタ情報とセグメント重要度記憶部７６からセグメント重要度と加工情報記憶部７７からトリミング情報を取得する（Ｓ３２１）。次に、取得したセグメントクラスタ情報とセグメント重要度から、画像内のオブジェクト・前景・背景セグメントのそれぞれで重心を算出する（Ｓ３２３）。

トリミング判定（Ｓ２９１）が寄りトリミングの場合、
・オブジェクトセグメントの中心
・前景セグメントの中心
からトリミング中心を算出する。

トリミング中心は、各セグメントの中心位置の座標値と、それぞれの重要度を重みとして考慮することで求められる。図３６に例を示す。

図３６の例では、
トリミング中心ＴのＸ座標＝[（OS1の重要度 × x1）＋（OS2の重要度 × x2）＋（OS3の重要度 × x3）]／[（OS1の重要度）＋（OS2の重要度）＋（OS3の重要度）]
であり、
トリミング中心ＴのＹ座標＝[（OS1の重要度 × y1）＋（OS2の重要度 × y2）＋（OS3の重要度 × y3）]／[（OS1の重要度）＋（OS2の重要度）＋（OS3の重要度）]
となる。

トリミング判定（Ｓ２９１）が引きトリミングの場合、
・オブジェクトセグメントの中心
・前景セグメントの中心
・背景セグメントの中心
からトリミング中心を算出する（Ｓ３２３）。トリミング中心を算出のやり方は、寄りトリミングと同様である。

そして、寄りトリミングの場合、領域算出部６２は、オブジェクト・前景セグメントのそれぞれで最も重要度が高いセグメントが含まれるトリミング領域を算出する。

これに対して、引きトリミングの場合、領域算出部６２は、オブジェクト・前景・背景セグメントのそれぞれで最も重要度が高いセグメントが含まれるトリミング領域を算出する。

そして、領域算出部６２はトリミングの種類、トリミング領域の位置を加工情報記憶部７７に記憶させる（Ｓ３２４）。

Ｓ３２２〜Ｓ３２４の動作を具体的に説明する。

図３３を用いて寄りトリミングの例を説明する。

領域算出部６２は、まず対象画像から抽出したすべてのオブジェクトと前景セグメントの中心位置と重要度からトリミング中心を算出する。次に、算出したトリミング中心を中心に、オブジェクトと前景セグメントの中でそれぞれで最も重要度が高いセグメントが含まれる領域をトリミング領域として算出する。

ここでは一例として、画像Ｉ（図３３（ａ））から、オブジェクトセグメントＯＳ１、ＯＳ２と前景セグメントＦＳ１、ＦＳ２を抽出する（図３３（ｂ））。

次に、抽出したＯＳ１、ＯＳ２、ＦＳ１、ＦＳ２の中心位置と重要度からトリミング中心を算出する（図３３（ｃ））。そして、算出したトリミング中心を中心として、オブジェクトセグメントで最も重要度が高いＯＳ１と前景セグメントで最も重要度が高いＦＳ１が含まれる領域を算出する（図３３（ｄ））。

図３４を用いて引きトリミングの例を説明する。

領域算出部６２は、まず対象画像から抽出したすべてのオブジェクトセグメントと前景セグメントと背景セグメントの中心位置と重要度からトリミング中心を算出する。次に、算出したトリミング中心を中心に、オブジェクトセグメントの中で最も重要度が高いものと前景セグメントの中で最も重要度が高いものと背景セグメントの中で最も重要度が高いものが含まれる長方形の領域を、トリミング領域として算出する。

ここでは一例として、画像Ｊ（図３４（ａ））から、オブジェクトセグメントＯＳ１、ＯＳ２と背景セグメントＢＳ１〜ＢＳ７を抽出する（図３４（ｂ））。次に、抽出したＯＳ１、ＯＳ２、ＢＳ１〜ＢＳ７の中心位置と重要度から重心を算出する（図３４（ｃ））。そして、算出した重心を中心として、オブジェクトセグメントで最も重要度が高いＯＳ１と背景セグメントで最も重要度が高いＢＳ２が含まれる領域を算出している（図３４（ｄ））。

図３５は、トリミング領域算出（Ｓ２９２）の結果を示すトリミング情報のデータ構造を示す図である。トリミング情報は、「画像ID」、「トリミング種類」、「トリミング中心（Ｘ，Ｙ）」、「トリミングサイズ（Ｗ，Ｈ）」などの項目を含む。

加工実行部６３は、このトリミング情報に基づいて、画像のトリミングを実行することとなる。

本実施の形態で説明した画像処理装置によれば、一の画像内における領域同士の関係性、および前記一の画像と他の画像それぞれの領域同士の関係性に基づいて、オブジェクトセグメントおよび前景セグメントの重要度を算出する。これにより、物体認識技術に依拠せずとも、ユーザにとって重要であると推定される物体の領域を切り抜くことに貢献できる。
（実施の形態２）
本実施の形態は、ＳＮＳ（ソーシャルネットワークサービス）や画像共有サービスなどのサービスによりネットワーク上で共有された画像群から画像を取得することで、評価対象の画像の増加を図り、評価結果の信頼性を高めようとするものである。

つまり、あるユーザＡが旅行先で撮影した画像の数が非常に少ない場合、実施の形態１で説明した手法を用いたとしても、画像数が少ないため、ユーザＡにとって印象的だった背景（風景）・前景が写る画像が評価されないことがある（図３９（ａ）参照）。

そこでユーザＡの友人であるユーザＢが撮影しソーシャルネットワーク上にアップロードしている画像も評価対象として用いる（図３９（ｂ）参照）。これにより、ユーザにとって印象的な背景（風景）・前景が写る画像をより適切に評価できるようにする。

図４０は、実施の形態２の画像処理システム１ａを示すブロック図である。

画像処理装置３ａの画像取得部１０ａは、記憶媒体２から画像を取得する。また、予めユーザからＳＮＳのユーザネームを受け付けており、そのユーザネームを用いＳＮＳのＡＰＩ（Application Program Interface）にしたがってＳＮＳサーバ２ａからも画像を取得する。なお、ＳＮＳのＡＰＩによっては、上記取得は、サインインなどの認証（Authentication）を伴うこともある。

イベント統合部９０は、同一イベント判定部９１において、ＳＮＳサーバ２ａから取得した画像のイベントと、イベントクラスタ情報記憶部７２でクラスタリング済みのイベントとの同一性を判定する。そして、イベント統合部９０は、判定結果に基づいて両イベントを統合する。これらの詳細は図４２を用いて後述する。

図４２中、図１と同じ符号を付したブロックは、図１を用いて説明したものと同様なので説明を省略する。

＜動作＞
図４１の左側は全体フローチャートであり、右側は画像取得、オブジェクト・イベント・セグメント抽出動作を示すフローチャートである。

全体フローチャートは、図２と比べると、画像取得、オブジェクト・イベント・セグメント抽出（Ｓ４１１）の処理内容と、イベント統合（Ｓ４１２）の処理が追加された点が異なる。

画像取得、オブジェクト・イベント・セグメント抽出の処理では、画像取得部１０は、記憶媒体２から、記憶媒体２内に記憶された画像データを取得する。また、画像取得部１０は、ＳＮＳサーバ２ａからもＡＰＩを利用して画像を取得する（Ｓ４１１１）。

例えば、画像取得部１０は、ＳＮＳのユーザネームであるユーザＡを用いて、ＳＮＳサーバ２ａからユーザＢ（ユーザＡの友人）の画像を取得する。

以降の処理（Ｓ３２，Ｓ３３，Ｓ３４）は、実施の形態１で説明した処理と基本的には同様であるが、イベントの抽出処理（Ｓ３３）では、記憶媒体２から取得した画像と、ＳＮＳサーバ２ａから取得した画像とを分けて処理を行う。

イベント統合処理（Ｓ４１２）では、図４２に示すように、イベント統合部９０は、セグメント特徴量記憶部７４からセグメント毎のセグメント特徴量を取得し、また、イベントクラスタ情報記憶部７２からイベントクラスタ情報を取得する（Ｓ４２１）。

続いて、イベント統合部９０は、イベントクラスタ情報を参照して、記録媒体２から取得した画像のイベントと、ＳＮＳサーバ２ａから取得した画像のイベント（ソーシャルのイベント）の２つのイベントを設定し（Ｓ４２２）、設定したイベントの同一性を判定し（Ｓ４２３）、これらの処理を、取得経由の異なる２種類のイベントについての全ての組合せが完了するまで繰り返す（Ｓ４２４）。

例えば、記憶媒体２から取得した画像は、２種類のイベント（イベントａ，イベントｂ）に分けられ、ＳＮＳサーバ２ａから取得した画像は、１種類のイベントＡに分けられていることを、ステップＳ４２１で取得したイベントクラスタ情報が示すとする。このとき、イベント統合部９０は、まず、イベントａとイベントＡとを設定し（Ｓ４２２）、両イベントの同一性を判定する（Ｓ４２３）。続いて、イベントｂとイベントＡとを設定し（Ｓ４２２）、両イベントの同一性を判定し（Ｓ４２３）、処理を終える（Ｓ４２４：Ｙｅｓ）。

続いて、同一イベント判定処理について説明する。同一イベント判定部９１は、設定された２つイベントのうち、一方のイベントに属する画像のセグメント特徴量と、他方のイベントに属する画像のセグメント特徴量とを比較して、両イベントに同一人物が出現しているか（写っているか）どうかを判定する（Ｓ４２３１）。

図４３に、この判定の具体例を示す。同一イベント判定部９１は、記録媒体２から取得した画像についてのイベントａと、ＳＮＳサーバ２ａから取得した画像についてのイベントＡとのそれぞれの画像から人物を抽出し、両イベントに同一の人物が出現しているか否かを判定する。図４３の例では、イベントａ（Ａさんの旅行写真）とイベントＡ（ＳＮＳ上のＢさんの旅行写真）に写る人物を抽出し、両イベントに人物Ａが写っていることが分かる。

また、同一イベント判定部９１は、一方のイベントの撮影期間と、他方のイベントの撮影期間との重複度合いを判定する（Ｓ４２３２）。

図４４に、この判定の具体例を示す。同一イベント判定部９１は、イベントａとイベントＡとから最古の撮影日時と最新の撮影日時（撮影期間）を抽出し、両イベントが重複するか否かを判定する。図４４の例では、イベントａとイベントＡとで2000/09/01 8:30から2000/09/01 15:30までの期間が重複していることがわかる。

これらの判定結果（同一人物の出現の有無、撮影期間の重複度合いの大小）に基づいて、同一イベント判定部９１は、一方のイベントと他方のイベントとが同一であるかを判定する。なお、図４３、図４４に示した手法の例では、両イベントに同一人物が出現しない場合や、撮影期間の重複がない場合には同一とは判定されないこととなる。

図４５の例では、イベントａとイベントＡとに同一人物Ａが出現し、かつ撮影期間の重複が一定期間（割合）あったので、同一イベント判定部９１はイベントａとイベントＡとが同一と判定している。

同一であるならば、同一イベント判定部９１は、イベントクラスタ情報記憶部７７に両イベントが同一である旨を示す情報を書き込む。図４２の右下の表では、イベントａとイベントＡとが同一である旨を示している。このようなイベント統合処理（図４１：Ｓ４１２）の後に行われる、画像評価処理（Ｓ２２）、画像トリミング処理（Ｓ２３）では、イベントａとイベントＡとが同一と見なされるため、イベントａの画像に加えてソーシャルのイベントＡの画像をも処理対象とすることができ、画像のサンプル数を増やすことで、より信頼性が高い結果を得ることができる。

以上説明したように、本実施の形態によれば、ＳＮＳ（ソーシャルネットワークサービス）からも取得した画像を評価対象に加えることで、評価対象の画像数を増やすことができ、評価結果の信頼性を高めることに貢献できる。
（実施の形態３）
実施の形態１では、ユーザ操作無しの自動的なトリミングを可能としているが、本実施形態では、ユーザ操作を用いるトリミングの手法について説明する。

つまり、図４６に示すように、ユーザにより指定されたオブジェクトには、セグメント重要度をより大きく重み付けすることで、その指定されたオブジェクトがトリミング領域に含まれるようにする。

図４７は、実施の形態３の画像処理システム１ｂを示すブロック図である。

画像処理装置３ｂのユーザ操作取得部９３は、入力インターフェイスなどを介してユーザの操作を取得する。

＜動作＞
図４８は、トリミング領域算出の動作を示すフロー図である。図４８中、図３２と同様な処理には同じステップ番号を付している。

ステップＳ３２１の取得を終えると、ユーザ操作取得部９３は、ユーザ操作を取得する（Ｓ４８１）。

この取得は、「トリミング領域に含めたいセグメントを指定してください」などのメッセージを含むメニューを表示して、ユーザに指定させる手法が考えられる。

これとは反対にユーザに特に意識させずに取得する手法でもよい。つまり、例えば画像処理装置３ｂがタッチセンサ付きのタブレットＰＣであるならば、画像の閲覧の際に、ユーザがタッチ操作したセグメントの回数を取得してもよいし、指を広げて拡大操作した（ピンチアウトした）位置にあるセグメントの回数を取得してもよい。

続いて、領域算出部６２は、ユーザ操作に基づくトリミング中心算出を行う（Ｓ４８２）。 具体的には図４９に示すように、基本的には図３６で説明したトリミング中心の算出手法と同様であるが、ユーザが操作した（指定した）セグメントの回数を重み係数として用いる点が異なっている。なお、図４９では、重み係数を操作（指定）回数に応じて設定するとしてが、上述のようにトリミング領域用のメニューを表示してユーザにより明確に指定されたセグメントに対しては、最大の重み係数を割り当てるとしても構わない。

図５０は、図４９の式を画像Ｐについて記したものである。

このようにユーザの操作（指定）を利用してトリミング中心を算出することにより、そのトリミング中心の位置をユーザが重要と考えるセグメントに近づけることができる。このため、ユーザが重要と考えるセグメントをトリミング領域内に漏らさず収められることを期待できる。
（実施の形態４）
本実施形態は、図５１に示すように、テンプレートに含まれるトリミング条件を考慮して、トリミングをする領域を調整するものである。このトリミング条件には、人物・前景・背景のセグメントのうちの、少なくとも１つのセグメントの重要度に対する重み付けに関する条件が含まれている。この重み付けに基づいてセグメントの重要度を調整した後で、トリミング領域を算出する。

図５２は、実施の形態４の画像処理システム１ｃを示すブロック図である。

画像処理装置３ｃのテンプレート取得部９４は、トリミングに関するテンプレートを取得する。このテンプレートは、トリミング条件を含んでおり、このトリミング条件にはセグメントの種類（オブジェクト、前景、背景）毎の重み係数の置換式が記載されている。

この置換式は、例えば、セグメントの種類がオブジェクトならば重み係数を2倍、前景ならば重み係数を1.5倍、背景ならば重み係数を0.5倍とするといったものである。

トリミング条件読み込み部９５は、テンプレート取得部９４が取得したテンプレートに含まれるトリミング条件を読み込む。

領域算出部６２は、読み込まれたトリミング条件を用いてトリミング中心を算出する。

＜動作＞
図５３は、トリミング領域算出の動作を示すフロー図である。図５３中、図３２と同様な処理には同じステップ番号を付している。

ステップＳ３２１の後、テンプレート取得部９４はテンプレートを取得する（Ｓ５３１）。その後、トリミング条件読み込み部９５は、取得されたテンプレートに含まれるトリミング条件を読み込む（Ｓ５３２）。

続いて、領域算出部６２は、読み込まれたトリミング条件に基づいてトリミング中心を算出する（Ｓ５３３）。具体的には図５４に示すように領域算出部６２は、トリミング条件に記載されているセグメント毎の重み係数を、各セグメントに乗算することによって、トリミング中心を算出する。これにより、トリミング中心の位置を、重み係数が高く設定された種類のセグメントに近づけることができる。このため、テンプレートのトリミング条件にて重要と指定されたセグメントをトリミング領域内に漏らさず収められることを期待できる。
（実施の形態５）
実施の形態１〜実施の形態４においては、画像を加工する処理の例としてトリミングを挙げて説明したが、この加工はトリミングに限られない。実施の形態１から実施の形態４で説明した手法は、画像の特定の領域が注目されるような（目立つような）様々な加工に適用できる。

図５５は、実施の形態４の画像処理システム１ｄを示すブロック図である。

画像処理装置３ｄの画像加工部６０ａは、加工実行部６４を有する。

加工実行部６４は、トリミング部６４ａ、ズームイン・アウト部６４ｂ、サムネイル作成部６４ｃを有する。

ズームイン・アウト部６４ｂは、画像のスライドムービーの再生の際に、重要度の高いセグメントが中央になるようにズームイン・ズームアウトを行う（図５６（ａ））。このようなズーム動作によれば、ユーザにとって重要であると推定される人物や物体を大写しすることができる。

サムネイル作成部６４ｃは、画像のサムネイルの作成の際に、重要度の高いセグメントを中心にしたサムネイルを作成する（図５６（ｂ））。

このようなサムネイルは、画像のサイズを単純に縮小した通常のサムネイルとは異なり、ユーザにとって重要であると推定される物体を目立たせることができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）実施の形態１で説明した手法は、画像内のセグメント評価において、認識が比較的容易なセグメント（Ａ）を手がかりとして、認識が比較的困難なセグメント（Ｂ）を評価する手法に広く適用できる。実施の形態１では、Ａはオブジェクトセグメントにあたり、Ｂは前景（背景）セグメントにあたる。

また、実施の形態１では、オブジェクトとして人物を例に挙げて説明しているがオブジェクトは人物に限られるわけではない。現時点では、顔認識技術は他の一般物体と比べて研究が進んでおり認識精度が高いので、人物を例として取り上げたに過ぎない。

例えば現在または将来において、猫に関するモデルデータが蓄積されていて、猫に関しては精度良く認識できる環境があるとするならば、この猫のオブジェクトセグメントを手がかりとして、他のセグメントを評価するなどが考えられる。猫のほかにも、自動車、草花、虫、ペット（犬など）などが考えられる。
（２）実施の形態１では、オブジェクトセグメント重要度はオブジェクト重要度をそのまま用いているが、これに限られない。

例えば、人物の写り方の度合い（占有度、ピント、顔の向き、笑顔など）により評価するとしてもよい。占有度が高い、ピントが合っている、顔が正面を向いているもしくは笑顔の度合いが高いなどの要素があれば、オブジェクト重要度をより高く評価することが考えられる。
（３）実施の形態１では、寄りトリミング（引きトリミング）において、各種類のセグメントで最も重要度が高いものをトリミング領域に含めるとして説明したが、これに限られない。重要度が相対的に高いセグメント、低いセグメントと比べて優先するやり方であれば構わない。

例えば、トリミング領域に含めるセグメントの条件として、重要度が一定値以上という条件としたり、重要度が一定順位以内という条件とすることが考えられる。

また、トリミング判定（図２９：Ｓ２９１，図３０）の処理は必須ではなく、「引きトリミング」「寄りトリミング」を一方または両方行うようにしてもよいし、どちらを行うかの設定をユーザから受け付けるようにしてもよい。
（４）実施の形態１では、画像を、オブジェクト・前景・背景の３種類のセグメントに分類するとして説明したが、例えば、寄りトリミングのように背景セグメントを用いないトリミングしか行わないような場合には、オブジェクトと前景の２種類のセグメントに分類するとしても構わない。
（５）前景セグメント重要度算出（図２４，図２５参照）や背景セグメント重要度算出（図２６，図２７参照）において、セグメント重要度算出部５２が用いる画像の選び方の具体例について図３７を用いて説明する。

イベントａとして、７枚の画像ａ〜画像ｇが分類されているものとし、そのうちの画像ｄが重要度の算出対象であるとする（図３７（ａ））。

手法１は、対象画像と対象画像以外の全ての画像を用いるものである（図３７（ｂ））。図の例では、対象画像ｄと、対象画像ｄ以外の６枚の画像ａ〜画像ｃ，画像ｅ〜画像ｇを用いている。実施の形態１で説明した手法はこの手法１にあたる。

手法２は、対象画像と、対象画像から撮影間隔が一定以内の画像を用いるものである（図３７（ｃ））。図の例では、対象画像ｄと、対象画像ｄと撮影間隔が一定（例えば、数秒から数分程度）以内の画像ｂ，ｃ，ｅを用いている。この手法２は、手法１と比べて前景（背景）セグメントの重要度算出に用いる画像の枚数を、撮影日時を手がかりに減らすことができるので、処理負荷の軽減に役立てることができる。また、手法２は、撮影間隔による選別を行っているので、前景（背景）セグメントの重要度算出（図２５，図２７参照）に際して、撮影間隔を用いないやり方でも構わない。

手法３は、対象画像と、対象画像と類似度が一定以上の前景（背景）セグメントを含む画像を用いるものである（図３７（ｄ））。図の例では、対象画像ｄと、対象画像ｄと類似度が一定以上の前景（背景）セグメントを含む画像ａ，ｃ，ｆを用いている。この手法３は、対象画像ｄとある程度類似している画像だけを用いることで、より信頼性の高い前景（背景）セグメントの重要度を算出することに寄与する。

なお、画像の選び方は、以上の例に限らない。例えば、対象画像の直前または直後の画像を選択することとしてもよい。また、選択する画像の枚数は、１枚であってもよく、予め定められた枚数であってもよく、例えば処理対象となる画像の枚数に応じて算出された枚数であってもよい。
（６）図３３，図３４の例では、トリミング領域の形状は長方形状であるが、これに限られない。角を丸くした長方形であってもよいし、楕円や円形もあり得る。例えば、アルバム作成に際して、あるフレームに収まるためにトリミングをする場合には、トリミング領域の形状はそのフレームの形状に合わせたものとなるだろう。つまりトリミング領域の形状は、そのトリミングの用途に合わせた形状となり得る。
（７）上記の実施の形態で説明した画像処理装置は、例えば、当該画像処理装置の機能を備える、ＢＤレコーダ等のＡＶ機器、パーソナルコンピュータ、およびサーバ端末などの据置き型端末、または、デジタルカメラや携帯電話などのモバイル型端末などとして実現することが可能である。

さらに、上記の実施の形態で説明した手法をネットワークサービスとして提供するサーバ装置とすることも可能である。

この場合、図３８に示すように、コンテンツが蓄積されたＡＶ機器１１０、パーソナルコンピュータ１１１、携帯デバイス１１２、デジタルカメラ１１３などからサーバ装置１０１がネットワークを介してコンテンツを受信すると、サーバ装置１０１は受信したコンテンツに対して上記の実施の形態で説明した手法による画像処理を行い、その処理結果を、ネットワークを介してＡＶ機器１１０、パーソナルコンピュータ１１１、携帯デバイス１１２、デジタルカメラ１１３などに送信するようにすればよい。

また、上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。

また、当該手法の手順を記述したプログラムをＤＶＤ等の記録媒体に格納して、頒布するようにしてもよい。また、当該手法の手順を記述したプログラムをインターネット等の伝送媒体を介して広く流通させてもよい。

上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
（８）実施の形態２では、ユーザＡのＳＮＳ上の友人であるユーザＢから画像を取得する例について説明したがこれに限られない。

画像の取得範囲を広げるため（あるいは狭めるため）に、例えば、次のようなユーザから画像を取得することが考えられる。

・ユーザＡの友人の友人のユーザ
・ユーザＡとＳＮＳ上で結び付き（コネクション）の強さが一定以上のユーザ
なお、「友人の友人」や「結び付きの強さ」は、ＳＮＳが提供するソーシャルグラフについてのＡＰＩを用いて判断することができる。
＜補足２＞
本実施の形態は、以下の態様を含むものである。

（１）本実施の形態に係る画像処理装置は、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割部と、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出部と、を備えることを特徴とする。

（２）（１）において、前記分割されたセグメントを、オブジェクト、前景および背景のうちのいずれか１つの種類に分類する分類部を備えるとしても構わない。

（３）（２）において、前記分類部は、顔検出された領域および胴体と推定される領域に相当するセグメントをオブジェクトセグメントに分類するとしても構わない。

（４）（２）において、画像に写る色・輝度・エッジ方向・奥行き情報の内、少なくとも１つの情報を用いて、周辺とは異なる領域に相当するセグメントを前景セグメントに分類するとしても構わない。

（５）（２）において、前記算出部は、セグメントの注目度、セグメントの共起度、およびオブジェクト重要度のうち、の少なくとも１つを用いて算出を行うとしても構わない。

（６）（５）において、前記算出部は、前記オブジェクト重要度を、そのオブジェクトが属するクラスタが前記複数の画像において出現する頻度が高いほど高く算出し、算出したオブジェクト重要度に基づいてオブジェクトセグメントの重要度を算出するとしても構わない。

（７）（５）において、前記算出部は、前記セグメントの注目度を、前記一の画像内において撮影者が注目したと推定される注目位置に近いセグメントほど高く算出し、算出したセグメントの注目度に基づいて前景セグメントと背景セグメントの重要度を算出するとしても構わない。

（８）（７）において、前記算出部は、前記一の画像内のオブジェクトセグメントの重心を求め、当該画像の中心点を中心として前記重心の点対称となる位置を前記注目位置として求めるとしても構わない。

（９）（５）において、前記セグメントの共起度を、（i）前記一の画像内の重要度の算出対象となる前景または背景のセグメントと、他の画像内における前景または背景セグメントとの類似度、（ii）前記一の画像と他の画像との撮影間隔の長さ、（iii）前記一の画像内において撮影者が注目したと推定される注目位置への近さ、の少なくとも１つに基づいて算出するとしても構わない。

（１０）（２）において、前記所定の他の画像は、前記一の画像との類似度が所定の値以上の前景セグメントを含む画像である、としても構わない。

（１１）（１）において、前記画像内のセグメントの重要度に基づいて、加工対象とする領域の中心と大きさを算出し、算出した領域を加工する加工部を備えるとしても構わない。

（１２）（１１）において、前記一の画像におけるオブジェクトセグメントまたは前景セグメントの大きさと、前記一の画像の撮影日時の直前の画像におけるオブジェクトセグメントまたは前景セグメントの大きさとの変化度を算出し、算出された変化度に基づいて、オブジェクトセグメント、前景セグメントおよび背景セグメントを含む領域のうち加工の対象となる領域を算出するとしても構わない。

（１３）（１１）において、さらに、加工対象とするセグメントを指定するためのユーザ操作を取得するユーザ操作取得部を備え、前記加工部は、取得したユーザ操作に基づいて前記領域を算出するとしても構わない。

（１４）（１１）において、前記加工部は、領域の設定条件を示すテンプレートに基づいて前記領域を算出するとしても構わない。

（１５）（１）において、前記複数の画像に関する画像を、ネットワーク上で共有された画像群から取得する画像取得部を備え、前記分割部および前記算出部は、前記複数の画像に加えて取得された画像もそれぞれ処理の対象とするとしても構わない。

（１６）（１）において、前記所定の他の画像は、前記一の画像と撮影日時が前または後の所定枚数の画像であるとしても構わない。

（１７）（１）において、前記所定の他の画像は、前記一の画像と撮影間隔が所定の範囲内の画像であるとしても構わない。

（１８）実施の形態に係る画像処理方法は、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割ステップと、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出ステップと、を含む。

（１９）実施の形態に係るプログラムは、画像処理ステップを含む処理を画像処理装置に実行させるプログラムであって、前記画像処理ステップは、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割ステップと、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出ステップとを含む。

（２０）実施の形態に係る集積回路は、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割部と、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出部と、を備える。

本発明に係る画像処理装置および画像処理方法では、今までは画像に写る物体を認識した上で画像切抜きをしていたのに対して、画像の物体を認識することなく、家族が撮影したコンテンツの傾向から、画像内の家族にとって重要な領域を推定することができる。このような推定により、例えば旅行先のオブジェクトあるいは風景などが写る画像から重要な領域の切抜きをすることができる。

これを用いることで、家族コンテンツによって作成される画像アルバム作成においても、アルバムの画像挿入用のフレームの形や大きさに合わせて、挿入する画像の重要領域を含んだ切抜きを行うことができることから、アルバムを通してユーザはより効率的にイベントを振り返ることができ、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。また、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。

１，１ａ，１ｂ，１ｃ，１ｄ 画像処理システム
２ 記憶媒体
２ａ ＳＮＳサーバ
３，３ａ，３ｂ，３ｃ，３ｄ 画像処理装置
４ ディスプレイ
１０，１０ａ 画像取得部
２０ オブジェクト抽出部
２１ オブジェクト特徴量抽出部
２２ オブジェクトクラスタリング部
３０ イベント抽出部
３１ 撮影日時抽出部
３２ イベントクラスタリング部
４０ セグメント抽出部
４１ セグメント分割部
４２ セグメント分類部
４３ セグメント特徴量抽出部
５０ 画像評価部
５１ オブジェクト重要度算出部
５２ セグメント重要度算出部
６０ 画像加工部
６１ 判定部
６２ 領域算出部
６３ 加工実行部
７０ 記憶部
７１ オブジェクトクラスタ情報記憶
７２ イベントクラスタ情報記憶部
７３ セグメントクラスタ情報記憶部
７４ セグメント特徴量記憶部
７５ オブジェクト重要度記憶部
７６ セグメント重要度記憶部
７７ 加工情報記憶部
８０ 表示制御部
９０ イベント統合部
９１ 同一イベント判定部
９３ ユーザ操作取得部
９４ テンプレート取得部
９５ トリミング条件読み込み部

Claims (20)

1. 複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割部と、
   一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出部と、
   を備えることを特徴とする画像処理装置。
2. 前記分割されたセグメントを、オブジェクト、前景および背景のうちのいずれか１つの種類に分類する分類部を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記分類部は、顔検出された領域および胴体と推定される領域に相当するセグメントをオブジェクトセグメントに分類することを特徴とする請求項２に記載の画像処理装置。
4. 前記分類部は、画像に写る色・輝度・エッジ方向・奥行き情報の内、少なくとも１つの情報を用いて、周辺とは異なる領域に相当するセグメントを前景セグメントに分類することを特徴とする請求項２に記載の画像処理装置。
5. 前記算出部は、セグメントの注目度、セグメントの共起度、およびオブジェクト重要度のうち、の少なくとも１つを用いて算出を行うことを特徴とする請求項２に記載の画像処理装置。
6. 前記算出部は、前記オブジェクト重要度を、そのオブジェクトが属するクラスタが前記複数の画像において出現する頻度が高いほど高く算出し、算出したオブジェクト重要度に基づいてオブジェクトセグメントの重要度を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記算出部は、前記セグメントの注目度を、前記一の画像内において撮影者が注目したと推定される注目位置に近いセグメントほど高く算出し、算出したセグメントの注目度に基づいて前景セグメントと背景セグメントの重要度を算出することを特徴とする請求項５に記載の画像処理装置。
8. 前記算出部は、前記一の画像内のオブジェクトセグメントの重心を求め、当該画像の中心点を中心として前記重心の点対称となる位置を前記注目位置として求めることを特徴とする請求項７に記載の画像処理装置。
9. 前記算出部は、前記セグメントの共起度を、（１）前記一の画像内の重要度の算出対象となる前景または背景のセグメントと、他の画像内における前景または背景セグメントとの類似度、（２）前記一の画像と他の画像との撮影間隔の長さ、（３）前記一の画像内において撮影者が注目したと推定される注目位置への近さ、の少なくとも１つに基づいて算出することを特徴とする請求項５に記載の画像処理装置。
10. 前記所定の他の画像は、前記一の画像との類似度が所定の値以上の前景セグメントを含む画像である、請求項２記載の画像処理装置。
11. 前記画像内のセグメントの重要度に基づいて、加工対象とする領域の中心と大きさを算出し、算出した領域を加工する加工部を備えることを特徴とする請求項１に記載の画像処理装置。
12. 前記加工部は、前記一の画像におけるオブジェクトセグメントまたは前景セグメントの大きさと、前記一の画像の撮影日時の直前の画像におけるオブジェクトセグメントまたは前景セグメントの大きさとの変化度を算出し、
    算出された変化度に基づいて、オブジェクトセグメント、前景セグメントおよび背景セグメントを含む領域のうち加工の対象となる領域を算出することを特徴とする請求項１１に記載の画像処理装置。
13. さらに、加工対象とするセグメントを指定するためのユーザ操作を取得するユーザ操作取得部を備え、前記加工部は、取得したユーザ操作に基づいて前記領域を算出することを特徴とする請求項１１に記載の画像処理装置。
14. 前記加工部は、領域の設定条件を示すテンプレートに基づいて前記領域を算出することを特徴とする請求項１１に記載の画像処理装置。
15. さらに、前記複数の画像に関する画像を、ネットワーク上で共有された画像群から取得する画像取得部を備え、前記分割部および前記算出部は、前記複数の画像に加えて取得された画像もそれぞれ処理の対象とすること特徴とする請求項１に記載の画像処理装置。
16. 前記所定の他の画像は、前記一の画像と撮影日時が前または後の所定枚数の画像である請求項１記載の画像処理装置。
17. 前記所定の他の画像は、前記一の画像と撮影間隔が所定の範囲内の画像である請求項１記載の画像処理装置。
18. 複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割ステップと、
    一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出ステップと、
    を含むことを特徴とする画像処理方法。
19. 画像処理ステップを含む処理を画像処理装置に実行させるプログラムであって、
    前記画像処理ステップは、複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割ステップと、一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出ステップとを含む
    ことを特徴とするプログラム。
20. 複数の画像のそれぞれについて、画像内を複数のセグメントに分割する分割部と、
    一の画像内における異なるセグメント間の関係性、あるいは前記一の画像のセグメントと所定の他の画像とのセグメント同士の関係性に基づいて、前記一の画像内のセグメントそれぞれの重要度を算出する算出部と、
    を備えることを特徴とする集積回路。

Images