JP6453194B2 - 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体 Download PDF

Info

Publication number
JP6453194B2
JP6453194B2 JP2015189652A JP2015189652A JP6453194B2 JP 6453194 B2 JP6453194 B2 JP 6453194B2 JP 2015189652 A JP2015189652 A JP 2015189652A JP 2015189652 A JP2015189652 A JP 2015189652A JP 6453194 B2 JP6453194 B2 JP 6453194B2
Authority
JP
Japan
Prior art keywords
composition
subject
image
evaluation value
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015189652A
Other languages
English (en)
Other versions
JP2017068333A (ja
Inventor
陽平 桃木
陽平 桃木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015189652A priority Critical patent/JP6453194B2/ja
Priority to US15/180,328 priority patent/US10303949B2/en
Publication of JP2017068333A publication Critical patent/JP2017068333A/ja
Application granted granted Critical
Publication of JP6453194B2 publication Critical patent/JP6453194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は,画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体に関する。
従来の画像評価では,顔の数や大きさ,位置などの情報が画像スコアに与える影響が大きく,顔がよく写っている画像が高スコアとなる傾向がある。顔が写っていない,あるいは顔が写っていても小さい画像,風景画像などは高スコアとなりづらい。多数の画像の中から高スコアの画像を選択し,電子アルバムなどが生成される場合には,高スコアの画像から選択されるから,生成される電子アルバムには顔が写った画像が多くなる。このために,画像のレイアウト編集が行われる場合に,大量の未使用の画像の中から所望の未使用画像を選択するもの(特許文献1),画像の内容または属性について偏りのない画像を選択するもの(特許文献2),オブジェクトの写り具合を示す特徴度と画像の撮影者の確からしさを示す尤度を算出し,それらの特徴度および尤度を利用して画像の重要度を算出するもの(特許文献3)などがある。
特開2014-199641号公報 特開2013-222304号公報 特許第5727476号
特許文献1に記載のものでは,ユーザの好みの画像の評価値が高くなるため,画像の選択が偏ってしまう。また,特許文献2に記載のものでは,一度選んだ画像と異なる画像のポイントが高くなるので,同一の被写体は選択され難い。さらに,特許文献3に記載のものでは,画像の撮影者の確からしさを利用しているので,異なる撮影者での画像については選択されにくい。いずれの文献においても,複数の画像から画像を選択する場合に顔が含まれている画像に偏らずに風景画像,物撮り画像も選択されるようにすることは考えられていない。
この発明は,複数の画像から画像を選択する場合に,画像の偏りが少なく,風景画像,物撮り画像なども選択されるように画像を評価することを目的とする。
この発明による画像評価システムは,画像の構図の種類を表す構図情報を取得する構図情報取得処理を,複数の画像について行なう構図情報取得手段,画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理を,複数の画像について行なう被写体情報取得手段,複数の画像について,構図の種類ごとに構図の出現回数を算出する構図数算出手段,複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出する被写体数算出手段,構図数算出手段によって算出された構図の出現回数から,複数の画像における構図の種類ごとの構図評価値を算出する構図評価値算出手段,被写体数算出手段によって算出された被写体の出現回数から,複数の画像における被写体の種類ごとの被写体評価値を算出する被写体評価値算出手段,および構図評価値算出手段によって算出された構図評価値と被写体評価値算出手段によって算出された被写体評価値とから複数の画像のそれぞれについて画像評価値を算出する画像評価値算出手段を備えていることを特徴とする。
この発明は,画像評価方法も提供している。すなわち,この方法は,構図情報取得手段が,画像の構図の種類を表す構図情報を取得する構図情報取得処理を,複数の画像について行ない,被写体情報取得手段が,画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理を,複数の画像について行ない,構図数算出手段が,複数の画像について,構図の種類ごとに構図の出現回数を算出し,被写体数算出手段が,複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出し,構図評価値算出手段が,構図数算出手段によって算出された構図の出現回数から,複数の画像における構図の種類ごとの構図評価値を算出し,被写体評価値算出手段が,被写体数算出手段によって算出された被写体の出現回数から,複数の画像における被写体の種類ごとの被写体評価値を算出し,画像評価値算出手段が,構図評価値算出手段によって算出された構図評価値と被写体評価値算出手段によって算出された被写体評価値とから複数の画像のそれぞれについて画像評価値を算出するものである。
構図評価値算出手段は,構図数算出手段によって算出された出現回数が少ない構図ほど高い構図評価値を算出するものでもよいし,逆に,構図評価値算出手段は,構図数算出手段によって算出された出現回数が多い構図ほど高い構図評価値を算出するものでもよい。
また,被写体評価値算出手段は,被写体数算出手段によって算出された出現回数が多い被写体ほど高い被写体評価値を算出するものでもよいし,被写体数算出手段によって算出された出現回数が少ない被写体ほど高い被写体評価値を算出するものでもよい。
画像評価値算出手段は,複数の画像のそれぞれについて,複数の構図と複数の被写体との2軸を有し,一の構図と一の被写体とが存在する場合は1,の場合以外は0を取る各画像構図被写体行列を求め,構図評価値算出手段により算出された構図評価値を用いて,1行または1列からなる構図評価行列を求め,被写体評価値算出手段により算出された被写体評価値を用いて,1列または1行からなる被写体評価行列を求め,各画像構図被写体行列,構図評価行列,および被写体評価行列の行列積を用いて,複数の画像のそれぞれについて画像評価値を算出するものでもよい。
また,nを自然数とし,画像評価値算出手段によって算出された画像評価値が高いn個の画像を決定する決定手段をさらに備えてもよい。
決定手段によって決定した画像を利用して電子アルバムを生成する電子アルバム生成手段をさらに備えてもよい。
この発明によると,複数の画像について構図の種類を表す構図情報取得処理が行われ,構図の種類ごとの構図の出現回数から構図の種類ごとの構図評価値が算出される。また,複数の画像について被写体の種類を表す被写体情報取得処理が行われ,被写体の種類ごとの被写体の出現回数から被写体の種類ごとの被写体評価値が算出される。構図評価値と被写体評価値とから画像評価値が算出される。構図の種類と被写体の種類とが考慮されて画像が評価されるので,画像評価値にもとづいて画像が選択される場合に,顔が含まれている画像に偏らずに,風景画像,物撮り画像なども選択されるようになる。
画像評価システムの電気的構成を示すブロック図である。 画像評価システムの処理手順を示すフローチャートである。 画像評価システムの処理手順を示すフローチャートである。 画像の一例である。 画像解析された様子を示している。 構図解析処理が行われている様子を示している。 構図行列の一例である。 中央重点構図の一例である。 黄金分割構図の一例である。 第1の対角線構図の一例である。 第2の対角線構図の一例である。 第3の対角線構図の一例である。 サンドイッチ構図の一例である。 総合画像構図被写体行列の一例である。 構図出現回数テーブルの一例である。 構図重みテーブルの一例である。 構図評価行列の一例である。 被写体出現回数テーブルの一例である。 被写体評価行列の一例である。
図1は,この発明の実施例を示すもので,画像評価システム1の電気的構成を示すブロック図である。
画像評価システム1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
画像評価システム1には,画像などを表示画面に表示する表示装置3,データ等を記憶するメモリ4,およびコンパクトディスク5に記録されているデータ等にアクセスするCD(Compact Disc)ドライブ6が含まれている。また,画像評価システム1には,画像を表す画像ファイルが格納されているメモリカード8から画像ファイルを読み取り,かつメモリカード8に画像ファイルを記録するメモリカードリーダライタ7,および画像評価システム1に各種コマンドを与える入力装置9も含まれている。さらに,画像評価システム1には,ハードディスク11,ハードディスク11にアクセスするHD(hard disk)ドライブ10,他のコンピュータ等と通信するための通信装置12,およびタイマ13も含まれている。
メモリカード8が画像評価システム1に装填され,画像ファイルがメモリカードリーダライタ7によって読み取られると,後述のように画像評価が行われる。メモリカード8に限らず,コンパクトディスク5やその他の媒体に画像ファイルが格納されている場合には,その媒体に格納されている画像ファイルが読み取られる。画像評価システム1には,媒体に格納されている画像ファイルを読み取るのに適した読み取り装置が設けられることとなろう。また,インターネットなどのようなネットワークを介して画像ファイルが画像評価システム1に与えられる場合には,画像ファイルが通信装置12によって受信され,受信された画像ファイルがメモリ4に与えられ,記憶される。そのようにして記憶された画像ファイルによって表される画像の評価が行われる。
コンパクトディスク5(記録媒体)には,後述する処理を制御するための画像評価システム1のCPU2(コンピュータ)が読み取り可能なプログラムが格納されている。コンパクトディスク5が画像評価システム1に装填されることにより,コンパクトディスク5に格納されているプログラムが画像評価システム1にインストールされる。プログラムは,インターネットのようなネットワークを介して送信されてもよい。通信装置12によってプログラムが受信され,受信されたプログラムが画像評価システム1にインストールされる。
図2および図3は,画像評価システム1の処理手順を示すフローチャートである。
この画像評価システム1においては画像を表す複数の画像ファイルがメモリカード8から読み取られ,複数の画像を利用して画像評価が行われる。メモリカード8から読み取られた複数の画像ファイルは,メモリ4に一時的に記憶される。
まず,複数の画像ファイルによって表される複数の画像についての画像解析処理および構図解析処理が終了しているかどうかの確認がCPU2によって行われる(ステップ21)。終了していなければ(ステップ21でNO),記憶された複数の画像ファイルのうち,一つ目の画像を表す画像ファイルがCPU2によって読み取られる(ステップ22)。
読み取られた画像ファイルによって表される画像の画像解析処理がCPU2によって行われる(ステップ23)。画像解析処理により,画像ファイルのヘッダに格納されているタグ情報と領域情報とを含む解析情報がCPU2によって取得される。タグ情報は,画像ファイルによって表される画像に含まれている被写体の種類を表す情報である。領域情報は,画像に含まれている被写体の領域を示す情報である。CPU2(被写体情報取得手段)によって,画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理および画像中の被写体の位置を示す領域情報取得処理が,複数の画像について行われる。タグ情報は,画像ファイルのヘッダに格納されていなくともよく,画像に関連づけられて画像とは異なるタグ情報テーブルなどに格納されていてもよい。また,タグ情報自体が無くともよい。タグ情報が無い場合には,その画像についてCPU2によって画像解析が行われ,画像に含まれる被写体の種類が検出されることとなる。また,領域情報も画像ファイルのヘッダに格納されていなくともよく,画像に関連付けられて画像とは異なる領域情報テーブルなどに格納されていてもよい。また,領域情報自体も無くともよい。領域情報が無い場合にも,その画像についてCPU2によって画像解析が行われ,被写体が検出され,その検出された被写体の領域が被写体の種類ごとに検出されることとなる。
図4は,CPU2によって読み取られた画像ファイルによって表される画像の一例である。
画像30は,風景であり,その画像30の中には,被写体として青空31,山32,森33,湖34および雲35が含まれている。
図5は,画像30の画像解析結果を示している。
画像30が解析されることにより,画像30のタグ情報および領域情報が得られる。これらのタグ情報および領域情報から,画像30には,領域41に青空31があり,領域42に山32があり,領域43に森33があり,領域44には湖34があることがCPU2によって検出される。雲35は検出されていないが,検出されるようにしてもよい。画像30のタグ情報および領域情報が無い場合には,画像30がCPU2によって解析され,領域41,領域42,領域43,領域44および領域45に,青空31,山32,森33および湖34があることが検出される。
画像解析が行われると,画像解析において得られた被写体ごとにCPU2によって構図解析処理が行われる(ステップ24)。
図6は,構図解析処理が行われている様子を示している。
画像解析により,符号51A,符号51Bおよび符号51Cで示すように,山32の領域42は二分割の構図,三分割の構図および三角の構図(それぞれ破線で示す)により撮影されていることが検出される。二分割の構図は,被写体が中央でほぼ左右に対称に撮影される場合の構図である。三分割の構図は,画像を上下方向に三等分した場合に,3つのそれぞれの領域に被写体が分けられる場合の構図である。三角の構図は,被写体がほぼ三角で収まる場合の構図である。
また,画像解析により,符号52Aおよび符号52Bで示すように,青空31の領域41は二分割の構図および三分割の構図により撮影されていることを示す構図情報がCPU2によって取得される。同様に,符号53Aおよび53Bで示すように,森33の領域43も二分割の構図および三分割の構図により撮影されていることを示す構図情報がCPU2によって取得される。さらに,符号54で示すように,湖34の領域44は二分割の構図で撮影されていることを示す構図情報がCPU2によって取得される。
このように,CPU2(構図情報取得手段)によって画像に含まれる被写体の構図(画像の構図)の種類を表す構図情報を取得する構図情報取得処理が,複数の画像について行われる。構図解析処理により,画像30の構図情報が取得されているが,構図情報が画像30を表す画像ファイルのヘッダ,画像とは異なる構図情報テーブルなどに格納されている場合には,それらのヘッダ,構図情報テーブルなどから構図情報が読み取られることが,構図解析処理となる。また,構図解析により,画像についての構図行列が生成される。
図7は,画像30の各画像構図被写体行列Cimgの一例である。なお,本実施例は後述する通り,構図の種類が9種類,被写体の種類が10種類あるため,それぞれの出現回数を算出してCimgに表す必要があるが,説明の都合上,図7の各画像構図被写体行列Cimgについては,構図の種類が3種類,被写体の種類が4種類あるとして,算出することとする。
行の各要素は,構図ごとに画像30に含まれている被写体の出現回数を示している。列の各要素は,被写体ごとに画像30に含まれている被写体の構図の出現回数を示している。図6と図7を比べれば分かるように,青空31の領域41の構図は二分割および三分割でそれぞれ一つずつであり,湖34の領域43の構図は二分割で一つであり,森33の領域43の構図は二分割および三分割でそれぞれ一つずつであり,山32の領域42の構図は二分割,三分割および三角でそれぞれ一つずつである。各画像構図被写体行列Cimgは,複数の構図と複数の被写体との2軸を有し,一の構図と一の被写体とが存在する場合には「1」,その場合以外は「0」を取るものである。
複数の画像について画像解析処理および構図解析処理が行われ,構図の種類の数の行数および被写体の種類の数の列数を有する各画像構図被写体行列Cimgが,その画像の数だけCPU2によって得られる。
図8から図13は,上記以外の構図の例を示すものである。
図8は,中央重点構図60の一例である。
中央重点構図60は,中央の領域61に主要な被写体が配置される構図である。中央の領域61に主要な被写体が存在すると,その主要な被写体は中央重点構図60で撮影されているとCPU2によって判定される。
図9は,黄金分割構図62の一例である。
黄金分割構図62は,四隅の頂点から対角線63を引き,それらの対角線63に直角となるように四隅から直線64を引いた場合に,対角線63と直線64との交点に被写体が配置される構図である。このような交点に被写体が存在すると,その被写体は黄金分割構図62で撮影されているとCPU2によって判定される。
図10は,第1の対角線構図65の一例である。
第1の対角線構図65は,対向する2つの頂点を対角線66で引いた場合に,その対角線66で規定される位置に被写体の輪郭が配置される構図である。そのような構図で被写体が存在すると,その被写体は第1の対角線構図65で撮影されているとCPU2によって判定される。
図11は,第2の対角線構図67の一例である。
第2の対角線構図67は,図10に示す第1の対角線構図65とは別の対向する2つの頂点を対角線68で引いた場合に,その対角線68で規定される位置に被写体の輪郭が配置される構図である。そのような構図で被写体が存在すると,その被写体は第2の対角線構図67で撮影されているとCPU2によって判定される。
図12は,第3の対角線構図70の一例である。
第3の対角線構図は,図10に示す第1の対角線構図65と図11に示す第2の対角線構図67とを組み合わせたものである。対向する2つの頂点の組が2つの対角線71および72で結ばれている。第3の対角線構図70は,これらの対角線71および72で規定される位置に被写体の輪郭が配置される構図である。そのような構図で被写体が存在すると,その被写体は第3の対角線構図70で撮影されているとCPU2によって判定される。
図13は,いわゆるサンドイッチ構図73の一例である。
サンドイッチ構図73は,中央の領域75がその領域75の両側の領域74および76で挟まれている構図であり(図13は横方向で挟まれているが,縦方向で挟まれていてもよい),ビルの隙間から被写体を撮影するように,中央の領域75の全体にわたって被写体(例えば,タワーなど)が配置される構図である。このような構図で被写体が存在すると,その被写体は,いわゆるサンドイッチ構図73で撮影されているとCPU2によって判定される。
図2にもどって,複数の画像について画像解析処理および構図解析処理が終了し,構図の種類の数の行数および被写体の種類の数の列数を有する(本実施例では9行10列)各画像構図被写体行列Cimgが複数の画像について生成され(ステップ21でYES),それらの複数の各画像構図被写体行列CimgがCPU2によって加算され総合画像構図被写体行列Wtotal(9行10列)が生成される(図3ステップ25)。
図14は,総合画像構図被写体行列Wtotalの一例である。
総合画像構図被写体行列Wtotalは,各画像構図被写体行列Cimgと同様に,行の各要素は,構図ごとに複数の画像に含まれている被写体の出現回数を示している。列の各要素は,被写体ごとに複数の画像に含まれている被写体の構図の出現回数を示している。
総合画像構図被写体行列Wtotalによって,複数の画像における構図の出現回数および被写体の出現回数が分かる。
また,CPU2によって,構図評価行列Wcmpおよび被写体評価行列Wobjの評価行列が生成される(ステップ25)。
図15から図17は,構図評価行列Wcmpの生成過程を示している。
図15は,構図出現回数テーブルを示している。
構図出現回数テーブルは,複数の画像の中に出現した構図の出現回数を構図の種類ごとにまとめたものである。構図出現回数テーブルは,図14に示した総合画像構図被写体行列Wtotalを,被写体の種類にかかわらず構図の種類ごとに加算することにより得られる。構図出現回数テーブルは,CPU2(構図数算出手段)によって生成され,複数の画像について,構図の種類ごとに構図の出現回数を算出して得られるものである。出現回数の多い構図は,ありふれている構図と考えることができる。このために,この実施例では,出現回数が多い構図ほど重みが小さくなるような構図重みテーブルが生成される。
図16は,構図重みテーブルの一例である。
構図重みテーブルは,複数の画像の中に出現した構図の出現回数が多いほど小さな重みとなるように,構図の種類ごとにまとめたものである。構図重みテーブルはCPU2によって生成される。図15に示す構図出現回数テーブルから得られる構図の種類ごとの出現回数を,出現回数の逆順に割り当てたものが重みである。例えば,中央一点構図の出現回数が最大の45回であり,第2の対角線構図の出現回数が最小の2回であるから,それらの出現回数が逆順とされ,中央一点構図の重みは2となり,第2の対角線構図の重みは45となっている。構図重みテーブルの重みが小さいほどありふれた構図であることを示し,構図重みテーブルの重みが大きいほど珍しい構図であることを示している。
構図重みテーブルが生成されると,構図評価行列Wcmpが生成される。
図17は,構図評価行列Wcmpの一例である。
構図評価行列Wcmpは,構図評価値(重み)を用いて求められるもので,1列の行列(1行の行列でもよい)である。図16に示す構図重みテーブルに含まれる構図の種類の数の次元(本実施例では構図は9種類であるため,9次元)を考え,その次元でのベクトルの長さを構図の種類ごとに算出し,正規化したものが,構図評価行列Wcmp(本実施例では9行1列)の各要素となる。例えば,中央一点構図の重みは2であり,構図評価行列Wcmpにおける中央一点構図の要素である0.03は,2/√{(中央一点構図の重み)+(二分割構図の重み)+(三分割構図の重み)+(黄金分割構図の重み)+(三角構図の重み)+(第1の対角線構図の重み)+(第2の対角線構図の重み)+(第3の対角線構図の重み)+(サンドイッチ構図の重み)}=2/√{(2)+(12)+(4)+(33)+(4)+(14)+(45)+(12)+(16)}=2/√(3890)=2/62.37=0.03として得られる。他の要素についても同様である。CPU2(構図評価値算出手段)による構図評価行列Wcmpの生成が,算出された構図の出現回数から,複数の画像における構図の種類ごとの構図評価値を算出することとなる。このように求められた構図評価行列Wcmpは,上記算出過程から分かる通り,出現回数が少ない構図ほど高い構図評価値を与えるものとなる。
図18および図19は,被写体評価行列Wobjの生成過程を示している。
図18は,被写体出現回数テーブルを示している。
被写体出現回数テーブルは,複数の画像の中に出現した被写体の出現回数を被写体の種類ごとにまとめたものである。被写体出現回数テーブルは,図14に示した総合画像構図被写体行列Wtotalを,構図の種類にかかわらず被写体種類ごとに加算することにより得られる。被写体出現回数テーブルから得られる出現回数が多い被写体ほど,ユーザの好みの被写体と考えられる。被写体出現回数テーブルはCPU2(被写体数算出手段)によって生成され,被写体出現回数テーブルの生成は複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出することとなる。
被写体出現回数テーブルが生成されると,被写体評価行列Wobjが生成される。
図19は,被写体評価行列Wobjの一例である。
被写体評価行列Wobjも,算出された被写体評価値を利用した1列の行列(1行の行列でもよい)である。図18に示す被写体出現回数テーブルに含まれる被写体の種類の数の次元(本実施例では被写体は10種類であるため,10次元)を考え,その次元でのベクトルの長さを被写体種類ごとに算出し,正規化したものが被写体評価行列Wobj(本実施例では10行1列)の各要素となる。例えば,被写体としての人の出現回数は27であり,被写体評価行列Wobjにおける人の要素である0.46586は,27/√{(人の出現回数)+(動物の出現回数)+(食物の出現回数)+(青空の出現回数)+(建築の出現回数)+(花の出現回数)+(湖の出現回数)+(森の出現回数)+(紅葉の出現回数)+(紅葉の出現回数)}=27/√{(27)+(17)+(21)+(19)+(20)+(18)+(9)+(9)+(13)+(22)}=27/√(3359)=27/57.956=0.46586として得られる。他の要素についても同様である。被写体評価行列WobjもCPU2によって生成される。被写体評価行列Wobjの生成は,被写体の出現回数から,複数の画像における被写体の種類ごとの被写体評価値を算出することとなる。このように求められた被写体評価行列Wobjは,上記算出過程から分かる通り,出現回数が多い被写体ほど高い被写体評価値を与えるものとなる。
このようにして総合画像構図被写体行列Wtotal,構図評価行列Wcmpおよび被写体評価行列Wobjが算出されると,すべての画像について画像評価値が算出されるまで,複数の画像のそれぞれについて画像評価値が算出される(図3ステップ26,27)。
画像評価値は,算出しようとする画像の各画像構図被写体行列Cimg(9行10列),被写体評価行列Wobj(10行1列)および,構図評価行列の転置行列Wcmp(1行9列)の行列積を用いて式1で表される。但し,aは,画像評価値を0から1の間に規定するための定数である。
画像評価値=aCimgWobjWcmp・・・式1
式1にしたがって,複数の画像のすべての画像についてCPU2(画像評価値算出手段)によって画像評価値が算出される。構図評価値と被写体評価値とから複数の画像のそれぞれについて画像評価値が算出されることとなる。なお,本実施例の画像評価においては,1枚の画像に対し1つの値が求まればよい,すなわち行列の積が定義できればよいので,式1に代えてaWcmpCimgWobj,aCimgWcmpWobj,aWobjCimgWcmpなどによっても算出できる。
複数の画像のすべてについて画像評価値が算出されると(ステップ26でYES),画像評価値が高いn個(nは自然数)の画像がCPU2によって決定される(ステップ28)。決定されたn個の画像がCPU2(電子アルバム生成手段)によって電子アルバムテンプレートに貼り付けられて電子アルバムが生成される(ステップ29)。構図評価行列Wcmpの要素は,複数の画像の中で珍しい構図であれば値が高いから,生成される電子アルバムに含まれる画像の構図はありふれたものが多くなってしまうことが防止される。このことは,構図にあまり詳しくないユーザにとっては,構図の知識を学ぶことなしに,ありふれた構図よりも珍しい構図が優先された電子アルバムを得ることができるので,有意義である。また,被写体評価行列Wobjの要素は,出現回数の多い被写体ほど値が高いから,ユーザの関心の高い被写体が電子アルバムの中に多く含まれることとなる。生成された電子アルバムは,人以外の被写体が存在するにも関わらず人の顔が多くなってしまうなどの偏りが排除されている。
上述の実施例では,図17に示す構図評価行列Wcmpは,図16に示す構図重みテーブルを利用して生成されており,珍しい構図ほど要素の値が高くなっている,すなわち,出現回数の少ない構図ほど構図評価値が高くなっている。しかしながら,構図について詳しいユーザの場合は,構図の数が多いほどそのような構図がユーザの好みであり,尊重すべきとも考えられるので,図15に示す構図出現回数テーブルを利用して(出現回数を逆順にする等の手順なしに)構図評価行列Wcmpが生成されるようにしてもよい。これにより,構図評価行列Wcmpは,出現回数の多い構図ほど高い構図評価値を与えるものとなる。このようにして決定される画像には,ユーザの好みの構図を有する画像が多く含まれることとなる。
また,図19に示す被写体評価行列Wobjは,図18に示す被写体出現回数テーブルを利用して生成されており,出現回数の多い被写体ほど要素の値が高くなっている,すなわち,出現回数の多い被写体ほど高い被写体評価値となっている。しかしながら,野生動物の撮影などの場合は,出現回数の少ない被写体は貴重なシャッタチャンスの中であえて撮影されたものであり,尊重すべきとも考えられるので,図18に示す被写体出現回数テーブルから,出現回数の少ない被写体の重みが大きくなるように,図16に示す構図重みテーブルと同じ方法で(出現回数を逆順にする等の手順により)被写体重みテーブルを生成し,生成した被写体重みテーブルから被写体評価行列Wobjが生成されるようにしてもよい。これにより,被写体評価行列Wobjは,出現回数の少ない被写体ほど高い被写体評価値を与えるものとなる。このようにして決定される画像には,出現回数の少ない珍しい被写体が写っている画像が比較的多く含まれることとなる。さらに,撮影の目的,画像評価の観点の違いに応じて,ユーザが画像評価の都度,出現回数の少ない構図または多い構図のいずれに高い構図評価値を与えるか,あるいは,出現回数の多い被写体または少ない被写体のいずれに高い被写体評価値を与えるかを,設定することとしてもよい。
1 画像評価システム
2 CPU(構図情報取得手段,被写体情報取得手段,構図数算出手段,被写体数算出手段,構図評価値算出手段,被写体評価値算出手段,画像評価値算出手段,決定手段,電子アルバム生成手段)

Claims (11)

  1. 画像の構図の種類を表す構図情報を取得する構図情報取得処理を,複数の画像について行なう構図情報取得手段,
    画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理を,上記複数の画像について行なう被写体情報取得手段,
    上記複数の画像について,構図の種類ごとに構図の出現回数を算出する構図数算出手段,
    上記複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出する被写体数算出手段,
    上記構図数算出手段によって算出された構図の出現回数から,上記複数の画像における構図の種類ごとの構図評価値を算出する構図評価値算出手段,
    上記被写体数算出手段によって算出された被写体の出現回数から,上記複数の画像における被写体の種類ごとの被写体評価値を算出する被写体評価値算出手段,および
    上記構図評価値算出手段によって算出された構図評価値と上記被写体評価値算出手段によって算出された被写体評価値とから上記複数の画像のそれぞれについて画像評価値を算出する画像評価値算出手段,
    を備えた画像評価システム。
  2. 上記構図評価値算出手段は,
    上記構図数算出手段によって算出された出現回数が少ない構図ほど高い構図評価値を算出する,
    請求項1に記載の画像評価システム。
  3. 上記構図評価値算出手段は,
    上記構図数算出手段によって算出された出現回数が多い構図ほど高い構図評価値を算出する,
    請求項1に記載の画像評価システム。
  4. 上記被写体評価値算出手段は,
    上記被写体数算出手段によって算出された出現回数が多い被写体ほど高い被写体評価値を算出する,
    請求項1に記載の画像評価システム。
  5. 上記被写体評価値算出手段は,
    上記被写体数算出手段によって算出された出現回数が少ない被写体ほど高い被写体評価値を算出する,
    請求項1に記載の画像評価システム。
  6. 上記画像評価値算出手段は,
    上記複数の画像のそれぞれについて,複数の上記構図と複数の上記被写体との2軸を有し,一の構図と一の被写体とが存在する場合は1,上記の場合以外は0を取る各画像構図被写体行列を求め,
    上記構図評価値算出手段により算出された構図評価値を用いて,1行または1列からなる構図評価行列を求め,
    上記被写体評価値算出手段により算出された被写体評価値を用いて,1列または1行からなる被写体評価行列を求め,
    上記各画像構図被写体行列,上記構図評価行列,および上記被写体評価行列の行列積を用いて,上記複数の画像のそれぞれについて画像評価値を算出するものである,
    請求項1から5のうち,いずれか一項に記載の画像評価システム。
  7. nを自然数とし,
    上記画像評価値算出手段によって算出された画像評価値が高い上記n個の画像を決定する決定手段,
    をさらに備えた請求項1から6のうち,いずれか一項に記載の画像評価システム。
  8. 上記決定手段によって決定した画像を利用して電子アルバムを生成する電子アルバム生成手段,
    をさらに備えた請求項7に記載の画像評価システム。
  9. 構図情報取得手段が,画像の構図の種類を表す構図情報を取得する構図情報取得処理を,複数の画像について行ない,
    被写体情報取得手段が,画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理を,上記複数の画像について行ない,
    構図数算出手段が,上記複数の画像について,構図の種類ごとに構図の出現回数を算出し,
    被写体数算出手段が,上記複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出し,
    構図評価値算出手段が,上記構図数算出手段によって算出された構図の出現回数から,上記複数の画像における構図の種類ごとの構図評価値を算出し,
    被写体評価値算出手段が,上記被写体数算出手段によって算出された被写体の出現回数から,上記複数の画像における被写体の種類ごとの被写体評価値を算出し,
    画像評価値算出手段が,上記構図評価値算出手段によって算出された構図評価値と上記被写体評価値算出手段によって算出された被写体評価値とから上記複数の画像のそれぞれについて画像評価値を算出する,
    画像評価方法。
  10. 画像評価システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    画像の構図の種類を表す構図情報を取得する構図情報取得処理を,複数の画像について行なわせ,
    画像に含まれている被写体の種類を表す被写体情報を取得する被写体情報取得処理を,上記複数の画像について行なわせ,
    上記複数の画像について,構図の種類ごとに構図の出現回数を算出させ,
    上記複数の画像について,画像に含まれている被写体の種類ごとに被写体の出現回数を算出させ,
    算出された構図の出現回数から,上記複数の画像における構図の種類ごとの構図評価値を算出させ,
    算出された被写体の出現回数から,上記複数の画像における被写体の種類ごとの被写体評価値を算出させ,
    算出された構図評価値と被写体評価値とから上記複数の画像のそれぞれについて画像評価値を算出させるように画像評価システムのコンピュータを制御するプログラム。
  11. 請求項10に記載のプログラムを格納した記録媒体。
JP2015189652A 2015-09-28 2015-09-28 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体 Active JP6453194B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015189652A JP6453194B2 (ja) 2015-09-28 2015-09-28 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体
US15/180,328 US10303949B2 (en) 2015-09-28 2016-06-13 Image evaluation system, image evaluation method and recording medium storing image evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015189652A JP6453194B2 (ja) 2015-09-28 2015-09-28 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体

Publications (2)

Publication Number Publication Date
JP2017068333A JP2017068333A (ja) 2017-04-06
JP6453194B2 true JP6453194B2 (ja) 2019-01-16

Family

ID=58409614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015189652A Active JP6453194B2 (ja) 2015-09-28 2015-09-28 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体

Country Status (2)

Country Link
US (1) US10303949B2 (ja)
JP (1) JP6453194B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6775458B2 (ja) 2017-03-30 2020-10-28 日本碍子株式会社 ハニカム構造体
JP2022172705A (ja) * 2021-05-06 2022-11-17 キヤノン株式会社 撮影制御装置、撮影システム、撮影制御方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006259788A (ja) * 2005-03-15 2006-09-28 Seiko Epson Corp 画像出力装置
KR101646669B1 (ko) * 2009-06-24 2016-08-08 삼성전자주식회사 사용자 패턴을 이용한 구도 데이터베이스 업데이트 방법 및 장치, 및 디지털 촬영 장치
US9049419B2 (en) * 2009-06-24 2015-06-02 Hewlett-Packard Development Company, L.P. Image album creation
WO2011161889A1 (ja) 2010-06-23 2011-12-29 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US8625904B2 (en) * 2011-08-30 2014-01-07 Intellectual Ventures Fund 83 Llc Detecting recurring themes in consumer image collections
JP5930653B2 (ja) * 2011-10-14 2016-06-08 キヤノン株式会社 情報処理装置、画像選択方法およびプログラム
US8934661B2 (en) * 2011-12-09 2015-01-13 Facebook, Inc. Automatic photo album creation based on social information
JP6004718B2 (ja) 2012-04-16 2016-10-12 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP5802255B2 (ja) 2013-03-13 2015-10-28 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
WO2015022689A1 (en) * 2013-08-13 2015-02-19 Pic Dj Ltd. Media object selection

Also Published As

Publication number Publication date
JP2017068333A (ja) 2017-04-06
US20170091552A1 (en) 2017-03-30
US10303949B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
US9251594B2 (en) Cropping boundary simplicity
US9305339B2 (en) Multi-feature image haze removal
US9245347B2 (en) Image Cropping suggestion
JP7111632B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP5686673B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10127246B2 (en) Automatic grouping based handling of similar photos
US9953220B2 (en) Cutout object merge
US20160117798A1 (en) Image Zooming
US9973647B2 (en) Suggesting image files for deletion based on image file parameters
JP7463473B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
EP3408752B1 (en) Object management and visualization using a computing device
US10692259B2 (en) Automatic creation of media collages
JP6453194B2 (ja) 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体
JP2022164837A (ja) 画像処理装置,画像処理方法および画像処理プログラム
JP6440604B2 (ja) 被写体評価システム,被写体評価方法,被写体評価プログラムおよびそのプログラムを格納した記録媒体
US9792717B2 (en) Interactive slide deck
US11915480B2 (en) Image processing apparatus and image processing method
WO2013114884A1 (ja) 被写体位置特定用プログラム、被写体位置特定装置、およびカメラ
US20190378262A1 (en) Image evaluation apparatus, image evaluation method, and image evaluation program
US8878902B2 (en) Stereoscopic image display control apparatus, and method and program for controlling operation of same
JP7203877B2 (ja) 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
JP7188478B2 (ja) 検索装置、検索方法、およびプログラム
JP2011253425A (ja) 画像表示プログラムおよび画像表示装置
JP2008097213A (ja) 画像表示システム、画像表示方法およびプログラム
TW201822147A (zh) 圖像分類方法及圖像展示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181212

R150 Certificate of patent or registration of utility model

Ref document number: 6453194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250