JP6408729B1

JP6408729B1 - 画像評価装置、画像評価方法及びプログラム

Info

Publication number: JP6408729B1
Application number: JP2018034939A
Authority: JP
Inventors: 暁千金樂
Original assignee: 株式会社ジャパン・カレント
Priority date: 2018-02-28
Filing date: 2018-02-28
Publication date: 2018-10-17
Anticipated expiration: 2038-02-28
Also published as: JP2019149115A

Abstract

【課題】評価対象の画像の内容についての評価精度を向上させる。【解決手段】画像評価装置は、評価対象画像を取得する画像取得部と、画像取得部が取得する評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成部と、学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、学習済みＺベクトルと、評価値とを取得する評価情報取得部と、評価対象画像Ｚベクトル生成部が生成するＺベクトルと、評価情報取得部が取得する学習済みＺベクトル及び評価値とに基づいて、評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成部と、提案画像Ｚベクトル生成部が生成する提案画像のＺベクトルに基づいて、提案画像を生成する提案画像生成部とを備える。【選択図】図１

Description

本発明は、画像評価装置、画像評価方法及びプログラムに関する。

従来、コンピュータ装置の画面などに広告を表示する場合において、広告効果を高めることができる画像を作成するための技術が種々開示されている。例えば、特許文献１には、広告画像が表示される画面上の位置などに基づいて広告の効果を示す評価値を算出する技術が開示されている。

特開２０１３−１８２５９５号公報

しかしながら、上述のような従来技術の場合、広告画像の内容についての評価値までは得られないため、評価対象の画像をどのように変えれば広告効果を向上させることができるのか、ということまではできなかった。つまり、上述したような従来技術の場合、広告画像の内容についての評価まではできないという問題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、評価対象の画像の内容についての評価精度を向上させることができる画像評価装置、画像評価方法及びプログラムを提供することにある。

本発明の一実施形態は、評価対象画像を取得する画像取得部と、前記画像取得部が取得する前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成部と、学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得部と、前記評価対象画像Ｚベクトル生成部が生成する前記評価対象画像のＺベクトルと、前記評価情報取得部が取得する前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成部と、前記提案画像Ｚベクトル生成部が生成する前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成部と、を備える画像評価装置である。

また、本発明の一実施形態の画像評価装置は、入力されるＺベクトルについて当該Ｚベクトルの評価値を算出する画像評価値算出部に、前記提案画像のＺベクトルについて算出させた前記提案画像のＺベクトルの評価値を、外部に出力する提案画像評価値出力部をさらに備える。

また、本発明の一実施形態の画像評価装置は、入力されるＺベクトルについて当該Ｚベクトルの評価値を算出する画像評価値算出部に、前記評価対象画像のＺベクトルについて算出させた前記評価対象画像のＺベクトルの評価値を、外部に出力する評価対象画像評価値出力部をさらに備える。

本発明の一実施形態は、コンピュータが、評価対象画像を取得する画像取得ステップと、コンピュータが、前記画像取得ステップにおいて取得される前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成ステップと、コンピュータが、学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得ステップと、コンピュータが、前記評価対象画像Ｚベクトル生成ステップにおいて生成される前記評価対象画像のＺベクトルと、前記評価情報取得ステップにおいて取得される前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成ステップと、コンピュータが、前記提案画像Ｚベクトル生成ステップにおいて生成される前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成ステップと、を有する画像評価方法である。

本発明の一実施形態は、画像評価装置が備えるコンピュータに、評価対象画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成ステップと、学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得ステップと、前記評価対象画像Ｚベクトル生成ステップにおいて生成される前記評価対象画像のＺベクトルと、前記評価情報取得ステップにおいて取得される前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成ステップと、前記提案画像Ｚベクトル生成ステップにおいて生成される前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成ステップと、を実行させるためのプログラムである。

この発明によれば、評価対象の画像の内容についての評価精度を向上させることができる画像評価装置、画像評価方法及びプログラムを提供することができる。

本実施形態の画像評価装置の機能構成の一例を示す図である。本実施形態の前段データ変換層と提案画像生成部との学習過程の一例を示す図である。本実施形態の後段データ変換層の学習過程の一例を示す図である。本実施形態の画像評価値算出部の学習過程の一例を示す図である。本実施形態の画像評価装置の動作の一例を示す図である。本実施形態の提案画像Ｚベクトル生成部の動作の一例を示す図である。

［実施形態］
以下、図面を参照して、本発明の実施形態を説明する。
図１は、本実施形態の画像評価装置１０の機能構成の一例を示す図である。画像評価装置１０は、例えば、コンピュータ装置であって、評価対象画像ＩＭＴが入力された場合に、この評価対象画像ＩＭＴの評価を行い、入力された評価対象画像ＩＭＴよりも評価点が高い画像を提案画像ＩＭＰとして出力する機能を有する。ここで評価対象画像ＩＭＴとは、例えば、Ｗｅｂ広告などに利用される広告画像の原稿である。この一例の場合、画像評価装置１０は、広告画像の原稿が評価対象画像ＩＭＴとして入力されると、この評価対象画像ＩＭＴの広告効果を評価し、より広告効果が高い画像を提案画像ＩＭＰとして出力する。この画像評価装置１０の機能構成の概要について図１を参照して説明する。

［画像評価装置の機能構成］
画像評価装置１０は、画像取得部１１０と、評価対象画像Ｚベクトル生成部１２０と、評価情報取得部１３０と、提案画像Ｚベクトル生成部１４０と、提案画像生成部１５０とを備える。

画像取得部１１０は、評価対象画像ＩＭＴを取得する。評価対象画像ＩＭＴは、記憶媒体や有線又は無線ネットワークを介して、画像評価装置１０に供給される。画像取得部１１０は、これら記憶媒体や有線又は無線ネットワークから評価対象画像ＩＭＴを取得する。

評価対象画像Ｚベクトル生成部１２０は、画像取得部１１０が取得する評価対象画像のＺベクトルである評価対象画像ＺベクトルＺＴを生成する。ここでＺベクトルとは、画像の特徴を表すベクトルであって、ＧＡＮ（Generative Adversarial Network）又はＤＣＧＡＮ（Deep Convolutional GAN）における入力ベクトルである。

評価情報取得部１３０は、記憶部２０から、学習済みＺベクトルＺＲと、学習済みＺベクトル評価値ＥＶＺとを取得する。ここで、記憶部２０は、画像評価装置１０に備えられる場合と、画像評価装置１０の外部装置に備えられる場合とがある。記憶部２０は、ハードディスクやフラッシュＲＯＭなどの不揮発性の記憶装置を備えており、学習済みＺベクトルＺＲと当該学習済みＺベクトルＺＲの評価値である学習済みＺベクトル評価値ＥＶＺとが関連付けられて記憶されている。

提案画像Ｚベクトル生成部１４０は、評価対象画像Ｚベクトル生成部１２０が生成する評価対象画像ＺベクトルＺＴと、評価情報取得部１３０が取得する学習済みＺベクトルＺＲ及び学習済みＺベクトル評価値ＥＶＺとに基づいて、評価対象画像ＺベクトルＺＴを操作することにより、提案画像ＺベクトルＺＰを生成する。

提案画像生成部１５０は、提案画像Ｚベクトル生成部１４０が生成する提案画像ＺベクトルＺＰに基づいて、評価対象画像ＩＭＴに対応する提案画像ＩＭＰを生成する。

なお、画像評価装置１０は提案画像評価値出力部１７０−１と、評価対象画像評価値出力部１７０−２とを備えていてもよい。
提案画像評価値出力部１７０−１は、提案画像ＺベクトルＺＰの評価値の予測値である提案画像Ｚベクトル評価値ＥＶＰを出力する。
評価対象画像評価値出力部１７０−２は、評価対象画像ＺベクトルＺＴの評価値の予測値である評価対象画像評価予測値ＥＶＴを出力する。
これら提案画像評価値出力部１７０−１及び評価対象画像評価値出力部１７０−２は、いずれも、上述した画像評価値算出部１６０を備えている。

［ＡＩの学習］
次に、図２から図４を参照して、上述した評価対象画像Ｚベクトル生成部１２０、提案画像生成部１５０、及び画像評価値算出部１６０の学習過程について説明する。

［提案画像生成部・評価対象画像Ｚベクトル生成部の学習］
まず、評価対象画像Ｚベクトル生成部１２０及び提案画像生成部１５０の学習過程の一例について説明する。ここで、評価対象画像Ｚベクトル生成部１２０は、前段のデータ変換層（前段データ変換層１２１）と、後段のデータ変換層（後段データ変換層１２２）との２段に分かれて構成されている。ここでは、まず提案画像生成部１５０と、前段データ変換層１２１との学習過程について図２を参照して説明し、次に後段データ変換層１２２の学習過程について図３を参照して説明する。

［提案画像生成部と前段データ変換層との同時学習］
図２は、本実施形態の前段データ変換層１２１と提案画像生成部１５０との学習過程の一例を示す図である。前段データ変換層１２１及び提案画像生成部１５０の学習には、上述したＤＣＧＡＮをもとにしてネットワークモデルが構成される。
なお、以下の説明において、学習中である前段データ変換層１２１を、前段データ変換層（学習中）１２１Ｌと記載する。また、学習中である提案画像生成部１５０を提案画像生成部（学習中）１５０Ｌと記載する。この場合において、前段データ変換層１２１及び提案画像生成部１５０は、いずれも学習済みであることを示す。

このＤＣＧＡＮにおいては、学習画像ＩＭＬと、提案画像生成部（学習中）１５０Ｌが生成する画像ＩＭ１とを前段データ変換層（学習中）１２１Ｌに比較させる。前段データ変換層（学習中）１２１Ｌは、学習画像ＩＭＬと、画像ＩＭ１とを正しく判別する（すなわち、画像ＩＭ１を誤って学習画像ＩＭＬであると判別しないようにする）ことを学習する。提案画像生成部（学習中）１５０Ｌは、前段データ変換層（学習中）１２１Ｌが、生成した画像ＩＭ１と、学習画像ＩＭＬとを判別できない（すなわち、画像ＩＭ１を、学習画像ＩＭＬであると誤って判別する）ように、画像ＩＭ１を生成することを学習する。つまり、ＤＣＧＡＮにおいては、１５０Ｌの学習と、前段データ変換層（学習中）１２１Ｌの学習とが同時に行われる。

より具体的には、提案画像生成部（学習中）１５０Ｌには、一様分布ＺベクトルＺＲＤが供給される。提案画像生成部(学習中)１５０Ｌは、一様分布ＺベクトルＺＲＤの中から、あるＺベクトルを用いて画像ＩＭ１を生成する。前段データ変換層（学習中）１２１Ｌは、入力される画像が学習画像ＩＭＬであるのか、画像ＩＭ１であるのかを判別し、判別結果を画像判定層ＩＤに出力する。画像判定層ＩＤは、前段データ変換層（学習中）１２１Ｌの判別結果が正しいか誤っているかを、前段データ変換層（学習中）１２１Ｌと、提案画像生成部（学習中）１５０Ｌとに教示する。提案画像生成部１５０の学習が終了すると、提案画像生成部１５０は、学習画像ＩＭＬに近い画像を、一様分布ＺベクトルＺＲＤから生成することができるようになる。すなわち、提案画像生成部１５０は、一様分布ベクトルＺＲＤと、学習画像ＩＭＬとを関連付ける手法を学習することにより、学習画像ＩＭＬに近い画像を生成する。つまり、学習が終了した提案画像生成部１５０は、学習画像ＩＭＬに近い画像を生成するために任意の一様分布ＺベクトルＺＲＤを使用することができる。
また、前段データ変換層１２１の学習が終了すると、前段データ変換層１２１には、画像の特徴を把握するための情報が蓄積されている。

図１に示した画像評価装置１０の場合、提案画像生成部１５０には、提案画像ＺベクトルＺＰが供給される。この場合、提案画像生成部１５０は、供給された提案画像ＺベクトルＺＰに対応する画像、すなわち提案画像ＩＭＰを生成する。

［後段データ変換層の学習］
次に、図３を参照して、後段データ変換層１２２の学習過程について説明する。
図３は、本実施形態の後段データ変換層１２２の学習過程の一例を示す図である。この後段データ変換層１２２の学習には、図２を参照して説明した学習済みの前段データ変換層１２１と、提案画像生成部１５０とが用いられる。
提案画像生成部１５０は、一様分布ＺベクトルＺＲＤが供給されると、画像ＩＭ２を生成する。上述したように、提案画像生成部１５０は、画像ＩＭ２を生成するためのＺベクトル（生成画像ＺベクトルＺＧ１）に、任意の一様分布ＺベクトルＺＲＤを使用することができる。提案画像生成部１５０は、生成した画像ＩＭ２と、この画像ＩＭ２の生成に用いられたＺベクトル（生成画像ＺベクトルＺＧ１）とをそれぞれ出力する。
評価対象画像Ｚベクトル生成部（学習中）１２０Ｌは、上述した学習済みの前段データ変換層１２１と、後段データ変換層（学習中）１２２Ｌとによって構成される。評価対象画像Ｚベクトル生成部（学習中）１２０Ｌには、提案画像生成部１５０が生成した画像ＩＭ２が供給される。評価対象画像Ｚベクトル生成部（学習中）１２０Ｌは、この画像ＩＭ２に対応するＺベクトル（すなわち、画像ＩＭ２を生成するためのＺベクトル）を、生成ＺベクトルＺＧ２として生成する。

Ｚベクトル比較部ＺＣは、提案画像生成部１５０が出力する生成画像ＺベクトルＺＧ１と、評価対象画像Ｚベクトル生成部（学習中）１２０Ｌが出力する生成ＺベクトルＺＧ２とを比較する。Ｚベクトル比較部ＺＣは、比較結果を評価対象画像Ｚベクトル生成部（学習中）１２０Ｌにフィードバックし、生成ＺベクトルＺＧ２が、生成画像ＺベクトルＺＧ１に一致するように評価対象画像Ｚベクトル生成部（学習中）１２０Ｌを学習させる。
学習が終了した評価対象画像Ｚベクトル生成部１２０は、画像ＩＭ２が入力されると、この画像ＩＭ２の生成に用いられたＺベクトル（生成画像ＺベクトルＺＧ１）と同一のＺベクトルを、生成ＺベクトルＺＧ２として出力できるようになる。つまり、この学習過程により、評価対象画像Ｚベクトル生成部１２０は、供給される画像のＺベクトルを生成することができるようになる。

図１に示した画像評価装置１０の場合、評価対象画像Ｚベクトル生成部１２０には、評価対象画像ＩＭＴが供給される。この場合、評価対象画像Ｚベクトル生成部１２０は、表休された評価対象画像ＩＭＴのＺベクトル、すなわち評価対象画像ＺベクトルＺＴを生成する。

［画像評価値算出部の学習］
図４は、本実施形態の画像評価値算出部１６０の学習過程の一例を示す図である。画像評価値算出部１６０の学習には、ＤＮＮ（Deep Neural Network）回帰をもとにネットワークモデルが構成される。
画像評価値算出部（学習中）１６０Ｌには、学習画像ＩＭＬのＺベクトルである学習画像ＺベクトルＺＬと、この学習画像ＩＭＬに対して付されている評価値ＥＶＬとが入力される。画像評価値算出部（学習中）１６０Ｌは、これらの情報に基づき、あるＺベクトルが入力された場合に、このＺベクトルが示す画像の評価値を予測するように学習される。
なお、以下の説明において、「Ｚベクトルが示す画像の評価値」を単に「Ｚベクトルの評価値」とも記載する。

この一例では、学習画像ＩＭＬと、この学習画像ＩＭＬの評価値ＥＶＬとが用意される。上述した学習過程により、評価対象画像Ｚベクトル生成部１２０は、入力される学習画像ＩＭＬのＺベクトル（学習画像ＺベクトルＺＬ）を生成するように学習がなされている。この評価対象画像Ｚベクトル生成部１２０に学習画像ＩＭＬを入力すると、評価対象画像Ｚベクトル生成部１２０は、学習画像ＺベクトルＺＬを生成する。画像評価値算出部（学習中）１６０Ｌには、評価対象画像Ｚベクトル生成部１２０が生成した学習画像ＺベクトルＺＬと、評価値ＥＶＬとに基づいて、学習画像ＺベクトルＺＬと評価値ＥＶＬとの関係を学習する。
画像評価値算出部１６０の学習が終了すると、画像評価値算出部１６０は、Ｚベクトルが入力されると、このＺベクトルの評価値（評価予測値）を算出することができるようになる。

また、記憶部２０には、画像評価値算出部１６０が学習した、ＺベクトルとこのＺベクトルの評価値が対応付けられて学習済みＺベクトルＺＲ及び学習済みＺベクトル評価値ＥＶＺとして記憶される。

図１に示した画像評価装置１０の場合、画像評価値算出部１６０は、提案画像Ｚベクトル生成部１４０、提案画像評価値出力部１７０−１、及び評価対象画像評価値出力部１７０−２に組み込まれる。
一例として、提案画像Ｚベクトル生成部１４０には、評価対象画像ＺベクトルＺＴが供給される。この場合、提案画像Ｚベクトル生成部１４０の画像評価値算出部１６０は、評価対象画像ＺベクトルＺＴの評価値を算出する。
また、提案画像評価値出力部１７０−１には、提案画像ＺベクトルＺＰが供給される。この場合、提案画像評価値出力部１７０−１の画像評価値算出部１６０は、提案画像ＺベクトルＺＰの評価予測値である提案画像Ｚベクトル評価値ＥＶＰを算出する。
また、評価対象画像評価値出力部１７０−２の画像評価値算出部１６０は、評価対象画像ＺベクトルＺＴの評価予測値である評価対象画像評価予測値ＥＶＴを算出する。

［画像評価装置の動作］
次に、図５を参照して、画像評価装置１０の動作について説明する。
図５は、本実施形態の画像評価装置１０の動作の一例を示す図である。

（ステップＳ１０）画像取得部１１０は、評価対象画像ＩＭＴを取得する。
（ステップＳ２０）評価対象画像Ｚベクトル生成部１２０は、ステップＳ１０において画像取得部１１０が取得した評価対象画像ＩＭＴのＺベクトル、すなわち、評価対象画像ＺベクトルＺＴを生成する。

（ステップＳ３０）評価情報取得部１３０は、記憶部２０から、学習済みＺベクトルＺＲと、学習済みＺベクトル評価値ＥＶＺとを取得する。
（ステップＳ４０）提案画像Ｚベクトル生成部１４０は、ステップＳ２０において生成された評価対象画像ＺベクトルＺＴと、ステップＳ３０において取得された学習済みＺベクトルＺＲ及び学習済みＺベクトル評価値ＥＶＺとに基づいて、提案画像ＺベクトルＺＰを生成する。この提案画像Ｚベクトル生成部１４０が行う提案画像ＺベクトルＺＰの生成手順の詳細について、図６を参照して説明する。

［提案画像のＺベクトルの生成］
図６は、本実施形態の提案画像Ｚベクトル生成部１４０の動作の一例を示す図である。
（ステップＳ４１０）提案画像Ｚベクトル生成部１４０は、学習済みＺベクトルのうち評価対象画像ＺベクトルＺＴ近傍の学習済みＺベクトルを探索する。ここで、「評価対象画像ＺベクトルＺＴ近傍の学習済みＺベクトル」とは、学習済みＺベクトルのうち、評価対象画像ＺベクトルＺＴと学習済みＺベクトルとの距離（例えば、線形ノルム空間におけるノルム）が比較的近距離にある学習済みＺベクトルのことをいう。すなわち、「ベクトルの近傍のベクトル」とは、距離（例えば、ノルム）が比較的近距離にあるベクトルどうしのことをいう。
（ステップＳ４２０）提案画像Ｚベクトル生成部１４０は、ステップＳ４１０において探索され学習済みＺベクトルのなかから、評価値が低いＺベクトルを決定する。

（ステップＳ４３０）提案画像Ｚベクトル生成部１４０は、ステップＳ４１０において探索された学習済みＺベクトルのなかから評価値が高いＺベクトルを決定する。

（ステップＳ４４０）提案画像Ｚベクトル生成部１４０は、評価対象画像ＺベクトルＺＴに対し、ステップＳ４２０において決定された評価値が低いＺベクトルを差し引き、ステップＳ４３０において決定された評価値が高いＺベクトルを足し合わせる。
（ステップＳ４５０）提案画像Ｚベクトル生成部１４０は、ステップＳ４４０において計算された結果のＺベクトルを、提案画像ＺベクトルＺＰとして生成する。

（ステップＳ５０）図５に戻り、提案画像生成部１５０は、ステップＳ４５０において生成された提案画像ＺベクトルＺＰに基づいて、提案画像ＩＭＰを生成して、一連の処理を終了する。

以上説明したように、画像評価装置１０は、評価対象画像Ｚベクトル生成部１２０と、提案画像Ｚベクトル生成部１４０と、提案画像生成部１５０とを備える。この評価対象画像Ｚベクトル生成部１２０は、画像からＺベクトルを生成することができるように学習されている。また、提案画像生成部１５０は、Ｚベクトルから画像を生成することができるように学習されている。上述したように、評価対象画像Ｚベクトル生成部１２０は、学習済みの提案画像生成部１５０が生成する画像（画像ＩＭ２）とＺベクトル（生成画像ＺベクトルＺＧ１）を用いて学習される。このため、評価対象画像Ｚベクトル生成部１２０と、提案画像生成部１５０とは、Ｚベクトルが示す画像の意味を共有している。したがって、例えば、評価対象画像Ｚベクトル生成部１２０が評価対象画像ＩＭＴから生成する評価対象画像ＺベクトルＺＴをそのまま提案画像生成部１５０に対して供給すれば、提案画像生成部１５０は、評価対象画像ＩＭＴに近い画像（ないしは、一致する画像）を生成することができる。

ここで、Ｚベクトルの一般的な特性として、Ｚベクトルについての加減算によって、Ｚベクトルが示す画像の意味を変えることができる。例えば、「サングラスをかけた男性」の画像を示すＺベクトルから、「男性」の画像を示すＺベクトルを減算し、「女性」の画像を示すＺベクトルを加算することにより、「サングラスをかけた女性」の画像のＺベクトルを算出することができる。
それぞれの画像の意味（ここでは、サングラス、男性、女性など）について、広告効果の評価点をそれぞれ付しておけば、Ｚベクトルを加減算することにより、Ｚベクトルの評価点を加減算することができる。

本実施形態の提案画像Ｚベクトル生成部１４０は、学習済みＺベクトル評価値ＥＶＺに基づいて、評価対象画像Ｚベクトル生成部１２０が生成したＺベクトル（評価対象画像ＺベクトルＺＴ）を操作する。提案画像Ｚベクトル生成部１４０は、評価対象画像ＩＭＴのＺベクトル（評価対象画像ＺベクトルＺＴ）のうち、評価値が比較的低いＺベクトルを評価対象画像ＺベクトルＺＴから減算する（差し引く）ことにより、評価対象画像ＺベクトルＺＴの評価値を相対的に上昇させる。また、提案画像Ｚベクトル生成部１４０は、学習済みＺベクトルＺＲのうち、評価値が比較的高いＺベクトルを評価対象画像ＺベクトルＺＴに加算することにより、評価対象画像ＺベクトルＺＴの評価値を相対的に上昇させる。このようにしてＺベクトルを加減算することにより、提案画像Ｚベクトル生成部１４０は、評価対象画像ＺベクトルＺＴの評価値を超える評価値を有するＺベクトルを提案画像ＺベクトルＺＰとして生成する。

上述したように、評価対象画像Ｚベクトル生成部１２０と、提案画像生成部１５０とは、Ｚベクトルが示す画像の意味を共有している。また、記憶部２０には、学習済みＺベクトルＺＲと学習済みＺベクトル評価値ＥＶＺとが関連付けられて記憶されている。
つまり、図２から図４に示す学習過程によって学習がなされた結果、評価対象画像ＺベクトルＺＴ、学習済みＺベクトルＺＲ、及び提案画像ＺベクトルＺＰについて、そのＺベクトルが示す画像の意味及びＺベクトルの評価値が、これらＺベクトルの間において共通化されている。
すなわち、本実施形態の画像評価装置１０によれば、評価対象画像ＺベクトルＺＴに対して、あるＺベクトルを加減算することにより、Ｚベクトルが示す画像の意味及びＺベクトルの評価値を直接加減算することが可能になる。

ここで、従来の技術によると、評価対象画像ＩＭＴを構成する要素（例えば、人物の画像や商品の画像）に分解し、要素ごとに評価をしていた。この場合、要素間の相対的な位置関係や背景などの情報が欠落した状態で評価を行うことになり、評価精度を向上させることが困難であった。

一方、本実施形態の画像評価装置１０は、評価対象画像ＩＭＴを構成要素に分割することなく、画像のＺベクトルを直接加減算することにより評価を行うため、情報の欠落が低減でき、評価精度を向上させることができる。

また、本実施形態の画像評価装置１０は、評価対象画像ＩＭＴのうち評価値が低い画像を、評価値が高い画像に差し替えた提案画像ＩＭＰを提示することができる。すなわち、画像評価装置１０によれば、評価対象画像ＩＭＴのどの部分をどのような画像に差し替えればよいのかを示す提案画像ＩＭＰ（すなわち、サンプル画像）を自動生成して提示することができる。このため、画像評価装置１０によれば、例えば、広告画像の作成時に、人手を介して画像を評価する場合に比べて、評価時間を短縮することができる。

また、本実施形態の画像評価装置１０は、提案画像ＩＭＰの評価予測値（提案画像Ｚベクトル評価値ＥＶＰ）を提示する提案画像評価値出力部１７０−１を備えている。つまり、画像評価装置１０は、生成された提案画像ＩＭＰの評価の客観的な指標を提示する。このため、画像評価装置１０によれば、例えば、評価対象画像ＩＭＴから画像が互いに異なる複数の提案画像ＩＭＰを生成した場合に、どの提案画像ＩＭＰがより良い画像であるかを客観的に判定することができる。

また、本実施形態の画像評価装置１０は、評価対象画像評価予測値ＥＶＴの評価予測値（評価対象画像評価予測値ＥＶＴ）を提示する評価対象画像評価値出力部１７０−２を備えている。つまり、画像評価装置１０は、入力された評価対象画像ＩＭＴの評価の客観的な指標を提示することができる。

また、画像評価装置１０が、提案画像評価値出力部１７０−１と評価対象画像評価値出力部１７０−２とをいずれも備えている場合には、画像評価装置１０は、評価対象画像ＩＭＴに対して提案画像ＩＭＰがどの程度改善されたのかを、客観的な指標によって示すことができる。

なお、提案画像Ｚベクトル生成部１４０は、入力されたＺベクトルの評価予測値を算出するために、上述した画像評価値算出部１６０を備えていてもよい。この画像評価値算出部１６０は、提案画像Ｚベクトル生成部１４０にＺベクトルが入力された場合に、入力されたＺベクトルの評価予測値を算出する。

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態に記載の構成を組み合わせてもよい。

なお、上記の実施形態における画像評価装置１０（以下、単に各装置と記載する。）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、各装置が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１０…画像評価装置、１１０…画像取得部、１２０…評価対象画像Ｚベクトル生成部、１２０…評価対象画像Ｚベクトル生成部、１２１…前段データ変換層、１２２…後段データ変換層、１３０…評価情報取得部、１４０…提案画像Ｚベクトル生成部、１５０…提案画像生成部、１６０…画像評価値算出部、１７０−１…提案画像評価値出力部、１７０−２…評価対象画像評価値出力部、２０…記憶部
ＩＭＴ…評価対象画像、ＩＭＰ…提案画像、ＩＭＬ…学習画像、ＺＴ…評価対象画像Ｚベクトル、ＺＰ…提案画像Ｚベクトル、ＺＲ…学習済みＺベクトル、ＺＲＤ…一様分布Ｚベクトル、ＥＶＴ…評価対象画像評価予測値、ＥＶＰ…提案画像Ｚベクトル評価値、ＥＶＺ…学習済みＺベクトル評価値、ＥＶＬ…学習画像の評価値

Claims

評価対象画像を取得する画像取得部と、
前記画像取得部が取得する前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成部と、
学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得部と、
前記評価対象画像Ｚベクトル生成部が生成する前記評価対象画像のＺベクトルと、前記評価情報取得部が取得する前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成部と、
前記提案画像Ｚベクトル生成部が生成する前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成部と、
を備える画像評価装置。
入力されるＺベクトルについて当該Ｚベクトルの評価値を算出する画像評価値算出部に、前記提案画像のＺベクトルについて算出させた前記提案画像のＺベクトルの評価値を、外部に出力する提案画像評価値出力部
をさらに備える請求項１に記載の画像評価装置。
入力されるＺベクトルについて当該Ｚベクトルの評価値を算出する画像評価値算出部に、前記評価対象画像のＺベクトルについて算出させた前記評価対象画像のＺベクトルの評価値を、外部に出力する評価対象画像評価値出力部
をさらに備える請求項１又は請求項２に記載の画像評価装置。
コンピュータが、評価対象画像を取得する画像取得ステップと、
コンピュータが、前記画像取得ステップにおいて取得される前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成ステップと、
コンピュータが、学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得ステップと、
コンピュータが、前記評価対象画像Ｚベクトル生成ステップにおいて生成される前記評価対象画像のＺベクトルと、前記評価情報取得ステップにおいて取得される前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成ステップと、
コンピュータが、前記提案画像Ｚベクトル生成ステップにおいて生成される前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成ステップと、
を有する画像評価方法。
画像評価装置が備えるコンピュータに、
評価対象画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得される前記評価対象画像のＺベクトルを生成する評価対象画像Ｚベクトル生成ステップと、
学習済みＺベクトルと当該学習済みＺベクトルの評価値とが関連付けられて記憶されている記憶部から、前記学習済みＺベクトルと、前記評価値とを取得する評価情報取得ステップと、
前記評価対象画像Ｚベクトル生成ステップにおいて生成される前記評価対象画像のＺベクトルと、前記評価情報取得ステップにおいて取得される前記学習済みＺベクトル及び前記評価値とに基づいて、前記評価対象画像のＺベクトルのうち評価値が比較的低いＺベクトルを前記評価対象画像のＺベクトルから差し引き、前記記憶部に記憶されている前記学習済みＺベクトルのうち評価値が比較的高いＺベクトルを、前記評価対象画像のＺベクトルに加えることにより、前記評価対象画像のＺベクトルの評価値を超える評価値を有するＺベクトルを、提案画像のＺベクトルとして生成する提案画像Ｚベクトル生成ステップと、
前記提案画像Ｚベクトル生成ステップにおいて生成される前記提案画像のＺベクトルに基づいて、前記評価対象画像に対応する提案画像を生成する提案画像生成ステップと、
を実行させるためのプログラム。