JP6754282B2 - 感性評価システム - Google Patents

Description

本発明は、感性評価システムに関するものである。

人間は、視覚について、例えば、質感、美観等に関する感性を有するものである。この視覚上の感性を評価するものとして、特許文献１、特許文献２がある。特許文献１は、感性を表す感性用語を用いて、画像印象の評価結果を表示するものとなっている。特許文献２は、露光度等の撮影者の好みを反映させた画像評価を行うものとなっている。

特開平９−１６７９７号公報 特開２００６−２５４１０７号公報

従来の視覚上の感性の評価は、感性用語を用いたり、画像撮影者の好みを反映したものとされていて、感性そのものを物理的に評価するものではなく、具体性に欠けるものとならざるを得ないものであった。

本発明は以上のような事情を勘案してなされたもので、その目的は、人間の視覚上の感性を定量化して評価できるようにした感性評価システムを提供することにある。

前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
所定の感性について評価の対象となる画像を取得する画像取得手段と、
人間脳内の階層的な視覚情報処理を模擬して構成され、前記画像取得手段で取得された画像について該階層毎に特徴データを算出する画像特徴算出手段と、
前記画像特徴算出手段で算出された特徴データについて、自己相関および相互相関を算出する視覚統計量算出手段と、
前記各階層の特徴データの自己相関および相互相関をパラメータとしてあらかじめ設定され、前記所定の感性についての評価モデルを記憶した評価モデル記憶手段と、
前記視覚統計量算出手段で算出された自己相関と相互相関とを前記評価モデルに照合して、前記評価対象となる画像についての感性を評価する感性評価部と、
を備えているようにしてある。上記解決手法によれば、人間の視覚上の感性を定量化して評価することができる。特に、人間の視覚上の情報処理を模擬化したデータを用いた評価手法なので、実際に人間が感じる感性と適切に合致した評価を行うことができる。

上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
前記画像特徴算出手段は、第１階層での処理となる周波数処理による複数の第１特徴データと、第２階層での処理となる方位選択処理による複数の第２特徴データと、第３階層での処理となる方位信号強度処理による複数の第３特徴データとを算出する、ようにしてある（請求項２対応）。この場合、人間の網膜から外側膝状体を経て大脳皮質で行われる視覚上の情報処理を適切に再現した評価を得ることができる。

前記視覚統計量算出手段で算出された自己相関、相互相関とに基づいて、前記評価モデルを学習補正する学習手段をさらに備えている、ようにしてある（請求項３対応）。この場合、評価モデルをより適切に設定する上で好ましいものとなる。

評価される感性の種類が複数設定されて、該複数の感性に対応して前記評価モデルが複数設定され、
前記複数の評価モデルの中から、評価される前記所定の感性に応じて１つの評価モデルを選択するモデル選択手段をさらに有し、
前記感性評価手段は、前記視覚統計量算出手段で算出された自己相関と相互相関とを
前記モデル選択手段で選択された評価モデルに対して照合する、
ようにしてある（請求項４対応）。この場合、視覚上の種々の感性に対応した評価を行うことができる。

前記評価モデルが、多数の画像について取得された前記自己相関および前記相互相関について主成分分析を行った後、前記所定の感性の評価用のパラメータを選択することにより決定されている、ようにしてある（請求項５対応）。この場合、評価モデルを極力簡単かつ容易に設定する等の上で好ましいものとなる。

前記評価モデルが、次式によって設定されている（ただし、Ｙは感性の主観評価値、ａ、ｂ、ｃは係数、Ｘは前記自己相関または前記相互相関である）、ようにしてある（請求項６対応）。この場合、感性の評価値を数式でもって得ることができる。

前記所定の感性についての評価が、質感の評価とされている、ようにしてある（請求項７対応）。この場合、広く一般に行われることの多い質感についての評価を行うことができる。

前記評価モデルが、前記第３特徴データの自己相関と前記第２特徴データの相互相関とをパラメータとして設定されている、ようにしてある（請求項８対応）。この場合、評価モデルが用いるパラメータを極力簡単化しつつ、２次元マップの形式でもって質感を評価することができる。また、２次元マップ上での位置づけを直感的に理解できることから、質感を高めるあるいは低下させるための方向付けを容易に知ることができる。

本発明によれば、視覚上の感性を定量化して評価することができる。

感性評価を行う制御系統を示すブロック図。 人間脳内の階層的な視覚情報処理を模擬化して示すもので、各階層の特徴データと各特徴データの自己相関および相互相関の算出を示す図。 評価モデルを決定する手法を説明するための図。 第３特徴データの自己相関マップの例示す図。 第２特徴データの相互相関を算出する例を示す図。 質感評価のためのマップの例を示す図。 質感評価の評価の対象となる自動車のインストルメントパネル部分の画像例を示す図。

まず、図２を参照しつつ、人間脳内の視覚情報処理を模擬化した処理に基づく各階層での特徴データの算出と、各特徴データについての自己相関および相互相関について説明する。

人間の脳内の視覚情報処理は、網膜から外側膝状体を経て大脳皮質での処理となり、第１階層での処理、第２階層での処理、第３階層での処理というように、３段階で行われる。網膜に入力される視覚情報の入力が図中○１で示される。なお、以下の説明で、図２中の数字を○印で囲ったものを、○１、○２等でもって表示することとする（例えば○１は、数字の１を○印で囲ったもの）。

第１階層での処理は、網膜入力後の外側膝状体の処理を模擬したもので、周波数処理つまり解像度処理とされて、例えば高周波（高解像度）と低周波（低解像度）とに分解される。実施形態では、２段階で周波数が分解される処理を行うものとなっており、この第１階層での処理によって、図２中○２、○３として示される２種類の特徴データが算出される。なお、第１階層での処理を、外側膝状体（ＬＧＮ）の表示を取って「ＬＧＮ」として表示してある。

第２階層での処理は、第１次視覚野の単純型細胞の処理を模擬したもので、第１階層で処理された各周波数について、方位と位相との分解処理が行われる。この第２階層の処理によって、○４〜○１１の合計８種類の特徴データが算出される。なお、第２階層での処理を、第１次視覚野の単純型細胞の表示を取って「Ｖ１ Ｓｉｍｐｌｅ」として表示してある。

第３階層での処理は、第１次視覚野の複雑型細胞の処理を模擬したもので、周波数別に位相差を統一させて、方位強度を示す処理となり、○１２〜○１５の４種類の特徴データが算出される。なお、第３階層での処理を、第１次視覚野の複雑型細胞の表示を取って「Ｖ１ Ｃｏｍｐｌｅｘ」として表示してある。

各階層での特徴データについて、自己相関、相互相関が算出される。図２中、「Ａｕｔｏ」として示すのが自己相関を示し、「Ｗｉｔｈｉｎ」として示すのが同一周波数間での相互相関を示し、「Ａｃｒｏｓｓ」として示すのが異なる周波数間での相互相関を示す。

算出される自己相関の種類は次のようになる。まず、第１階層の特徴データ○２、○３についての自己相関が、「ＬＧＮ Ａｕｔｏ」として算出される。

第２階層での８つの特徴データについて、同一周波数内で同一位相内での相互相関が、「Ｓｉｍｐｌｅ Ｗｉｔｈｉｎ」として算出される。また、上記８つの特徴データのうち異なる周波数間での相互相関が「Ｓｉｍｐｌｅ Ａｃｒｏｓｓ」として算出される。なお、実施形態では、「Ｓｉｍｐｌｅ Ａｃｒｏｓｓ」は、フーリエ変換によって、実部と虚部との２種類を算出するようにしてある。

第３階層での４つの特徴データの自己相関が、「Ｃｏｍｐｌｅｘ Ａｕｔｏ」として算出される。また、この４つの特徴データの同一周波数内での相互相関が「Ｃｏｍｐｌｅｘ Ｗｉｔｈｉｎ」として算出される。さらに、この４つの特徴データの異なる周波数間ので相互相関が、「Ｃｏｍｐｌｅｘ Ａｃｒｏｓｓ」として算出される。

上記のように算出された自己相関および相互相関の算出に加えて、視覚入力についてのモーメント、第１階層での特徴データについてのモーメント（ＬＧＮモーメント）、第３階層での特徴データについてのモーメント（Ｖ１ Ｃｏｍｐｌｅｘモーメント）が算出される（モーメントは、画像の基本的な統計量であって、平均、分散、歪度、尖度のいずれかで定義される）。

次に、図３を参照しつつ、評価モデルを設定する例について説明する。なお、以下の説明では、評価する感性が物体（物品）の「質感」とした場合を例にして行うこととする。まず、図３中、Ｇ１、Ｇ２・・・Ｇｎとして示すのは、質感評価の対象となる異なる多数（例えば５００〜１０００）の画像を示す。この多数の画像についての視覚上の感性評価値（例えば質感の良否について複数段階での評価値）が紐付けられている。なお、質感評価値は、質感評価を行う複数人の専門家による評価値の生データあるいは平均した値としてある。

各画像について、図２について説明したように、自己相関、相互相関が算出される。１つの画像について、自己相関および相互相関について、数多くの相関レベル（数値としての相関係数）を有するものである。各自己相関および各相互相関について、主成分分析（例えば５次元）が行われて、図３中Ａ列で示すような抽出が行われる。また、図３中Ｂ列で示すように、Ａ列の中から、質感評価に大きな影響を及ぼすパラメータが選択される。

主成分分析によって取得された上記Ａ列に示すパラメータに基づいて、評価モデルを示す（１）式が、数１のように決定される。

（１）式中、Ｙは、各画像についての質感評価値であり、ａ０〜ａｍ、ｂ１〜ｂｍ、ｃ（ｃについてのサフィックスはここでは省略）は係数（定数）であり、Ｘ１〜Ｘｍは、図３で示すＡ列での相関レベルである。当初は、各係数は不知である。（１）式に対して、各画像Ｇ１〜Ｇｎについての主観的な質感評価値Ｙと相関レベルＸ１〜Ｘｍをあてはめて、回帰手法によって各係数が決定される。回帰モデルとなる（１）式において、個々の係数は、多数の自己相関および多数の相互相関のうち特定の１つが対応づけられている。

（１）式は、抽出されたＡ列で示す自己相関および全ての相互相関を含むように決定されたものとなる。この（１）式から、図３のＢ列で示すような質感評価に大きな影響を与えるパラメータのみを残して、質感評価に影響がないパラメータを削除して、質感評価用の評価モデル式が下記の（２）式として決定される。したがって、（２）式でのサフィックスｎは、（１）式でのサフィックスｍよりも小となる。なお、（２）式は、（１）式から不要なパラメータについての係数分を削除した後に、係数のサフィックスが連続するように書き直したものとなっている（（１）式と（２）式とでは、同じサフィックスの係数が同じ内容を示すものとは限らない）。

ここで、上記（１）式では、全ての１次項に対して、２次の項および交互作用の項（初期値ａ０を除く右辺第３項）を含んでいる。実際には、評価モデルを極力シンプルにするという観点から、主観評価に所定以上の影響を有するある特定の１次の項に対してのみ、２次の項および交互作用の項を有するものとするのが好ましく、このような処理が行われた後の状態が、（２）式である。

ある物体の質感評価を行う場合、当該ある物体についての画像を取得して、図２に示すように自己相関、相互相関を算出し、この算出結果を上記（２）式に当てはめる（自己相関、相互相関の各相関レベルをＸ１〜Ｘｎに当てはめる）ことにより、上記ある物体についての質感の評価値が数値でもって算出されることになる（定量化で可視化ともなる）。なお、（２）式での評価モデルの妥当性を、図３で示す画像Ｇ１〜Ｇｎ以外の複数の画像（から算出される自己相関、相互相関）とそれに対する主観的な質感評価値とを利用して、検証することもできる。

次に、図１を参照しつつ、感性評価を行うための全体的な制御系統例について説明する。図１において、１１は、視覚上の感性の評価対象となるカラーの画像であり、この画像１１はカメラによって取得される。この画像１１について、前述したように、第１階層から第３階層での特徴データが画像特徴算出部１２によって算出されて、この特徴データに基づいて、視覚統計量計算部１３によって自己相関および相互相関が算出される。

一方、視覚上の感性についての評価モデルが、複数設定されている。図１では、評価モデルＡは質感評価用であり、評価モデルＢは美観評価用であり、このように、評価する感性の相違に応じて、複数の評価モデルが設定されている。評価モデルとしては、顔表情（が示す感性）等の他の評価対象を適宜設定できる。

各評価モデルは、評価パラメータ選択部Ｐでの選択によって、評価すべき感性の種類に応じたパラメータが設定されている。例えば、質感評価においては、構造・輝度の一様性と輝度のグラデーションとがパラメータとされる（自己相関、相互相関が、構造・輝度の一様性と輝度のグラデーションを検出するように行われる）。また、美観評価においては、例えば輝度分布の対称性がパラメータとして設定される（自己相関、相互相関が、輝度分布の対称性を検出するように行われる）。このように、感性の評価対象に応じてパラメータの選択が行われて、これに応じて自己相関および相互相関が選択されたパラメータに応じて算出される。

図１において、個人情報入力部２１において個人情報（例えば性別、年齢、職業等）が入力され、入力された個人情報が、個人情報前処理部２２で前処理（例えば年齢を複数段階に分類等）された後、個人情報記録部２３に記録（記憶）される。

生体センサ入力部２４で入力された生体情報と主観評価部２５で入力された主観的な感性評価値とが、感性実測値推定部２６に入力されて感性実測値が推定され、この推定された感性実測値が感性実測値記録部２７に記録（記憶）される。

シーン情報入力部２８で入力されたシーンのうち、評価対象特定部２９でもって評価対象が特定される。そして、この評価対象特定部で特定された評価対象（の画像）が、評価対象記録部３０に記録（記憶）される。前述した視覚統計量計算部１３での計算結果が、視覚統計量記録部３１に記録（記憶）される。

上述した各記録部２３、２７、３０、３１が、データベース部Ｄを構成する。このデータベース部Ｄでのデータに基づいて、評価モデルが設定される。具体的には、データベース部でのデータが、評価パラメータ選択部Ｐに入力されて、評価すべき感性の種類に応じて、適切なパラメータ（評価軸）が選択されて（図３のＢ列のパラメータ選択が対応）、選択されたパラメータに応じて評価モデルが設定される（（２）式に示す評価モデルが設定される）。

前記記録部３０での記録内容が、図３に示す多数の画像Ｇ１〜Ｇｎとして利用され、記録部２７での記録内容が、各画像Ｇ１〜Ｇｎに対する主観的な評価値として利用される。
なお、個人情報入力部２１は、個人情報（例えば性別や年齢層）に応じて評価値を補正するためであり、無くてもよいものである。また、記録部３１は、新たに感性評価したときにこれを評価モデルを学習補正するためであり、学習補正を行わない場合は無くてもよいものである。

評価パラメータ選択部は、評価する感性の内容（種類）に応じて評価パラメータ（評価軸）を選択する。評価パラメータは、前述したように、評価される感性が例えば質感の場合は、特に構造・輝度の一様性と輝度のグラデーション（の一様性）とされる。また、評価される感性が例えば美観の場合は、輝度分布の対称性等とされる。このように、評価される感性の内容に応じた適切なパラメータが選択されて、前述したように評価モデルが設定され、この他人間の顔表情が示す感性等、視覚上の適宜の感性について評価モデルを設定することができる。

図１の制御系において、評価モデル設定部４１によって、いずれか１つの評価モデルが設定（選択）される。例えば質感評価を行う場合は、評価モデル設定部４１によって、質感評価用のとなる評価モデルＡが設定される。そして、感性評価部４２によって、視覚統計量計算部１３で計算された自己相関および相互相関の相関レベル（相関係数）を評価モデルＡに当てはめて、質感が算出（評価値として出力）される。

評価モデルＡをより適切化するため、評価対象画像取得部１１で取得された画像について、質感評価の専門家による質感評価値と感性評価部４２による質感評価値とが相違する場合は、上記取得された画像を図３の画像に含めると共に質感評価の専門家による質感評価値を含めるようにして、評価モデルＡ（これに対応した（２）式）を学習補正することができる。

次に、質感評価の場合を例にして、自己相関および相互相関についてさらに詳細に説明する。まず、質感評価の場合に用いる第３階層での自己相関について説明する。この場合、第３階層の特徴データ（例えば図２の○１２）についての自己相関は、第３階層での特徴データとなる元画像とそのコピー画像との相関性が取得される。具体的には、元画像に対してコピー画像を横方向に所定分ずらした状態で両画像同士を比較してその相関性が取得される（相関係の取得）。コピー画像を順次横方向にずらして同様のことが繰り返される。

次いで、元画像に対してコピー画像を縦向に所定分ずらした状態で両画像同士を比較してその相関性が取得される（相関係の取得）。コピー画像を順次縦方向にずらして同様のことが繰り返される。

以上のようにして得られた相関性を示す相関係数は、例えば図４に示すような自己相関マップとなる。図４に示すマップのうち、相関係数が最大となる部分（図４において○１で示す部分）を含むその周辺領域での相関係数の平均値が、元画像についての相関係数とされる。

同様のことが、図２に示す第３階層での画像○１３〜○１５について行われて、第３階層での特徴データ全てについて自己相関の相関係数が取得される。各画像○１２〜○１５について算出された複数の相関係数の平均値を算出して、この平均値が第３階層での特徴データについての自己相関を示す相関係数とされる。

次に、第２階層での相互相関を取得する場合の詳細について説明する。なお、以下の説明では、図２における第２階層での○４の画像と、○４の画像に対して周波数の異なる○８の画像との相互相関を得る場合を例として説明する。この場合、図５に示すように、周波数の異なる２つの画像同士を重畳して、輝度についてのグラデーションを表現する相関画像が取得される（輝度変化の一様性が高いほど相関性が高いとされる）。９０度、４５度、０度、−４５度という方位の異なる画像同士の間においても同様に輝度についてのグラデーションを表現する相関画像が取得される（図５では、第２階層での特徴データについての方位が４種類とした場合を示してある）。この後、全ての方位についての相関画像を総和した画像から、輝度変化の一様性についての相相関係数のもっとも大きい部分を含むその周辺部分での相関係数の平均値が算出される。同様のことが、第２階層の他の特徴データ（画像）についても行われて、取得された全ての相互相関の平均値を算出して、この平均値が第２階層での特徴データについての相互相関を示す相関係数とされる。

前述のようにして得られた第３階層での特徴データについての自己相関（についての相関係数）と第２階層での特徴データについての相互相関（についての相関係数）とをパラメータとして、質感のレベルを示すマップが例えば図６のように設定される（可視化された評価形態）。図６は、マップ式の評価モデルとなるものである。この図６に示すマップにおいて、領域分けとして例えばα１、α２、α３、α４、α５の５つが設定されているが、領域α１がもっとも上質で、領域α２が２番目に上質で、領域α３が中程度であり、領域α４が上質でなく、領域α５がもっとも上質でないことを示す。

図６中、白丸印と黒丸印とは、実際の車両におけるインストルメントパネルについての質感評価の結果を示す。白丸印の車両は、質感レベルが所定レベル以上の合格レベルと評価される。この一方、黒丸印の車両は、質感が低いと評価される。評価された種々の車両におけるインストルメントパネルのオリジナル画像（図２における画像○１に相当）は、例えば図７に示すようなものである。なお、図７では、輝度が高い加飾部分についてハッチングを付してある。種々の車両についての図７に示すようなオリジナル画像から、第３特徴データの自己相関と第２階層での特徴データの相互相関とを取得して、図６に照合したものが白丸印と黒丸印である。

図６に示すようなマップを用いて質感評価することにより、他車両との関係での質感の相違を一目で知ることができる。また、図６を利用して、どのようにすれば質感を高める（あるいは低下させる）ことができるかが、一目瞭然となる。すなわち、２つの黒丸印のうち、下方側の丸印で示す車両においては、構造輝度の一様性はほぼそのままで、輝度のグラデーションを高めることにより、質感を高めることができる、ということが理解される。また、上側の黒丸印の車両においては、輝度のグラデーションはほぼそのままで、構造・輝度の一様性を高めることにより、質感を高めることができる、ということが理解される。特に、図６のマップを利用して質感評価することは、質感を高める（あるいは低下させる）ために、構造・輝度の一様性と輝度のグラデーションとのいずれか一方を変更すればよいのか、あるいは両方を変更する必要があるのかの判断を行うことが可能となる。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。例えば質感を評価する場合に、評価モデルを、評価対象の物体の種類毎に個々に設定することもできる。例えば、車両においては、インストルメントパネル部分の評価用とシートの評価用とドア内装の評価用とを互いに別の評価モデルとして設定することもできる。また、同一種類の物体の例えば質感評価するモデルについて、年齢、性別等で分けた複数の評価モデルを設定することもできる（例えば若年女性層、男性高齢者層等に応じた評価モデルを個々に設定する）車両に限らず、家具類を含むインテリアの評価等、種々の分野における評価を行うことができる。図２に示した各種モーメント（モーメントの２乗等、モーメントに基づく値を含む）を加味して評価モデルを設定することもできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

本発明は、視覚上の感性を定量化して評価することができる。

１１：評価対象画像取得部
１２：画像特徴算出部
１３：視覚統計量計算部
２５：主観評価入力部
２８：シーン情報入力部（評価対象画像の入力部）
４１：評価モデル設定部
４２：感性評価部

Claims (8)

1. 所定の感性について評価の対象となる画像を取得する画像取得手段と、
   人間脳内の階層的な視覚情報処理を模擬して構成され、前記画像取得手段で取得された画像について該階層毎に特徴データを算出する画像特徴算出手段と、
   前記画像特徴算出手段で算出された特徴データについて、自己相関および相互相関を算出する視覚統計量算出手段と、
   前記各階層の特徴データの自己相関および相互相関をパラメータとしてあらかじめ設定され、前記所定の感性についての評価モデルを記憶した評価モデル記憶手段と、
   前記視覚統計量算出手段で算出された自己相関と相互相関とを前記評価モデルに照合して、前記評価対象となる画像についての感性を評価する感性評価部と、
   を備えていることを特徴とする感性評価システム。
2. 請求項１において、
   前記画像特徴算出手段は、第１階層での処理となる周波数処理による複数の第１特徴データと、第２階層での処理となる方位選択処理による複数の第２特徴データと、第３階層での処理となる方位信号強度処理による複数の第３特徴データとを算出する、ことを特徴とする感性評価システム。
3. 請求項１または請求項２において、
   前記視覚統計量算出手段で算出された自己相関、相互相関とに基づいて、前記評価モデルを学習補正する学習手段をさらに備えている、感性評価システム。
4. 請求項１ないし請求項請求項３のいずれか１項において、
   評価される感性の種類が複数設定されて、該複数の感性に対応して前記評価モデルが複数設定され、
   前記複数の評価モデルの中から、評価される前記所定の感性に応じて１つの評価モデルを選択するモデル選択手段をさらに有し、
   前記感性評価手段は、前記視覚統計量算出手段で算出された自己相関と相互相関とを
   前記モデル選択手段で選択された評価モデルに対して照合する、
   ことを特徴とする感性評価システム。
5. 請求項１ないし請求項４のいずれか１項において、
   前記評価モデルが、多数の画像について取得された前記自己相関および前記相互相関について主成分分析を行った後、前記所定の感性の評価用のパラメータを選択することにより決定されている、ことを特徴とする感性評価システム。
6. 請求項５において、
   前記評価モデルが、次式によって設定されている（ただし、Ｙは感性の主観評価値、ａ、ｂ、ｃは係数、Ｘは前記自己相関または前記相互相関である）、ことを特徴とする感性評価システム。
   

   
7. 請求項２において、
   前記所定の感性についての評価が、質感の評価とされている、ことを特徴とする感性評価システム。
8. 請求項７において、
   前記評価モデルが、前記第３特徴データの自己相関と前記第２特徴データの相互相関とをパラメータとして設定されている、ことを特徴とする感性評価システム。

Images