JP3848749B2

JP3848749B2 - 画像検索装置

Info

Publication number: JP3848749B2
Application number: JP23179897A
Authority: JP
Inventors: 裕志中川; 辰則森; 俊昭秋元
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1997-08-13
Filing date: 1997-08-13
Publication date: 2006-11-22
Anticipated expiration: 2017-08-13
Also published as: JPH1166283A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の感性的特徴量と物理的特徴量との相関関係を求めるための画像特徴量の相関抽出方法及びその装置に関し、さらに求めた相関関係を用いて感性語による画像検索を可能にする画像検索装置に関する。
【０００２】
【従来の技術】
従来より、画像検索を人間の感性的な表現を利用して行うことを可能とした画像検索システムが考えれており、例えば特開平５−６４３７号、特開平８−２４９３５１号等に開示されている。
【０００３】
上記公開公報に記載されているような、感性語による画像検索を可能にした画像検索システムについて、図１３を参照して説明する。
【０００４】
かかる画像検索システムを構築するためには、機械的に抽出できる物理的特徴量を実際の検索で使用する感性的特徴量に変換するためのマッピングルールｆを見つける必要がある。
【０００５】
同図に示す例では、５０枚のサンプル画像に対して、濃度値の変換、雑音の消去、ぼけの復元、輪郭の強調、連結部分の抽出などの様々な画像処理を加えることで、境界線画素数、曲線度、複雑度、色数、色分布、コントラストなどといった種々の物理的特徴量を抽出する。また、同じ５０枚のサンプル画像の感性的特徴量を複数の被験者に対するアンケート調査を実施することで抽出する。被験者がサンプル画像に対して感じたシャープ・ソフト度、シンプル・デコラティブ度、動的・静的度、モダン・クラシック度、抽象的・写実的度…といった感性的特徴量を０〜１のポイントで答えてもらい、人間が各サンプル画像に対して感じる感性的特徴量を数値化する。
【０００６】
このようにして、サンプル分析画像を構成する各画像に対し、感性的特徴量及び物理的特徴量の抽出が行われたならば、次いで両特徴量の相関関係を規定するマッピングルールｆが統計的手法により作成される。マッピングルールｆは両特徴量の相関関係を規定するので、ある画像の物理的特徴量がわかれば感性的特徴量を予測することができる。
【０００７】
一方、画像検索システムの画像データベースに登録する多数の画像（図１３には１０００枚の場合が示されている）をコンピュータにより画像処理してサンプル画像と同じ項目の物理的特徴量を機械的に抽出する。全ての登録画像について、サンプル画像の分析から生成したマッピングルールｆを用いて、登録画像の物理的特徴量から感性的特徴量を機械的に自動生成する。画像に対して人間が感じる感性的特徴は、サンプル画像の分析で行ったように個々の画像について一つ一つ評価しなければならないが、マッピングルールｆを使用することにより機械的に感性的特徴量を求めることができる。
【０００８】
登録画像とその感性的特徴量とを関連づけて画像データベースに登録し、オペレータが希望する画像を感性的な表現（以下、「感性語」という）を利用して検索をかけると、入力された感性語と一致する又は近似する感性的特徴量を持った登録画像が検索される。これにより、物理的特徴量を使用して画像検索するのに比べて、オペレータが主観的にほしいと思った物に近い画像を容易に検索することができる。
【０００９】
【発明が解決しようとする課題】
感性語による画像検索システムでは、登録画像の感性的特徴量を物理的特徴量から求めるためのマッピングルールｆが検索精度を大きく左右するにも拘わらず、現在までマッピングルールをどのようにして求めたらよいか必ずしも明確にされていなかった。上記公開公報においても「統計的手法で作成」と開示されているにすぎず、具体的にどのような手法を使うかはシステム構築者が試行錯誤で決める以外になかった。
【００１０】
本発明は、以上のような実情に鑑みてなされたものであり、画像の物理的特徴量とその画像の感性的特徴量との相関関係を規定しているルールを高い信頼度でかつ機械的に決めることができ、感性語による画像検索を可能にした画像検索装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上記課題を解決するために以下のような手段を講じた。
本発明の画像検索装置は、サンプル画像が持っている物理的特徴と、前記サンプル画像の印象を感性的に表現した感性的特徴を被験者のアンケートにより評価して求めた感性的特徴量との相関関係を、統計的な処理により抽出し、抽出した相関関係に基づいて、物理的特徴を構成する複数の物理的特徴量に対応する感性語を生成するためのマッピングルールを作成する相関抽出手段と、作成されたマッピングルールを保存するマッピングルール保存手段と、登録用の画像データを画像処理して物理的特徴量を抽出する物理的特徴量抽出手段と、抽出された登録用画像データの物理的特徴量を保存する物理的特徴量保存手段と、前記物理的特徴量保存手段に保存された登録用画像データの物理的特徴量に前記マッピングルール保存手段に保存されたマッピングルールを適用して、前記登録用画像データに感性語の情報を付与する感性語情報付与手段と、感性語情報が付与された登録用画像データを格納する登録画像データベースと、感性語を入力する感性語入力手段と、入力された感性語に対応する画像データを前記登録画像データベースから検索する画像検索手段と、を具備する構成を採る。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して具体的に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１となる画像検索システムのシステム構成図である。本実施の形態の画像検索システムは、感性語による画像検索を可能にした画像検索ブロック１０１と、感性的特徴量の付加された登録画像からなる画像データベースを構築するデータベース作成ブロック１０２と、データベース作成時に使用するマッピングルールを重回帰分析アルゴリズムを適用して求める相関抽出ブロック１０３とから構成されている。
【００２９】
画像検索ブロック１０１は、感性的特徴量の付加された登録画像からなる登録画像データベース１０４と、外部から指示された感性語と一致する又は近似する感性語の付加された登録画像を登録画像データベース１０４から検索する画像検索装置１０５とを備えている。
【００３０】
データベース作成ブロック１０２は、画像メモリ１０６、画像処理装置１０７、物理的特徴量保存メモリ１０８、マッピングル−ル保存部１０９、感性語情報付与部１１０で構成される。画像メモリ１０６には、登録画像データベース１０４へ登録する感性情報付与前の登録画像データが保存され、物理的特徴量保存メモリ１０６には、画像処理装置１０７で登録画像データを画像処理して抽出される各種の物理的特徴量が保存される。さらにマッピングル−ル保存部１０９には、相関抽出ブロック１０３がサンプル画像より求める物理的特徴量と感性的特徴量との相関関係を規定するルールが物理的特徴量から感性的特徴量をマッピングするためのマッピングルールとして保存される。感性語情報付与部１１０は、登録用画像データの物理的特徴量にマッピングルールを適用して当該登録画像データの持つ感性的特徴量を出力するものである。
【００３１】
相関抽出ブロック１０３は、物理的特徴量抽出部１１２、アンケート結果入力部１１３、重回帰分析部１１４から構成されている。物理的特徴量抽出部１１２は、サンプル画像１１１を画像処理して各種の物理的特徴量を抽出する画像処理装置であり、アンケート結果入力部１１３はサンプル画像１１１に対して実施した各種感性語に関する評価値（感性的特徴量）を入力するデータエントリー装置である。重回帰分析部１１４は、サンプル画像１１１の物理的特徴量と感性的特徴量とから重回帰アルゴリズムを適用してマッピングルールを求めるものであり、コンピュータ上で後述するプログラム内容のアプリケーションプログラムを実行することにより実現される機能である。
【００３２】
以上の画像検索システムを構築するためには、データベース作成ブロック１０２のマッピングルール保存部１０９に保存するマッピングルールを作成することからはじめることになる。登録画像の物理的特徴量を感性的特徴量にマッピングするためのマッピングルールは、相関抽出ブロック１０３で実行される画像特徴量の相関抽出処理によって求められる。
【００３３】
以下、画像特徴量の相関抽出について具体的に説明する。
図２に、相関抽出ブロック１０３における１つの感性語についての画像特徴量の相関抽出プロセスが示されている。相関抽出ブロック１０３は感性的特徴と物理的特徴との間に関連性をなるべく多く見出すために重回帰分析アルゴリズムを採用している。重回帰分析の基本は、基準変数を説明変数の線形結合で近似的な予測を行うことである。基準変数が感性的特徴の一つの属性ｙｉに相当し、説明変数が物理的特徴の属性ｘ１〜ｘｐに相当する。
【００３４】
基準変数ｙｉを説明変数ｘ１〜ｘｐの線形結合で近似的な予測を行う一般式は、式（１）のようになる。
【数１】

したがって、感性的特徴の属性（感性語）について、偏回帰係数及び定数を求めることにより、物理的特徴量から感性的特徴量を予測するルールが求められることになる。
【００３５】
まず、数量の限定されたＮ個のサンプル画像１１１から感性的特徴量（Ｍ１：ｙ１１〜ｙｍ１、・・・Ｍｎ：ｙ１ｎ〜ｙｍｎ）をアンケートによって収集する一方、サンプル画像１１１から物理的特徴量（Ｍ１：ｘ１１〜ｘｐ１、・・・Ｍｎ：ｘ１ｎ〜ｘｐｎ）を画像処理により抽出しておく。Ｍ１〜Ｍｎはサンプル画像の番号であり、（ｙ１１〜ｙｍ１）・・・（ｙ１ｎ〜ｙｍｎ）は感性的特徴量の属性（感性語）であり、（ｘ１〜ｘｐ）、・・・（ｘ１ｎ〜ｘｐｎ）は物理的特徴量の属性である。図３にアンケートによって収集した感性的特徴量ｙ１１〜ｙｍｎのアンケート結果を例示しており、図４に画像処理にて抽出した物理的特徴量ｘ１１〜ｘｐｎの抽出結果を例示している。
【００３６】
図５はサンプル画像に対してアンケートで評価してもらう感性的特徴の属性（項目）の具体例である。どのような素材（サンプル画像）に対しても被験者が評価しやすく、反対語の対を両極に持つ尺度を組み合わせることにより因子分析や重回帰分析などの解析が使用できるように、画像に対する感性的な評価を表す尺度として１６項目を使用している。評価は、例えばサンプル画像Ｍ１の属性Ｍ（色彩）について「地味」＝１〜「派手」＝５として５段階評価する。
【００３７】
平均値演算部Ｓ２０１において、感性的特徴量のアンケート結果から各サンプル画像Ｍ１〜Ｍｎについて属性毎に評価値の平均値Ｙ１１〜Ｙｍｎを求め、さらに平均値Ｙ１１〜Ｙｍｎの全体平均Ｙ_AVEを求める。例えば、感性語ｙ１についての全体平均はＹ１_AVEと表すものとする。また、物理的特徴量の抽出結果から各サンプル画像Ｍ１〜Ｍｎについて属性ｘ１〜ｘｐ毎に特徴量の平均値Ｘ１１〜Ｘｐｎを求め、さらに属性毎に全体平均Ｘ１_AVE〜Ｘｐ_AVEを求める。図６に、平均値演算部Ｓ２０１にて求められる、各サンプルに対する物理的特徴量の各属性の平均値と一つの感性語ｙｉについての平均値、及びそれらの全体平均を示している。
【００３８】
次に、平均値演算部Ｓ２０１において計算したデータ及び物理的特徴量の抽出結果を用いて、分散演算部Ｓ２０２で各特徴量（ｙ１、ｘ１〜ｘｐ）の「分散」を求め、共分散演算部Ｓ２０３で特徴量の各組合わせについて「共分散」を求めるものとする。
【００３９】
分散演算部Ｓ２０２では、まず説明変量の分散として物理的特徴量ｘ１の分散＝Ｓ１²を式（２）に基づいて計算する。
【数２】

同様にして、他の物理的特徴量ｘ１〜ｘｐの分散＝Ｓ２²〜Ｓｐ²を計算し、さらに感性的特徴量ｙ１の分散Ｓｙ²を計算する。
【００４０】
共分散演算部Ｓ２０３では、まず説明変量の共分散として物理的特徴量ｘ１とｘ２の共分散＝Ｓ１２を式（３）に基づいて計算する。
【数３】

同様にして、物理的特徴量の他の各組み合わせ及び各物理的特徴量と感性的特徴量ｙ１との各組み合わせについて共分散を計算する。
【００４１】
以上のようにして求めた変量（物理的特徴量及び感性的特徴量）の分散及び共分散を用いることにより、図７に示すような「分散共分散行列」を作成することができる。
【００４２】
このとき、上記式（１）に示した重回帰式の回帰係数ａ１，ａ２，…，ａｐと定数ａ０は、次の連立方程式より求まる。
【数４】

回帰係数演算部Ｓ２０４では、分散演算部Ｓ２０２で求めた分散と共分散演算部Ｓ２０３で求めた共分散とを入力して、図７の分散共分散行列を生成すると共に、その分散共分散行列から連立方程式（４）を作成して回帰係数ａ１，ａ２，…，ａｐ及び定数ａ０を計算する。
【００４３】
マッピングルール作成部Ｓ２０５では、回帰係数演算部Ｓ２０４で求めた回帰係数ａ１，ａ２，…，ａｐ及び定数ａ０を式（１）の重回帰式に代入して感性的特徴量の属性（感性語）ｙ１に関してマッピングルールｆ（ｙ１）を生成する。
【００４４】
このように作成された感性語＝ｙ１に関するマッピングルールｆ（ｙ１）が、重回帰分析部１１４からマッピングルール保存部１０９へ格納される。他の感性語ｙ２〜ｙｍについても同様にしてマッピングルールｆ（ｙ２）〜ｆ（ｙｍ）を作成してマッピングルール保存部１０９へ格納する。
【００４５】
データベース作成ブロック１０２では、登録画像の物理的特徴量を画像処理装置１０７で機械的に抽出する一方、マッピングルール保存部１０９に保存されたマッピングルールを使用して各登録画像に感性的特徴量を感性語の評価値の形式で付加する。式（１）に示すように、感性語ｙ１〜ｙｍが、各感性語に対応したマッピングルールｆ（ｙ１）〜ｆ（ｙｍ）によって物理的特徴量の線形結合で表されているので、機械的に登録画像の感性的特徴量を求めることができる。感性的特徴量の付加された登録画像は登録画像データベース１０４に登録される。
【００４６】
画像検索ブロック１０１では、検索者から所望の画像に関するイメージが感性語の形式で画像検索装置１０５に入力される。検索画像の感性語が与えられた画像検索装置１０５は画像検索装置１０５から同じ感性語又は近似した感性語の付加された登録画像を検索して出力する。
【００４７】
このような実施の形態１によれば、サンプル画像から物理的特徴量を抽出する一方、同じサンプル画像の感性的特徴量を複数の被験者からのアンケートで収集し、画像の持つ物理的特徴量をその画像の持つ感性的特徴量を表す感性語に写像するマッピングルールｆを重回帰分析アルゴリズムを適用して生成するようにしたので、画像検索システムにおける登録画像データベースに登録する登録画像の感性的特徴量を機械的に生成することができ、感性語付き登録画像のデータベース作成作業の負担を軽減することができる。
【００４８】
（実施の形態２）
次に、本発明の実施の形態２にかかる画像検索システムについて説明する。
【００４９】
本実施の形態２は、上記実施の形態１の画像検索システムと基本的なシステム構成は同じであるが、相関抽出ブロック１０３の重回帰分析部１１４に代えて、決定木学習アルゴリズムを適用して物理的特徴と感性的特徴との相関関係を抽出する決定木学習部８０１を備える点で異なる。ここでは、決定木学習部８０１における相関抽出処理について詳細に説明するが、相関抽出処理以外の動作については上述した実施の形態１と同じであるので説明を省略する。
【００５０】
図８に示すように、決定木学習部８０１にはサンプル画像の物理的特徴量と感性的特徴量とが入力され、決定木学習アルゴリズムを適用して物理的特徴と感性的特徴との相関関係を抽出したマッピングルールを出力する。
【００５１】
図９に決定木学習アルゴリズムの概念図を示す。クラスが既知である対象群が、決まった数の属性集合で表されているとき、その分類規則は決定木の形で表すことができる。
【００５２】
いま、データ集合Ｄに含まれたデータが、決定木Ｈによってｍ個の排反なクラスＣ１〜Ｃｍに分類されたとする。データ集合Ｄは固有の物理的特徴量を持った複数のサンプル画像に相当し、排反なクラスＣ１〜Ｃｍはある感性語の評価値に相当するとすれば、決定木Ｈは物理的特徴量を属性として持つ複数のサンプル画像の集合を、物理的特徴量からなる制約条件の組み合わせによりある感性語の各評価値に分類するアルゴリズムであるといえる。したがって、根節点及び各中間節点における制約条件が判れば、画像の物理的特徴量から感性語の評価値を機械的に求めることができることになる。
【００５３】
以下、図１０のフローチャートを用いて制約条件を決定するための処理内容について詳細に説明する。なお、サンプル画像の物理的特徴量が物理的特徴量抽出部１１２で抽出されており、サンプル画像の感性的特徴量が被験者によるアンケートによって収集されている。
【００５４】
ある感性語（ｙｉ）について見た場合、サンプル画像のデータ集合ＤがクラスＣ１〜Ｃｍに分類されたとする。クラスＣｉに分類されるデータ数をｄｉとして、あるデータがクラスＣｉに分類される確率Ｐｉを求める（Ｓ1001）。確率Ｐｉは下式にて表すことができる。
【数５】

次に、決定木Ｈが伝達する情報量Ｅを下式から計算する（Ｓ1002）。
【数６】

根節点における決定木のテスト（データ集合を分類する制約条件として用いる物理的特徴量の属性（ｘｉ）の選択）として「ｔj」を選択したとする。属性ｔjは、Ｖｊ1〜Ｖｊnjのｎｊ種類の値をとる。物理的特徴量のある属性（ｘｉ）について、Ｖｊ1の値を持つサンプル画像データの集合をＤjk、Ｖｊ2の値を持つサンプル画像データの集合をＤｊ2、…Ｖｊkの値を持つサンプル画像データの集合をＤｊkとし、データ集合Ｄｊkに含まれたデータが、クラスＣ１〜Ｃｍに分類されるデータ数をｄ（jk）ｉとすると、データ集合Ｄｊkに対応する部分木Ｈjkが伝達する情報量は下式で表せる。
【数７】

次に、各部分木Ｈjkが伝達する情報量と決定木Ｈが伝達する全情報量とから、全情報量に対する各部分木Ｈjkのデータ数の割合Ｐjkを求める（Ｓ1003）。さらに、テストｔｊを選んだときに伝達する情報量Ｅ’(tj)を式（８）より求める（Ｓ1004）。
【数８】

次に、テストｔｊを選択したことによる情報量の増加分Ｇ(tj)を式（９）より計算する（Ｓ1005）。属性ｔjは、Ｖｊ1〜Ｖｊnjのｎｊ種類の値をとるので、この全てについて増加分Ｇ(tj)を求める。
【数９】

一つの属性について終了したら、残りの属性が存在するか否か判断し（Ｓ1006）、物理的特徴量の全属性（ｘ１〜ｘｐ）について同様に増加分Ｇ(tj)を計算する。そして、全属性のｎｊ種類について計算した情報量の増加分Ｇ(tj)の中から最大値を検索し（Ｓ1007）、情報量の増加が最大となるテストｔｊを選択する（Ｓ1008）。以上の様にしてテストの選択が行われる。
【００５５】
テストの選択が終了したら、選択したテストｔｊをその根節点での制約条件としてデータ集合Ｄを分類する（Ｓ1009）。データ集合Ｄが複数のグループに分類されたとすれば、各グループに対象にしている感性語ｙｉについて異なる評価値を持つサンプル画像が存在するか否かチェックをかける（Ｓ1010)。同一の感性語評価値を持つサンプル画像が同じグループに分類されたかいなか判断する（Ｓ1011)。その結果、同じグループに同一評価値のサンプル画像だけが分類されていれば、そのグループを最終的なクラスとして決定する。また、一つのグループに複数の評価値のサンプル画像が含まれていれば、そこを中間節点として新しく部分木を生成する（Ｓ1012)。新しく生成した部分木について上記ステップＳ1001〜Ｓ1011と同様な処理を実行してテストの選択と分類を繰り返す。
【００５６】
以上のようにして、テストの選択と分類を繰り返すことにより、データ集合Ｄを排反なクラスＣ１〜Ｃｍに分類する決定木Ｈの根節点及び中間節点における制約条件が決まる。
【００５７】
決定木Ｈにおいて根節点からクラスＣｉに至るルートに存在する節の制約条件が感性語ｙｉについてのマッピングルールｆとなる。
【００５８】
このような実施の形態によれば、サンプル画像から物理的特徴量を抽出する一方、同じサンプル画像の感性的特徴量を複数の被験者からのアンケートで収集し、画像の持つ物理的特徴量をその画像の持つ感性的特徴量を表す感性語に写像するマッピングルールｆを決定木学習アルゴリズムを適用して生成するようにしたので、画像検索システムにおける登録画像データベースに登録する登録画像の感性的特徴量を機械的に生成することができ、感性語付き登録画像のデータベース作成作業の負担を軽減することができる。
【００５９】
なお、相関抽出ブロック１０３の物理的特徴量抽出部１１２において、サンプル画像から感性的特徴量に対応する可能性のある物理的特徴量を抽出する前処理として、画像データに対して窓関数の一つであるハニング窓を作用させるようにする。
【００６０】
ハニング窓を作用させることにより、同じ明るさ又は同じ色の領域がある程度の大きさでまとまって存在する部分を抽出でき、結果として物理的特徴量と感性的特徴量との相関が高くなる。物理的特徴量と感性的特徴量との相関を高くすることで、マッピングルールによる感性語への変換精度を高くすることができる。
【００６１】
また、感性的特徴量と相関の高い物理的特徴量の属性として、画像をＹ軸方向に８分割してＹ軸方向の輝度相関値を用いる。以下、Ｙ軸方向の輝度相関値の求め形について説明する。
【００６２】
画像の輝度を用いてＹ軸方向に８分割した画像のイメージを図１１に示す。８分割した各分割画面を画像の上方からそれぞれ、Ｘ１、Ｘ２，・・・Ｘ７，Ｘ８とし、それぞれの分割画面についての輝度の平均ａ１，ａ２，・・・ａ７，ａ８を求める。
【００６３】
次に、輝度平均の全体和（ａ１＋ａ２＋・・・＋ａ７＋ａ８）をとり、それを面積とするような三角形を図１２のように描き、三角形に沿って基準値ｂ１、ｂ２、・・・ｂ７、ｂ８をとる。そして、基準値ｂ１、ｂ２、・・・ｂ７、ｂ８と輝度値ａ１，ａ２，・・・ａ７，ａ８との相関係数ｒを式（１０）に基づいて求める。
【数１０】

この求めた相関係数ｒを物理的特徴量に一つの属性として使用する。
【００６４】
【発明の効果】
以上詳記したように本発明によれば、画像の物理的特徴量とその画像の感性的特徴量との相関関係を規定しているルールを機械的に、かつ高い精度で決めることができ、感性語による画像検索を可能にした画像検索装置を提供できる。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１の画像検索システムのシステム構成図。
【図２】実施の形態１における相関抽出ブロックの処理フロー図。
【図３】実施の形態１における相関抽出ブロックに保存した感性的特徴量のアンケート結果を示す図。
【図４】実施の形態１における相関抽出ブロックに保存した物理的特徴量の抽出結果を示す図。
【図５】静止画像に対する感性的特徴量の属性図。
【図６】実施の形態１における相関抽出ブロックでの演算結果を示す図。
【図７】分散共分散行列を示す図。
【図８】本発明にかかる実施の形態２の画像検索システムにおける相関抽出ブロックの一部の構成図。
【図９】実施の形態２における決定木学習アルゴリズムの概念図。
【図１０】実施の形態２における制約条件決定までのフロー図。
【図１１】Ｙ軸方向に分割したサンプル画像の概略図。
【図１２】基準値決定のための三角形を書き込んだ理論図。
【図１３】従来の登録画像、感性的特徴、物理的特徴及びマッピングルールの相互関係を示す説明図。
【符号の説明】
１０１画像検索ブロック
１０２データベース作成ブロック
１０３相関抽出ブロック
１０４画像データベース
１０５画像検索装置
１０６画像メモリ
１０７画像処理装置
１０８物理的特徴量保存メモリ
１０９マッピングル−ル保存部
１１０感性語情報付与部
１１２物理的特徴量抽出部
１１３アンケート結果入力部
１１４重回帰分析部

Claims

サンプル画像が持っている物理的特徴と、前記サンプル画像の印象を感性的に表現した感性的特徴を被験者のアンケートにより評価して求めた感性的特徴量との相関関係を、統計的な処理により抽出し、抽出した相関関係に基づいて、物理的特徴を構成する複数の物理的特徴量に対応する感性語を生成するためのマッピングルールを作成する相関抽出手段と、
作成されたマッピングルールを保存するマッピングルール保存手段と、
登録用の画像データを画像処理して物理的特徴量を抽出する物理的特徴量抽出手段と、
抽出された登録用画像データの物理的特徴量を保存する物理的特徴量保存手段と、
前記物理的特徴量保存手段に保存された登録用画像データの物理的特徴量に前記マッピングルール保存手段に保存されたマッピングルールを適用して、前記登録用画像データに感性語の情報を付与する感性語情報付与手段と、
感性語情報が付与された登録用画像データを格納する登録画像データベースと、
感性語を入力する感性語入力手段と、
入力された感性語に対応する画像データを前記登録画像データベースから検索する画像検索手段と、
を具備することを特徴とする画像検索装置。
前記相関抽出手段は、
感性的特徴を構成する感性語を基準変量ｙｉ、物理的特徴を構成する各特徴量を説明変量（ｘ１〜ｘｐ）として、各変量の分散共分散行列を求め、基準変量ｙを説明変量（ｘ１〜ｘｐ）の線形結合で近似した重回帰式
ｙｉ＝ａ１・ｘ１＋ａ２・ｘ２＋・・・＋ａｐ・ｘｐ＋ａ０
の偏回帰係数ａ１、ａ２、・・・ａｐ及び定数ａ０を、前記分散共分散行列を用いて求め、求めた偏回帰係数及び定数の数値を重回帰式に代入して感性語ｙｉについての相関関係に対応したマッピングルールを作成する、
ことを特徴とする請求項１記載の画像検索装置。
サンプル画像に対する感性的な評価は、各サンプル画像に対して感性的特徴の属性に関する段階評価値をアンケート入力することによって実施されることを特徴とする請求項１記載の画像検索装置。
感性的特徴量は、各サンプル画像に対して属性毎に評価値の平均値を求めて得られることを特徴とする請求項３記載の画像検索装置。