JPH1166283A - 画像特徴量の相関抽出方法及び画像検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像の物理的特徴量とその画像の感性的
特徴量との相関関係を規定しているルールを高い信頼度
でかつ機械的に抽出すること。 【解決手段】 画像が持っている物理的特徴と前記画像
の印象を感性的に表現した感性的特徴との相関関係を重
回帰分析アルゴリズムを適用して抽出する重回帰分析部
１１４を備え、物理的特徴と感性的特徴の相関関係から
物理的特徴の複数特徴量から感性的特徴の感性語を生成
するマッピングルールを作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の感性的特徴
量と物理的特徴量との相関関係を求めるための画像特徴
量の相関抽出方法及びその装置に関し、さらに求めた相
関関係を用いて感性語による画像検索を可能にする画像
検索装置に関する。

【０００２】

【従来の技術】従来より、画像検索を人間の感性的な表
現を利用して行うことを可能とした画像検索システムが
考えれており、例えば特開平５−６４３７号、特開平８
−２４９３５１号等に開示されている。

【０００３】上記公開公報に記載されているような、感
性語による画像検索を可能にした画像検索システムにつ
いて、図１３を参照して説明する。

【０００４】かかる画像検索システムを構築するために
は、機械的に抽出できる物理的特徴量を実際の検索で使
用する感性的特徴量に変換するためのマッピングルール
ｆを見つける必要がある。

【０００５】同図に示す例では、５０枚のサンプル画像
に対して、濃度値の変換、雑音の消去、ぼけの復元、輪
郭の強調、連結部分の抽出などの様々な画像処理を加え
ることで、境界線画素数、曲線度、複雑度、色数、色分
布、コントラストなどといった種々の物理的特徴量を抽
出する。また、同じ５０枚のサンプル画像の感性的特徴
量を複数の被験者に対するアンケート調査を実施するこ
とで抽出する。被験者がサンプル画像に対して感じたシ
ャープ・ソフト度、シンプル・デコラティブ度、動的・静
的度、モダン・クラシック度、抽象的・写実的度…とい
った感性的特徴量を０〜１のポイントで答えてもらい、
人間が各サンプル画像に対して感じる感性的特徴量を数
値化する。

【０００６】このようにして、サンプル分析画像を構成
する各画像に対し、感性的特徴量及び物理的特徴量の抽
出が行われたならば、次いで両特徴量の相関関係を規定
するマッピングルールｆが統計的手法により作成され
る。マッピングルールｆは両特徴量の相関関係を規定す
るので、ある画像の物理的特徴量がわかれば感性的特徴
量を予測することができる。

【０００７】一方、画像検索システムの画像データベー
スに登録する多数の画像（図１３には１０００枚の場合
が示されている）をコンピュータにより画像処理してサ
ンプル画像と同じ項目の物理的特徴量を機械的に抽出す
る。全ての登録画像について、サンプル画像の分析から
生成したマッピングルールｆを用いて、登録画像の物理
的特徴量から感性的特徴量を機械的に自動生成する。画
像に対して人間が感じる感性的特徴は、サンプル画像の
分析で行ったように個々の画像について一つ一つ評価し
なければならないが、マッピングルールｆを使用するこ
とにより機械的に感性的特徴量を求めることができる。

【０００８】登録画像とその感性的特徴量とを関連づけ
て画像データベースに登録し、オペレータが希望する画
像を感性的な表現（以下、「感性語」という）を利用し
て検索をかけると、入力された感性語と一致する又は近
似する感性的特徴量を持った登録画像が検索される。こ
れにより、物理的特徴量を使用して画像検索するのに比
べて、オペレータが主観的にほしいと思った物に近い画
像を容易に検索することができる。

【０００９】

【発明が解決しようとする課題】感性語による画像検索
システムでは、登録画像の感性的特徴量を物理的特徴量
から求めるためのマッピングルールｆが検索精度を大き
く左右するにも拘わらず、現在までマッピングルールを
どのようにして求めたらよいか必ずしも明確にされてい
なかった。上記公開公報においても「統計的手法で作
成」と開示されているにすぎず、具体的にどのような手
法を使うかはシステム構築者が試行錯誤で決める以外に
なかった。

【００１０】本発明は、以上のような実情に鑑みてなさ
れたものであり、画像の物理的特徴量とその画像の感性
的特徴量との相関関係を規定しているルールを高い信頼
度でかつ機械的に決めることのできる画像特徴量の相関
抽出方法及びその装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記課題を解決
するために以下のような手段を講じた。

【００１２】請求項１記載の発明は、画像が持っている
物理的特徴と前記画像の印象を感性的に表現した感性的
特徴との相関関係を重回帰分析アルゴリズムを適用して
抽出する構成を採る。

【００１３】また、請求項７記載の発明は、画像が持っ
ている物理的特徴と前記画像の印象を感性的に表現した
感性的特徴との相関関係を重回帰分析アルゴリズムを適
用して抽出する重回帰分析手段と、抽出した画像の物理
的特徴と感性的特徴の相関関係に基づいて物理的特徴の
複数特徴量に対応した感性的特徴の感性語を生成するマ
ッピングルールを作成するルール作成手段とを具備する
構成を採る。

【００１４】これらの構成によれば、感性的特徴と物理
的特徴との間の相関関係を抽出するのに重回帰分析アル
ゴリズムを適用しているので、感性的特徴と物理的特徴
との間に関連性をできる限り多く見出すことができ、信
頼性の高いマッピングルールを作成することができる。

【００１５】請求項２記載の発明は、請求項１記載の方
法において、感性的特徴を構成する感性語を基準変量ｙ
ｉ、物理的特徴を構成する各特徴量を説明変量（ｘ１〜
ｘｐ）として、各変量の分散共分散行列を求め、基準変
量ｙを説明変量（ｘ１〜ｘｐ）の線形結合で近似した重
回帰式 ｙｉ＝ａ１・ｘ１＋ａ２・ｘ２＋・・・＋ａｐ・ｘｐ＋ａ
０ の偏回帰係数ａ１、ａ２、・・・ａｐ及び定数ａ０を前記
分散共分散行列を用いて求め、求めた偏回帰係数及び定
数の数値を重回帰式に代入して感性語ｙｉについての相
関関係に対応したマッピングルールを作成する構成を採
る。

【００１６】この構成によれば、重回帰分析アルゴリズ
ムに基づいて信頼性の高いマッピングルールを求めるこ
とができる。

【００１７】請求項３記載の発明は、画像が持っている
物理的特徴と前記画像の印象を感性的に表現した感性的
特徴との相関関係を決定木学習アルゴリズムを適用して
抽出する構成を採る。

【００１８】また、請求項８記載の発明は、画像が持っ
ている物理的特徴と前記画像の印象を感性的に表現した
感性的特徴との相関関係を決定木学習アルゴリズムを適
用して抽出する決定木学習手段と、抽出した画像の物理
的特徴と感性的特徴の相関関係から物理的特徴の複数特
徴量から感性的特徴の感性語を生成するマッピングルー
ルを作成するルール作成手段とを具備する構成を採る。

【００１９】これらの構成により、感性的特徴と物理的
特徴との間の相関関係を抽出するのに決定木学習アルゴ
リズムを適用しているので、感性的特徴と物理的特徴と
の間に関連性をできる限り多く見出すことができ、しか
も物理的特徴が独立でなくてもマッピングルールを作成
することができる。

【００２０】請求項４記載の発明は、請求項３記載の方
法において、感性的特徴及び物理的特徴が既知のサンプ
ル画像をデータ集合Ｄ、感性的特徴を構成する感性語の
評価値をクラスＣ１〜Ｃｍ、物理的特徴を構成する各特
徴量を属性値（ｘ１〜ｘｐ）として、全ての属性値に対
して部分木の伝達する情報量を求め、情報量が最大にな
るテストの選択を実施し、選択したテストに対応する制
約条件でデータ集合Ｄを分類し、分類されたサンプル画
像が同一の評価値を持つようになるまでテストの選択と
分類を繰り返し、それによって得られた制約条件から感
性語ｙｉについての相関関係に対応したマッピングルー
ルを作成する構成を採る。

【００２１】このような構成により、決定木学習アルゴ
リズムに基づいて信頼性の高いマッピングルールを求め
ることができる。

【００２２】請求項５記載の発明は、請求項１乃至請求
項４のいずれかに記載の画像特徴量の相関抽出方法にお
いて、画像から物理的特徴を抽出する前処理としてハニ
ング窓を作用させる構成を採る。

【００２３】このような構成により、物理的特徴と感性
的特徴との相関を高くすることができ、より信頼性の高
いマッピングルールを作成できる。

【００２４】請求項６記載の発明は、請求項１乃至請求
項４のいずれかに記載の画像特徴量の相関抽出方法にお
いて、画像を垂直軸方向に複数ブロックに分割し、各分
割ブロックの輝度値から垂直軸方向の輝度相関を求めて
物理的特徴の一つとして用いる構成を採る。

【００２５】このような構成により、輝度相関が高けれ
ば画像の上に近づくほど明るく、輝度相関が低ければ画
像の上に行くほど暗い画像となり、上の方があかるい画
像ほど自然さの高い（つまり自然状態に近い）画像であ
ると感じるので、感性的特徴に対して非常に関連性の高
い特徴量を使用することができる。

【００２６】請求項９記載の発明は、請求項７又は請求
項８記載の画像特徴量の相関抽出装置で作成されたマッ
ピングルールを用いて登録画像に感性語を付加して画像
データベースへ登録し、感性語による画像検索を可能に
した画像検索装置であり、データベースの構築が容易な
システムを実現できる。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して具体的に説明する。

【００２８】（実施の形態１）図１は、本発明の実施の
形態１となる画像検索システムのシステム構成図であ
る。本実施の形態の画像検索システムは、感性語による
画像検索を可能にした画像検索ブロック１０１と、感性
的特徴量の付加された登録画像からなる画像データベー
スを構築するデータベース作成ブロック１０２と、デー
タベース作成時に使用するマッピングルールを重回帰分
析アルゴリズムを適用して求める相関抽出ブロック１０
３とから構成されている。

【００２９】画像検索ブロック１０１は、感性的特徴量
の付加された登録画像からなる登録画像データベース１
０４と、外部から指示された感性語と一致する又は近似
する感性語の付加された登録画像を登録画像データベー
ス１０４から検索する画像検索装置１０５とを備えてい
る。

【００３０】データベース作成ブロック１０２は、画像
メモリ１０６、画像処理装置１０７、物理的特徴量保存
メモリ１０８、マッピングル−ル保存部１０９、感性語
情報付与部１１０で構成される。画像メモリ１０６に
は、登録画像データベース１０４へ登録する感性情報付
与前の登録画像データが保存され、物理的特徴量保存メ
モリ１０６には、画像処理装置１０７で登録画像データ
を画像処理して抽出される各種の物理的特徴量が保存さ
れる。さらにマッピングル−ル保存部１０９には、相関
抽出ブロック１０３がサンプル画像より求める物理的特
徴量と感性的特徴量との相関関係を規定するルールが物
理的特徴量から感性的特徴量をマッピングするためのマ
ッピングルールとして保存される。感性語情報付与部１
１０は、登録用画像データの物理的特徴量にマッピング
ルールを適用して当該登録画像データの持つ感性的特徴
量を出力するものである。

【００３１】相関抽出ブロック１０３は、物理的特徴量
抽出部１１２、アンケート結果入力部１１３、重回帰分
析部１１４から構成されている。物理的特徴量抽出部１
１２は、サンプル画像１１１を画像処理して各種の物理
的特徴量を抽出する画像処理装置であり、アンケート結
果入力部１１３はサンプル画像１１１に対して実施した
各種感性語に関する評価値（感性的特徴量）を入力する
データエントリー装置である。重回帰分析部１１４は、
サンプル画像１１１の物理的特徴量と感性的特徴量とか
ら重回帰アルゴリズムを適用してマッピングルールを求
めるものであり、コンピュータ上で後述するプログラム
内容のアプリケーションプログラムを実行することによ
り実現される機能である。

【００３２】以上の画像検索システムを構築するために
は、データベース作成ブロック１０２のマッピングルー
ル保存部１０９に保存するマッピングルールを作成する
ことからはじめることになる。登録画像の物理的特徴量
を感性的特徴量にマッピングするためのマッピングルー
ルは、相関抽出ブロック１０３で実行される画像特徴量
の相関抽出処理によって求められる。

【００３３】以下、画像特徴量の相関抽出について具体
的に説明する。図２に、相関抽出ブロック１０３におけ
る１つの感性語についての画像特徴量の相関抽出プロセ
スが示されている。相関抽出ブロック１０３は感性的特
徴と物理的特徴との間に関連性をなるべく多く見出すた
めに重回帰分析アルゴリズムを採用している。重回帰分
析の基本は、基準変数を説明変数の線形結合で近似的な
予測を行うことである。基準変数が感性的特徴の一つの
属性ｙｉに相当し、説明変数が物理的特徴の属性ｘ１〜
ｘｐに相当する。

【００３４】基準変数ｙｉを説明変数ｘ１〜ｘｐの線形
結合で近似的な予測を行う一般式は、式（１）のように
なる。

【数１】 したがって、感性的特徴の属性（感性語）について、偏
回帰係数及び定数を求めることにより、物理的特徴量か
ら感性的特徴量を予測するルールが求められることにな
る。

【００３５】まず、数量の限定されたＮ個のサンプル画
像１１１から感性的特徴量（Ｍ１：ｙ１１〜ｙｍ１、・・
・Ｍｎ：ｙ１ｎ〜ｙｍｎ）をアンケートによって収集す
る一方、サンプル画像１１１から物理的特徴量（Ｍ１：
ｘ１１〜ｘｐ１、・・・Ｍｎ：ｘ１ｎ〜ｘｐｎ）を画像処
理により抽出しておく。Ｍ１〜Ｍｎはサンプル画像の番
号であり、（ｙ１１〜ｙｍ１）・・・（ｙ１ｎ〜ｙｍｎ）
は感性的特徴量の属性（感性語）であり、（ｘ１〜ｘ
ｐ）、・・・（ｘ１ｎ〜ｘｐｎ）は物理的特徴量の属性で
ある。図３にアンケートによって収集した感性的特徴量
ｙ１１〜ｙｍｎのアンケート結果を例示しており、図４
に画像処理にて抽出した物理的特徴量ｘ１１〜ｘｐｎの
抽出結果を例示している。

【００３６】図５はサンプル画像に対してアンケートで
評価してもらう感性的特徴の属性（項目）の具体例であ
る。どのような素材（サンプル画像）に対しても被験者
が評価しやすく、反対語の対を両極に持つ尺度を組み合
わせることにより因子分析や重回帰分析などの解析が使
用できるように、画像に対する感性的な評価を表す尺度
として１６項目を使用している。評価は、例えばサンプ
ル画像Ｍ１の属性Ｍ（色彩）について「地味」＝１〜
「派手」＝５として５段階評価する。

【００３７】平均値演算部Ｓ２０１において、感性的特
徴量のアンケート結果から各サンプル画像Ｍ１〜Ｍｎに
ついて属性毎に評価値の平均値Ｙ１１〜Ｙｍｎを求め、
さらに平均値Ｙ１１〜Ｙｍｎの全体平均Ｙ_AVEを求め
る。例えば、感性語ｙ１についての全体平均はＹ１_AVE
と表すものとする。また、物理的特徴量の抽出結果から
各サンプル画像Ｍ１〜Ｍｎについて属性ｘ１〜ｘｐ毎に
特徴量の平均値Ｘ１１〜Ｘｐｎを求め、さらに属性毎に
全体平均Ｘ１_AVE〜Ｘｐ_AVEを求める。図６に、平均値演
算部Ｓ２０１にて求められる、各サンプルに対する物理
的特徴量の各属性の平均値と一つの感性語ｙｉについて
の平均値、及びそれらの全体平均を示している。

【００３８】次に、平均値演算部Ｓ２０１において計算
したデータ及び物理的特徴量の抽出結果を用いて、分散
演算部Ｓ２０２で各特徴量（ｙ１、ｘ１〜ｘｐ）の「分
散」を求め、共分散演算部Ｓ２０３で特徴量の各組合わ
せについて「共分散」を求めるものとする。

【００３９】分散演算部Ｓ２０２では、まず説明変量の
分散として物理的特徴量ｘ１の分散＝Ｓ１²を式（２）
に基づいて計算する。

【数２】 同様にして、他の物理的特徴量ｘ１〜ｘｐの分散＝Ｓ２
²〜Ｓｐ²を計算し、さらに感性的特徴量ｙ１の分散Ｓｙ
²を計算する。

【００４０】共分散演算部Ｓ２０３では、まず説明変量
の共分散として物理的特徴量ｘ１とｘ２の共分散＝Ｓ１
２を式（３）に基づいて計算する。

【数３】 同様にして、物理的特徴量の他の各組み合わせ及び各物
理的特徴量と感性的特徴量ｙ１との各組み合わせについ
て共分散を計算する。

【００４１】以上のようにして求めた変量（物理的特徴
量及び感性的特徴量）の分散及び共分散を用いることに
より、図７に示すような「分散共分散行列」を作成する
ことができる。

【００４２】このとき、上記式（１）に示した重回帰式
の回帰係数ａ１，ａ２，…，ａｐと定数ａ０は、次の連
立方程式より求まる。

【数４】 回帰係数演算部Ｓ２０４では、分散演算部Ｓ２０２で求
めた分散と共分散演算部Ｓ２０３で求めた共分散とを入
力して、図７の分散共分散行列を生成すると共に、その
分散共分散行列から連立方程式（４）を作成して回帰係
数ａ１，ａ２，…，ａｐ及び定数ａ０を計算する。

【００４３】マッピングルール作成部Ｓ２０５では、回
帰係数演算部Ｓ２０４で求めた回帰係数ａ１，ａ２，
…，ａｐ及び定数ａ０を式（１）の重回帰式に代入して
感性的特徴量の属性（感性語）ｙ１に関してマッピング
ルールｆ（ｙ１）を生成する。

【００４４】このように作成された感性語＝ｙ１に関す
るマッピングルールｆ（ｙ１）が、重回帰分析部１１４
からマッピングルール保存部１０９へ格納される。他の
感性語ｙ２〜ｙｍについても同様にしてマッピングルー
ルｆ（ｙ２）〜ｆ（ｙｍ）を作成してマッピングルール
保存部１０９へ格納する。

【００４５】データベース作成ブロック１０２では、登
録画像の物理的特徴量を画像処理装置１０７で機械的に
抽出する一方、マッピングルール保存部１０９に保存さ
れたマッピングルールを使用して各登録画像に感性的特
徴量を感性語の評価値の形式で付加する。式（１）に示
すように、感性語ｙ１〜ｙｍが、各感性語に対応したマ
ッピングルールｆ（ｙ１）〜ｆ（ｙｍ）によって物理的
特徴量の線形結合で表されているので、機械的に登録画
像の感性的特徴量を求めることができる。感性的特徴量
の付加された登録画像は登録画像データベース１０４に
登録される。

【００４６】画像検索ブロック１０１では、検索者から
所望の画像に関するイメージが感性語の形式で画像検索
装置１０５に入力される。検索画像の感性語が与えられ
た画像検索装置１０５は画像検索装置１０５から同じ感
性語又は近似した感性語の付加された登録画像を検索し
て出力する。

【００４７】このような実施の形態１によれば、サンプ
ル画像から物理的特徴量を抽出する一方、同じサンプル
画像の感性的特徴量を複数の被験者からのアンケートで
収集し、画像の持つ物理的特徴量をその画像の持つ感性
的特徴量を表す感性語に写像するマッピングルールｆを
重回帰分析アルゴリズムを適用して生成するようにした
ので、画像検索システムにおける登録画像データベース
に登録する登録画像の感性的特徴量を機械的に生成する
ことができ、感性語付き登録画像のデータベース作成作
業の負担を軽減することができる。

【００４８】（実施の形態２）次に、本発明の実施の形
態２にかかる画像検索システムについて説明する。

【００４９】本実施の形態２は、上記実施の形態１の画
像検索システムと基本的なシステム構成は同じである
が、相関抽出ブロック１０３の重回帰分析部１１４に代
えて、決定木学習アルゴリズムを適用して物理的特徴と
感性的特徴との相関関係を抽出する決定木学習部８０１
を備える点で異なる。ここでは、決定木学習部８０１に
おける相関抽出処理について詳細に説明するが、相関抽
出処理以外の動作については上述した実施の形態１と同
じであるので説明を省略する。

【００５０】図８に示すように、決定木学習部８０１に
はサンプル画像の物理的特徴量と感性的特徴量とが入力
され、決定木学習アルゴリズムを適用して物理的特徴と
感性的特徴との相関関係を抽出したマッピングルールを
出力する。

【００５１】図９に決定木学習アルゴリズムの概念図を
示す。クラスが既知である対象群が、決まった数の属性
集合で表されているとき、その分類規則は決定木の形で
表すことができる。

【００５２】いま、データ集合Ｄに含まれたデータが、
決定木Ｈによってｍ個の排反なクラスＣ１〜Ｃｍに分類
されたとする。データ集合Ｄは固有の物理的特徴量を持
った複数のサンプル画像に相当し、排反なクラスＣ１〜
Ｃｍはある感性語の評価値に相当するとすれば、決定木
Ｈは物理的特徴量を属性として持つ複数のサンプル画像
の集合を、物理的特徴量からなる制約条件の組み合わせ
によりある感性語の各評価値に分類するアルゴリズムで
あるといえる。したがって、根節点及び各中間節点にお
ける制約条件が判れば、画像の物理的特徴量から感性語
の評価値を機械的に求めることができることになる。

【００５３】以下、図１０のフローチャートを用いて制
約条件を決定するための処理内容について詳細に説明す
る。なお、サンプル画像の物理的特徴量が物理的特徴量
抽出部１１２で抽出されており、サンプル画像の感性的
特徴量が被験者によるアンケートによって収集されてい
る。

【００５４】ある感性語（ｙｉ）について見た場合、サ
ンプル画像のデータ集合ＤがクラスＣ１〜Ｃｍに分類さ
れたとする。クラスＣｉに分類されるデータ数をｄｉと
して、あるデータがクラスＣｉに分類される確率Ｐｉを
求める（Ｓ1001）。確率Ｐｉは下式にて表すことができ
る。

【数５】 次に、決定木Ｈが伝達する情報量Ｅを下式から計算する
（Ｓ1002）。

【数６】 根節点における決定木のテスト（データ集合を分類する
制約条件として用いる物理的特徴量の属性（ｘｉ）の選
択）として「ｔj」を選択したとする。属性ｔjは、Ｖｊ
1〜Ｖｊnjのｎｊ種類の値をとる。物理的特徴量のある
属性（ｘｉ）について、Ｖｊ1の値を持つサンプル画像
データの集合をＤjk、Ｖｊ2の値を持つサンプル画像デ
ータの集合をＤｊ2、…Ｖｊkの値を持つサンプル画像デ
ータの集合をＤｊkとし、データ集合Ｄｊkに含まれたデ
ータが、クラスＣ１〜Ｃｍに分類されるデータ数をｄ
（jk）ｉとすると、データ集合Ｄｊkに対応する部分木
Ｈjkが伝達する情報量は下式で表せる。

【数７】 次に、各部分木Ｈjkが伝達する情報量と決定木Ｈが伝達
する全情報量とから、全情報量に対する各部分木Ｈjkの
データ数の割合Ｐjkを求める（Ｓ1003）。さらに、テス
トｔｊを選んだときに伝達する情報量Ｅ’(tj)を式
（８）より求める（Ｓ1004）。

【数８】 次に、テストｔｊを選択したことによる情報量の増加分
Ｇ(tj)を式（９）より計算する（Ｓ1005）。属性ｔj
は、Ｖｊ1〜Ｖｊnjのｎｊ種類の値をとるので、この全
てについて増加分Ｇ(tj)を求める。

【数９】 一つの属性について終了したら、残りの属性が存在する
か否か判断し（Ｓ1006）、物理的特徴量の全属性（ｘ１
〜ｘｐ）について同様に増加分Ｇ(tj)を計算する。そし
て、全属性のｎｊ種類について計算した情報量の増加分
Ｇ(tj)の中から最大値を検索し（Ｓ1007）、情報量の増
加が最大となるテストｔｊを選択する（Ｓ1008）。以上
の様にしてテストの選択が行われる。

【００５５】テストの選択が終了したら、選択したテス
トｔｊをその根節点での制約条件としてデータ集合Ｄを
分類する（Ｓ1009）。データ集合Ｄが複数のグループに
分類されたとすれば、各グループに対象にしている感性
語ｙｉについて異なる評価値を持つサンプル画像が存在
するか否かチェックをかける（Ｓ1010)。同一の感性語
評価値を持つサンプル画像が同じグループに分類された
かいなか判断する（Ｓ1011)。その結果、同じグループ
に同一評価値のサンプル画像だけが分類されていれば、
そのグループを最終的なクラスとして決定する。また、
一つのグループに複数の評価値のサンプル画像が含まれ
ていれば、そこを中間節点として新しく部分木を生成す
る（Ｓ1012)。新しく生成した部分木について上記ステ
ップＳ1001〜Ｓ1011と同様な処理を実行してテストの選
択と分類を繰り返す。

【００５６】以上のようにして、テストの選択と分類を
繰り返すことにより、データ集合Ｄを排反なクラスＣ１
〜Ｃｍに分類する決定木Ｈの根節点及び中間節点におけ
る制約条件が決まる。

【００５７】決定木Ｈにおいて根節点からクラスＣｉに
至るルートに存在する節の制約条件が感性語ｙｉについ
てのマッピングルールｆとなる。

【００５８】このような実施の形態によれば、サンプル
画像から物理的特徴量を抽出する一方、同じサンプル画
像の感性的特徴量を複数の被験者からのアンケートで収
集し、画像の持つ物理的特徴量をその画像の持つ感性的
特徴量を表す感性語に写像するマッピングルールｆを決
定木学習アルゴリズムを適用して生成するようにしたの
で、画像検索システムにおける登録画像データベースに
登録する登録画像の感性的特徴量を機械的に生成するこ
とができ、感性語付き登録画像のデータベース作成作業
の負担を軽減することができる。

【００５９】なお、相関抽出ブロック１０３の物理的特
徴量抽出部１１２において、サンプル画像から感性的特
徴量に対応する可能性のある物理的特徴量を抽出する前
処理として、画像データに対して窓関数の一つであるハ
ニング窓を作用させるようにする。

【００６０】ハニング窓を作用させることにより、同じ
明るさ又は同じ色の領域がある程度の大きさでまとまっ
て存在する部分を抽出でき、結果として物理的特徴量と
感性的特徴量との相関が高くなる。物理的特徴量と感性
的特徴量との相関を高くすることで、マッピングルール
による感性語への変換精度を高くすることができる。

【００６１】また、感性的特徴量と相関の高い物理的特
徴量の属性として、画像をＹ軸方向に８分割してＹ軸方
向の輝度相関値を用いる。以下、Ｙ軸方向の輝度相関値
の求め形について説明する。

【００６２】画像の輝度を用いてＹ軸方向に８分割した
画像のイメージを図１１に示す。８分割した各分割画面
を画像の上方からそれぞれ、Ｘ１、Ｘ２，・・・Ｘ７，Ｘ
８とし、それぞれの分割画面についての輝度の平均ａ
１，ａ２，・・・ａ７，ａ８を求める。

【００６３】次に、輝度平均の全体和（ａ１＋ａ２＋・・
・＋ａ７＋ａ８）をとり、それを面積とするような三角
形を図１２のように描き、三角形に沿って基準値ｂ１、
ｂ２、・・・ｂ７、ｂ８をとる。そして、基準値ｂ１、ｂ
２、・・・ｂ７、ｂ８と輝度値ａ１，ａ２，・・・ａ７，ａ８
との相関係数ｒを式（１０）に基づいて求める。

【数１０】 この求めた相関係数ｒを物理的特徴量に一つの属性とし
て使用する。

【００６４】

【発明の効果】以上詳記したように本発明によれば、画
像の物理的特徴量とその画像の感性的特徴量との相関関
係を規定しているルールを機械的に、かつ高い精度で決
めることのできる画像特徴量の相関抽出方法及びその装
置を提供できる。

【図面の簡単な説明】

【図１】本発明にかかる実施の形態１の画像検索システ
ムのシステム構成図。

【図２】実施の形態１における相関抽出ブロックの処理
フロー図。

【図３】実施の形態１における相関抽出ブロックに保存
した感性的特徴量のアンケート結果を示す図。

【図４】実施の形態１における相関抽出ブロックに保存
した物理的特徴量の抽出結果を示す図。

【図５】静止画像に対する感性的特徴量の属性図。

【図６】実施の形態１における相関抽出ブロックでの演
算結果を示す図。

【図７】分散共分散行列を示す図。

【図８】本発明にかかる実施の形態２の画像検索システ
ムにおける相関抽出ブロックの一部の構成図。

【図９】実施の形態２における決定木学習アルゴリズム
の概念図。

【図１０】実施の形態２における制約条件決定までのフ
ロー図。

【図１１】Ｙ軸方向に分割したサンプル画像の概略図。

【図１２】基準値決定のための三角形を書き込んだ理論
図。

【図１３】従来の登録画像、感性的特徴、物理的特徴及
びマッピングルールの相互関係を示す説明図。

【符号の説明】

１０１ 画像検索ブロック １０２ データベース作成ブロック １０３ 相関抽出ブロック １０４ 画像データベース １０５ 画像検索装置 １０６ 画像メモリ １０７ 画像処理装置 １０８ 物理的特徴量保存メモリ １０９マッピングル−ル保存部 １１０ 感性語情報付与部 １１２ 物理的特徴量抽出部 １１３ アンケート結果入力部 １１４ 重回帰分析部

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像が持っている物理的特徴と前記画像
   の印象を感性的に表現した感性的特徴との相関関係を重
   回帰分析アルゴリズムを適用して抽出することを特徴と
   する画像特徴量の相関抽出方法。
2. 【請求項２】 感性的特徴を構成する感性語を基準変量
   ｙｉ、物理的特徴を構成する各特徴量を説明変量（ｘ１
   〜ｘｐ）として、各変量の分散共分散行列を求め、基準
   変量ｙを説明変量（ｘ１〜ｘｐ）の線形結合で近似した
   重回帰式 ｙｉ＝ａ１・ｘ１＋ａ２・ｘ２＋・・・＋ａｐ・ｘｐ＋ａ
   ０ の偏回帰係数ａ１、ａ２、・・・ａｐ及び定数ａ０を前記
   分散共分散行列を用いて求め、求めた偏回帰係数及び定
   数の数値を重回帰式に代入して感性語ｙｉについての相
   関関係に対応したマッピングルールを作成することを特
   徴とする請求項１記載の画像特徴量の相関抽出方法。
3. 【請求項３】 画像が持っている物理的特徴と前記画像
   の印象を感性的に表現した感性的特徴との相関関係を決
   定木学習アルゴリズムを適用して抽出することを特徴と
   する画像特徴量の相関抽出方法。
4. 【請求項４】 感性的特徴及び物理的特徴が既知のサン
   プル画像をデータ集合Ｄ、感性的特徴を構成する感性語
   の評価値をクラスＣ１〜Ｃｍ、物理的特徴を構成する各
   特徴量を属性値（ｘ１〜ｘｐ）として、全ての属性値に
   対して部分木の伝達する情報量を求め、情報量が最大に
   なるテストの選択を実施し、選択したテストに対応する
   制約条件でデータ集合Ｄを分類し、分類されたサンプル
   画像が同一の評価値を持つようになるまでテストの選択
   と分類を繰り返し、それによって得られた制約条件から
   感性語ｙｉについての相関関係に対応したマッピングル
   ールを作成することを特徴とする請求項３記載の画像特
   徴量の相関抽出方法。
5. 【請求項５】 画像から物理的特徴を抽出する前処理と
   してハニング窓を作用させることを特徴とする請求項１
   乃至請求項４のいずれかに記載の画像特徴量の相関抽出
   方法。
6. 【請求項６】 画像を垂直軸方向に複数ブロックに分割
   し、各分割ブロックの輝度値から垂直軸方向の輝度相関
   を求めて物理的特徴の一つとして用いることを特徴とす
   る請求項１乃至請求項４のいずれかに記載の画像特徴量
   の相関抽出方法。
7. 【請求項７】 画像が持っている物理的特徴と前記画像
   の印象を感性的に表現した感性的特徴との相関関係を重
   回帰分析アルゴリズムを適用して抽出する重回帰分析手
   段と、抽出した画像の物理的特徴と感性的特徴の相関関
   係に基づいて物理的特徴の複数特徴量に対応した感性的
   特徴の感性語を生成するマッピングルールを作成するル
   ール作成手段とを具備する画像特徴量の相関抽出装置。
8. 【請求項８】 画像が持っている物理的特徴と前記画像
   の印象を感性的に表現した感性的特徴との相関関係を決
   定木学習アルゴリズムを適用して抽出する決定木学習手
   段と、抽出した画像の物理的特徴と感性的特徴の相関関
   係から物理的特徴の複数特徴量から感性的特徴の感性語
   を生成するマッピングルールを作成するルール作成手段
   とを具備する画像特徴量の相関抽出装置。
9. 【請求項９】 請求項７又は請求項８記載の画像特徴量
   の相関抽出装置で作成されたマッピングルールを用いて
   登録画像に感性語を付加して画像データベースへ登録
   し、感性語による画像検索を可能にした画像検索装置。