JPH0916797A - 画像解析表現付加装置 - Google Patents

画像解析表現付加装置

Info

Publication number
JPH0916797A
JPH0916797A JP7165454A JP16545495A JPH0916797A JP H0916797 A JPH0916797 A JP H0916797A JP 7165454 A JP7165454 A JP 7165454A JP 16545495 A JP16545495 A JP 16545495A JP H0916797 A JPH0916797 A JP H0916797A
Authority
JP
Japan
Prior art keywords
image
language
visual
expression
know
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7165454A
Other languages
English (en)
Other versions
JP3063073B2 (ja
Inventor
Atsushi Kasao
敦司 笠尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP7165454A priority Critical patent/JP3063073B2/ja
Priority to US08/665,692 priority patent/US5875265A/en
Publication of JPH0916797A publication Critical patent/JPH0916797A/ja
Application granted granted Critical
Publication of JP3063073B2 publication Critical patent/JP3063073B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 感性を表す用語を用いて画像の印象をオペレ
ータに表示し、かつ表現を付加する際にデザイン・ノウ
ハウをオペレータが利用できるようにする。 【構成】 画像は画像分解部2により分解され、各分解
領域の物理的な特徴量が画像特徴記憶部3−1に記憶さ
れる。物理的な特徴量は画像解析部4で処理され、視覚
的な意味を持つ特徴量が全画像について生成される。感
性影響度計算部5は、視覚的な意味を持つ特徴量を受け
取って、デザイン・ノウハウ記憶部7の情報に基づい
て、感性を表す用語のファクタを計算する。感性を表す
用語のファクタはオペレータに表示され、オペレータは
表現指示部11を介して感性を表す用語を用いて所望の
表現を指示する。画像表現付加部9は表現についての指
示を受け取り、デザイン・ノウハウ記憶部7の情報を参
照して画像の修正を行う。分解領域の物理的な特徴量も
直ちに修正され、修正画像の印象が解析され、表示され
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理技術に関し、と
くに画像たとえば量子化されたフルカラーの画像を解析
し、その解析結果に基づいてオペレータがデザイン計画
を決定できるようにし、さらに、そのデザイン計画に基
づいて、必要とする表現を画像に容易に与えられるよう
にするものである。
【0002】
【従来の技術】現在デスクトップ・パブリッシング(以
下DTPと略称する)の普及率はめざましく、小さなオ
フィスや個人でも利用できるようになってきた。また、
DTPで利用する画像の処理も画像編集装置や、画像レ
タッチ・システムの開発により以前よりは容易に行える
ようになった。しかし、一般利用者(非専門家)が、作
成中のドキュメントの目的に合うように写真などの画像
に適切な表現を加える場合、以下の二つの問題点により
困難が伴っていた。
【0003】一つ目の問題点は、画像に加える適切な表
現とはどういうものかがそもそも分からないということ
であり、二つ目の問題点は、たとえ分かったとしても、
表現を加えるべき場所を画像処理システムに効率的に伝
える方法がないということである。
【0004】二つ目の問題点は、一般利用者だけでな
く、フォトレタッチャなど専門家にも共通する問題であ
る。既存の領域指定の方法は、指定した画素の周囲を任
意の丸や四角で囲む方法や、近い色の画素が隣り合って
いる場合は同じ領域として領域を拡大していく方法など
であった。しかしこれらの方法では効果的に絵柄に応じ
た領域の指定は困難であった。また別の方法として、k
−平均アルゴリズムなどの領域分割の手法を領域指定に
応用することも考えられるが、画像が大きくなると処理
速度がきわめて遅くなるため現実的ではなかった。ただ
し、最近では、分割K平均アルゴリズムなど、大きな画
像も短時間で領域分割できる領域分割アルゴリズムが開
発されるようになってきており、この問題は解決されつ
つある。
【0005】ここで一つ目の問題にもどって画像に加え
る適切な表現とは何かについて考えてみる。DTPで
は、画像はドキュメントに張り付けられて用いられるこ
とが多い。適切な画像とはドキュメントが作成された目
的に合っており、その目的を効果的に達成するための一
助になっているような画像である。例えば、ある自転者
販売店で丈夫でスピードがでて、しかも非力な女性に好
適なマウンテンバイクを多数入荷し、その販売キャンペ
ーンを行うことを計画し、そのキヤンペーンを知らせる
ためにその地域に新聞折込広告を配ることにしたとす
る。その折込広告にはマウンテンバイクの写真をフルカ
ラーで入れることにしたとしよう。その場合、折込広告
の全体のイメージを決めるとともに写真が伝えるべきメ
ッセージについてもデザイン計画を立てる必要がある。
まず、伝えたい内容を感性言語(感性または印象を表す
ために用いられる用語または用語の組)で表現してみ
る。感性言語はよく用いられるものの中から選び、例え
ば、特開昭52−80043号公報、「カラーイメージ
スケール」の図3に挙げられている感性言語から選ぶこ
とにする(同公報では、色彩が表すイメージや印象を、
カラーイメージ用語と呼ぶ感性言語で置換できるように
している)。女性が対象であることから「やさしい」、
スピードがでるのであるから「スポーティ」、倒れにく
いことから「安全な」が伝えられる必要がある。そして
今回の販売キャンペーンは女性に対象を絞っているので
「やさしさ」を高プライオリティとし、「スポーテ
ィ」、「安全な」を中プライオリティとすることにし
た。
【0006】実際に折込広告のデザインをDTPシステ
ムで行うことを想定する。まず、デザイン計画に合った
折込広告のレイアウトと必要な写真とを準備する。実際
に写した写真は十分に「やさしい」、「スポーティ」、
「安全な」を適切な配分で表現しているだろうか、そし
てこの自転者販売店の個性がでており、見るものに十分
アッピールするだろうか、また、もし十分でなかった場
合はどこをどのように変更すればよいか、といった画像
イメージ解析とそれに基づいた表現付加の問題が生じ
る。
【0007】DTPシステムを利用する者が、これらの
問題に答えるにはデザインに対する専門的な知識が必要
であり、単純な画像の物理的な特性からはこれらの問題
に直接答えられるものではない。そのことがデザインの
自動化、半自動化をむずかしくしている。
【0008】ここで、まず、画像イメージ解析の研究が
どの程度進んでおり、それを用いてどの程度のことが可
能かという点を、画像を文字や記号などとして捕らえる
記号的側面、画像を人や車など理解可能な事物として捕
らえる側面、および抽象絵画のように色面の大きさや構
図で訴える内容を捕らえる抽象的側面に分けて、考えて
みる。具象的な側面からデザイン支援を行うデザイン装
置は特開平5−225266号公報で提案されている
が、該公報の実施例が車の部品に対象を絞っていること
から分かるように、このようなシステムでは対象をかな
り限定しないと、イメージ知識が膨大なものになって計
算機では処理できなくなるという問題がある。そのため
現状では具象的な側面での汎用的なデザイン装置の実現
は困難である。一方、抽象的側面に関してはいろいろな
方面からの研究がかなり進んでいる。また、写真画像な
どに対しては文字や記号的な側面はすでに決まっている
ので、抽象的側面の解析が重要である。
【0009】画像イメージの抽象的側面の解析について
は、例えば「形は語る」、D.A.ドンディス著、金子
隆芳訳、サイエンス社、「美術と視覚」、アルンハイム
著、波多野完治、関計夫訳、美術出版社などに紹介され
ている。特に色に関しては色の共感覚的効果として色の
明るさと感じる重さとの関係、色度と暖かさとの関係な
どが数値的に把握されている(「色彩学」、千々岩英彰
著、福村出版)。また、色の効果はその色が占めている
面積によってもことなることが知られており(「色の目
立ちの面積効果」、芦沢昌子、池田光夫、日本色彩学会
誌1994、vol18、no3)、画像イメージの色
彩効果は色とその面積とをパラメータとしてある程度予
測可能である。色の共感覚的効果を応用したものとして
先に指摘した特開昭52−80043号公報、「カラー
イメージスケール」が挙げられる。この公報のカラーイ
メージスケールは色から受ける印象(カラーイメージ)
を多くの人から調査し、その結果をウオーム/クール、
ハード/ソフト、クリア/グレイッシュの3軸からなる
空間に配置したものである。このカラーイメージスケー
ルは、一般に広く色だけでなく、さまざまな要素につい
て適用され、デザインの各分野で利用されてはいるが、
もともと色に関してまとめたものであるため、種々の不
都合を生じている。例えばウォーム/クールを感じさせ
るものは色に関しては主に色度であるが、毛皮のような
テクスチャは暖かく感じられるし、金属表面のテクスチ
ャは冷たい感じを与えるので、青い毛皮のようなテクス
チャや赤い金属表面のテクスチャはカラーイメージスケ
ール上で原点付近に配置されるようになってしまう。つ
まり複雑な要素を含めば含むほど原点付近にマッピング
されるものが増えてくることになり、イメージの分類と
いう、カラーイメージスケール本来の目的が果たせなく
なる。また、赤い金属表面のテクスチャも個性的な意味
合いを持っているにもかかわらず、原点付近にマッピン
グされることで特徴のない無個性的なものと表現されて
しまう。この問題を回避するために該公報では、色から
受ける、より詳しいイメージ用語をあらかじめ調査して
おき、そのイメージ用語をその色が置かれている座標に
マッピングすることで、たかだか3次元の座標ながら多
様なイメージの表現を可能にしている。しかし、この手
法ではイメージの差別化という意味では改善されている
が、イメージ空間上での距離はもともと色を基本に考え
られたものなので、たくさんの要素を含んだデザインを
このイメージ用語をもとにマッピングした場合は、不合
理な面がかえって強調されることになる。つまり、イメ
ージ空間上で距離が離れているからといって、かならず
しもイメージが大きく異なっているとは限らないという
ことである。
【0010】別の解決方法として、対象となる画像の色
などの物理量や心理物理量を計算機を用いて多数計算
し、それらを軸とする空間を作り、ファジー処理により
感性言語をその空間にマッピングしていくことで、たく
さんのイメージ表現を解析できるようにするということ
が考えられる。しかしこの方法は視覚効果が単純である
デザインに対しては効果が期待できるが、複雑な視覚効
果を解析するのは以下の点から困難である。一つは、そ
のシステムにデサイン知識を与えることの困難性であ
る。このシステムは多数の物理量や心理物理量と印象と
して与えられる感性の種類(感性言語の要素)とを直接
対応させなければならない。そしてシステムで利用可能
なデサイン知識を物理量や心理物理量になじみのないデ
ザイナが構築するのはたいへん手間のかかる作業とな
る。一方、この手間を省くために多数の物理量や心理物
理量と画像から得られるイメージの種類(感性言語の要
素)との対応関係を統計的な処理によって求めると、い
ろいろな要素が複雑に絡み合っているデザインほど、個
々のデサイン手法が相殺され、どの手法が本当に意味の
あるものなのか判断できなくなる。例えば、先の自転車
販売店の例で示した「やさしい」、「スポーティ」、
「安全な」について言えば、「スポーティ」と「安全
な」とは特開昭52−80043号公報、「カラーイメ
ージスケール」の図3からもわかるように、現在提案さ
れているいろいろなイメージスケールにおいて一つの軸
の両極に現れている。つまり、このスケール上で両方を
満足することはできないのである。もし強引に満足させ
ると原点付近にマッピングされるような画像になってし
まう。
【0011】もう少し詳しく述べると、良いデザイナで
あるためには、第1に、一般的なデサイン手法とそれが
鑑賞者に及ぼす効果とをしっかり把握できなければなら
ず、第2に、そのデザイナの個性を十分に作品に現わせ
なければならない。したがって一般的なデサイン手法と
鑑賞者に及ぼす効果とを把握でき、しかも作品に個性
(デザイナの個性)を与える機構をもったシステムでな
いと十分な画像の解析・処理はできない。既存の画像解
析システムは先に述べたように物理量や心理物理量から
直接鑑賞者が受けるイメージを計算しているため、十分
に解析しきれない。複雑な画像イメージ表現を解析する
装置としては、デザイナがもっているデザイナの知見を
取り入れやすい知識データーベース構造が必要であり、
その知識データーベースは一般的なデサイン手法とデザ
イナの個性の部分さらに鑑賞者の年齢や民族による画像
から受けるイメージの差を取り込むことのできる機構が
必要である。
【0012】さらに既存の画像解析システムで得られた
解析の結果は画像の目的とする効果(先の自転者販売店
の例では「やさしい」、「スポーティ」、「安全な」と
いう内容をそれぞれプライオリティ2、1、1(数字が
大きいほどプライオリティが高いものとする)で表現す
る)が全体として何パーセント達成されているかを表現
しているだけなので、次のステップである画像のレタッ
チや、表現を加えるといった作業において指針は得られ
るものの、解析した結果を直接画像のレタッチや表現付
加処理に生かしていくことができないという問題もあ
る。
【0013】以上概観してきたように先の自転者販売店
の例で、「やさしい」、「スポーティ」、「安全な」と
いう内容をそれぞれプライオリティ2、1、1で表現で
きているかどうか、かつ個性が現れているかどうかを解
析できるシステムは今だ存在してない。
【0014】では次に画像に表現を加える技術を概観し
てみる。もちろん解析した結果を直接画像のレタッチや
表現付加処理に生かしていくことができるというのが理
想であるが、そのような技術は存在していないのでここ
では表現付加処理に絞ることにする。
【0015】現在DTPシステムでフォトレタッチでき
るソフトウエア製品にはアドビ・システムズ社(Adobe
Systems Incorporated)のフォトショップ(PhotoSho
p、商標)があリ、編集できるソフトウエア製品には同
じくアドビ・システムズ社のページメーカ(PageMake
r、商標)がある。これらは安価な製品であるため個人
でも手軽に購入することが可能である。先に述べたよう
にフォトレタッチの経験がない人間にとって表現を加え
るべき領域を特定することは容易ではない。フォトショ
ップにおいてもこの機能は実現されていない。この技術
を実現することをすることを目的として、特開平6−8
3924号公報、「画像編集装置」が提案されている。
これは画像をセグメントに分けそれぞれにラベルをつけ
ポインティング・デバイスでセグメントに含まれる画素
を一括して選択するという手法である。この手法には、
セグメントに分ける際に利用する画像情報として、濃
度、彩度および明度のうちの1つが選択されるため、画
像上の距離が大きく離れていても一つのセグメントに分
けられてしまうという問題がある。また、印刷などに使
う自然画像はサイズが大きくセグメンテーションには多
大な時間がかかるという問題があった。
【0016】加える表現を画像編集システムに伝える方
法としては、実際に画家が絵を描くようにペンに似たツ
ールをポインティング・デバイスを利用して移動させ、
描画を行う方法と、画像全体または一部に特殊な効果を
かけたり、色変換を行う方法とが実用化されている。こ
れに似た方法で色変換を行う際に直接色を表す数値で入
力するのではなく、先に紹介したカラーイメージスケー
ル上に割り振られた感性言語(イメージ用語)で入力す
るという手法も提案されている。このほか感性言語を用
いて画像を検索、分類する手法もあるが、カラーイメー
ジスケール上にカラー以外の複雑な情報をを含んだ対象
をマッピングするのは先に述べた理由から好ましくな
い。
【0017】さらに、もっとも大きな課題は、ドキュメ
ントの目的を画像で達成するために、画像の解析から表
現付加まで一貫して処理することのできるシステムが存
在していないことである。
【0018】
【発明が解決しようとする課題】以上の技術的課題のう
ち重要なものを列挙するとつぎのようになる。 1、画像の解析結果を、画像に表現を加える処理にその
まま生かせる画像解析表現システムが存在しない。 2、デザイン知識をもたぬオペレータは適切な表現を画
像に加えることができない。 3、既存のイメージスケールを基に作られた画像解析シ
ステムでは相反する意味を持つ感性言語で表現されてい
る画像を十分に解析できない。 4、既存のイメージスケールを基に作られた表現付加シ
ステムでは相反する意味を持つ感性言語の対で同時に画
像に表現を加えることができない。 5、デザイナの個性を表現できない。 6、簡単にシステムにデザイナ固有の知識を持たせるこ
とができない。 7、簡単なデザイン知識しか持たせることができない。 8、画像を有効にハンドリングするすべがない。 この発明は、以上の技術的課題を解決するため、画像の
解析から表現までをシームレスに実行可能な画像解析表
現付加装置を実現するになされたものである。
【0019】
【課題を解決するための手段および作用】本発明は以上
の課題を解決するためになされたものであり、請求項1
の発明では、図1において後述する実施例の参照符号を
対応させて説明すると、電子的な画像を入力する画像入
力手段1と、上記画像入力手段1により入力された入力
画像を複数の領域に分解する画像分解手段2と、上記複
数の領域の各々について物理的な特徴量を記憶する領域
特徴記憶手段3−1と、上記物理的な特徴量から上記入
力画像の視覚的な特徴量を計算する画像解析手段4と、
上記入力画像の視覚的な特徴量と画像の印象を表す感性
言語との間の対応関係についてのデザイン・ノウハウを
記憶するデザイン・ノウハウ記憶手段7と、上記入力画
像の視覚的な特徴量に対応する上記感性言語のファクタ
を、上記デザイン・ノウハウ記憶手段7の情報に基づい
て計算する感性影響度計算手段5と、上記入力画像が鑑
賞者に与える印象を、上記感性言語を用いて表示する解
析結果表示手段6と、付加すべき表現を上記感性言語を
用いて指示する表現指示手段11と、指示された上記表
現と上記デザイン・ノウハウ記憶手段7の情報とに基づ
いて上記入力画像を修正する画像表現付加手段9と、上
記修正された画像を表示する表現画像表示手段10とを
画像解析表現付加装置に設けるようにしている。画像の
印象を表す感性言語を用いて画像の解析結果が表され、
また付加したい表現を同様な感性言語を用いて入力でき
るので、入力画像を目的に合致した画像に容易に修正で
きる。
【0020】また請求項2の発明では、図2において後
述する実施例の参照符号を対応させて説明すると、請求
項1の発明の上記画像分解手段2が、上記入力画像から
テクスチャを抽出するテクスチャ抽出手段2−1と、抽
出された上記テクスチャと上記入力画像とから領域分割
を行う領域分割手段2−2と、領域分割された結果から
主要な線分を抽出する線抽出手段2−3と、抽出された
主要な線分をもとに消失点を抽出する消失点抽出手段2
−4とから構成されている。これによって領域をより細
かくテクスチャに沿って分解できる。
【0021】また請求項3の発明では、図3において後
述する実施例の参照符号を対応させて説明すると、請求
項1または請求項2の発明の上記デザイン・ノウハウ記
憶手段7が、上記入力画像の視覚的な特徴量と、比較的
普遍的な尺度となる視覚的な特徴を表す視覚言語との間
の対応関係を記憶する特徴量・視覚言語間関係記憶手段
7−1と、上記視覚言語と、民俗や年齢層によって大き
く影響を受ける上記感性言語との間の対応関係を記憶す
る視覚言語・感性言語間関係記憶手段7−2とからなっ
ている。また請求項1または請求項2の発明の上記感性
影響度計算手段5が、上記入力画像の視覚的な特徴量に
対応する上記視覚言語のファクタを、特徴量・視覚言語
間関係記憶手段7−1の情報に基づいて計算する視覚言
語計算手段5−1と、上記視覚言語決定手段5−1で決
定された上記視覚言語に対応する上記感性言語のファク
タを、上記視覚言語・感性言語間関係記憶手段7−2の
情報に基づいて計算する感性言語計算手段5−2とから
なっている。これによって、デザイナの知見をシステム
に与えやすくなり、また共通性の高いデザイン・ノウハ
ウと共通性の低いデザイン・ノウハウに分けて整理でき
る。
【0022】また請求項4の発明では、図4において後
述する実施例の参照符号を対応させて説明すると、請求
項3の発明の上記視覚言語・感性言語間関係記憶手段7
−2が、上記感性言語と各視覚言語との対応関係を複数
記憶している視覚言語・感性言語間関係群記憶手段7−
4を含み、さらに上記感性言語と上記各視覚言語との対
応関係を選択する対応関係選択手段12を設けるように
している。上記視覚言語・感性言語間関係記憶手段7−
2で扱うのは共通性の低いデザイン・ノウハウであるた
め、対象とする鑑賞者の民族や年齢によって作り直す必
要が出てくるので、それを改善するため、あらかじめ複
数の代表的な鑑賞者のグループ用の感性言語と各視覚言
語との対応関係を複数備えて、オペレータが必要とする
対応関係を選択できるようにしている。
【0023】また請求項5の発明では、図5において後
述する実施例の参照符号を対応させて説明すると、デザ
イン上の複数のノウハウに応じた複数の特徴量・視覚言
語間対応関係を記憶している個別デザイン・ノウハウ・
パッケージ7−3記憶手段と、必要なノウハウをオペレ
ータがシステムに入力するノウハウ選択手段8と、上記
個別デザイン・ノウハウ・パッケージ記憶手段7−3に
記憶されている上記特徴量・視覚言語間対応関係を用い
て上記特徴量・視覚言語間関係記憶手段7−1の情報を
変更する特徴量・視覚言語間関係変更手段14とを、請
求項3または4記載の画像表現解析付加装置に設けるよ
うにしている。請求項3または4の発明のデザイン・ノ
ウハウ記憶手段7の内部にある特徴量・視覚言語間関係
記憶手段7−1に記述されている特徴量・視覚言語間の
関係は多対一であるため、画像解析に利用する場合は特
徴量から視覚言語が一意に求まるが、表現を加える場合
には視覚言語から特徴量は一意には求まらない。そこで
請求項3または4の発明では一般的と考えられる特定の
特徴量の組合せをあらかじめ決めてある。請求項5の発
明では、特徴量・視覚言語の対応関係が多対一であるこ
とを逆に利用し、請求項4の各手段に加え、この対応関
係を変えることでいろいろなデザイナの個性を表現でき
るようにしている。
【0024】さらに、図6に示すように、請求項5の各
手段に加え、個別デザイン・ノウハウパッケージ記憶手
段7−3に記憶されているデサイン計画表作成ノウハウ
と表現指示手段11から入力される複数の感性言語と視
覚言語・感性言語間言語関係群記憶手段7−4に記憶さ
れている感性言語と各視覚言語軸との対応関係から視覚
言語を決定する視覚言語決定手段13を設けるようにし
てもよい。
【0025】さらに、図7に示すように、請求項4の各
手段に加え、表現指示手段10のかわりに直接に視覚的
な特徴量をもちいて表現指示することの可能な詳細表現
指示手段15を設けるようにしてもよい。
【0026】また請求項6の発明では、図8において後
述する実施例の参照符号を対応させて説明すると、上記
画像分解手段2によって分解された上記入力画像を表示
する分解画像表示手段3−3と、オペレータが上記分解
された上記入力画像中において指定した主要な構造を親
領域とし、上記親領域に含まれる領域を子領域とし、上
記親領域と上記子領域との構造関係をマップ上に表現す
る構造マップを作成する構造マップ作成手段3−4と、
上記構造マップを記憶する構造マップ記憶手段3−2と
を請求項1、2、3、4または5記載の画像表現解析付
加装置に設け、上記構造関係を参考にしながら、分解さ
れた上記入力画像の各領域の物理的な特徴量から上記入
力画像の視覚的な特徴量を計算するようにしている。こ
れによって構造単位で、画像の修正を行い、またその修
正に応じて速やかに構造単位の視覚的な特徴量を修正
し、画像の再解析を迅速に行える。
【0027】さらに、図9に示すように、画像分解手段
2により分解された画像領域を色差をパラメータとして
統合する領域統合処理手段3−6と、統合された画像領
域を表示する分解画像表示手段3−3と、それを見てオ
ペレータが補正を加える構造関係補正手段3−5と、補
正された構造マップを記憶する構造マップ記憶手段3−
2とを請求項1、2、3、4または5記載の画像表現解
析付加装置に設けるようにしてもよい。
【0028】さらに、請求項3に記載の発明において、
視覚言語計算手段5−1で扱う視覚言語の要素は一つ以
上の視覚的な特徴量の要素から構成され、2つの相反す
る言葉で両極を表現した数軸上の一点として表現され、
異なる数軸同士は意味的に独立性が高いことを特徴と
し、その相反する対として(安定,不安定)、(静的,
動的)、(暖かい,冷たい)、(明るい,暗い)、(鮮
やかな,渋い)、(奥行きのある,平面的な)、(直線
的な,曲線的な)、(対比効果のある,均一な)、(リ
ズミカルな,メロディアスな)など程度差で序列を付け
ることの可能な言葉の組を用いてよい。
【0029】さらに、請求項6に記載の画像解析手段4
で計算される特徴量は、領域特徴記憶手段3−1の画像
特徴テーブルと構造マップ記憶手段3−2の構造マップ
のどちらか一方または両方から計算機により直接計算で
き、画像全体を記述するものと画像の中に描かれている
部分的な対象相互の関係を記述するもののどちらかまた
は両方から構成されるようにしてもよい。
【0030】さらに、全体的な効果を表す特徴量は、明
度の平均値、明度の分散、平均色度、色度の分散、重さ
のモーメント、重さの中心(重心)、軽さのモーメン
ト、軽さの中心、重さの中心と軽さの中心の位置関係、
消失点の数、消失点の配置、消失点の奥行き、消失点の
強さ、暖色の重心、寒色の重心、暖色の重心と寒色の重
心の位置関係、最大明度点または線の位置、最大明度点
または線から最小明度点または線への明度こう配、最大
明度点または線から最小明度点または線への明度こう配
の方向、テクスチャの種類、テクスチャの強さ、テクス
チャの方向、輪郭線の複雑度、輪郭線の曲線度、寒色暖
色のリズムの周波数、寒色暖色のリズムの方向、寒色暖
色のリズムの強さ、明暗のリズムの周波数、明暗のリズ
ムの方向、明暗のリズムの強さなどのうち少なくとも一
つから構成されてよい。
【0031】さらに、画像の中に描かれている部分的な
対象の効果を表す特徴量は、対比効果に関わるものと、
関わらないものに分けられ、前者は、対象相互の色対
比、背景との色対比、対象相互の明度対比、背景との明
度対比、対象相互の重心の位置の対比、背景との重心の
位置の対比、対象相互の重さの対比、背景との重さの対
比、背景との色分散の対比、対象相互の輪郭線の複雑度
の対比、対象相互の輪郭線の曲線度の対比、対象相互の
大きさの対比、背景との大きさの対比、対象相互の配置
の対比、背景との配置の対比、対象相互のモーメントの
対比、背景とのモーメントの対比、対象相互の明暗のリ
ズムの周波数の対比、背景との明暗のリズムの周波数の
対比、対象相互の明暗のリズムの方向の対比、背景との
明暗のリズムの方向の対比、対象相互の明暗のリズムの
強さの対比、背景との明暗のリズムの強さの対比、対象
相互の色のリズムの周波数の対比、背景との色のリズム
の周波数の対比、対象相互の色のリズムの方向の対比、
背景との色のリズムの方向の対比、対象相互の色のリズ
ムの強さの対比、背景との色のリズムの強さの対比、対
象相互の色分散の対比などのうち少なくとも一つから構
成させており、後者は対象の中心からの重心のずれ量、
対象の中心からの重心のずれの方向、対象自身のモーメ
ントの大きさ、対象自身のモーメントの方向などのうち
少なくとも一つから構成されてよい。
【0032】また、請求項7の発明では、電子的な画像
を入力する画像入力手段1と、上記画像入力手段1によ
り入力された入力画像を複数の領域に分解する画像分解
手段2と、上記複数の領域の各々について物理的な特徴
量を記憶する領域特徴記憶手段3−1と、上記物理的な
特徴量から上記入力画像の視覚的な特徴量を計算する画
像解析手段4と、上記入力画像の視覚的な特徴量と画像
の印象を表す感性言語との間の対応関係についてのデザ
イン・ノウハウを記憶するデザイン・ノウハウ記憶手段
7と、上記入力画像の視覚的な特徴量に対応する上記感
性言語のファクタを、上記デザイン・ノウハウ記憶手段
7の情報に基づいて計算する感性影響度計算手段5と、
上記入力画像が鑑賞者に与える印象を、上記決定された
感性言語を用いて表示する解析結果表示手段6と、付加
すべき表現を上記感性言語を用いて指示する表現指示手
段11と、上記複数の領域から修正すべき領域を選択す
る手段(表現指示手段11等)と、指示された上記表現
と上記デザイン・ノウハウ記憶手段7の情報とに基づい
て上記修正すべき領域の画像を修正する画像表現付加手
段9と、上記修正された画像を表示する表現画像表示手
段10とを画像解析表現付加装置に設けるようにしてい
る。修正すべき領域を指定することにより、オペレータ
の意図を表現の付加に簡易に反映させることができる。
【0033】また請求項8の発明では、上記画像分解手
段2で分解された上記複数の領域は1または複数の親領
域に分類され、親領域の単位で上記修正すべき領域が選
択されるようになっている。これによって一まとまりの
画像領域に同一の表現を簡易に付加することができる。
【0034】また請求項9の発明では、電子的な画像を
入力する画像入力手段1と、上記画像入力手段1により
入力された入力画像の重さの中心位置、軽さの中心位
置、および上記重さの中心位置および軽さの中心位置が
形成するベクトルを上記画像の視覚的な特徴量として計
算する特徴量計算手段3とを画像解析装置に設けるよう
にしている。入力画像の重さの中心位置、軽さの中心位
置、および上記重さの中心位置および軽さの中心位置が
形成するベクトルを視覚的な特徴量として用いて多面的
に画像の印象を解析することができる。
【0035】また請求項10の発明では、上記入力画像
の画素の重さおよび軽さは上記入力画像の画素の明度に
より決定され、上記明度が大きいほど、上記重さが小さ
くなり、上記軽さが大きくなるにしている。
【0036】また請求項11の発明では、図15を参照
して後に説明するように、比較的普遍的な尺度となる視
覚的な特徴を表す視覚言語が予め決定されている画像を
入力する画像入力手段1と、上記画像入力手段1により
入力された入力画像を複数の領域に分解する画像分解手
段2と、上記複数の領域の各々について物理的な特徴量
を計算する領域特徴記憶手段3−1と、上記物理的な特
徴量から上記入力画像の視覚的な特徴量を計算する画像
解析手段4と、上記入力画像について予め決定されてい
る上記視覚言語と上記画像解析手段4により計算された
上記視覚的な特徴量とに基づいて、上記視覚言語と上記
視覚的な特徴量との間の関係を決定する特徴量・視覚言
語対応関係決定手段18と、上記決定された特徴量・視
覚言語対応関係の情報を用いて視覚言語のファクタを計
算する視覚言語計算手段5−1と、上記視覚言語のファ
クタとオペレータが入力する感性言語とから感性言語と
各視覚言語軸との対応関係を決定する視覚言語・感性言
語対応関係決定手段17とをデザイン・ノウハウ作成装
置に設けるようにしている。オペレータは物理的な特徴
量について知識がなくてもデザイン・ノウハウを構築で
きる。
【0037】
【実施例】以下、添付図面に示す実施例に基づいてこの
発明を詳細に説明する。
【0038】[第1の実施例]まず本発明の第1の実施
例を図1を参照して説明する。図1において、画像入力
部1は、L*a*b*、RGBのような色空間で記述さ
れたフルカラー画像を入力し、画像分解部2は入力画像
を色、テクスチャをもとに領域分割し、その結果(各領
域の物理的な特徴量)を画像特徴記憶部3−1の画像特
徴テーブルに整理、保存する。保存された画像特徴テー
ブルをもとに画像解析部4は視覚的な意味を持つ特徴量
(以下、視覚的特徴量と呼ぶ)を計算し、さらにその視
覚的特徴量とデザイン・ノウハウ記憶部7のデザイン・
ノウハウをもとに感性影響度計算部5によって感性言語
(画像が表す印象を表す用語または用語の組)が計算さ
れる。解析結果提示部6は画像特徴記憶部3−1の画像
特徴テーブルと画像解析部4の視覚的特徴量と感性影響
度計算部5の感性言語とを表示し、オペレータは解析結
果提示部6に表示された解析結果をもとに、加えるべき
感性言語を表現指定部11で指示する。画像表現付加部
9は指示された感性言語に対応したデザイン・ノウハウ
をデザイン・ノウハウ記憶部7に要求し、それに応じて
デザイン・ノウハウ記憶部7から得られたのデザイン・
ノウハウと画像特徴テーブルをもとに画像入力部1が入
力し保持している入力画像に表現を加え、表現を加えた
画像は表現画像表示部10によって表示、または出力さ
れると同時に画像分解部2にも表現を加えた画像は送ら
れ、入力画像に与えられた処理と同様の処理がもう一度
行なわれ、解析結果提示部6に表示される。オペレータ
は両方の表示を確認し、満足のいく結果であれば処理を
終了し、さもなければ、さらに表現指示部11によりあ
らたな指示を画像表現付加部9に与える。
【0039】つぎに図1の実施例の処理の流れを詳細に
説明する。まず、オペレータは表現を加えたいと思う画
像を画像入力部1を用いて入力する。入力された画像は
画像分解部2で複数の分割領域に分割される。ここでの
領域分割処理には色情報を用いたK−平均アルゴリズム
などを利用できるが、分割された領域が表現を加えるの
に都合のよい分割になっている必要がある。そのため、
電子情報通信学会誌D−II、Vol.J78−D−I
I、No.2、pp.221−228に記載の分割K平
均アルゴリズムを利用することが好ましい。このアルゴ
リズムは、画像を複数の対象領域に分割し、さらに対象
領域同士の間に境界領域を設ける。そして対象領域と隣
接境界領域とをひとまとめにし、順次K平均アルゴリズ
ムを実行して領域分割を行う。そして境界領域について
は重複して領域分割を行い、分割領域が分割境界線で強
制的そろわないようにしている。
【0040】以上の分割K平均アルゴリズムの処理を終
えた時点で図16のように全ての画素にはその画素が属
する領域の番号(インデックス)が付けられており、領
域数および領域ごとの特徴が画像特徴テーブルに書き込
まれている。領域ごとの特徴として少なくとも領域ごと
の平均明度、領域ごとの平均彩度、領域ごとの平均色
度、領域ごとの重心(x,y)、領域ごとの画素数、領
域数がある。インデックスは入力画像に付加されて画像
と一緒に画像入力部1に保存される一方、画像特徴テー
ブルは画像特徴記憶部3−1に記録される。
【0041】次にこの画像特徴テーブルに記載されてい
る情報をもとに画像解析部4により視覚的特徴量を計算
する。視覚的特徴量は図12に示すように画像全体を記
述するものと、部分を記述するものに分かれており、そ
れぞれ図13と図14とに示すものを用いることができ
る。本実施例では画像全体を記述するものを扱い、その
中でも明度の平均値、明度の分散、単位重さの平均値、
重さの中心、単位重さの散らばり度、非対称性、単位軽
さの平均値、軽さの中心、単位軽さの散らばり度、重さ
の中心から軽さの中心へのベクトル、単位暖かさの分
散、単位冷たさの分散、単位暖かさの平均値、暖かさの
中心、単位冷たさの平均値、冷たさの中心、暖かさの中
心から冷たさの中心のへのベクトル、彩度の平均値、彩
度の分散、寒色暖色のリズムの周波数、寒色暖色のリズ
ムの方向、寒色暖色のリズムの強さ、明暗のリズムの周
波数、明暗のリズムの方向、明暗のリズムの強さの求め
方を示すことにする。
【0042】なお、Nn:領域nに含まれる画素数、H
n,Vn,Cn:(0=<Hn,Vn,Cn<255)
領域nの平均色度、平均明度、平均彩度、N:全画素
数、x:画像の縦に並ぶ画素数の1/2、y:画像の横
に並ぶ画素数の1/2、(Xn,Yn):領域nの重心
座標をそれぞれx,yで割り1を引いたもの、原点oは
画像の中心とする(図17参照)。
【0043】[明度に関する視覚的特徴量] ・明度の平均値La=ΣVnNn/N ・明度の分散=Σ{(Vn−La)2Nn}/N なおΣはnについての総和を表す。
【0044】[構図に関する視覚的特徴量] ・単位重さの平均値=Σ{h(Vn)×Nn}/N ただし領域nに属する1画素が感じさせる重さを単位重
さh(Vn)と定義し、領域nの重さは(領域nの単位
重さ)×Nnで表す。本実施例ではh(Vn)=255
−Vnとする。 ・重さの中心(Xh,Yh)=(Σ{h(Vn)×Nn
×Xn}/Σ{h(Vn)×Nn},Σ{h(Vn)×
Nn×Yn}/Σ{h(Vn)×Nn}) ・単位重さの散らばり度=(Σ{h(Vn)×(Xh−
Xn)2}/Σh(Vn),Σ{h(Vn)×(Yh−
Yn)2}/Σh(Vn)) ・非対称性=|部分画像I1の重さ−部分画像I4の重
さ|+|部分画像I2の重さ−部分画像I3の重さ|/
(全画像の重さ) ここで、非対称性を求めるためにまず画像の核((重さ
の中心+軽さの中心)/2 )を通る垂直線と水平線を
引き、これら垂直線および水平線で画像を4等分し、図
20に示すように部分画像I1、I2、I3、I4とす
る。 ・単位軽さの平均値=Σ{l(Vn)×Nn}/N ただし本実施例ではl(Vn)=Vnとする。 ・軽さの中心(Xl,Yl)=(Σ{l(Vn)×Nn
×Xn}/Σ{l(Vn)×Nn},Σ{l(Vn)×
Nn×Yn}/Σl{(Vn)×Nn}) ・単位軽さの散らばり度=(Σ{l(Vn)×(Xh−
Xn)2}/Σl(Vn),Σf{(Vn)×(Yh−
Yn)2}/Σl(Vn)) ・重さの中心から軽さの中心へのベクトルの大きさ=
((Xl−Xh)2+(Yl−Yh)21/2 ・重さの中心から軽さの中心へのベクトルの方向=ta
-1((Yl−Yh)/(Xl−Xh)) [色に関する視覚的特徴量] ・単位暖かさの平均値Hw=Σ{w(Hn)×Nn}/
N ・単位暖かさの分散=(Σ{(w(Hn)−Hw)2×
Nn}/N ・暖かさの中心(Xw,Yw)=(Σ{w(Hn)×N
n×Xn}/Σw(Hn)×N,Σ{w(Hn)×Nn
×Yn}/Σw(Hn)×N) ただし本実施例ではw()は青=0、赤=255とし、
緑を通る方向では緑=127、紫を通る方向では紫=1
27となるようにそれぞれを0から255まで数値を与
えたものとする(図18参照)。 ・単位冷たさの平均値Hc=Σ{c(Hn)×Nn}/
N ・単位冷たさの分散=(Σ{(c(Hn)−Hc)2×
Nn}/N ・冷たさの中心(Xc,Yc)=(Σ{c(Hn)×N
n×Xn}/Σc(Hn)×N,Σ{c(Hn)×Nn
×Yn}/Σc(Hn)×N) ただし本実施例ではc()は青=255、赤=0とし、
緑を通る方向では緑=127、紫を通る方向では紫=1
27となるようにそれぞれを0から255まで数値を与
えたものとする(図19参照)。 ・彩度の平均値Ca=ΣCnNn/N ・彩度の分散=Σ{(Cn−Ca)2Nn}/N [リズムに関する視覚的特徴量] ・寒色暖色のリズムの周波数=+−の切り替わり回数/
線分が通った領域の個数 ・寒色暖色のリズムの強さ=平均的な変移量 ただし(+−の切り替わり回数)、(線分が通った領域
の個数)、(変移量)はつぎのように定義される。まず
(重さの中心+軽さの中心)/2を画像の核と呼び、核
を通る鉛直線と水平線を引く。これにより画像は4分割
される。そしてそれぞれの領域をさらに4等分するよう
に線分を4本引き、それぞれa,b,c,dと名付け
る。次に核から画像の4すみに延ばした線分をe,f,
g,hと名付ける(図20参照)。a,b,c,d,
e,f,g,hの線分に沿ってw(Hn)の値の変化を
求めていき、値が増える方向であれば+、値が減る方向
であれば−をつける。そしてa,b,c,d,e,f,
g,hの線分それぞれについて上述の(+−の切り替わ
り回数)、(線分が通った領域の個数)、(変移量)を
求める。 ・明暗のリズムの周波数=+−の切り替わり回数 ・明暗のリズムの強さ=平均的な変移量 ただし(+−の切り替わり回数)、(変移量)はつぎの
ように定義される。まずa,b,c,d,e,f,g,
hの線分に沿ってl(Vn)の値の変化を求めていき、
値が増える方向であれば+、値が減る方向であれば−を
つける。そしてa,b,c,d,e,f,g,hの線分
それぞれについて(+−の切り替わり回数)、(変移
量)を求める。
【0045】以上のようにして視覚的特徴量を計算し、
この視覚的特徴量からあらかじめ作成されているデザイ
ン・ノウハウ記憶部7をもとに画像と関係の深い感性言
語を感性影響度計算部5でもとめる。同じ種類の感性言
語同士グルーピングされており、たとえば、「かなし
い」、「つめたい」、「やさしい」は色度に強くかかわ
るグループであり、「安全な」、「ダイナミックな」、
「あっさりした」、「すっきりした」「スポーティ」
「危険な」は構図に強くかかわるグループであり、「ド
ラマチックな」、「あかるい」、「くらい」、「だいた
んな」は明度に強くかかわるグループである。「たのし
い」、「かなしい」、「しずかな」はリズムに強くかか
わるグループである。そして、それぞれのグループごと
にもっとも画像が表現している感性に近い感性言語が解
析結果提示部6に表示される。この実施例では解析結果
提示部6は図22に示したように表現画像表示部10の
中の子ウインドウとして表示される。
【0046】解析結果の内容を参考にしてオペレータは
感性言語で画像表現付加部9に指示を与える。画像表現
付加部9はデザデザイン・ノウハウ記憶部7の情報をも
とに画像に変更を加えその結果を表現画像表示部10に
示す。本実施例で画像表現付加部9で加えられる処理は
トリミング、平均彩度、平均明度の変更である。
【0047】先の自転車販売店の折込み広告を例にあげ
ることにする。マウンテン・バイクの写真を入力し解析
した結果、色あい=「落ち着いた」、構図=「危険
な」、明度=「あかるい」、リズム=「しずかな」と解
析されたとする。目標の表現効果を得るには、「落ち着
いた」を「やさしい」に変え、さらに、この画像に安定
感を与えなくてはならない。
【0048】感性言語は一つずつ与える。まず、構図に
かかわる感性言語から与えることにする。あらかじめ選
ばれている感性言語のセットのなかから「安全な」を選
び表現指示部11を通じて画像表現付加部9に指示を与
える。デザイン・ノウハウ記憶部7は、安定感は構図に
関係した感性言語なのでトリミングを変更する必要があ
ると判断し、図21に示すように、表現画像表示部10
に画像と共にトリミング・ガイド10−1を表示する。
さらにこのトリミング・ガイド10−1内にある画像が
示す「安全な」の割合を百分率で表示する。本実施例で
は「安全な」という感性言語には、重さの中心(Xh,
Yh)=(Σh{(Vn)×Nn×Xn}/Σ{h(V
n)×Nn},Yh=Σ{h(Vn)×Nn×Yn}/
Σ{h(Vn)×Nn})が関係しており、Xhが0に
近く、Yhが1に近いほど「安全な」と判断される。つ
まり式で表現すると100[1−{(0−Xh)2+
(1−Yh)2/8]%と表現され、この値が図21に
示した画面と共に示される。オペレータは、画面にリア
ルタイムで表示される値を見ながら、マウスなどの入力
装置を用いトリミング・ガイド10−1を移動させた
り、拡縮したりして、安全を示す値が大きくなり、しか
も自分の気に入ったトリミングが決められるところでト
リミング・ガイド10−1を固定する。
【0049】この装置においては一度画像を分解してし
まえば、トリミングを変えた場合にも画像特徴テーブル
を求め直すことをせずに、画像特徴テーブルを容易に修
正できる。処理時間の最も掛かる画像分解の処理をしな
いですむため、トリミングを変更しても、視覚的特徴量
と感性言語とは修正された画像特徴テーブルからただち
に計算でき、リアルタイムで画像に表示することができ
る。
【0050】トリミング・ガイド10−1を固定決定し
た状態が図22である。画面にトリミングされた画像が
拡大されているのが分かる。現在の表示は画像の重心が
下がり対称性が増したことで「不安定な」が「安全な」
に変わっている。しかし、同時に今まで緑の山並みが画
面に広がりそれが「落ち着いた」感じをだしていたの
に、真っ赤な自転車が画面に広がったため「はでな」印
象に変わってしまった。そこで「はでな」を「やさし
い」に変更する。色合いに関する感性言語は単位暖かさ
の平均値Hm=ΣW(Hn)Nn/Nと単位鮮やかさの
平均値Ca=ΣCnNn/Nとに関係しており、「はで
な」は、単位暖かさの平均値Hmが高く、単位鮮やかさ
の平均値Caの値が大きい場合に対応する。これを「や
さしい」に変えるためには、単位鮮やかさの平均値Ca
をさげることで対応する。オペレータが「やさしい」を
入力すると感性影響度計算部5は鮮やかさと暖かさによ
って張られる図24に示した空間において「やさしい」
が表されている領域の中心xから現状の地点oまでの距
離Lcを計算し、距離が近いほど高い数字があらわれる
ように計算し直された値を解析結果提示部6に示す。つ
まり、表示される値は((141−Lc)/141)・
100%である。この実施例では解析結果提示部6は図
23に示したように表現画像表示部10の中の子ウイン
ドウとして表示される。オペレータは画像とその値を見
ながらHmとCaの値を変更するようシステムに指示す
る。指示する方法としては画面に現れるスライド式の数
値入力装置10−2(図25)のつまみをマウスなどの
入力装置を用い変更するという方法が用いられる。オペ
レータはHmの値とCaの値とを変え、「やさしい」を
表す数字が高くなり、画像も自分で気にいるようなもの
になったところでつまみを固定する。このようにして画
像の解析・表現付加がリアルタイムでかつ素人でも容易
に行うことができるようになる。
【0051】[第2の実施例]つぎに本発明の第2の実
施例を図2を参照して説明する。なお図2において図1
と対応する箇所には対応する符合を付して詳細な説明を
省略する。図2において、画像分解部2はテクスチャ抽
出部2−1、領域分割部2−2、線抽出部画2−3、消
失点抽出部2−4からなっている。画像入力部1で入力
保持されている入力画像からテクスチャ抽出部2−1に
よりテクスチャを抽出し、そのテクスチャと入力画像か
ら領域分割部2−2により画像を均質な領域にわけ、領
域の特徴を画像特徴記憶部3−1の画像特徴テーブルに
書き込む。線抽出部2−3は領域分割部2−2により分
割された領域のエッジから線分を抽出し、その線の性質
を画像特徴テーブルに書き込む。点抽出部2−4は抽出
されたエッジの交点やエッジ延長上にある交点を計算し
それを画像特徴テーブルに書き込む。
【0052】第1の実施例においては画像分解部2は領
域分割のみにより画像特徴テーブルを作成したが、本実
施例においては領域だけでなく、線と消失点も抽出する
ことができるようにし、さらに領域分割もテクスチャの
要素を考慮できるようになっている。入力画像はまず、
テクスチャ抽出部2−1によりテクスチャの方向成分と
強さの成分が抽出され、その情報と入力画像から画像に
あった領域分割が領域分割部2−2によりなされる。こ
の領域分割は注目画素の方向成分と中心画素の方向成分
の距離が小さくなるようにK−分割アルゴリズムを行っ
ていけばよい。
【0053】この処理が終わった時点で画像特徴テーブ
ルには第1の実施例で述べた情報のほかに、領域の代表
テクスチャの方向成分TEd、領域に含まれる画素のう
ちテクスチャの強さがある値以上画素の割合TEn(領
域のテクスチャの強さ)が加えられている。領域分割の
結果えられる領域の境界線から線抽出部2−3で直線を
抽出する。図27に示した画像を例に直線抽出の方法を
詳細に述べる。図26に示した領域分割処理の結果から
得られるインデックス画像では、同じ領域の画素は同じ
インデックスが付いているため、領域の境界線はインデ
ックスが変化するところに存在することになる。このよ
うに変化するところに接している画素にだけマーキング
した画像が図27である。この画像の画素を左上から順
に走査しマーキングされている画素が見つかったところ
で、以下のようにして直線の当てはまりを調べる。注目
画素を中心として縦横5画素のウインドを作る。そして
図27に示したマーキングされている外周画素のうち下
半分つまり図27でaを振りえる範囲と図示した範囲に
ある外周画素と注目画素との間に直線y=ax+bを引
く。図27の例では4本の直線が引ける。そして、もっ
とも小さなaをa’もっとも大きなaをa’’とし、y
=ax+bのaをa’<a<a’’の範囲で細かく振り
最も長い連続した範囲で境界線と当てはまるaを決め
る。本実施例ではπ/16の間隔でaを振り、直線が通
過した画素のうち連続して並らびマーキングされている
画素数を数え上げ、もっとも画素数の多いaをその直線
の傾きとし、その直線を輪郭直線と呼ぶ。直線が通過し
た画素数は直線上を0.1画素間隔で移動しその移動点
を含む画素がいくつかを数えることで得られる。aを決
めたことでbも自動的に決まる。このaとbの組と注目
画素の座標(lx1,ly1)そしてこの輪郭直線によ
り当てはまった画素数ln1を特徴テーブルに直線1と
いうインデックスとともに記録する(図28)。そして
当てはまった画素と同じ場所の線インデックス画像の画
素とそれらの画素の隣接8画素のうちマーキングされて
いるものにインデックス1を記入する。この作業が終わ
ったら、マーキングがあり、線インデックス画像に番号
のついていない画素をみつけ同じ作業をくりかえす。マ
ーキングがあり、線インデックス画像に番号のついてい
ない画素が無くなった時点で作業を終了する。
【0054】これだけの作業を終えた時点で、それぞれ
の領域にどの輪郭直線が含まれそれが何本であるかを数
え上げ画像特徴テーブルに書き込む。
【0055】次に抽出された線の情報を用いて、消失点
抽出部2−4で消失点を抽出する。消失点の抽出方法に
ついては坂田敦志らにより’93電信学会春期大会SD
−10−1、「コンピューターによる絵画解析の試み」
で検討されているが、ここでは以下の手法を用いること
にする。まず当てはまった画素数がある数以上になる輪
郭直線を選び出し、その輪郭直線全てをxcosθ+y
sinθ=ρでハフ・プレーン(Hough plane)上の点
に移す。ハフ・プレーン上で3つ以上の離れた点の近傍
を通る軌跡xicosθ+yisinθ=ρをさがし、
あればその軌跡の(xi,yi)を消失点として消失点
番号とその消失点を形成する直線群のθ,ρともに特徴
テーブルに書き込む。全ての軌跡を捜し出せたら処理を
終了する。
【0056】以上のようにして、領域、線、消失点の抽
出方法が本実施例により示せた。つぎにこれらの情報を
もとに画像解析部4であらたな視覚的特徴量を計算する
手法を示す。消失点の数、消失点の配置に関しては特徴
テーブルの情報をそのまま用いることができる。 ・テクスチャの方向=領域のテクスチャの方向について
ヒストグラムをとったときの領域数が全領域数の60%
以上であるテクスチャの方向 ・テクスチャの強さ=最大ポピュレーションのテクスチ
ャの方向と同じ方向成分をもつ領域のテクスチャの強さ
の平均 ・パースの強さ =消失点の奥ゆき消失点を形成する直線の傾きの平均値
>π/2の場合 a1×(π−消失点を形成する直線の傾きの平均値) =消失点の奥ゆき消失点を形成する直線の傾きの平均値
≦π/2の場合 a1×(消失点を形成する直線の傾きの平均値) ここでa1:任意の係数である。 ・消失点の強さ=a2×消失点を形成する直線の本数 ここでa2:任意の係数である。 ・輪郭線の複雑度=a3×(ハフ・プレーン上に同一領
域に属する輪郭直線をマッピングし、輪郭直線を表現す
る点の数) ここでa3:任意の係数である。 ・輪郭線の直線度=a4×同一領域に属する輪郭直線の
数/ハフ・プレーン上に同一領域に属する輪郭直線を輪
郭に沿って順にマッピングした際の変化量(|Δθ|)
の平均 ここでa4:任意の係数である。
【0057】[第3の実施例]つぎに本発明の第3の実
施例について図3を参照して説明する。なお図3におい
て図1または図2と対応する箇所には対応する符合を付
して詳細な説明を省略する。図3において、感性影響度
計算部5およびデザイン・ノウハウ記憶部7について述
べる。視覚言語計算部5−1は画像解析部4で計算され
た視覚的特徴量と特徴量・視覚言語間関係記憶部7−1
に記憶されている情報をもとに視覚言語(視覚的な特徴
を表す用語または用語の組)を計算し、それを解析結果
提示部6に表示する。感性言語計算部5−2は計算され
た視覚言語と視覚言語・感性言語間関係記憶部7−2に
記憶されている情報をもとに感性言語を計算し、それを
解析結果提示部6に表示する。視覚言語・感性言語間関
係記憶部7−2は画像表現付加部9から指示された感性
言語に対応した視覚言語を画像表現付加部9に返し、さ
らに特徴量・視覚言語間関係記憶部7−1がその視覚言
語に応じた視覚的特徴量を画像表現付加部9に返す。画
像表現付加部9はその視覚的特徴量に基づいて画像に表
現を加える。
【0058】実施例1に示したデザイン・ノウハウ記憶
部7に記憶されているデザイン・ノウハウは同じ視覚的
特徴量に関係する感性言語をグルーピングすることでま
とめてあるだけであった。そのため、人種や年齢層が異
なると、デザイン・ノウハウセットをすべて入れ替える
必要があった。また、デザイン・ノウハウを構築するさ
いにはデザイナの知見を解析しそれを再構成する必要が
あるが、デザイナが一般によく使う視覚言語をこのシス
テムでは利用できないのでそのデザイナのノウハウを視
覚的特徴量と感性言語との関係に翻訳する必要があり、
そのためデザイン・ノウハウの構築に手間もかかった。
【0059】デザイン・ノウハウを2つの階層に分け構
図の与える安定感のように人種を問わずひろく共通する
視覚言語と呼ばれる層とその上に乗る色によって影響さ
れる感情のように人種や年齢層によって大きく異なる感
性言語の層にわけてデザイン・ノウハウを構築すること
で上述の問題を解決することをめざす。
【0060】図10に示したように相反する視覚言語を
数軸の両極に配置し、視覚言語の組を作る。できた視覚
言語軸同士は意味的に独立性が高くなるようにしてあ
る。本実施例では9次元の視覚言語空間を構成してい
る。視覚言語は一般性が高いため視覚的特徴量から視覚
言語の構築は一度行えば、それは広い対象範囲で利用す
ることができる。
【0061】視覚的特徴量から視覚言語を構築する例を
挙げる。図13にそれぞれの視覚言語軸と関係の深い視
覚的特徴量を示した。
【0062】安定−不安定と関係のある視覚的特徴量
は、重さの中心から軽さの中心へのベクトルの大きさG
l=((Xl−Xh)2+(Yl−Yh)21/2、重さ
の中心から軽さの中心へのベクトルの方向Gd=π/2
−tan-1((Yl−Yh)/(Xl−Xh))、重さ
の中心(Xh,Yh)=(Σ{h(Vn)×Nn×X
n}/Σh{(Vn)×Nn},Σ{h(Vn)×Nn
×Yn}/Σ{h(Vn)×Nn})である。Xhが0
に近く、Yhが1に近く、重さの中心から軽さの中心へ
のベクトルの方向が垂直に上に近く、重さの中心から軽
さの中心へのベクトルの大きさが大きいほど安定してい
ると判断される。つまり式で表現すると不安定度は、 不安定度=ka1×F{1−|0−Xh|/4−|1−
Yh|/4,kb1}×100+ka2×F{|2−2
Gd/π|/4+|2−Gl|/4,kb2}×100
% ただし不安定度>100の場合、 不安定度=100% と表現される。ここでF{x,k1}=1/[{1+e
xp(k1−x)}]、ka1,kb1は適当な実数で
ある。
【0063】次に静的−動的に関係する視覚的特徴量に
は、非対称性、輪郭線の複雑度、画像代表テクスチャの
方向、画像代表テクスチャの強さがあるが、本実施例で
は非対称性と画像代表テクスチャの方向と画像代表テク
スチャの強さとを用いて視覚言語を数値化する。動き
は、 動き=ka3×F{(|部分画像I1の重さ−部分画像
I4の重さ|+|部分画像I2の重さ−部分画像I3の
重さ|)/全画像の重さ,kb3}×100+ka4×
F{(最大ポピュレーションのテクスチャの方向と同じ
方向成分をもつ領域の数×その領域のテクスチャの強さ
の平均)/(全領域数×255),kb4}×100% ただし動き>100の場合、 動き=100% と表現される。
【0064】集中−分散に関係する視覚的特徴量は単位
重さの散らばり度、単位軽さの散らばり度、重さの中
心、軽さの中心、単位暖かさの散らばり度、単位冷たさ
の散らばり度、暖かさの中心、冷たさの中心であるが、
ここでは、単位重さの散らばり度、単位軽さの散らばり
度、単位暖かさの散らばり度、単位冷たさの散らばり度
を用いて集中度を計算する。 集中度=ka5×F{(|単位重さの散らばり度−単位
軽さの散らばり度|/(単位重さの散らばり度+単位軽
さの散らばり度),kb5}×100+ka6×F
{(単位暖かさの散らばり度−単位冷たさの散らばり度
|/(単位暖かさの散らばり度+単位冷たさの散らばり
度,kb6}×100% ただし集中度>100の場合、集中度=100%であ
る。
【0065】暖かい−冷たいに関係する視覚的特徴量は
画像代表テクスチャの種類、画像代表テクスチャの強
さ、単位暖かさの平均値、単位暖かさの分散、暖かさの
中心、単位冷たさの平均値、単位冷たさの分散、冷たさ
の中心、暖かさの中心から冷たさの中心へのベクトルで
あるが、本実施例では(単位暖かさの平均値−単位冷た
さの平均値)/(255×全画素数)×100%を用い
る。
【0066】鮮やかな−渋いに関係する視覚的特徴量は
彩度の平均値、彩度の分散である。 鮮やかさ=彩度の平均値/255×100% を用いる。
【0067】明るい−暗いに関係する視覚的特徴量は最
大ポピュレーションの中心明度、明度の平均値、明度の
分散であるが本実施例では 明るさ=明度の平均値/255×100% を用いる。
【0068】奥行きのある−平面的なに関係する視覚的
特徴量は消失点の数、消失点の配置、パースの強さ、消
失点の強さであるが本実施例では、 奥行き度=f{(消失点の数)×((パースの強さ)+
(消失点の強さ)),k7}×100% を用いる。
【0069】直線的な−曲線的なに関係する視覚的特徴
量は輪郭線の直線度の平均、最大ポピュレーションのテ
クスチャの種類、最大ポピュレーションのテクスチャの
強さであるが本実施例では、 直線度=f{(輪郭線の直線度)の全領域での平均,k
8}×100% を用いる。
【0070】リズミカルな−メロディアスなに関係する
視覚的特徴量は寒色暖色のリズムの周波数、寒色暖色の
リズムの方向、寒色暖色のリズムの強さ、明暗のリズム
の周波数、明暗のリズムの方向、明暗のリズムの強さ、
テクスチャのリズムの方向、テクスチャのリズムの強さ
であるが、本実施例では、図20に示したa,b,c,
d,e,f,g,hの直線について、 リズミカル度=ka9×f{寒色暖色のリズムの周波
数,kb9}100+ka10×f{明暗のリズムの周
波数,kb10}×100% をそれぞれ計算し、最大の値を最終的なリズミカル度と
する。
【0071】視覚言語計算部5−1は以上の式を用いて
視覚言語を計算する。以上の様に一つの視覚言語Viに
複数の視覚的特徴量G1,G2,・・・ (0<G1<
100,0<G2<100,・・・・)が対応している
場合にもViを Vi=ka12・F(G1,kb12)・100+ka
13・F(G2,kb13)・100+・・・ ただしVi>100の場合、 Vi=100 の様に構成することで、一つの視覚的特徴量が変化した
だけでも視覚言語Viにはっきりした影響が与えられる
ようになっている。このようにすることで、異なった手
法(視覚的特徴量)で描かれた画像も同じ視覚言語の尺
度で解析することができる。
【0072】解析した視覚言語はそれぞれ数軸上の一点
として表示する。図29には不安定度の表示例を示し
た。結果は解析結果提示部6に示す。そして、つぎに処
理は感性言語計算部5−2に移る。個々の視覚言語の数
軸上には関係の深い感性言語が図29のように割り振ら
れており、その対応関係は視覚言語・感性言語間関係記
憶部7−2に記憶されている。この対応関係を参照して
感性言語計算部5−2は個々の視覚言語の数軸上に示さ
れた入力画像の値の近傍にある感性言語を解析結果提示
部6に示す。
【0073】ただし、一般に一つの感性言語は複数の視
覚言語とかかわりがあるため、視覚言語の数軸上に示さ
れた感性言語は目安と考えるべきである。また、視覚言
語同士は独立性の高いものを選んではいるが、「鮮やか
さ」と「暖かさ」はペアで対応する感性言語を考えるべ
きであり、また、「動き」と「リズミカル度」も関係が
深いのでこれらもペアで対応する感性言語を考える方が
好ましい。つまり、視覚言語のうち<安定−不安定>、
<集中−分散>、<明るい−暗い>、<奥行きのある−
平面的な>、<直線的な−曲線的な>は一次元上に対応
する感性言語を目安として割り振ることができ、<暖か
い−冷たい>と<鮮やかな−渋い>、そして<静的−動
的>と<リズミカルな−メロディアスな>は2次元上に
感性言語を目安として割り振ることができる。感性言語
の組合せを図30に示した。
【0074】感性言語および視覚言語が解析され、表示
されたら、つぎに、表示された感性言語と視覚言語とを
参考に画像に加える表現についてデザイン計画を立て
る。先の自転車販売店の例にもどると、デザイン計画で
重視する感性言語は「やさしい」、「スポーティ」、
「安全な」であり、重視する割合は2:1:1である。
まずこの感性言語を表現指示部11で入力する。入力さ
れた感性言語に対し視覚言語・感性言語間関係記憶部7
−2に記憶されている情報をもとに関係の深い視覚言語
を上位3つまでを現在の画像の数値との距離とともにデ
ザイン・ノウハウ/計画提示部16に示す。「やさし
い」を他の2つより重視する必要があるので「やさし
い」を表現する視覚言語として鮮やかさ/暖かさとあか
るさを選び、「スポーティ」を表現する視覚言語として
動き/リズミカルを選び、「安全な」を表現する視覚言
語として不安定感を選ぶことにする。第1の実施例では
「スポーティ」と「安全な」とは同じグループに属して
いるので両立させることができなかったが、本実施例で
は異なった視覚言語を用いて表現するため両立が可能で
ある。
【0075】以上のように決めたデザイン計画に基づ
き、視覚言語とその目標値を表現指示部11で入力す
る。入力された視覚言語に対応する視覚的特徴量を特徴
量・視覚言語間関係記憶部7−1に問合せ、変更可能な
視覚的特徴量と必要な情報とをデザイン・ノウハウ計画
提示部16に示す。例えば図32のように安定感を上げ
るために領域の明度分布を変更する必要があるのであれ
ば、シテスムは変更可能な視覚的特徴量は明度分布であ
ることをデザイン・ノウハウ/計画提示部16に示し、
さらに表現画像表示部10に明度分布の変更をシステム
に指示する直線(明度分布変更部10−3)(図33参
照)を示す。明度分布を変更すると、「やさしい」に関
係のある視覚言語<明るい−暗い>にも影響かあるの
で、そのことをに喚起するするため、同時に変わってし
まう可能性のある視覚言語をワーニングとしてデザイン
・ノウハウ計画提示部16に示す。オペレータはマウス
などのポインティング・デバイスやキーボードによって
構成されている表現指示部11でその直線の傾きと明度
の平均値を変更する。変更されるとシステムはすぐに関
係の深い視覚言語の値も計算し直し、解析結果提示部6
に示し、そして表現画像表示部10に変更後の画像を示
す。オペレータはこれらの情報と表現画像表示部10に
示される変更後の画像とを確認しながら明度分布変更部
10−3の傾きの変更をさらに指示する。オペレータは
満足のいくまでこの処理を続けることができる。
【0076】本実施例では明度分布の変更を空間に対し
て線形に変更したが2次曲線や画素の縦方向の明度の合
計を計算したヒストグラムを直接変更するなどの方法も
取ることができる。
【0077】第1の実施例のときと異なり、感性言語へ
の当てはまり具合をコントロールするのではなく、感性
言語にくらべ種類の少ない視覚言語について現時点の値
と目標値とのずれをコントロールするため、システムも
オペレータも相互に影響のある視覚的特徴量の把握が簡
単であり、結果として適切で複雑な表現も加えることが
できるようになる。また、視覚的特徴量から感性言語へ
の変換の間にデザイナの理解可能な視覚言語を挟んだこ
とで、デザイン・ノウハウを一般性の高いノウハウとそ
うでない部分に層別整理できただけでなくデザイナのノ
ウハウを系統立てて整理しシステムに取り込むことがで
きるようになった。
【0078】[第4の実施例]つぎに本発明の第4の実
施例について図4を参照して説明する。なお図4におい
て図1、図2または図3と対応する箇所には対応する符
合を付して詳細な説明を省略する。図4において、視覚
言語・感性言語間関係群記憶部7−4は複数の感性言語
と各視覚言語軸との対応関係を記憶しており、対応関係
選択部12によつて選択された対応関係を感性言語計算
部5−2と画像表現付加部9に与える。
【0079】第3の実施例においてデザイン・ノウハウ
を一般性の高い特徴量・視覚言語間関係と民族や年齢な
どによって異なることの多い視覚言語・感性言語間関係
に分けた。しかし、第3の実施例においては感性言語と
各視覚言語軸との対応関係は一通りしか持っていなかっ
たので印刷物を読む対象が変わるたびにその対応関係を
変更しなくてはならない。その手間を省くために、図4
に示したようにあらかじめよく使う対応関係のセットを
視覚言語・感性言語間関係群記憶部7−4に複数組用意
しておき使用する際に対応関係選択部12で必要な対応
関係を指定することができるようにした。
【0080】[第5の実施例]つぎに本発明の第5の実
施例について図5を参照して説明する。なお図5におい
て図1〜図4と対応する箇所には対応する符合を付して
詳細な説明を省略する。図5において、個別デザイン・
ノウハウパッケージ記憶部7−3は複数のノウハウ(視
覚的特徴量−視覚言語対応関係)を記憶しており、ノウ
ハウ選択部8により選ばれたノウハウをもとに特徴量・
視覚言語間関係記憶部7−1の情報を特徴量・視覚言語
間関係変更部14で変更する。視覚言語・感性言語間関
係群記憶部7−4から視覚言語が出力され、この視覚言
語に応じた視覚的特徴量が、変更された特徴量・視覚言
語間関係に基づいて画像表現付加部9に返される。
【0081】第3の実施例で示したように、特徴量・視
覚言語間関係記憶部7−1には特徴量・視覚言語間関係
が記憶されており、解析結果として視覚言語が同じ値と
なる視覚的特徴量の組合せは複数存在する。例えば、視
覚言語「動き」について考えてみると、 動き=kb3・F{(|部分画像I1の重さ−部分画像
I4の重さ|+|部分画像I2の重さ−部分画像I3の
重さ|)/全画像の重さ,ka3}×100+kb4・
F{(最大ポピュレーションのテクスチャの方向と同じ
方向成分をもつ領域の数×その領域のテクスチャの強さ
の平均)/(全領域数×255),ka4}×100% ただし動き>100の場合、 動き=100% であるから、画像に動きを与えるには、最大ポピュレー
ションのテクスチャの方向と同じ方向成分をもつ領域の
数を大きくしても良いし、部分画像I1と部分画像I4
の重さまたは部分画像I2と部分画像I3の重さの差を
大きくしてもよいわけである。
【0082】画像を解析する際には、どのような画像が
入力されるか分からないので、すべての中間言語につい
て評価できるようにしておく必要があるが、画像に表現
を加える際には、どのような視覚的特徴量を用いて視覚
言語を表現するかで画像が大きく変化する。つまり、表
現を付加する際には、どの視覚的特徴量を用いるかが、
美術的な価値の上で重要な問題となる。統一感の取れた
画像を作るためには視覚言語−視覚的特徴量の関係を適
切に選ぶ必要があり、そのため、いろいろなデザイナの
ノウハウを入れられるようにした。入れておくノウハウ
は図5に示したように複数用意し、それを個別デザイン
・ノウハウパッケージ記憶部7−3に記憶しておき、ノ
ウハウの選択はノウハウ選択部8で行うようにした。例
えばノウハウAでは、 動き=F{(|部分画像I1の重さ−部分画像I4の重
さ|+|部分画像I2の重さ−部分画像I3の重さ|)
/全画像の重さ,0.4}×100% ノウハウBでは、 動き=0.5・F{(|部分画像I1の重さ−部分画像
I4の重さ|+|部分画像I2の重さ−部分画像I3の
重さ|)/全画像の重さ,0.5}×100+1.5・
F{(最大ポピュレーションのテクスチャの方向と同じ
方向成分をもつ領域の数×その領域のテクスチャの強さ
の平均)/(全領域数×255),0.3}×100% ただし動き>100の場合、 動き=100% とする。
【0083】特徴量・視覚言語間関係変更部14は特徴
量・視覚言語間関係記憶部7−1に記憶されている視覚
言語に対応する視覚的特徴量のうちどれを選択するかを
個別デザイン・ノウハウパッケージ記憶部7−3からの
情報をもとに決定し、決定した視覚的特徴量を画像表現
付加部9に与えるものである。
【0084】[第6の実施例]つぎに本発明の第6の実
施例について図6を参照して説明する。なお図6におい
て図1〜図5と対応する箇所には対応する符合を付して
詳細な説明を省略する。図6において、視覚言語決定部
13は表現指示部11により指示された複数の感性言語
と画像特徴記憶部3−1の画像特徴テーブルの情報とを
画像表現付加部9から得て、それと複数のノウハウ(視
覚的特徴量−視覚言語対応関係、デサイン計画表作成ノ
ウハウ)を記憶している個別デザイン・ノウハウパッケ
ージ記憶部7−3の情報をもとにデサイン計画表を作成
し、さらにそのデサイン計画に基づいて対応関係選択部
12で選ばれた視覚言語・感性言語間関係群記憶部7−
4の感性言語と各視覚言語軸との対応関係から視覚言語
を決定する。
【0085】第5の実施例までは、オペレータは表現指
示部11で感性言語とデサイン計画表を入力しなくては
ならなかったが、図6においては、感性言語の組合せが
提示されると適切なデサイン計画表を自動的に作成でき
るように、必要なノウハウを個別デザイン・ノウハウパ
ッケージ記憶部7−3にもたせ、その情報を用いて視覚
言語を決定する視覚言語決定部13を設けている。必要
なノウハウとは与えられた感性言語の組に対して適切な
視覚言語の組を出力する対応関係のことである。
【0086】最も簡単な例としてはプライオリティ順に
決めてしまう方法である。図31の例で示すと、視覚言
語の重要度は「やさしい」:「スポーティ」:「安全
な」=2:1:1であるから、まず「やさしい」につい
ては上から2つ鮮やかさ/暖かさと明るさに決定する。
次に「スポーティ」については上から1つ動き/リズミ
カルに決定する。そして最後に「安全な」についても上
から1つ不安定感を選ぶ。もし、この作業中にすでに選
ばれている視覚言語に出会った場合には、それを飛ばし
て次の順位の視覚言語を採用する。この方法が最も簡単
に自動的に決定できる方法であるが、この作業も美的意
識にかかわるものであるため、デザイナのデザイン・ノ
ウハウを導入することが好ましい。一人一人のデザイナ
の個性によってノウハウも異なるので、ノウハウパッケ
ージ一つに対し一人のデザイナが受け持つようにする。
【0087】[第7の実施例]つぎに本発明の第7の実
施例について図7を参照して説明する。なお図7におい
て図1〜図6と対応する箇所には対応する符合を付して
詳細な説明を省略する。図7において、特徴量・視覚言
語間関係記憶部7−1と視覚言語・感性言語間関係群記
憶部7−4とは感性影響度計算部5にのみ情報を渡し、
画像表現付加部9には渡さず、画像表現付加部9はオペ
レータから直接詳細表現指示部15を通じて視覚的特徴
量を得て、それに基づいて入力画像に表現を加える。
【0088】第6の実施例までは、デザイン知識のない
オペレータが用いることを想定したシステムであった
が、デザイン知識のあるデザイナがこのシステムを扱う
ことを考えると感性言語の組合せを指定する表現指示部
11のかわりに直接視覚的特徴量を指定できる詳細表現
指示部15の方が便利である。
【0089】[第8の実施例]つぎに本発明の第8の実
施例について図8を参照して説明する。なお図8におい
て図1〜図7と対応する箇所には対応する符合を付して
詳細な説明を省略する。図8において、画像分解部2で
分解された結果は画像特徴記憶部3−1の画像特徴テー
ブルに記述されるとともに分解画像表示部3−3で表示
される。オペレータはその結果を見ながら表現を加えや
すいように数個の領域を親領域にまとめるという作業を
し、それぞれに付加情報を加えその結果を構造マップに
まとめ構造マップ記憶部3−2に記憶する。この構造マ
ップと画像特徴記憶部3−1の画像特徴テーブルとをも
とに画像解析部4は視覚的特徴量を計算する。
【0090】第7の実施例までは、画像全体に対して変
更を加える例を示したが、画像の編集をしながらより積
極的に画像に表現を加える方法について述べる。画像を
編集するためには画像分解部2で分割された画像に構造
を持たせたほうが処理が楽になる。そのため、画像特徴
記憶手部段3−1を画像構造・特徴分析部3に含まれる
一部とし画像を構造化する構造マップ作成部3−4を構
成する。
【0091】画像の構造化のために入力画像を画像分解
部2で分解するさいには、今までの実施例より細かい指
示を画像分解部2に与える必要がある場合もあるので、
オペレータからの指示を画像分解部2ではとりこめるよ
うにしておく必要がある。画像分解部2として分割K−
平均アルゴリズムを用いる。与える情報としては分割の
細かさ、重視する画像情報(色合い、明度、テクスチ
ャ、その他)、画像に合わせた適応的な処理を行うかど
うかや、恣意的な領域分割の変形の有無などである。図
34〜図37に種々の分割の例を示した。図34は領域
数が少ない例、図35は領域数が多い例、図36は色の
情報と位置の情報を重視する割合を変えた例、図37は
テクスチャの少ない部分(背景部)のみ恣意的な領域変
形を加えた例である。このように分割された画像を分解
画像表示部3−3で表示し、オペレータはその様子をみ
ながら顔、髪の毛、目、服、背景などといった部分ごと
に領域をまとめていく。その結果は、構造1−>領域
3,領域4,領域9,領域12,領域13,領域14、
構造2−>領域2,領域5,領域6,領域7,領域8,
領域11、・・・といった表にまとめられる。この表を
構造マップとよび、構造マップ記憶部3−2に記憶す
る。この情報を利用して、画像表現付加部9で画像の編
集を行う。
【0092】実際に編集をおこなっていく様子を順にみ
ていくことにする。第3の実施例で示したのと同じ自転
車販売店の折込み広告を例にする。女性が自転車に乗っ
て走っている写真(図38)を入力し、それに対し構造
化した様子を図39に示す。この入力画像から視覚的特
徴量を計算する。図40に視覚的特徴量のうち重さの中
心と軽さの中心それから重さの中心から軽さの中心への
ベクトルと核、核を中心として分けた領域I1,I2,
I3,I4を示した。重さの中心が高いところにあり、
ベクトルも下向きなので視覚言語の不安定度は高くなり
80となる。また画像全体が暗いので、視覚言語の明る
さも30である。服と自転車はピンクいろであるが、深
緑の岩肌と灰色の路面のせいで画像は渋く、また暖かさ
も感じない。I4とI1の領域の重さの比較から画面の
非対称性が高くその結果画面から大きな動きを感じる。
また岩の持っている明暗のリズムも現れていることがリ
ズムの解析から分かる。以上の解析結果を解析結果提示
部に示したものが図30である。これをもとにはデザイ
ン計画を立て、システムに入力するとシステムはその目
標値と現状値とのずれをデザイン・ノウハウ/計画表示
部16に表示する(図32)。
【0093】ここまでの手続きは第3の実施例とほぼ同
じである。システムは図32、33に示されたデサイン
計画に沿って視覚的特徴量の変更をおこなえるような手
段をオペレータに提供する。それが、第1の実施例では
トリミング枠10−1であり、スライド式の数値入力装
置10−2であり、第3の実施例では明度分布変更部1
0−3であった。ここでは、画像を積極的に編集するた
め、より細かい処理で視覚的特徴量の変更をおこなうこ
とを考える。不安定感や動きは構図によって大きく変わ
るのでまず、システムはトリミングを行うかどうかをデ
ザイン・ノウハウ/計画表示部16を通じてオペレータ
に尋ねる。本実施例においてオペレータは構図を気に入
っていたので、トリミングは行わないことを表現指示部
11を通じてシステムに伝える。するとシステムは次の
手段として、部分的に画像の重さを変更することをオペ
レータに要求するとともに、それと重さの変更に伴って
視覚言語の明るさや動きが変化してしまう可能性のある
ことをに警告する。重さの中心から軽さの中心へのベク
トルが上をむいて重さの中心がなるべく低い位置にくる
ように部分画像の重さを変えねばならない。さらに部分
画像I4と部分画像I1の重さの差が動きを作り出して
いるので、それを壊さないようにするほうがよい。そこ
では構造1を表現指示部11を通じて指定し、そこの重
さを変更することをシステムに伝える。システムは構造
1が選択されたことを表現画像表示部10の対応する部
分をフラッシュして知らせ、同時にオペレータがその部
分の重さを変えられるようにスライド式の数値入力装置
10−2を表現画像表示部10の中に示す。オペレータ
はスライド式の数値入力装置10−2で重さを変える。
すると、図32、33に示されている視覚言語もリアル
タイムで変化するので、その様子を見ながらは処理を続
けられる。さらに構造2、構造3も同じようにして重さ
を変更する。以上の処理により、動きを感じさせながら
安定感を高くした画像が図41である。また、そのとき
の視覚言語の値を図42に示した。オペレータは図42
に示される画像を見て不安定感はかなり改善されてたこ
と認識し、この処理を終了する。
【0094】システムは次の感性言語「スポーティ」に
処理を移す。リズミカルに関しては適切な値なので<動
き>に関して変更する必要がある。動きは先に示したよ
うに、動き=ka3×F{(|部分画像I1の重さ−部
分画像I4の重さ|+|部分画像I2の重さ−部分画像
I3の重さ|)/全画像の重さ,kb3}×100+k
a4×F{(最大ポピュレーションのテクスチャの方向
と同じ方向成分をもつ領域の数×その領域のテクスチャ
の強さの平均)/(全領域数×255),kb4}×1
00%と表され、初めの項に関してはすでに処理を終わ
っているので、2つ目の項に関して処理を加えることを
システムは決定し、オペレータにテクスチャ付加の方法
の選択を要求する。本実施例ではたとえばつぎのオプシ
ョンを選択できるようになっている。 1、画像全体に運動方向のテクスチャをいれる 2、運動している対象に運動方向のテクスチャをいれ
る。 3、流し撮のように背景に運動方向のテクスチャをいれ
る。 ここではオペレータはオプション3を選択したことにす
る。するとシステムがどの構造が対象でどの構造が背景
かをきめるようにオペレータに再度質問し、オペレータ
は表現指示部11により所定の構造を指示する。本実施
例では対象は構造6,10,7,12,8,11,14
であり、残りが背景である。
【0095】次にシステムは運動方向と強さの入力を要
求してくるので、図43に示してある数値で運動方向を
指示し、ずらす画素数で強さを指示する。システムは以
上の値を受け取ると、画像の背景のみを一画素ずらして
は加えるという作業を指定された画素数分行い、最後に
その画素数で割り平均を取る。その結果を図44に示
す。そのときの視覚言語を図45に示す。オペレータが
図45の視覚言語の値に満足すれば、システムは次に視
覚言語<鮮やかさ/暖かさ>について変更を加える処理
に移る。
【0096】ここで、画像に構造をもたせることで解析
が可能になった視覚言語の<対比>について説明する。
<対比>とは複数の構造の性質の差であり、その差を適
切に選ぶことで、ある構造だけを目立たせたり、ある構
造のもっているある性質のみを強調したりすることがで
きる。一般によく用いられるのは背景と対象との対比効
果である。対比効果を有効に使うことで視覚効果を飛躍
的に高めることができる。<対比>と関係のあるものま
たは、構造をもたせたことで計算できるようになった視
覚的特徴量を図14に示した。本実施例では、感性言語
「やさしい」を表すために選択された視覚言語<鮮やか
さ/暖かさ>について対比効果を用いることにする。
【0097】先の処理に話をもどす。オペレータはこの
写真をとるときに自転車と女性の服の色に「やさしさ」
を表現するピンク色を使っていたが、写真の背景はみど
りや灰色なので全体の印象は「やさしさ」から外れてし
まっていた。しかし、対比効果を考えた場合、自転車と
女性の服の色は背景によって引き立てられ「やさしさ」
を表現できているかもしれない。そこで、システムが視
覚言語<鮮やかさ/暖かさ>について変更を加える処理
に移ったところで、オペレータは<鮮やかさ/暖かさ>
について対比効果を計算することを表現指示部11によ
りシステムに伝える。システムは先程と同じように対象
と背景について問合せてくるので、オペレータはやはり
先程と同じように女性と自転車とを対象とすることを指
示する。システムはその情報をもとに<鮮やかさ/暖か
さ>について背景と対象の対比効果を以下の式で計算す
る。 対比効果=f{<鮮やかさ/暖かさ>空間での背景から
対象までの距離,k13}×100% 図46に背景と対象の表している視覚言語を示した。こ
の例では十分な対比効果がでており、女性と自転車から
やさしさが感じられることが分かる。もし十分な対比効
果がでてなければ解析の結果を参考にしながら背景と対
象の視覚言語の差を大きくするようにシステムに指示す
る。オペレータが結果に満足したところで全ての処理を
終了する。
【0098】[第9の実施例]つぎに本発明の第9の実
施例について図9を参照して説明する。なお図9におい
て図1〜図8と対応する箇所には対応する符合を付して
詳細な説明を省略する。図9において、画像分解部2で
分解された結果は画像特徴記憶部3−1の画像特徴テー
ブルに記述されるとともに領域統合処理部3−6で数個
の領域が親領域にまとめられる。それらの結果は分解画
像表示部3−3で表示され、オペレータはその結果をみ
ながら不適切にまとめられた領域を修正するという作業
を構造関係補正部3−5で行い、それぞれに付加情報を
加えその結果を構造マップにまとめ構造マップ記憶部3
−2に記憶する。この構造マップと画像特徴記憶部3−
1の画像特徴テーブルをもとに画像解析部4は視覚的特
徴量を計算する。
【0099】第8の実施例では、画像構造をオペレータ
が全ての領域について入力していたが、本実施例では領
域統合処理部3−6で自動的に作成し、それを構造関係
補正部3−5でが補正できるようにした。領域統合処理
部3−6は、たとえば分割領域の領域中心同士の距離を
計算し、各分割領域に対し距離の短い上位N個の分割領
域をリストアップし、各分割領域とリストアップされた
分割領域との類似度を求め、類似度の高い分割領域同士
を1つの領域に統合するものである。領域統合処理部3
−6の詳細はたとえば特願平6−96328号を参照さ
れたい。
【0100】[実施例10]つぎに上述の各実施例で用
いられるデザイン・ノウハウを確立する装置について図
15を参照して説明する。デザイン・ノウハウを確立す
る装置は上述実施例の構成に所望の機能を付加すること
により実現できる。個別デザイン・ノウハウパッケージ
を求める場合は、特定のデザイナの作品を多数集め、そ
の中から、一つの視覚言語軸と深くかかわっている作品
を選び出し、それらを視覚言語軸上の数値と対応付け
る。対応のついた作品を画像入力部1で入力し画像分解
部2で分解し解析結果提示部6で表示する。その表示を
見ながら指示を与え画像構造・特徴分析部3によって構
造化する。その結果を用いて画像解析部4で視覚的特徴
量にし特徴量・視覚言語対応関係決定部18にすでにデ
ザイナにより定められた視覚言語軸上の数値と一緒に渡
す。この処理を数軸上の数値があらかじめデザイナによ
り求められている画像に対し行い、終わったところで別
の視覚言語軸と深くかかわっている作品を選び出し、同
じ処理を行う。全ての視覚言語軸について処理が終了し
たところで、視覚的特徴量・視覚言語対応関係を決定し
個別デザイン・ノウハウパッケージ記憶部7−3に情報
を保存する。
【0101】特徴量・視覚言語間関係記憶部7−1に記
憶される特徴量・視覚言語間関係を求めるには特定のデ
ザイナーに偏らないように多くの作品を選び出し、それ
らについて、上記の処理を行うことで、一般性のある特
徴量・視覚言語間関係が得られるのでそれを特徴量・視
覚言語間関係記憶部7−1に保存する。
【0102】視覚言語・感性言語間関係群記憶部7−4
に記憶されている感性言語と各視覚言語軸との対応関係
を求めるにはジャンル・デザイナに偏らないように多く
の画像を画像入力部1で入力し、画像分解部2、画像構
造・特徴分析部3、画像解析部4の各処理を終えた後、
特徴量・視覚言語間関係記憶部7−1に記憶されている
特徴量・視覚言語間関係を使って視覚言語計算部5−1
により視覚言語を計算する。計算された視覚言語を視覚
言語・感性言語対応関係決定部17で似た結果同士をク
ラスタリングする。クラスタリングされた画像ごとにコ
ラージュし、それをある民族・ある年齢層などに分けら
れた被験者に見せ適当な感性言語を当てはめる。このよ
うにして決定された視覚言語・感性言語対応関係を視覚
言語・感性言語間関係群記憶部7−4に記憶する。この
処理をいろいろな民族・年齢層などに分けられた被験者
にたいし行うことで数種の対応関係を得ることができ
る。
【0103】
【発明の効果】以上説明したように、本発明によれば、
画像の解析結果をそのまま画像に表現を加える処理に生
かすことができるため、デザイン知識をもたぬオペレー
タにも適切な表現を画像に加えることができる。また、
既存のイメージスケールを基に作られた画像解析システ
ムでは相反する意味を持つ感性言語で表現されている画
像を十分に解析できなかったが、ここで提案するイメー
ジスケールでは相反する感性言語もことなった視覚言語
軸で表現できるため、フレキシブルな表現が可能になっ
た。相反する意味を持つ感性言語も表現できるにもかか
わらず、感性言語より一般性の高い視覚言語を用いて解
析することができる。デザイナによって異なる多種多様
なノウハウを各所で選択できるようにした。デザイン・
ノウハウを感性言語、視覚言語、視覚的特徴量で整理し
たため簡単にシステムにデザイナ固有の知識を持たせる
ことができるようになった。また、画像に構造を持たせ
ることで対比効果などの高度な画像解析、表現付加もで
きるようになる。
【図面の簡単な説明】
【図1】本発明の画像解析表現付加装置の第1の実施例
を示すブロック図である。
【図2】画像分解部2に線と点を抽出する機能を加え
た、本発明の第2の実施例を示すブロック図である。
【図3】視覚言語が扱えるようにデザイン・ノウハウ記
憶部7と感性影響度計算部5とを2つのパートに分け
た、本発明の第3の実施例を示すブロック図である。
【図4】感性言語と各視覚言語軸との対応関係を複数持
たせた本発明の第4の実施例を示すブロック図である。
【図5】表現付加する場合のノウハウ・パッケージを複
数もたせ選択できるようにした、本発明の第5の実施例
を示すブロック図である。
【図6】オペレータがデサイン計画を入力する代わり
に、複数の感性言語を入力するだけで画像に表現を加え
られるようにした、本発明の第6の実施例を示すブロッ
ク図である。
【図7】オペレータが直接視覚的特徴量で画像に表現を
加えられるようにした、本発明の第7の実施例を示すブ
ロック図である。
【図8】入力画像に構造を持たせるために、画像構造・
特徴分析部3を加えた、本発明の第8の実施例を示すブ
ロック図である。
【図9】画像構造・特徴分析部3において、ある程度自
動で構造を作ることを可能とした、本発明の第9の実施
例を示すブロック図である。
【図10】構造をもたない画像に対する視覚言語空間を
構成する視覚言語軸を説明する図である。
【図11】構造をもたせた画像に対する視覚言語空間を
構成する視覚言語軸を説明する図である。
【図12】視覚的特徴量の分類を説明する図である。
【図13】画像全体について計算される視覚的特徴量を
説明する図である。
【図14】部分的な対象について計算される視覚的特徴
量を説明する図である。
【図15】デザイン・ノウハウを作成するシステムを構
成する、本発明の第10の実施例を示すブロック図であ
る。
【図16】入力画像に加えられたインデックスと画像特
徴テーブルを説明する図である。
【図17】画像をあらわす座標を説明する図である。
【図18】単位暖かさを数値化した例を説明する図であ
る。
【図19】単位冷たさを数値化した例を説明する図であ
る。
【図20】画像の核の位置とリズムを求める軌跡とを示
した図である。
【図21】入力画像と解析結果、トリミング・ガイドが
一つの画面に表示されている様子を説明する図である。
【図22】トリミングを決定し、新たに解析された結果
が表示されている様子を説明する図である。
【図23】次なる目標とする感性言語「やさしい」が入
力されたときの様子を説明する図である。
【図24】暖かさと鮮やかさで張られる視覚言語空間の
様子を説明する図である。
【図25】スライド式の数値入力装置の例を説明する図
である。
【図26】線や点も解析できるようにするため、入力画
像にテクスチャの方向成分とテクスチャの強さの成分と
インデックス画像と線インデックス画像を加えた様子を
説明する図である。
【図27】線インデックス画像の例を説明する図であ
る。
【図28】画像特徴テーブルにも直線、消失点を記録で
きるようにした例を説明する図である。
【図29】感性言語を解析結果提示部6に示される感性
言語の例を説明する図である。
【図30】視覚言語による解析例を説明する図である。
【図31】デザイン・ノウハウ/計画提示部の表示例を
説明する図である。
【図32】視覚言語の現状値と目標値が示された例を説
明する図である。
【図33】明度分布変更部10−3によって明度分布を
変更した結果を示した図である。
【図34】領域数を多くして領域分割した結果を説明す
る図である。
【図35】領域数を少なくして領域分割した結果を説明
する図である。
【図36】色情報と位置情報の重視する割合をいろいろ
変えて分割した結果を説明する図である。
【図37】背景のみ恣意的な分割をおこなった結果を説
明する図である。
【図38】実施例8の入力画像を説明する図である。
【図39】入力画像を構造化した例を説明する図であ
る。
【図40】不安定さ解析するための視覚言語を表示した
例を説明する図である。
【図41】安定感をだして、その結果安心感が出せた例
を説明する図である。
【図42】安心感が改善されたことを示している解析結
果を説明する図である。
【図43】テクスチャの方向を番号で表した様子を説明
する図である。
【図44】動きを加えた画像を説明する図である。
【図45】動きが加えられたことを示している解析結果
を説明する図である。
【図46】対比効果が十分現れていることをしめす結果
例を説明する図である。
【符号の説明】
1 画像入力部 2 画像解析部 2−1 テクスチャ抽出部 2−2 領域分割部 2−3 線抽出部 2−4 消失点抽出部 3 画像構造・特徴分析部 3−1 画像特徴記憶部 3−2 構造マップ記憶部 3−3 分解画像表示部 3−4 構造マップ作成部 3−5 構造関係補正部 3−6 領域統合処理部 4 画像解析部 5 感性影響度計算部 5−1 視覚言語計算部 5−2 感性言語計算部 6 解析結果提示部 7 デザイン・ノウハウ記憶部 7−1 特徴量・視覚言語間関係記憶部 7−2 視覚言語・感性言語間関係記憶部 7−3 個別デザイン・ノウハウパッケージ記憶部 7−4 視覚言語・感性言語間関係群記憶部 8 表現画像表示部 9 画像表現付加部 10 表現画像表示部 10−1 トリミング・ガイド 10−2 スライド式の数値入力装置 10−3 明度分布変更部 11 表現指示部 12 対応関係選択部 13 視覚言語決定部 14 特徴量・視覚言語間関係変更部 15 詳細表現指示部 16 デザイン・ノウハウ/計画表示部 17 視覚言語−感性言語対応関係決定部 18 特徴量−視覚言語対応関係決定部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 電子的な画像を入力する画像入力手段
    と、 上記画像入力手段により入力された入力画像を複数の領
    域に分解する画像分解手段と、 上記複数の領域の各々について物理的な特徴量を記憶す
    る領域特徴記憶手段と、 上記物理的な特徴量から上記入力画像の視覚的な特徴量
    を計算する画像解析手段と、 上記入力画像の視覚的な特徴量と画像の印象を表す感性
    言語との間の対応関係についてのデザイン・ノウハウを
    記憶するデザイン・ノウハウ記憶手段と、 上記入力画像の視覚的な特徴量に対応する上記感性言語
    のファクタを、上記デザイン・ノウハウ記憶手段の情報
    に基づいて計算する感性影響度計算手段と、 上記入力画像が鑑賞者に与える印象を、上記感性言語を
    用いて表示する解析結果表示手段と、 付加すべき表現を上記感性言語を用いて指示する表現指
    示手段と、 指示された上記表現と上記デザイン・ノウハウ記憶手段
    の情報とに基づいて上記入力画像を修正する画像表現付
    加手段と、 上記修正された画像を表示する表現画像表示手段とを有
    することを特徴とする画像解析表現付加装置。
  2. 【請求項2】 上記画像分解手段は、 上記入力画像からテクスチャを抽出するテクスチャ抽出
    手段と、 抽出された上記テクスチャと上記入力画像とから領域分
    割を行う領域分割手段と、 領域分割された結果から主要な線分を抽出する線抽出手
    段と、 抽出された主要な線分をもとに消失点を抽出する消失点
    抽出手段とから構成される請求項1記載の画像解析表現
    付加装置。
  3. 【請求項3】 上記デザイン・ノウハウ記憶手段は、 上記入力画像の視覚的な特徴量と、比較的普遍的な尺度
    となる視覚的な特徴を表す視覚言語との間の対応関係を
    記憶する特徴量・視覚言語間関係記憶手段と、 上記視覚言語と、民俗や年齢層によって大きく影響を受
    ける上記感性言語との間の対応関係を記憶する視覚言語
    ・感性言語間関係記憶手段とからなり、 上記感性影響度計算手段は、 上記入力画像の視覚的な特徴量に対応する上記視覚言語
    のファクタを、特徴量・視覚言語間関係記憶手段の情報
    に基づいて計算する視覚言語計算手段と、 上記視覚言語決定手段で決定された上記視覚言語のファ
    クタに対応する上記感性言語のファクタを、上記視覚言
    語・感性言語間関係記憶手段の情報に基づいて計算する
    感性言語計算手段とからなる請求項1または2記載の画
    像表現解析表現付加装置。
  4. 【請求項4】 上記視覚言語・感性言語間関係記憶手段
    は上記感性言語と各視覚言語との対応関係を複数記憶し
    ている視覚言語・感性言語間関係群記憶手段を含み、さ
    らに上記感性言語と上記各視覚言語との対応関係を選択
    する対応関係選択手段とを有する請求項3記載の画像解
    析表現付加装置。
  5. 【請求項5】 デザイン上の複数のノウハウに応じた複
    数の特徴量・視覚言語間対応関係を記憶している個別デ
    ザイン・ノウハウ・パッケージ記憶手段と、上記ノウハ
    ウを選択するノウハウ選択手段と、上記個別デザイン・
    ノウハウ・パッケージ記憶手段に記憶されている上記特
    徴量・視覚言語間対応関係を用いて上記特徴量・視覚言
    語間関係記憶手段の情報を変更する特徴量・視覚言語間
    関係変更手段とを有し、選択されたノウハウに対応する
    特徴量・視覚言語間対応関係を用いて上記入力画像の修
    正を行う請求項3または4記載の画像解析表現付加装
    置。
  6. 【請求項6】 上記画像分解手段によって分解された上
    記入力画像を表示する分解画像表示手段と、 オペレータが上記分解された上記入力画像中において指
    定した主要な構造を親領域とし、上記親領域に含まれる
    領域を子領域とし、上記親領域と上記子領域との構造関
    係をマップ上に表現する構造マップを作成する構造マッ
    プ作成手段と、 上記構造マップを記憶する構造マップ記憶手段とを有
    し、 上記構造関係を参考にしながら、分解された上記入力画
    像の各領域の物理的な特徴量から上記入力画像の視覚的
    な特徴量を計算する請求項1、2、3、4または5記載
    の画像解析表現付加装置。
  7. 【請求項7】 電子的な画像を入力する画像入力手段
    と、 上記画像入力手段により入力された入力画像を複数の領
    域に分解する画像分解手段と、 上記複数の領域の各々について物理的な特徴量を記憶す
    る領域特徴記憶手段と、 上記物理的な特徴量から上記入力画像の視覚的な特徴量
    を計算する画像解析手段と、 上記入力画像の視覚的な特徴量と画像の印象を表す感性
    言語との間の対応関係についてのデザイン・ノウハウを
    記憶するデザイン・ノウハウ記憶手段と、 上記入力画像の視覚的な特徴量に対応する上記感性言語
    のファクタを、上記デザイン・ノウハウ記憶手段の情報
    に基づいて計算する感性影響度計算手段と、 上記入力画像が鑑賞者に与える印象を、上記感性言語を
    用いて表示する解析結果表示手段と、 付加すべき表現を上記感性言語を用いて指示する表現指
    示手段と、 上記複数の領域から修正すべき領域を選択する手段と、 指示された上記表現と上記デザイン・ノウハウ記憶手段
    の情報とに基づいて上記修正すべき領域の画像を修正す
    る画像表現付加手段と、 上記修正された画像を表示する表現画像表示手段とを有
    することを特徴とする画像解析表現付加装置。
  8. 【請求項8】 上記画像分解手段で分解された上記複数
    の領域は1または複数の親領域に分類され、親領域の単
    位で上記修正すべき領域が選択される請求項7記載の画
    像解析表現付加装置。
  9. 【請求項9】 電子的な画像を入力する画像入力手段
    と、 上記画像入力手段により入力された入力画像の重さの中
    心位置、軽さの中心位置、および上記重さの中心位置お
    よび軽さの中心位置が形成するベクトルを上記画像の視
    覚的な特徴量として計算する特徴量計算手段とを有する
    ことを特徴とする画像解析装置。
  10. 【請求項10】 上記入力画像の画素の重さおよび軽さ
    は上記入力画像の画素の明度により決定され、上記明度
    が大きいほど、上記重さが小さくなり、上記軽さが大き
    くなる請求項9記載の画像解析装置。
  11. 【請求項11】 比較的普遍的な尺度となる視覚的な特
    徴を表す視覚言語が予め決定されている画像を入力する
    画像入力手段と、 上記画像入力手段により入力された入力画像を複数の領
    域に分解する画像分解手段と、 上記複数の領域の各々について物理的な特徴量を記憶す
    る領域特徴記憶手段と、 上記物理的な特徴量から上記入力画像の視覚的な特徴量
    を計算する画像解析手段と、 上記入力画像について予め決定されている上記視覚言語
    と上記画像解析手段により計算された上記視覚的な特徴
    量とに基づいて、上記視覚言語と上記視覚的な特徴量と
    の間の関係を決定する特徴量・視覚言語対応関係決定手
    段と、 上記決定された特徴量・視覚言語対応関係の情報を用い
    て上記視覚言語のファクタを計算する視覚言語計算手段
    と、 上記視覚言語のファクタとオペレータが入力する感性言
    語とから感性言語と各視覚言語との対応関係を決定する
    視覚言語・感性言語対応関係決定手段とを有することを
    特徴とするデザイン・ノウハウ作成装置。
JP7165454A 1995-06-30 1995-06-30 画像解析表現付加装置 Expired - Fee Related JP3063073B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7165454A JP3063073B2 (ja) 1995-06-30 1995-06-30 画像解析表現付加装置
US08/665,692 US5875265A (en) 1995-06-30 1996-06-18 Image analyzing and editing apparatus using psychological image effects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7165454A JP3063073B2 (ja) 1995-06-30 1995-06-30 画像解析表現付加装置

Publications (2)

Publication Number Publication Date
JPH0916797A true JPH0916797A (ja) 1997-01-17
JP3063073B2 JP3063073B2 (ja) 2000-07-12

Family

ID=15812733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7165454A Expired - Fee Related JP3063073B2 (ja) 1995-06-30 1995-06-30 画像解析表現付加装置

Country Status (2)

Country Link
US (1) US5875265A (ja)
JP (1) JP3063073B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209661A (ja) * 1999-11-16 2001-08-03 Megafusion Corp コンテンツ検索システム
JP2004030377A (ja) * 2002-06-27 2004-01-29 Fuji Xerox Co Ltd 画像印象評価装置、画像印象評価方法及び画像印象評価プログラム
JP2006134153A (ja) * 2004-11-08 2006-05-25 Yokohama National Univ 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP2006195536A (ja) * 2005-01-11 2006-07-27 Ntt Data Corp 画像処理装置、画像処理方法及びプログラム
JP2007280038A (ja) * 2006-04-06 2007-10-25 Fuji Xerox Co Ltd 商品情報提供の評価方法
JP2007280048A (ja) * 2006-04-06 2007-10-25 Fuji Xerox Co Ltd デザイン評価方法
JP2007279925A (ja) * 2006-04-04 2007-10-25 Fuji Xerox Co Ltd デザイン制作支援装置及びデザイン制作支援プログラム
US7650564B2 (en) 2004-10-15 2010-01-19 International Business Machines Corporation Global tone adjustment system for document files containing text, raster, and vector images
WO2011052431A1 (ja) 2009-10-29 2011-05-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子文書を編集するためのシステム、方法、およびプログラム
JP2015045940A (ja) * 2013-08-27 2015-03-12 株式会社ジオクリエイツ 感情抽出方法、感情抽出プログラム、感情抽出装置、及び建築物設計方法
US9098949B2 (en) 2013-01-17 2015-08-04 Fuji Xerox Co., Ltd Image processing apparatus, image processing method, and computer-readable medium
JP2017021613A (ja) * 2015-07-13 2017-01-26 国立大学法人 筑波大学 クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム
JP2018088132A (ja) * 2016-11-29 2018-06-07 マツダ株式会社 感性評価システム
WO2018168375A1 (ja) * 2017-03-15 2018-09-20 富士フイルム株式会社 合成画像生成装置,合成画像生成方法およびそのプログラム
JP2020061156A (ja) * 2018-10-11 2020-04-16 澤蒼 顧 自動運転「機械意識」モデルの構成方法、その装置、又はプログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
JPH09212493A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 文書処理装置
US6542632B1 (en) * 1999-02-01 2003-04-01 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6976223B1 (en) * 1999-10-04 2005-12-13 Xerox Corporation Method and system to establish dedicated interfaces for the manipulation of segmented images
US6671405B1 (en) 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
US6738494B1 (en) 2000-06-23 2004-05-18 Eastman Kodak Company Method for varying an image processing path based on image emphasis and appeal
US6748097B1 (en) 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
KR20020042248A (ko) * 2000-11-30 2002-06-05 한가람 문장으로부터의 감정 인식 및 표시 방법과 시스템
JP2002183166A (ja) * 2000-12-19 2002-06-28 Nec Corp ドキュメントファイリングシステムおよび方法
US6847733B2 (en) 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US6832006B2 (en) 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
US7440611B2 (en) * 2002-01-31 2008-10-21 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7533351B2 (en) * 2003-08-13 2009-05-12 International Business Machines Corporation Method, apparatus, and program for dynamic expansion and overlay of controls
JP4455261B2 (ja) * 2004-10-12 2010-04-21 キヤノン株式会社 画像処理方法、画像処理装置および画像形成システム
JP2006304265A (ja) * 2005-03-25 2006-11-02 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
JP2007280047A (ja) * 2006-04-06 2007-10-25 Fuji Xerox Co Ltd 商品情報提供の評価方法
US20080205692A1 (en) * 2007-02-26 2008-08-28 Chad Hinkle Method and Kit for Determining Consumer Preferences
CA2695130A1 (en) * 2007-07-11 2009-01-15 Li-Chen Ou Color selection system
US8363063B2 (en) * 2008-06-02 2013-01-29 Benjamin Moore & Co. Color notation system
US8520089B2 (en) * 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
US20100100827A1 (en) * 2008-10-17 2010-04-22 Louis Hawthorne System and method for managing wisdom solicited from user community
US20100107075A1 (en) * 2008-10-17 2010-04-29 Louis Hawthorne System and method for content customization based on emotional state of the user
US20100100826A1 (en) * 2008-10-17 2010-04-22 Louis Hawthorne System and method for content customization based on user profile
US20110016102A1 (en) * 2009-07-20 2011-01-20 Louis Hawthorne System and method for identifying and providing user-specific psychoactive content
US8238615B2 (en) * 2009-09-25 2012-08-07 Eastman Kodak Company Method for comparing photographer aesthetic quality
US8311364B2 (en) * 2009-09-25 2012-11-13 Eastman Kodak Company Estimating aesthetic quality of digital images
US8330826B2 (en) * 2009-09-25 2012-12-11 Eastman Kodak Company Method for measuring photographer's aesthetic quality progress
EP2336978B1 (en) * 2009-12-17 2019-07-24 Dassault Systèmes Method apparatus and program for displaying an object on a computer screen
US20110154197A1 (en) * 2009-12-18 2011-06-23 Louis Hawthorne System and method for algorithmic movie generation based on audio/video synchronization
JP2011175569A (ja) * 2010-02-25 2011-09-08 Sharp Corp 文書画像生成装置、文書画像生成方法及びコンピュータプログラム
US8971627B2 (en) * 2010-05-07 2015-03-03 Hitachi High-Technologies Corporation Template matching processing device and template matching processing program
CN103020947B (zh) * 2011-09-23 2016-04-06 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
KR20160024143A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5280043A (en) * 1975-12-26 1977-07-05 Nippon Karaa Dezain Kenkiyuush Color image scale
US4396903A (en) * 1981-05-29 1983-08-02 Westinghouse Electric Corp. Electro-optical system for correlating and integrating image data from frame-to-frame
US5243517A (en) * 1988-08-03 1993-09-07 Westinghouse Electric Corp. Method and apparatus for physiological evaluation of short films and entertainment materials
US5142592A (en) * 1990-12-17 1992-08-25 Moler Keith E Method and apparatus for detection of parallel edges in image processing
JPH05108641A (ja) * 1991-10-17 1993-04-30 Fuji Xerox Co Ltd 文書スタイル設計支援装置
JPH05225266A (ja) * 1992-02-17 1993-09-03 Nissan Motor Co Ltd デザイン装置
JP3285948B2 (ja) * 1992-09-02 2002-05-27 富士通株式会社 画像編集装置
US5424945A (en) * 1993-08-31 1995-06-13 Xerox Corporation System for evaluating a psychological effect of a document
US5550746A (en) * 1994-12-05 1996-08-27 American Greetings Corporation Method and apparatus for storing and selectively retrieving product data by correlating customer selection criteria with optimum product designs based on embedded expert judgments

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209661A (ja) * 1999-11-16 2001-08-03 Megafusion Corp コンテンツ検索システム
JP2004030377A (ja) * 2002-06-27 2004-01-29 Fuji Xerox Co Ltd 画像印象評価装置、画像印象評価方法及び画像印象評価プログラム
US7650564B2 (en) 2004-10-15 2010-01-19 International Business Machines Corporation Global tone adjustment system for document files containing text, raster, and vector images
JP2006134153A (ja) * 2004-11-08 2006-05-25 Yokohama National Univ 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP4581084B2 (ja) * 2004-11-08 2010-11-17 国立大学法人横浜国立大学 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP2006195536A (ja) * 2005-01-11 2006-07-27 Ntt Data Corp 画像処理装置、画像処理方法及びプログラム
JP2007279925A (ja) * 2006-04-04 2007-10-25 Fuji Xerox Co Ltd デザイン制作支援装置及びデザイン制作支援プログラム
JP2007280038A (ja) * 2006-04-06 2007-10-25 Fuji Xerox Co Ltd 商品情報提供の評価方法
JP2007280048A (ja) * 2006-04-06 2007-10-25 Fuji Xerox Co Ltd デザイン評価方法
US8140374B2 (en) 2006-04-06 2012-03-20 Fuji Xerox Co., Ltd. Method for evaluating provision of commodity information
WO2011052431A1 (ja) 2009-10-29 2011-05-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子文書を編集するためのシステム、方法、およびプログラム
US9098949B2 (en) 2013-01-17 2015-08-04 Fuji Xerox Co., Ltd Image processing apparatus, image processing method, and computer-readable medium
JP2015045940A (ja) * 2013-08-27 2015-03-12 株式会社ジオクリエイツ 感情抽出方法、感情抽出プログラム、感情抽出装置、及び建築物設計方法
JP2017021613A (ja) * 2015-07-13 2017-01-26 国立大学法人 筑波大学 クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム
JP2018088132A (ja) * 2016-11-29 2018-06-07 マツダ株式会社 感性評価システム
WO2018168375A1 (ja) * 2017-03-15 2018-09-20 富士フイルム株式会社 合成画像生成装置,合成画像生成方法およびそのプログラム
JPWO2018168375A1 (ja) * 2017-03-15 2019-11-07 富士フイルム株式会社 合成画像生成装置,合成画像生成方法およびそのプログラム
US10977848B2 (en) 2017-03-15 2021-04-13 Fujifilm Corporation Composite image generating apparatus, composite image generating method, and program
JP2020061156A (ja) * 2018-10-11 2020-04-16 澤蒼 顧 自動運転「機械意識」モデルの構成方法、その装置、又はプログラム

Also Published As

Publication number Publication date
US5875265A (en) 1999-02-23
JP3063073B2 (ja) 2000-07-12

Similar Documents

Publication Publication Date Title
JP3063073B2 (ja) 画像解析表現付加装置
US9262386B2 (en) Data editing for improving readability of a display
Fogarty et al. Aesthetic information collages: generating decorative displays that contain information
Neumann et al. Defining computational aesthetics
US5874955A (en) Interactive rule based system with selection feedback that parameterizes rules to constrain choices for multiple operations
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
EP0528599A2 (en) Process control and operator-machine interfaces
Jacobson et al. Color as a determined communication
JPH05108641A (ja) 文書スタイル設計支援装置
JP3729222B2 (ja) 画像デザイン支援装置
Zheng et al. Layered modeling and generation of Pollock’s drip style
Lin A systematic approach of predicting color preference on the basis of gray relational grade
JP3972914B2 (ja) 画像印象評価装置、画像印象評価方法及び画像印象評価プログラム
JP3562516B2 (ja) 画像印象評価装置、画像印象評価方法及び画像印象評価プログラム
Lauzzana et al. A rule system for analysis in the visual arts
US20170262555A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR20200065685A (ko) 온라인 전자상거래의 쇼핑몰의 디자인 자동 생성 방법 및 장치
JP2010277391A (ja) 外観色設計支援システム
Miura et al. A Color Scheme Explorer Based on a Practical Color Design Framework
JP4710766B2 (ja) デザイン制作支援装置及びデザイン制作支援プログラム
Sartori et al. Computational modeling of affective qualities of abstract paintings
JPH11232288A (ja) 検索装置及び文書画像登録装置
JP4775122B2 (ja) ドキュメント印象評価装置及びドキュメント印象評価プログラム
JP2020004067A (ja) コンテンツ再構成装置、コンテンツ再構成方法及びコンテンツ再構成プログラム
JP4882523B2 (ja) ドキュメント印象評価装置及びドキュメント印象評価プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080512

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees