JPH1115855A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 システムの処理負担を増大させることなく、
作成者の意図に合った画像を作成する。 【解決手段】 複数の画像情報を画像情報記憶手段１２
に記憶させておき、ユーザインターフェース２０からの
指示内容をもとに、画像検索条件生成手段１５で画像検
索条件を生成し、この画像検索条件に基づいて画像情報
記憶手段１２に記憶されている画像を画像検索手段１６
で検索する。これにより、画像作成者は、画像作成のた
めに既存の画像を変更したいという指示を出すだけで、
目的に合致した画像の検索が行われるので、画像の調整
・加工と検索の別々の作業を繰り返すことなく効率的に
作業を進めることができ、また、現在の画像を加工して
利用するか他の画像に差し替えるかの判断も容易とな
り、検索された画像を用いて感覚にあった画像を容易に
作成することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】この発明は、画像処理装置
に関し、特に、ディスプレイに表示するための電子ドキ
ュメント若しくは印刷やカラープリンタ等で出力を行う
ためのドキュメントに使用される画像を作成するための
装置に関する。

【０００２】

【従来の技術】カタログやポスター、チラシ等の多くの
印刷物に使用される画像や、あるいはＣＲＴ等のディス
プレイで表示し、また、プリントするための電子ドキュ
メントに使用される画像は、例えばＤＴＰアプリケーシ
ョン等のコンピュータシステム上のソフトウェアを利用
して作成される。これらの画像の作成のためには作成者
によってスキャナ等で入力された画像が使用される場合
があるが、ＣＤ−ＲＯＭ等の大容量の記録メディア等を
通じて市販されるいわゆる既存の素材画像集から所望の
画像を選び出して利用する場合もある。

【０００３】既存の素材画像を利用して画像を作成する
場合には、作成者は、まず、複数の画像の中から目的に
応じた画像を選ぶ必要がある。しかる後、選び出した画
像を処理を行うソフトウェアに読み込み、表示される画
像を見ながらマウス・キーボード等を用いた指示をソフ
トウェアに行うことによって、色、シャープネス等の調
整・変換処理を行い、或いは、複数の画像を合成して見
た目に望ましい画像となるようデザインして目的の画像
を仕上げていく。

【０００４】

【発明が解決しようとする課題】このときデザインなど
の分野において、画像作成を行うときには、作成は予め
完成される画像が決められた後に作業が実行されるので
はなく、素材となる画像の選択や当該素材画像の調整・
変換を繰り返し試行錯誤的に進めることが一般的であ
り、作成開始時に選択された素材画像が結果的に最も望
ましい画像であるとは限らない。すなわち、ある素材画
像をもとに調整・変換を進めてったとき、結果的に疑似
輪郭等のディフェクトが発生してしまい、再度適切な画
像を選び直さなければならなくなる場合がある。また、
異なる素材画像の利用を試行錯誤的に試そうとするごと
に再度検索のための作業を繰り返す必要があり、画像の
加工・調整と検索という異なる作業を頻繁に繰り返さな
くてはならないため、効率的に作成作業が行えないとい
う問題がある。

【０００５】一方、従来における画像検索のための技術
として一般的な方法は、利用者が画像を検索する場合に
キーワードを入力し、検索システムはそのキーワードが
付与されている画像を利用者に提示するという方式であ
る。しかしながら、これを実現するには多量の画像に対
して予めキーワードを付与する作業が必要となり、当該
作業や処理のために多くの労力を要し、また検索時に
は、所望の画像が存在していても適切なキーワードが与
えられていないときには、画像を検出できないという問
題がある。

【０００６】また、キーワード付与を要しない画像検索
方式としては、例えば、「情報処理（Vol.33 No5）」の
「画像の内容検索」に記載されている技術が知られてお
り、この技術では、利用者が描画した所望の画像のラフ
スケッチと記憶されている複数の画像のエッジ情報との
マッチングによって類似度判定を行い、この類似度によ
って検索を行っている。しかしながら、このラフスケッ
チによる検索方式は、画像のエッジ（形状）に関する特
徴以外では検索することができず、また仮に、この方式
を拡張し色情報などの他の特徴を付加することによって
検索の性能を向上させようとすると、利用者は本来の画
像作成の作業に加えて詳細なラフスケッチを描画する作
業が必要となってしまい非効率となり、また、検索シス
テムは入力画像が詳細になるほど画像のどのような特徴
に利用者が注目しているかわからなくなるという問題が
ある。

【０００７】また、キーワード付与を要しない別の画像
検索方式として、特開平８−２４９３５１号公報の「画
像検索方法及び装置」に記載されている技術では、予め
複数個のサンプル画像に対して官能評価実験を実施し
て、画像から算出される特徴量とその画像から想起され
る感性的特徴量との関係を求めておき、検索に際して
は、例示画像とともに感性的特徴量を提示し、感性的特
徴量を与えることによって画像の検索を行っている。し
かしながら、この検索方式は、上述のように画像を必要
とする毎に検索条件を毎回入力しなければならなくな
り、画像作成の観点からは効率的でないという問題があ
るとともに、画像から想起される感性特徴は予め固定さ
れており作成者が使用すべき画像のどのような特徴に注
目しているかが考慮されていないので、検索の精度が低
いといういう問題がある。

【０００８】また、キーワード付与を要しない別の画像
検索方式として、特開平２−４８７７２号公報の「類似
画像検索方式」に記載されている技術、特開平３−１９
４６５５号公報の「類似画像の蓄積および検索方法」に
記載されている技術、特開平４−３４８４７５号公報の
「画像情報検索方法及びその装置」に記載されている技
術が知られているが、これら技術においても、単に画像
の特徴量基づいた検索を行っているだけで、システムの
処理負担を増大させることなく、作成者の意図に合った
画像を精度よく作成することができるものではなかっ
た。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、この発明による画像処理装置は、複数の画像情報を
記憶する画像情報記憶手段と、前記画像信号変更指示手
段による指示内容をもとに画像検索条件を生成する画像
検索条件生成手段と、前記画像検索条件生成手段によっ
て生成された画像検索条件に基づいて画像情報記憶手段
に記憶されている画像を検索する画像検索手段と、を有
することを特徴としており、画像作成者は、画像作成の
ために既存の画像を変更したいという指示を出すだけ
で、目的に合致した画像の検索が行われるので、画像の
調整・加工と検索の別々の作業を繰り返すことなく効率
的に作業を進めることができ、また、現在の画像を加工
して利用するか他の画像に差し替えるかの判断も容易と
なる。さらに、作成者の変更指示から作成者が画像のど
のような特徴に注目しているかを算出するので、作成者
の意図にあった画像を効率的に検索可能となる。

【００１０】

【発明の実施の形態】以下、本発明による画像処理装置
の一実施形態を、図を参照しながら説明する。図１は本
発明による画像処理装置の実施の一形態を示す概略構成
図である。図１において、１はシステムバス６を介して
システム全体を制御する中央処理部、２はプログラムや
画像データ等を処理演算のため一時格納するメインメモ
リ、３は画像や画像情報を記憶しているハードディスク
やＣＤ−ＲＯＭ等の画像情報記憶部、４はＣＲＴディス
プレイや液晶ディスプレイ等の表示部、５はマウスやキ
ーボード等の利用者がシステムに指示を入力するための
ユーザインターフェースである。

【００１１】なお、上述の概略構成はいわゆるパーソナ
ルコンピュータ等のコンピュータシステムであり、構成
の一部がネットワーク上で接続されている場合や、他の
記憶メディア等に置き換えられている場合等構成の異な
る場合があり得るが、本発明はこれらいずれの構成によ
っても実現することができる。

【００１２】次に、図２に本発明による画像処理装置の
機能ブロック図を示す。図２において、１１は画像情報
入力部、１２は画像情報記憶部、１３は処理画像入力
部、１４は画像変更指示部、１５は画像検索条件生成
部、１６は画像検索部、１７は画像信号変更部、１８は
処理画像情報記憶部、１９は処理画像保存部、２０はユ
ーザインターフェース、２１は表示部である。

【００１３】まず、本発明において検索対象となる複数
枚の画像は、画像入力部１１から入力され、画像情報記
憶部１２に登録される。画像情報記憶部１２は画像デー
タそのものを保持していている場合もあるが、入力され
る画像の保存位置や或いは画像のサムネイルや後述する
画像の特徴量のみを保持している場合もある。

【００１４】一方、画像作成のために処理される被処理
画像は、まず、処理の開始時に処理画像入力部１３から
入力され、処理画像情報記憶部１８に変更処理のため記
憶される。その後、作成者は表示部２１に表示される被
処理画像や画像処理装置の指示リスト等を見ながら、ユ
ーザインターフェース２０から画像信号値の変更を指示
する信号入力し、画像変更指示部１４で色やシャープネ
ス等の画像変更指示として処理システムに解釈される。
なお、当然のことであるが、指示が画像の保存や、シス
テム設定など画像信号の変更処理と関係ない指示であっ
た場合には、図示しないシステムの管理部によって実行
される。

【００１５】指示が画像信号の変更指示であったときに
は、画像変更指示部１４からの画像変更指示に基づい
て、画像検索条件生成部１５において画像検索条件が生
成される。画像検索条件生成部１５では、その指示内容
から画像に対して信号変更の処理を行うか、必要な画像
を画像情報記憶部１２から取り出すか、或いは、その両
方であるかを判断し、信号変更の処理を行う場合には、
指示内容を画像信号変更部１７へ送り、画像を取り出す
場合には、取り出すための画像検索条件を生成してこの
画像検索条件を画像検索部１６に出力する。

【００１６】画像信号変更部１７は入力された変更指示
に基づいて処理画像情報記憶部１８に記憶されている被
処理画像の信号変更処理を行う。また、画像検索部１６
は画像検索条件が入力されると、画像情報記憶部１２に
記憶されている検索対象画像の中から条件に合う画像を
選び、処理画像情報記憶部１８に出力する。なお、変更
処理が行われた画像は、必要に応じて処理画像保存部１
９においてファイル等として保存される。

【００１７】図３は、本発明の主要部である画像信号変
更部１７における動作の一例を表すフローチャートであ
る。この変更処理動作は、ユーザインターフェース２０
より入力される信号に基づく画像変更指示を受け取るこ
とにより開始される（ステップＳ１）。そして、まず、
検索対象の各画像について、画像変更指示をもとに後述
する画像の特徴量算出アルゴリズムに従って、Ｎ個の画
像特徴量ｘ1，ｘ2，・・・・・・，ｘnが算出され、こ
の特徴量に基づいて、変更量はＮ次元の特徴量空間上の
ベクトルＶc（ｘ1，ｘ2，・・・・・・，ｘn）として算
出される（ステップＳ２）。

【００１８】そして、被処理画像の特徴量ベクトルＶo
は既に算出されているかを判断し（ステップＳ３）、算
出されていない場合には、上記と同様にして、被処理画
像の特徴量がベクトルＶoとして算出される（ステップ
Ｓ４）。次に、変更指示に最も適切と思われる画像を選
択するために、これらの特徴量をもとに適切であるかど
うかの確度Ｐjを検索対象の各画像の特徴量空間上の位
置ベクトルＶjをもとに例えば次式に従って算出する
（ステップＳ５、Ｓ６）。

【００１９】 Ｐj＝｜（｜（Ｖj −Ｖo）・Ｖc｜−｜Ｖc｜）｜

【００２０】そして、確度Ｐjを最小とするｊ番目の画
像を、変更処理と代替できる画像の候補として表示部２
１に表示する（ステップＳ７）。なお、表示部２１は画
像そのものを表示しても良いが、作成者に検索結果とし
てその画像の所在を知らせるだけでも良いし、また、確
度Ｐjの小さい順に複数の候補を表示しても良い。そし
て、画像変更指示が画像信号変更部１７へと送られ、所
定の変更処理が実行され（ステップＳ８）、その後、被
処理画像の特徴量ベクトルＶoを更新して（ステップＳ
９）、処理を終了する（ステップＳ１０）。

【００２１】なお、被処理画像の特徴量ベクトルＶoの
値は、処理画像入力時若しくは初めの１回目の検索時の
み算出すればよく、２回目以降は、変換処理が行われた
画像が引き続き使用される場合は、Ｖo＝Ｖo＋Ｖcと
し、検索された画像が使用される場合は、Ｖoの値を使
用される画像のＶjに置き換えればよい。また、検索対
象となるそれぞれの画像の特徴量ベクトルＶjは、上記
の例では検索時に算出しているが、処理画像入力時若し
くは初めの１回目の検索時のみ算出してもよい。

【００２２】また、上述の実施形態においては、１回の
画像変更指示に対して常に画像検索を行っているが、複
数の画像変更指示を指示履歴として記憶しておくこと
で、作成者は過去の指示にさかのぼって、ある指示また
は複数の連続する指示に対して画像検索条件生成を行わ
せることも可能である。また、画像検索条件生成部１５
に閾値判定機能を持たせ、特徴量変更量の大きさ｜Ｖc
｜がある閾値を越えたときのみ検索を実行するよう設定
することで、検索頻度を制御することも可能である。

【００２３】次に、画像信号変更指示をもとに算出され
る画像の特徴量算出アルゴリズムについて説明する。カ
ラー画像の信号値は、その位置の画像の色に対応してお
り、例えばＣＩＥ１９７６Ｌ*ａ*ｂ*表色系で表現され
ている。作成者による画像の色調・階調補正、コントラ
スト補正等は、直接的には色情報の特徴量を変更するこ
とになる。画像検索条件生成部１５は、色情報に関する
特徴量として画像のＬ*、ａ*、ｂ*信号値のヒストグラ
ムを生成し、ヒストグラムの重心（即ち平均Ｌ*、ａ*、
ｂ*信号値）や重心からの標準偏差（ヒストグラムの広
がり具合）を求める。このとき、変更指示の対象となっ
た画像のヒストグラムを常に記憶しておくことで、その
ヒストグラムの更新をするだけで画像変更指示による特
徴量変更量は効率的に算出できる。

【００２４】また、別の画像変更指示として画像に対し
て拡大・縮小等の変形処理がよく用いられる。この処理
は画像の大局的な色分布に関する特徴量を変更すること
になる。画像検索条件生成部１５は、色分布に関する特
徴量として画像平面上のＬ*、ａ*、ｂ*信号値の重心や
重心からの標準偏差を算出する。このとき、変更指示の
対象となった画像の縦・横方向の重心や重心からの標準
偏差を常に記憶しておくことで、その値を更新するだけ
で画像変更指示による特徴量変更量は効率的に算出でき
る。

【００２５】また、別の画像変更指示としてシャープネ
ス調整がよく用いられる。これらは一般に、画像に局所
フィルタをかけることによって画像をぼかせる処理や、
逆にエッジを強調する処理を行う。この処理は画像の空
間周波数情報に関する特徴量を変更することになる。画
像検索条件生成部１５は、空間周波数情報に関する特徴
量として、まず、画像のＬ*信号値のフーリエ変換を求
め、画像変換指示として指定されたフィルタのフーリエ
変換との積から、変換後のパワースペクトル及びパワー
スペクトルの変化量を算出し、しかる後、例えば１．０
ｌｉｎｅｓ／ｍｍ〜２．０ｌｉｎｅｓ／ｍｍの帯域のパ
ワースペクトル積算値を求め、特徴量とする。このと
き、変更指示の対象となった画像のパワースペクトルを
常に記憶しておくことで、そのパワースペクトルをもと
に画像変更指示による特徴量変更量は効率的に算出でき
る。

【００２６】これらの上述の一連の特徴量は、とるべき
値の範囲が異なるので、予め多数枚（例えば１０００枚
のサンプル画像）について各特徴量を算出し、その分布
から各特徴量の分布を正規化しておくことが好ましい。
なお、上述の一連の特徴量算出方法は一例であって、例
えば、算出に際してヒストグラムやパワースペクトルな
どに重み付けを行う等の処理を施す場合もある。また、
上述の一連の特徴量はあくまで一例であって、上述の各
特徴量について重み付けを行う等の補正を行っても良い
し、画像の変更指示に伴って変化し画像変更の指標とな
りうる特徴量であれば上述の一連の特徴量に限定される
ものではない。

【００２７】また、図３に示した特徴量算出において
は、画像変更指示が与えられると全ての特徴量の算出を
行っていたが、上述の一連の特徴量算出方法での説明の
通り、それぞれの変更指示には変更指示の意図・目的を
顕著に示す特徴量があるから、画像検索条件生成に際し
ては、その変更指示によって大きく変化することが予想
される特徴量変更量や、変更指示の意図・目的を顕著に
示す特徴量のみを特徴量変更量として画像検索を行って
もよい。上記のような画像作成の作業は、画像変更の指
示による処理の結果の表示を作成者が確認しながら行わ
れるので、システムの実行する処理の負荷は間欠的なも
のである。他の特徴量に関しては、画像検索及び画像信
号変換処理が実行された後の作成者が処理結果の表示を
確認している間に行うことで、特徴量算出演算の処理の
負荷を分散させることが可能となる。

【００２８】さらに、作成者は画像の特定の領域のみを
指定して変更指示を与える場合もある。画像の領域指定
を伴う変更指示は作成者が画像のどの部分に注目してい
るかを如実に示すものであるから、変更指示を指定され
た領域のみでの特徴量に基づく検索を行えば、作成者の
意図にあった画像を精度良く選択することが可能とな
る。このような領域指定を伴う変更処理では、例えば図
４に示すように、処理対象画像（被処理画像）中の変更
指示が行われた領域４１から、マスクパターン４２を生
成する。なお、この例のマスクパターンは、指定された
領域の値を”１”、それ以外の領域の値を”０”として
いる。そして、画像検索にあたっては、検索対象画像４
３に対してマスクパターン４２をかけた後に、上述の特
徴量算出の処理が行われる。

【００２９】このように本発明に係る画像処理装置によ
れば、画像信号変更の指示が入力されると、画像信号変
更の処理が行われるだけでなく、変更指示に基づいて被
処理画像の代替案となる画像が自動的に作成者に提示さ
れる。このことは、作成者にとって、現在表示されてい
る画像に対して処理を行っていると、作成者は知らない
が作成を進める上で有用な画像をシステムが作成者の行
っている指示に基づいて教えてくれることになり、代替
の画像を探すことを意識することなく効率的に作業が進
められる。また、システムは作成者の指示に基づいて画
像の検索条件を生成しているので、精度良くかつ効率的
に作成者の意図にあった画像を取り出すことができる。
なお、本発明は、上記の実施形態に限らず種々の変形が
可能である。例えば、上記の実施形態においては２次元
の静止画像について説明したが、動画像やグラフィック
ス等についても適用可能である。

【００３０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、画像作成者の画像変更指示に基づいて画像検
索条件が生成され、画像信号の変更処理とともに画像検
索が行われるので、作成者は検索と変更の処理を頻繁に
繰り返すことなく、より美観上好ましく作成者の感覚に
あった画像の作成を効率的に進めることができる。ま
た、作成者の画像変更指示に基づいて画像検索が行われ
るので、作成者の意図にあった画像を効率的かつ精度良
く求めることが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係る画像処理装置の概
略構成を示す図である。

【図２】 本発明の一実施形態に係る画像処理装置の機
能構成を示す図である。

【図３】 本発明の一実施形態に係る画像変更処理の手
順を示すフローチャートである。

【図４】 本発明の一実施形態に係る領域指定を行った
処理の概念を示す図である。

【符号の説明】

１１・・・画像情報入力部、 １２・・・画像情報記憶
部、１３・・・処理画像入力部、 １４・・・画像変更
指示部、１５・・・画像検索条件生成部、 １６・・・
画像検索部、１７・・・画像信号変更部、 １８・・・
処理画像情報記憶部、１９・・・処理画像保存部、 ２
０・・・ユーザインターフェース、２１・・・表示部、

Claims (12)

【特許請求の範囲】
1. 【請求項１】画像信号値の変更を指示する画像信号変更
   指示手段によって与えられた指示内容に基づいて画像信
   号を変更する画像処理装置であって、 複数の画像情報を記憶する画像情報記憶手段と、 前記画像信号変更指示手段による指示内容をもとに画像
   検索条件を生成する画像検索条件生成手段と、 前記画像検索条件生成手段によって生成された画像検索
   条件に基づいて前記画像情報記憶手段に記憶されている
   画像を検索する画像検索手段と、 を有することを特徴とする画像処理装置。
2. 【請求項２】前記画像検索条件生成手段は、前記画像信
   号変更指示手段によって与えられた指示内容を記憶する
   指示履歴記憶手段を有し、前記指示履歴記憶手段によっ
   て記憶されている指示履歴をもとに画像検索条件を生成
   することを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】前記画像情報記憶手段は、画像の信号値か
   ら算出される特徴量を記憶することを特徴とする請求項
   １に記載の画像処理装置。
4. 【請求項４】前記画像検索条件生成手段は、前記画像信
   号変更指示手段による指示内容をもとに特徴量変更値を
   算出する特徴量変更値算出手段を有し、前記特徴量変更
   値をもとに画像検索条件を生成することを特徴とする請
   求項１に記載の画像処理装置。
5. 【請求項５】前記画像検索条件生成手段は、前記指示履
   歴記憶手段による指示履歴をもとに特徴量変更値を算出
   する特徴量変更値算出手段を有し、前記特徴量変更値を
   もとに画像検索条件を生成することを特徴とする請求項
   ２に記載の画像処理装置。
6. 【請求項６】前記画像検索条件生成手段は、閾値判定手
   段を有し、前記特徴量変更値が閾値を越えた場合に、前
   記画像検索手段は画像検索条件生成手段によって生成さ
   れた画像検索条件に基づいて前記画像情報記憶手段に記
   憶されている画像を検索することを特徴とする請求項４
   または請求項５に記載の画像処理装置。
7. 【請求項７】前記画像検索条件生成手段が算出する特徴
   量変更値は、画像信号値の色成分情報より算出される特
   徴量を含むことを特徴とする請求項４または請求項５に
   記載の画像処理装置。
8. 【請求項８】前記画像検索条件生成手段が算出する特徴
   量変更値は、画像信号値の明度、色相、彩度情報の画像
   平面上における重心及び重心からの標準偏差と、明度、
   色相、彩度情報のヒストグラムの重心及び重心からの標
   準偏差の少なくともいずれかを含むことを特徴とする請
   求項７に記載の画像処理装置。
9. 【請求項９】前記画像検索条件生成手段が算出する特徴
   量変更値は、画像信号値の空間周波数情報より算出され
   る特徴量を含むことを特徴とする請求項４または請求項
   ５に記載の画像処理装置。
10. 【請求項１０】前記画像検索条件生成手段が算出する特
    徴量変更値は、画像信号値のパワースペクトル分布及び
    その分布の標準偏差の少なくともいずれかを含むことを
    特徴とする請求項９に記載の画像処理装置。
11. 【請求項１１】前記画像検索条件生成手段が算出する特
    徴量変更値は、前記画像信号変更指示手段によって与え
    られた指示内容に基づいて特徴量変更値の算出の優先順
    位を決定することを特徴とする請求項４または請求項５
    に記載の画像処理装置。
12. 【請求項１２】前記画像検索条件生成手段が算出する特
    徴量変更値は、前記画像信号変更指示手段によって与え
    られた指示が行われた領域から特徴量変更値を算出する
    ことを特徴とする請求項４または請求項５に記載の画像
    処理装置。