JP4271998B2 - 画像検索出力装置 - Google Patents
画像検索出力装置 Download PDFInfo
- Publication number
- JP4271998B2 JP4271998B2 JP2003176826A JP2003176826A JP4271998B2 JP 4271998 B2 JP4271998 B2 JP 4271998B2 JP 2003176826 A JP2003176826 A JP 2003176826A JP 2003176826 A JP2003176826 A JP 2003176826A JP 4271998 B2 JP4271998 B2 JP 4271998B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- color
- searched
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力された画像データから指定された任意のデータを検索して出力する画像検索出力装置に関する。
【０００２】
【従来の技術】
近年、オフィス等において紙文書を整理する方法とて、紙文書をイメージスキャナでスキャニングして電子化し、文書画像データとして管理する方法が用いられている。また、オフィスで使用される文書を電子化して文書画像データとして取り扱う際に求められる重要な機能として検索機能がある。このような検索機能としては、例えば、コンピュータ装置において、電子文書画像データが紙文書として出力された場合や、閲覧表示に特化した形態のデータに変換された場合であっても、その元となる電子文書データの検索を可能とし、また、その電子文書データを送信したり、関連文書一式をプリントアウトして出力するものがある（例えば、特許文献１参照）。このように検索して出力する機能に加えて、検索された検索結果をユーザにわかり易くなるように出力することも重要な機能である。ユーザにわかり易くするための有効な方法として、検索してヒットした画像領域を色で区別する方法がある。
【０００３】
【特許文献１】
特願平２００１−２５６２５６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のように電子化された文書画像データの検索は文書画像データ単位で検索を行うことはできても、文字コードで構成されていないため、特定の文字列を検索することは容易ではない。また、文書画像データは文字列の検索だけではなく特定の条件に当てはまるパターンや貼り付け画像などを検索することも容易ではない。一般に、画像データから文字列を検索する方法として知られるＯＣＲ（オプティカル・キャラクター・リーダ）は、使い勝手が煩雑である。また、特定の条件を満たすパターンや貼り付け画像を検索することはＯＣＲでは不可能である。
【０００５】
一方、検索した検索結果を色で区別する方法では、検索先の文書画像がカラー文書画像の場合には、配色方法が不適切な場合には却って検索にヒットした個所がわかり難くなってしまうことがある。このため、効率的な検索システムを実現するには、検索結果の配色を適正に行うことが必要である。
また、スキャン入力したカラー文書画像を再利用する際には、文書中の特定の図形や画像に対して色補正が必要となる場合がある。しかし、既存のＯＣＲ検索および類似画像検索では、検索にヒットした領域に対する補正処理にも、手動動作を基本として複雑な手続きが必要となる。
【０００６】
本発明は上記事情に鑑みてなされたものであって、その目的は、イメージデータとして電子化された文書画像データから、特定の文字、図形及び画像を容易に検索しその結果をわかりやすく配色し、又は、検索にヒットした個所に対して精度よく色補正して出力することができる画像検索出力装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、画像検索のキーとして用いるキーイメージ及び処理すべき被検索画像データを、例えば、スキャナ又はデジタルスチルカメラにより入力し、入力された被検索画像データの中からキーイメージに類似した部分画像を検索し、この検索の結果と前記入力された被検索画像データの色分布とに基づいて部分画像の原画像と異なる第１の配色条件を満たす色が決定できるとき、被検索画像データ中の部分画像を当該色に配色し、第１の配色条件を満たす色が決定できないとき、被検索画像データ中の部分画像以外のデータを原画像と異なる第２の配色条件を満たす色に配色し、この配色された被検索画像データを出力するものである。
【０００８】
【発明の実施の形態】
以下、本発明の一実施例について図面を参照して説明する。
【０００９】
図１は本発明による画像検索出力装置１のシステム構成を示す図である。図１に示すように、画像検索出力装置１は特徴的な構成として、画像入力部１１と、キーイメージ記憶部１２と、記憶キーイメージ制御部１３と、画像検索部１４と、テキスト抽出部１５と、テキスト検索部１６と、検索テキスト画素特定部１７と、検索結果配色部１８と、配色結果画像記憶部１９と、記憶配色結果画像制御部２０と、画像出力制御部２１とを有している。また、画像検索出力装置１全体としては、さらに、プリンタコントローラ部２２、スキャン／コピー用画像処理部２３、プリンタエンジン部２４を有している。
【００１０】
このように画像検索出力装置１は、カラーデジタル複合機に準じて構成されており、図２で示すように、スキャナ機能、プリンタ機能、ネットワーク機能などを有するカラーデジタル複合機２に用いることができる。このカラーデジタル複合機２には、上述の画像検索出力装置１に加え、中央制御手段３、コントロールパネル部４、インターフェース部５及びインターフェース部６などが設けられている。また、中央制御手段３とコントロールパネル部４、インターフェース部５、６及び画像検索出力装置１はバスライン７で接続されている。中央制御手段３は、ＣＰＵ等で構成されており、カラーデジタル複合機２としての動作を実現するために総括的な制御を行う。コントロールパネル部４は、数値キーや各種機能キー、タッチパネルなどで構成されており、中央制御手段３の制御の下、各種モードの指定や切り換えの指示等の操作やその他の各種操作をユーザから受付け、また、必要な情報をユーザに表示する。インターフェース部５は、例えば、コンピュータ装置などが接続されたネットワークとの接続に使用される。また、インターフェース部６は、例えば、ＵＳＢ（ユニバーサル・シリアル・バス）であり、デジタルスチルカメラとの接続に使用される。画像検索出力装置１は、このように構成されたカラーデジタル複合機２に用いられた場合には、中央制御手段３によって制御され、コントロールパネル部４からユーザの各種指示を受付ける構成となる。
【００１１】
続いて、本明細書における用語を次のように定義する。「ある文書画像の中を、あるデータを手がかり（検索条件）として、ある見つけたい領域を検索する」とき、その文書画像のことを「被検索画像」と呼ぶこととする。また、手がかりとなるデータのことを「キー」又は「検索条件」と呼ぶこととする。キーが画像データである場合は「キーイメージ」、キーが文字列の場合は「キーワード」と呼ぶこととする。さらに、検索の結果、見つけ出したい領域のことを「検索対象部分画像」、または、単に「検索対象」、「部分画像」と呼ぶこととする。
【００１２】
以下に、画像検索出力装置１のシステムを構成する各部の機能について説明する。
画像入力部１１は、被検索画像である被検索コピー原稿及び検索用のキーイメージを入力する（被検索画像データ入力手段、キーイメージ入力手段及びキーワード入力手段）。画像入力部１１は具体的には、スキャナ（キーイメージスキャン入力手段）、又は、デジタルスチルカメラである。画像入力部１１は、入力した被検索画像データ及びキーイメージデータを画像検索部１４とテキスト抽出部１５と検索結果配色部１８とに供給する。また、画像入力部１１は、キーイメージが入力された場合にはそのキーイメージデータを記憶キーイメージ制御部１３にも供給する。
【００１３】
記憶キーイメージ制御部１３は、図１において図示しないＣＰＵ等からなる制御手段からの命令に基づいてキーイメージ記憶部１２に対するキーイメージの入出力の制御を行う。なお、この制御手段は、画像検索出力装置１がカラーデジタル複合機２に用いられた場合であれば中央制御手段３となる。キーイメージ記憶部１２は、入力されたキーイメージを保持するための記憶部である。このキーイメージ記憶部１２に記憶されているキーイメージを利用することにより、同じキーイメージを検索のたびに繰り返し入力する手間を省くことができる。
【００１４】
画像検索部１４は、被検索画像である文書画像の中から、キーイメージ又はキーワードによって指定される検索条件を満たす部分画像を検索する。キーイメージを用いた画像検索は被検索画像の中からキーイメージに類似した部分画像を探すことであり、類似画像検索である。この類似画像検索の手法としては、復号類似度法などのアルゴリズムを使用することができる。一方、キーワードを用いた画像検索は被検索対象画像の中からキーワードが示す特徴をもつ部分画像を探すことである。キーワードが示す特徴としては、手書き文字、活字、図形、連続調写真又は網点写真などといった画像特性を指定することができる。例えば、キーワードとして、「手書き」を与えた場合、画像検索部１４は被検索画像の中から手書き部分を検索し、該当する画素を特定する。キーワードを用いた画像検索では、もう一つの機能として、被検索画像の中からキーワードが示す内容（被写体）を持つ部分画像を探すこともできる。キーワードが示す画像内容としては、人物（肌色）、自然風景、食品及び工業製品といったものを指定することができる。画像検索部１４は、検索にヒットした部分画像の被検索画像内での画素位置情報を検索結果配色部１８に供給する。
【００１５】
テキスト抽出部（文字認識手段）１５は、キーイメージ中にキーワードが記載されている場合に、図示しない制御手段からの命令に基づいて、キーイメージ中のキーワードを認識し、そのキーワードをテキストデータとして抽出する。この抽出されたキーワードは、前記画像検索部１４およびテキスト検索部１６に供給される。画像検索部１４に供給されたテキストデータは、前述したキーワードを用いた画像検索に用いられる。テキスト抽出部１５は、被検索画像についても、その中の文字部分を認識してテキストデータとして抽出する。被検索画像から抽出されたテキストデータは、テキスト検索部１６に供給される。また、テキスト抽出部１５は、抽出したテキストデータの被検索画像内の位置情報を、検索テキスト画素特定部１７に供給する。
【００１６】
テキスト検索部（文字列検索手段）１６は、被検索画像から抽出されたテキストデータの中から、キーイメージから抽出されたキーワードに一致する文字列を検索する。そして、検索にヒットした文字列の全テキスト内での位置情報を検索テキスト画素特定部１７に供給する。
【００１７】
検索テキスト画素特定部（検索テキスト画素特定部）１７は、テキスト抽出部１５から供給されるテキストデータの被検索画像内の位置情報とテキスト検索部１６から供給される検索ヒット文字列のテキスト内の位置情報とに基づいて、検索ヒット文字列の被検索画像内画素位置情報を取得し、それを検索結果配色部１８に供給する。以下、検索ヒット文字列の被検索画像内領域に対しても、類似画像検索にヒットした部分画像と同様に、「検索にヒットした部分画像」又は「部分画像」と呼ぶこととする。
なお、テキスト抽出部１６、テキスト検索部１７及び検索テキスト画素特定部１８はキーワード認識手段を構成する。
【００１８】
検索結果配色部１８は、画像入力部１１から供給される被検索画像自身の色、すなわち、原画像の色の色分布と、同じく画像入力部１１から供給されるキーイメージの色と、キーイメージまたはキーワードによる部分画像の検索結果（検索にヒットした部分画像の被検索画像内での画素位置情報）と、に基づいて、被検索画像の色を変更する。ここでは、色の変更を配色と呼ぶこともある。このように色を変更するのは次の２つの目的があるからである。
【００１９】
先ず第１の目的について説明する。第１の目的は、検索にヒットした個所の色をユーザの所望の色に補正することである。補正後の所望の色とは、例えば、キーイメージの色である。すなわち、検索結果配色部１８は、キーイメージによって検索されヒットした部分画像に該当する被検索画像内領域の色を、キーイメージの色、又は、キーイメージの色に近似した色に変更する。このとき、検索にヒットしなかった領域については色を変更しない。
【００２０】
ここで、キーイメージの色に基づく色補正の具体的な方法について図３から図５を参照して説明する。なお、各図における（i）は、検索ヒットした部分画像の色分布を示しており、各図における（ii）はキーイメージの色分布を示す図である。
【００２１】
図３（ii）に示すようにキーイメージの色分布が１点からなる、すなわち、１色だけからなる場合、検索ヒットした部分画像の色分布が図３（i）に示すようなある範囲の広がりをもつ色分布をしていると、ヒットした部分画像の色をキーイメージと同じ色に変更して色補正が完了する。
【００２２】
図４（ii）に示すようにキーイメージの色分布が離散的な点状であるような場合（ロゴマークなどのグラフィックパターンの多くがこれに該当する）、検索ヒットした部分画像の色分布を求め、図４（i）に示すようにその色分布をキーイメージの色数と同数のクラスタにグループ分けする。次に、前記クラスタとキーイメージ中の色との間の距離が最小である組合せを、全てのクラスタについて決定する。この場合の距離は、クラスタ重心を用いたユークリッド距離やマハラノビス距離などを用いることができ、前記制御手段からの命令に基づいて組合せが選択される。最後に、クラスタ内の各色を、そのクラスタとの組合せが決定したキーイメージ中の色に変換する。この変換を全クラスタについて実行することにより色補正が完了する。
【００２３】
図５（ii）に示すようにキーイメージの色分布が巨視的には連続的な拡がりを持つような場合（キーイメージが写真などの自然画である場合が該当する）、先ず、キーイメージの色分布を求めて、いくつかのクラスタにグループ分けする。次に、検索ヒットした部分画像についても色分布を求めて、図５（i）に示すようにキーイメージのクラスタ数と同数のクラスタにグループ分けする。次に、部分画像の色分布のクラスタとキーイメージの色分布のクラスタとの間で、各クラスタにとって距離が最小となる組合せを、全てのクラスタについて決定する。この場合の距離についても、クラスタ重心を用いたユークリッド距離はマハラノビス距離などを用いることができ、前記制御手段からの命令に基づいて組合せが選択される。最後に検索ヒットした部分画像側のクラスタ内の各色をキーイメージ側の合せ相手のクラスタ内にマッピング（色変換）して色補正を完了する。なお、マッピングには、色変換マトリクス乗算式を用いる。色変換マトリクスの算出は、例えば、クラスタ毎に主成分分析を行い、部分画像側クラスタの主成分ベクトルを、キーイメージ側クラスタの主成分ベクトルに一致させるアフィン変換式を求めることによって行う。
【００２４】
次に、第２の目的について説明する。第２の目的は、検索ヒットした個所が被検索画像内のどこにあるかをユーザにわかりやすく見せることである。そのための配色方法としては、検索結果配色部１８は、検索にヒットした個所に対して、ヒットしなかった個所には登場しない色を用いるのが良い。従って、検索結果配色部１８は、検索にヒットしなかった個所における色の出現頻度を求め、出現頻度が最も少ない色を、検索ヒットした部分画像に対して配色する。言い換えれば、出現頻度が最小で分布のピークが最も遠い明度値を配色する。例えば、検索ヒットしなかった部分画像の領域の明度の出現頻度分布が図６で示すような分布をしているときには、図６中矢印で示す明度値をヒットした部分画像に配色する。色には色相・彩度・明度という３属性があるため、色の出現頻度は３次元のヒストグラムによって表されることになるが、そのためには多大なメモリ容量や処理時間を要する。そのため、簡易的な手法として、例えば、色相と彩度という２つの属性だけを用いた２次元ヒストグラムだけで色の出現頻度を計ることも可能である。すなわち、検索ヒットした部分画像の領域とそれ以外の領域とで、色相と彩度という２次元座標が異なっていれば、たとえ明度が等しくてもユーザの見た目には部分画像が十分目立つからである。また、逆に明度という１つの属性だけを用いた１次元ヒストグラムだけで、色の出現頻度を計ることも可能である。すなわち、検索ヒットした部分画像の領域とそれ以外の領域とで、明度が十分異なっていれば、たとえ、色相及び彩度が等しくてもユーザの見た目には部分画像が十分目立つからである。
【００２５】
検索結果配色部１８は、検索ヒットした部分画像以外の領域における、色の出現頻度を求めた結果、色相、彩度、明度のいずれの属性についても、図７に示すように、ヒットしなかった領域の彩度の出現頻度が均等に分布していることなどにより、図７中矢印で示す彩度の位置の検索ヒットした部分画像に配色するのに適切な色が決定できない場合がある（第１の配色条件を満たす色が決定できないとき）。この場合には、検索結果配色部１８は、検索ヒットした部分画像の色は変更せず、逆に検索にヒットしなかった領域の色を変更する（第２の配色条件を満たす色を決定する）。この色の変更ルールは、部分画像の色が目立つようになれば良い。例えば、検索にヒットしなかった領域に対して、彩度を減少させるか、又は無彩色化するのが有効である。図８に示すように、ヒットしなかった領域の彩度を減少させることにより、図８中矢印で示す彩度の位置に検索にヒットした領域がある場合には、そのヒットした領域が元の彩度のままでも十分目立つようになる。また、検索結果配色部１８は、検索ヒットしなかった領域の色の出現頻度に関わらず、最初から、検索にヒットしなかった領域の低彩度化または無彩色化を行うこともできる。こうした配色ルールの決定手順の選択は、前記制御手段からの命令に基づいて行われる。
【００２６】
検索結果配色部１８は、上記のようにして検索結果に基づいて被検索画像の配色を行い、配色済の被検索画像（配色結果画像）をスキャン／コピー用画像処理部２３またはプリンタコントローラ部２２内の画像処理部２２２に供給する。なお、検索結果配色部１８の出力端から先のデータパス上を流れるデータに対しては、検索結果配色部１８での配色結果が反映されていることになるので、この実施の形態においては、これらの画像データをスキャン／コピー用画像処理部２３の前後に関わらず、「配色結果画像」と呼ぶこととする。
【００２７】
スキャン／コピー用画像処理部２３は、画像入力部１１から入力された被検索画像の配色結果画像に対して、画像のスキャン入力利用に際して必要な所定の画像処理またはプリンタエンジン部２４による出力に際して必要は所定の画像処理を実行して、記憶配色結果画像制御部２０および画像出力制御部２１に供給する。
【００２８】
一方、プリンタコントローラ部２２内の画像処理部２２２は、同じくプリンタコントローラ部２２を経由して入力された被検索画像の配色結果画像に対して、プリンタエンジン部２４による出力に際して必要な所定の画像処理を実行して、記憶配色結果画像制御部２０および画像出力制御部２１に供給する。
【００２９】
プリンタコントローラ部２２は、ネットワークに接続されたコンピュータ装置からインターフェース部５を介して受信するプリント出力データの処理を行う。例えば、画像検索出力装置１がカラーデジタル複合機２に用いられた場合には、インターフェース部５に接続されたネットワークを介してプリント出力データを受信する。このプリンタコントローラ部２２はページ記述言語（ＰＤＬ）インタープリタ部２２１と画像処理部２２２とから構成される。なお、この実施の形態の画像検索出力装置１では、プリント出力データを被検索画像またはキーイメージとして扱うことが可能である。
【００３０】
コンピュータ装置から受信したプリント出力データは、ＰＤＬ形式であり、ＰＤＬインタープリタ部２２１ではこのＰＤＬデータを画像データに変換する。変換して得られた画像データは、画像検索部１４と、テキスト抽出部１５と、検索結果配色部１８とに供給される。なお、キーイメージを受信した場合については、キーイメージ記憶部１２にも供給される。そして、この画像データ及びイメージデータは、被検索画像データまたはイメージデータとして、画像入力部１１から入力される被検索画像データやキーイメージデータと同様に扱われる。その配色結果画像は、プリンタコントローラ部２２内の画像処理部２２２において、前述の通り、プリンタエンジン部２４による出力に際して必要な所定の画像処理が実行され、記憶配色結果画像制御部２０および画像出力制御部２１に供給される。
【００３１】
記憶配色結果画像制御部２０は、前記制御手段からの命令に基づいて、配色結果画像記憶部１９に対する配色結果画像の入出力の制御を行う。配色結果画像記憶部１９は、画像処理部２２２から供給される配色結果画像を保持するための記憶部である。記憶された配色結果画像は、再プリント出力やネットワーク等を介して接続されたコンピュータ上での再利用などに供される。
【００３２】
画像出力制御部２１は、配色結果画像データを、プリント出力するためにプリンタエンジン部２４に出力する。画像出力制御部２１は、配色結果画像データを、外部機器において再利用するために、ネットワーク等を介して画像検索出力装置１の外部に出力できるようになっている。また、画像出力制御部２１は、配色結果画像を基本的には元のページ構成のままで出力するように制御するが、配色結果画像のページ構成を変更して出力するように制御することも可能である。例えば、配色結果画像を縮小して１枚の用紙に複数のページを配置して出力し、又は、検索にヒットした部分画像を含むページだけを出力する。この場合、配色結果画像データには、ページ毎に部分画像の有無を示す情報か、または、画素毎に部分画像に該当するか否かを示す情報が付加されていることが必要である。そのため、前記検索結果配色部１８は、該情報を配色結果画像データに付加できる構成となっている。
【００３３】
プリンタエンジン部２４は、画像出力制御部２１を介して供給される配色結果画像を用紙にプリント出力する。この配色結果画像を用紙にカラー出力する構成は、周知の技術であるのでここでは説明を省略する。
【００３４】
次に、このように構成された画像検索出力装置１の処理の流れについて説明する。先ず、画像検索出力装置１の処理の流れの基本的な事項として動作モードについて図９を参照して説明する。動作モードは大きく分けて２つの動作モードがある。１つは、キーイメージを入力するキーイメージ入力モードであり、もう１つは、被検索画像の入力と被検索画像に対する検索と検索結果に基づく被検索画像の配色とを順次実行する被検索画像処理モードである。これらのモードのうち被検索画像処理モードについては、検索方法と配色方法とによってさらに細かい動作モードに分かれる。検索方法の検索モードについては、キーイメージとの類似画像を検索する類似画像検索モード、キーワードの表す画像属性・内容に該当する部分画像を検索する該当画像検索モード、キーワードに一致するテキストを被検索画像内から検索するテキスト検索モード、の３種類がある。一方、配色方法の配色モードについては、検索ヒットした部分画像をキーイメージの色に近似した色に補正する色補正配色モード、検索ヒットした部分画像を目立たせるための配色を行うマーキング配色モードの２種類がある。この３種類の検索モードと２種類の配色モードとを互いに自由に組み合わせることにより、計６通りの被検索画像処理モードを指定することができる。このモードの指定・切替えは、前記制御手段によって行われる。
【００３５】
続いて、画像検索出力装置１の処理の流れを、第１の処理から第４の処理の４つの例を挙げて具体的に説明する。
【００３６】
先ず、第１の処理について説明する。この第１の処理は被検索画像処理モードが類似画像検索モード及び色補正配色モードで動作するときの処理例である。キーイメージは２つあり、第１のキーイメージは例えば、図１０に示すように１つはロゴ文字であり、もう１つの第２のキーイメージは図１１に示すように自然風景画である。この２つのキーイメージはそれぞれ別の用紙にレイアウトされている。この第１の処理では、被検索画像の中からキーイメージに類似したロゴ文字と自然風景画とを検索し、ヒットした部分画像に対して、キーイメージの色調に近似した色に補正する処理を行う。
【００３７】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、２つのキーイメージを続けて入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの類似画像検索モード・色補正配色モードに切り換え、被検索画像にあたる、図１２に示すような文書画像を入力する。画像検索部１４では、キーイメージ記憶部１２から読み出されたキーイメージを用いて被検索画像内を検索する。検索結果配色部１８では、検索の結果ヒットした部分画像の画素位置情報と、被検索画像データと、キーイメージとが供給され、これらに基づいて被検索画像に対する色補正配色モードでの配色処理が行われる。
【００３８】
ここで、第１の処理における色補正配色の内容について説明する。先ず、第１のキーイメージに基づく色補正について説明する。例えば、第１のキーイメージのロゴ文字「ＡＢＣＤ」の色は、均一で鮮やかな赤であるとする。一方、被検索画像中の同形のロゴ文字「ＡＢＣＤ」の色は濁った赤であり、しかも、不均一な色分布であるとする。検索結果配色部１８は、被検索画像中のキーイメージと同形のロゴ文字に相当する全画素について、図３を参照して説明した処理を行い、不均一で濁った赤を、キーイメージ中の赤色に変更する。これで、ロゴ文字に関する色補正は完了する。次に第２のキーイメージに基づく色補正について説明する。第２のキーイメージは、自然風景画であり、例えば、青空と森のような緑の植物が描かれているものである。このような自然風景画の色分布は、ある広がりをもった青のクラスタと、ある広がりをもった緑のクラスタとを含んでいる。キーイメージ中には、前記青のクラスタと緑のクラスタ以外のクラスタも存在するが、出現頻度は比較的少ない。一方、被検索画像中にはキーイメージと類似した自然風景画がいくつか存在し検索にヒットしたものとする。ヒットした複数の部分画像の色分布は相異なっているが、共通した色分布を有している。その共通した色分布の性質は、キーイメージと同様に、空の色にあたる青のクラスタと森の色にあたる緑のクラスタとを有している点である。なお、その他の色も存在するが出現頻度は比較的すくない。検索結果配色部１８は、部分画像の青のクラスタとキーイメージの青のクラスタとが、最も距離が近い組合せであることを決定する。緑のクラスタ同士についても、それらが最も距離が近い組合せであることを決定する。この決定方法については、検索結果配色部１８の説明で述べた通りである。最後に、図５を参照して説明した処理を行い、検索結果配色部１８は、部分画像の色分布における青のクラスタ内の色を、キーイメージの色分布における青のクラスタ内の色にマッピングする。緑のクラスタについても同様にマッピングする。マッピング方法については、検索結果配色部１８の説明で述べた通りである。先ず、部分画像およびキーイメージ双方における、各クラスタごとの主成分ベクトルを求める。次に、部分画像側の青のクラスタの主成分ベクトルを、キーイメージ側の青のクラスタの主成分ベクトルに一致させるアフィン変換式を求めて、青色についてのマッピング（色補正）を行う。緑のクラスタについても同様に、部分画像側の緑のクラスタの主成分ベクトルを、キーイメージ側の緑のクラスタの主成分ベクトルに一致させるアフィン変換式を求めて、森の緑色についてのマッピングを行う。他の出現頻度の比較的少ない色については補正を行わない。これで、自然風景画に関する色補正は完了する。なお、検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００３９】
次に、第２の処理について説明する。この第２の処理は、被検索画像処理モードが該当検索モード及び色補正配色モードで動作するときの処理例である。この第２の処理では、１つのキーイメージを用いる。このキーイメージは、図１３に示すように、「人物」という文字列と、色補正結果として望ましい色調をもつ人物画像とが、１つの用紙にレイアウトされている。この第２の処理では、被検索画像の中から人物画像を検索し、ヒットした部分画像をキーイメージ中の人物画像の色調に近づけるよう補正する処理を行う。
【００４０】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、キーイメージを入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの該当画像検索モード・色補正配色モードに切り換え、被検索画像にあたる文書画像を入力する。テキスト抽出部１５では、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されていれるキーワードである「人物」という文字列を抽出し、画像検索部１４に転送する。画像検索部１４は、「人物」というキーワードと、現在の動作モードによって指定された検索方法が当該画像検索であることを受けて、被検索画像内の人物画像を検索し、検索の結果ヒットした部分画像の画素位置情報を検索結果配色部１８に供給する。検索結果配色部１８では、検索ヒットした部分画像の画素位置情報と被検索画像データとキーイメージデータが供給され、これらに基づいて被検索画像に対する色補正配色モードでの配色処理が行われる。
【００４１】
ここで、第２の処理における色補正配色の内容について説明する。先ず、検索結果配色部１８は、入力されたキーイメージ中の人物画像部分における色分布を求める。その色分布は、ある広がりをもった肌色のクラスタを形成している。なお、キーイメージ中には肌色のクラスタ以外の色も存在するが出現頻度は比較的少ない。一方、被検索画像中には人物画像がいくつか存在し、検索にヒットしたものとする。ヒットした複数の部分画像の色分布は相異なってはいるが、共通した色分布を有している。その共通した色分布の性質は、キーイメージ中の人物画像と同様に、肌色のクラスタを有している点である。なお、その他の色のクラスタも存在するが出現頻度は比較的少ない。検索結果配色部１８は、部分画像の肌色のクラスタとキーイメージの肌色のクラスタとが、最も距離が短い組合せであることを決定する。決定方法については、検索結果配色部１８の説明で述べた通りである。最後に、検索結果配色部１８は、図１４（i）に示す部分画像の色分布における肌色のクラスタ内の色を、図１４（ii）に示すキーイメージの色分布における肌色のクラスタ内の色にマッピングする。マッピング方法については、検索結果配色部１８の説明で述べた通りである。先ず、部分画像およびキーイメージの双方における、各クラスタごとの主成分ベクトルを求める。次に、部分画像側の肌色のクラスタの主成分ベクトルを、キーイメージ側の肌色のクラスタの主成分のベクトルに一致させるアフィン変換式を求めて、肌色についてのマッピング（色変換）を行う。他の出現頻度の比較的少ない色については補正を行わない。これで、人物画像に関する色補正配色は完了する。なお、検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４２】
次に、第３の処理について説明する。この第３の処理は、被検索画像処理モードが該当画像検索モード及びマーキング配色モードで動作するときの処理例である。また、この第３の処理では、１つのキーイメージを用いる。このキーイメージは、図１５に示すように、「手書き」という文字列と、検索ヒットした個所の配色を指定するサンプル色票３１とがレイアウトされている。第３の処理では、被検索画像の中から手書き文字や図形を検索し、ヒットした部分画像の色をキーイメージ中のサンプル色票３１の色に変更する処理を行う。
【００４３】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、キーイメージを入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの該当画像検索モード・マーキング配色モードに切り換え、被検索画像にあたる文章画像を入力する。テキスト抽出部１５は、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されているキーワードである「手書き」という文字列を抽出し、画像検索部１４に転送する。画像検索部１４は、「手書き」というキーワードと、現在の動作モードによって指定された検索方法が該当画像検索モードであることを受けて、被検索画像内の手書きと文字・図形を検索し、検索の結果ヒットした部分画像の画素位置情報を検索結果配色部１８に供給する。検索結果配色部１８では、検索ヒットした部分画像の画素位置情報と、被検索画像データと、キーイメージデータとが供給され、これらに基づいて被検索画像に対するマーキング配色モードでの配色処理が行われる。
【００４４】
ここで、第３の処理におけるマーキング配色の内容について説明する。先ず、検索結果配色部１８は、入力されたキーイメージ中のサンプル色票３１の色分布を求める。その色分布は、広がりをほとんどもたない、ほぼ１点の色座標に集中した色分布である。検索結果配色部１８は、サンプル色票３１の色を平均して代表色を決定する。一方、被検索画像中には手書き文字、図形が数箇所に点在し、検索にヒットしたものとする。ヒットした手書き部分の色分布は、黒や青など数箇所に点在しているが、検索結果配色部１８は、図３を参照して説明した処理を行い、ヒットした手書き部分の全ての色を、キーイメージのサンプル色票３１の代表色にマッピングする。これで、手書き文字・図形に関するマーキング配色処理は完了する。検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４５】
次に第４の処理について説明する。この第４の処理は、被検索画像処理モードがテキスト検索モード・マーキング配色モードで動作するときの処理例である。また、キーイメージは２つあり、それぞれ別の用紙に、例えば、第１のキーイメージは、図１６に示すように、「東京」という検索キーワード用文字列と検索ヒットした個所の配色を指定するサンプル色票３２とがレイアウトされているキーイメージであり、もう１つの第２のキーイメージは図１７に示すように、「大阪」という検索キーワード用文字列がレイアウトされているキーイメージである。この第４の処理では、被検索画像の中から、上記２つのキーワードに一致する文字列を検索し、「東京」という文字列に該当する部分画像の色を前記サンプル色票３２の色に変更し、「大阪」という文字列に該当する部分画像の色を自動配色する処理を行う。
【００４６】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、２つのキーイメージを続けて入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードのテキスト検索モード・マーキング配色モードに切り換え、被検索画像にあたる文書画像を入力する。テキスト抽出部１５は、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されているキーワードである「東京」および「大阪」という文字列を抽出し、テキスト検索部１６に転送する。テキスト抽出部１５は、さらに、入力された被検索画像中の文字列を全て抽出し、テキスト検索部１６に転送すると共に、抽出された文字列の被検索画像内における位置情報を、検索テキスト画素特定部１７に供給する。テキスト検索部１６は、被検索画像から抽出された全文字列の中から、「東京」および「大阪」の文字列を検索し、検索の結果ヒットした文字列の全文字列内での位置情報を検索テキスト画素特定部１７に供給する。検索テキスト画素特定部１７は、文字列の被検索画像内位置情報と、テキスト検索部１６から供給される検索ヒット文字列内での位置情報とに基づいて、図１８に示すように、検索ヒット文字列の被検索画像内画素位置情報を取得し、それを検索結果配色部１８に供給する。なお、図１８において破線は、被検索画像内の文字列の画像位置情報を示し、「東京」、「大阪」は全文字列内の検索にヒットした文字列の位置情報を示している。検索結果配色部１８では、前記検索ヒット文字列の被検索画像内画素位置情報と被検索画像データと、第１のキーイメージデータ内のサンプル色票３２とに基づいて、被検索画像に対するマーキング配色モードでの配色処理が行われる。
【００４７】
ここで、第４の処理におけるマーキング配色の内容について説明する。先ず第１のキーイメージデータ中のキーワードである「東京」の文字列の配色について説明する。検索結果配色部１８は、入力された第１のキーイメージデータ中のサンプル色票の色分布を求める。その色分布は、広がりをほとんどもたない、ほぼ１点の色座標に集中した分布である。検索結果配色部１８は、サンプル色票３２の色を平均して代表色を決定する。一方、被検索画像中には、「東京」の文字列が数箇所に存在し、検索にヒットしたものとする。ヒットした「東京」の文字列は散在しているが、検索結果配色部１８は、図３を参照して説明した処理を行い、ヒットした「東京」の文字列の全ての色を、キーイメージのサンプル色票３２から得られた代表色にマッピングする。これで「東京」の文字列に関するマーキング配色は完了する。次に、第２のキーイメージデータ中のキーワードである文字列「大阪」の検索結果の配色について説明する。被検索画像中には「大阪」の文字列が数箇所に存在し、検索にヒットしたものとする。第２のキーイメージ中には、サンプル色票が無いため、検索結果配色部１８は、検索ヒットした個所が目立つように、自動配色を行う。まず、検索結果配色部１８は、検索にヒットしていない個所について、図１９に示すように、明度と度数のヒストグラムを求める。得られたヒストグラムから明度の出現頻度が最小で、かつ、度数分布の多い明度領域から離れた明度を例えば、図１９の矢印の位置で示すように決定し、検索ヒットした部分画像、すなわち、「大阪」の文字列を表す画素の明度とする。次に、検索結果配色部１８は、検索にヒットしていない領域について、図２０に示すように、色相・彩度（以下、色相と彩度をまとめて色度と称する。）と度数の２次元ヒストグラムを求める。そして、得られた２次元ヒストグラムから、色度の出現頻度が最小で、かつ、度数分布の多い色度領域から離れた色度を決定し、これを検索ヒットしなかった部分画像の色度とする。これで、「大阪」の文字列に関するマーキング配色は完了する。
【００４８】
ただし、検索にヒットしなかった領域の明度および色度を配色しても、「大阪」も文字列は目立たなくなる可能性がある。そこで、検索結果配色部１８は、明度および色度の決定を破棄し、検索ヒットした部分画像の色を変更せず、図８を参照して説明した処理のように、ヒットしなかった部分画像の色の彩度を減少させる。検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４９】
以上説明したように、画像検索出力装置１は、紙文書をスキャン入力した文書画像データの中から、指定した条件を満たす個所を検索することができる。この検索のための条件としてキーイメージを用い、類似画像検索を行うことにより、文書中に存在する所望の部分画像を検索することができる。このキーイメージも被検索画像と同様に、スキャナで入力可能なため、容易に取り扱うこができる。
【００５０】
また、画像検索出力装置１は、キーイメージ中の文字列を認識抽出して検索キーワードを自動作成し、被検索文書中の文字列内をテキスト検索することができるため、従来、ワープロ文書やテキストデータでしか実行できなかった文字列検索が、紙文書に対して実現することができる。また、キーイメージから抽出されたキーワードは、テキスト検索だけでなく、そのキーワードに該当する画像の検索にも用いられるため、特定の内容の画像を検索したり、手書きによる書込み個所を検索するなど、より高度な文書内検索を実現できる。
【００５１】
さらに、画像検索出力装置１は、上記のような文書内検索の結果を、被検索文書の色分布に基づいて自動配色するため、検索にヒットした個所が何処にあるかをわかり易く提示することができる。また、キーイメージ内にサンプル色票をレイアウトすれば、検索にヒットした個所の色をその色票の色で配色するため、希望する色での配色を容易に実行することができる。さらに、色補正配色モードを指定することにより、検索にヒットした部分画像に対して、類似画像検索用キーイメージの色を手本とした色補正や、該当画像検索用キーイメージ内にレイアウトされた色補正用の参照画像の色を手本とした色補正を行うことができ、煩雑な手動による色補正からユーザを開放できる。
【００５２】
また、画像検索出力装置１の画像出力制御部２１の機能により、検索にヒットしたページだけを出力したり、配色結果画像をサムネール出力できるので、自動配色による検索ヒット個所の見易さに加えて、さらにわかり易い検索結果の提示が可能である。
【００５３】
また、配色結果画像を記憶する記憶部を有することにより、検索結果、すなわち、配色結果を繰り返し、プリントアウトする場合に効率的であり、また、画像検索出力装置１がカラーデジタル複合機２に用いられた場合には、ネットワークで接続された外部のコンピュータ装置に配色結果画像を出力し、そのコンピュータ装置で配色結果画像を取り込んで多目的に再利用するこができる。特に、色補正を目的とした検索・配色を行った場合には、多目的再利用が可能であることの意義は大きなものとなる。
【００５４】
また、キーイメージを記憶するキーイメージ記憶部１２を有することにより、キーイメージを内部に保持することができるので、複数の文書画像に対して共通の検索条件を適用する場合に、ユーザがキーイメージを入力し直す手間を省くことができる。
【００５５】
なお、この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を変形できるものである。
【００５６】
【発明の効果】
以上説明したように本発明によれば、イメージデータとして電子化された文書画像データから、特定の文字、図形及び画像を容易に検索しその結果をわかりやすく配色し、又は、検索にヒットした個所に対して精度よく色補正して出力することができる画像検索出力装置及び画像検索出力方法を提供できる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態における画像検索出力装置のシステム構成を示す図。
【図２】 画像検索装置を有するカラーデジタル複合機の制御構成を示す図。
【図３】 キーイメージが１色のときの色補正配色を説明するための図。
【図４】 キーイメージの色数が少なく離散的に分布しているときの色補正配色を説明するための図。
【図５】 キーイメージの色分布が自然画像の特徴を持つときの色補正配色を説明するための図。
【図６】 検索ヒットしなかった領域の色分布に基づいてヒット領域の配色を決定することを１次元ヒストグラムで説明する図。
【図７】 検索ヒットした部分画像に割当てる彩度が無い場合を示す図。
【図８】 検索ヒットしなかった領域の彩度を落とすことでヒット領域の元の色を目立たせることを説明する図。
【図９】 画像検索出力装置の動作モードの構成を示す図。
【図１０】 第１の処理例における第１のキーイメージを示す図。
【図１１】 第１の処理例における第２のキーイメージを示す図。
【図１２】 第１の処理例における被検索画像を示す図。
【図１３】 第２の処理例におけるキーイメージを示す図。
【図１４】 第２の処理例における色補正配色を説明する図。
【図１５】 第３の処理例におけるキーイメージを示す図。
【図１６】 第４の処理例における第１のキーイメージを示す図。
【図１７】 第４の処理例における第２のキーイメージを示す図。
【図１８】 第４の処理例における被検索画像内の検索ヒットした文字列の画素位置を求める手順を説明するための図。
【図１９】 第４の処理例における検索ヒットした文字列の配色方法を説明するための図。
【図２０】 第４の処理例における検索ヒットしなかった領域の配色方法を説明するための図。
【符号の説明】
１…画像検索出力装置、１１…画像入力部、１２…キーイメージ記憶部、１３…記憶キーイメージ制御部、１４…画像検索部、１５…テキスト抽出部、１６…テキスト検索部、１７…検索テキスト画素特定部、１８…検索結果配色部、１９…配色結果画像記憶部、２０…記憶配色結果画像制御部、２１…画像出力制御部、２２…プリンタコントローラ部、２３…スキャン／コピー用画像処理部、２４…プリンタエンジン部
【発明の属する技術分野】
本発明は、入力された画像データから指定された任意のデータを検索して出力する画像検索出力装置に関する。
【０００２】
【従来の技術】
近年、オフィス等において紙文書を整理する方法とて、紙文書をイメージスキャナでスキャニングして電子化し、文書画像データとして管理する方法が用いられている。また、オフィスで使用される文書を電子化して文書画像データとして取り扱う際に求められる重要な機能として検索機能がある。このような検索機能としては、例えば、コンピュータ装置において、電子文書画像データが紙文書として出力された場合や、閲覧表示に特化した形態のデータに変換された場合であっても、その元となる電子文書データの検索を可能とし、また、その電子文書データを送信したり、関連文書一式をプリントアウトして出力するものがある（例えば、特許文献１参照）。このように検索して出力する機能に加えて、検索された検索結果をユーザにわかり易くなるように出力することも重要な機能である。ユーザにわかり易くするための有効な方法として、検索してヒットした画像領域を色で区別する方法がある。
【０００３】
【特許文献１】
特願平２００１−２５６２５６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のように電子化された文書画像データの検索は文書画像データ単位で検索を行うことはできても、文字コードで構成されていないため、特定の文字列を検索することは容易ではない。また、文書画像データは文字列の検索だけではなく特定の条件に当てはまるパターンや貼り付け画像などを検索することも容易ではない。一般に、画像データから文字列を検索する方法として知られるＯＣＲ（オプティカル・キャラクター・リーダ）は、使い勝手が煩雑である。また、特定の条件を満たすパターンや貼り付け画像を検索することはＯＣＲでは不可能である。
【０００５】
一方、検索した検索結果を色で区別する方法では、検索先の文書画像がカラー文書画像の場合には、配色方法が不適切な場合には却って検索にヒットした個所がわかり難くなってしまうことがある。このため、効率的な検索システムを実現するには、検索結果の配色を適正に行うことが必要である。
また、スキャン入力したカラー文書画像を再利用する際には、文書中の特定の図形や画像に対して色補正が必要となる場合がある。しかし、既存のＯＣＲ検索および類似画像検索では、検索にヒットした領域に対する補正処理にも、手動動作を基本として複雑な手続きが必要となる。
【０００６】
本発明は上記事情に鑑みてなされたものであって、その目的は、イメージデータとして電子化された文書画像データから、特定の文字、図形及び画像を容易に検索しその結果をわかりやすく配色し、又は、検索にヒットした個所に対して精度よく色補正して出力することができる画像検索出力装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、画像検索のキーとして用いるキーイメージ及び処理すべき被検索画像データを、例えば、スキャナ又はデジタルスチルカメラにより入力し、入力された被検索画像データの中からキーイメージに類似した部分画像を検索し、この検索の結果と前記入力された被検索画像データの色分布とに基づいて部分画像の原画像と異なる第１の配色条件を満たす色が決定できるとき、被検索画像データ中の部分画像を当該色に配色し、第１の配色条件を満たす色が決定できないとき、被検索画像データ中の部分画像以外のデータを原画像と異なる第２の配色条件を満たす色に配色し、この配色された被検索画像データを出力するものである。
【０００８】
【発明の実施の形態】
以下、本発明の一実施例について図面を参照して説明する。
【０００９】
図１は本発明による画像検索出力装置１のシステム構成を示す図である。図１に示すように、画像検索出力装置１は特徴的な構成として、画像入力部１１と、キーイメージ記憶部１２と、記憶キーイメージ制御部１３と、画像検索部１４と、テキスト抽出部１５と、テキスト検索部１６と、検索テキスト画素特定部１７と、検索結果配色部１８と、配色結果画像記憶部１９と、記憶配色結果画像制御部２０と、画像出力制御部２１とを有している。また、画像検索出力装置１全体としては、さらに、プリンタコントローラ部２２、スキャン／コピー用画像処理部２３、プリンタエンジン部２４を有している。
【００１０】
このように画像検索出力装置１は、カラーデジタル複合機に準じて構成されており、図２で示すように、スキャナ機能、プリンタ機能、ネットワーク機能などを有するカラーデジタル複合機２に用いることができる。このカラーデジタル複合機２には、上述の画像検索出力装置１に加え、中央制御手段３、コントロールパネル部４、インターフェース部５及びインターフェース部６などが設けられている。また、中央制御手段３とコントロールパネル部４、インターフェース部５、６及び画像検索出力装置１はバスライン７で接続されている。中央制御手段３は、ＣＰＵ等で構成されており、カラーデジタル複合機２としての動作を実現するために総括的な制御を行う。コントロールパネル部４は、数値キーや各種機能キー、タッチパネルなどで構成されており、中央制御手段３の制御の下、各種モードの指定や切り換えの指示等の操作やその他の各種操作をユーザから受付け、また、必要な情報をユーザに表示する。インターフェース部５は、例えば、コンピュータ装置などが接続されたネットワークとの接続に使用される。また、インターフェース部６は、例えば、ＵＳＢ（ユニバーサル・シリアル・バス）であり、デジタルスチルカメラとの接続に使用される。画像検索出力装置１は、このように構成されたカラーデジタル複合機２に用いられた場合には、中央制御手段３によって制御され、コントロールパネル部４からユーザの各種指示を受付ける構成となる。
【００１１】
続いて、本明細書における用語を次のように定義する。「ある文書画像の中を、あるデータを手がかり（検索条件）として、ある見つけたい領域を検索する」とき、その文書画像のことを「被検索画像」と呼ぶこととする。また、手がかりとなるデータのことを「キー」又は「検索条件」と呼ぶこととする。キーが画像データである場合は「キーイメージ」、キーが文字列の場合は「キーワード」と呼ぶこととする。さらに、検索の結果、見つけ出したい領域のことを「検索対象部分画像」、または、単に「検索対象」、「部分画像」と呼ぶこととする。
【００１２】
以下に、画像検索出力装置１のシステムを構成する各部の機能について説明する。
画像入力部１１は、被検索画像である被検索コピー原稿及び検索用のキーイメージを入力する（被検索画像データ入力手段、キーイメージ入力手段及びキーワード入力手段）。画像入力部１１は具体的には、スキャナ（キーイメージスキャン入力手段）、又は、デジタルスチルカメラである。画像入力部１１は、入力した被検索画像データ及びキーイメージデータを画像検索部１４とテキスト抽出部１５と検索結果配色部１８とに供給する。また、画像入力部１１は、キーイメージが入力された場合にはそのキーイメージデータを記憶キーイメージ制御部１３にも供給する。
【００１３】
記憶キーイメージ制御部１３は、図１において図示しないＣＰＵ等からなる制御手段からの命令に基づいてキーイメージ記憶部１２に対するキーイメージの入出力の制御を行う。なお、この制御手段は、画像検索出力装置１がカラーデジタル複合機２に用いられた場合であれば中央制御手段３となる。キーイメージ記憶部１２は、入力されたキーイメージを保持するための記憶部である。このキーイメージ記憶部１２に記憶されているキーイメージを利用することにより、同じキーイメージを検索のたびに繰り返し入力する手間を省くことができる。
【００１４】
画像検索部１４は、被検索画像である文書画像の中から、キーイメージ又はキーワードによって指定される検索条件を満たす部分画像を検索する。キーイメージを用いた画像検索は被検索画像の中からキーイメージに類似した部分画像を探すことであり、類似画像検索である。この類似画像検索の手法としては、復号類似度法などのアルゴリズムを使用することができる。一方、キーワードを用いた画像検索は被検索対象画像の中からキーワードが示す特徴をもつ部分画像を探すことである。キーワードが示す特徴としては、手書き文字、活字、図形、連続調写真又は網点写真などといった画像特性を指定することができる。例えば、キーワードとして、「手書き」を与えた場合、画像検索部１４は被検索画像の中から手書き部分を検索し、該当する画素を特定する。キーワードを用いた画像検索では、もう一つの機能として、被検索画像の中からキーワードが示す内容（被写体）を持つ部分画像を探すこともできる。キーワードが示す画像内容としては、人物（肌色）、自然風景、食品及び工業製品といったものを指定することができる。画像検索部１４は、検索にヒットした部分画像の被検索画像内での画素位置情報を検索結果配色部１８に供給する。
【００１５】
テキスト抽出部（文字認識手段）１５は、キーイメージ中にキーワードが記載されている場合に、図示しない制御手段からの命令に基づいて、キーイメージ中のキーワードを認識し、そのキーワードをテキストデータとして抽出する。この抽出されたキーワードは、前記画像検索部１４およびテキスト検索部１６に供給される。画像検索部１４に供給されたテキストデータは、前述したキーワードを用いた画像検索に用いられる。テキスト抽出部１５は、被検索画像についても、その中の文字部分を認識してテキストデータとして抽出する。被検索画像から抽出されたテキストデータは、テキスト検索部１６に供給される。また、テキスト抽出部１５は、抽出したテキストデータの被検索画像内の位置情報を、検索テキスト画素特定部１７に供給する。
【００１６】
テキスト検索部（文字列検索手段）１６は、被検索画像から抽出されたテキストデータの中から、キーイメージから抽出されたキーワードに一致する文字列を検索する。そして、検索にヒットした文字列の全テキスト内での位置情報を検索テキスト画素特定部１７に供給する。
【００１７】
検索テキスト画素特定部（検索テキスト画素特定部）１７は、テキスト抽出部１５から供給されるテキストデータの被検索画像内の位置情報とテキスト検索部１６から供給される検索ヒット文字列のテキスト内の位置情報とに基づいて、検索ヒット文字列の被検索画像内画素位置情報を取得し、それを検索結果配色部１８に供給する。以下、検索ヒット文字列の被検索画像内領域に対しても、類似画像検索にヒットした部分画像と同様に、「検索にヒットした部分画像」又は「部分画像」と呼ぶこととする。
なお、テキスト抽出部１６、テキスト検索部１７及び検索テキスト画素特定部１８はキーワード認識手段を構成する。
【００１８】
検索結果配色部１８は、画像入力部１１から供給される被検索画像自身の色、すなわち、原画像の色の色分布と、同じく画像入力部１１から供給されるキーイメージの色と、キーイメージまたはキーワードによる部分画像の検索結果（検索にヒットした部分画像の被検索画像内での画素位置情報）と、に基づいて、被検索画像の色を変更する。ここでは、色の変更を配色と呼ぶこともある。このように色を変更するのは次の２つの目的があるからである。
【００１９】
先ず第１の目的について説明する。第１の目的は、検索にヒットした個所の色をユーザの所望の色に補正することである。補正後の所望の色とは、例えば、キーイメージの色である。すなわち、検索結果配色部１８は、キーイメージによって検索されヒットした部分画像に該当する被検索画像内領域の色を、キーイメージの色、又は、キーイメージの色に近似した色に変更する。このとき、検索にヒットしなかった領域については色を変更しない。
【００２０】
ここで、キーイメージの色に基づく色補正の具体的な方法について図３から図５を参照して説明する。なお、各図における（i）は、検索ヒットした部分画像の色分布を示しており、各図における（ii）はキーイメージの色分布を示す図である。
【００２１】
図３（ii）に示すようにキーイメージの色分布が１点からなる、すなわち、１色だけからなる場合、検索ヒットした部分画像の色分布が図３（i）に示すようなある範囲の広がりをもつ色分布をしていると、ヒットした部分画像の色をキーイメージと同じ色に変更して色補正が完了する。
【００２２】
図４（ii）に示すようにキーイメージの色分布が離散的な点状であるような場合（ロゴマークなどのグラフィックパターンの多くがこれに該当する）、検索ヒットした部分画像の色分布を求め、図４（i）に示すようにその色分布をキーイメージの色数と同数のクラスタにグループ分けする。次に、前記クラスタとキーイメージ中の色との間の距離が最小である組合せを、全てのクラスタについて決定する。この場合の距離は、クラスタ重心を用いたユークリッド距離やマハラノビス距離などを用いることができ、前記制御手段からの命令に基づいて組合せが選択される。最後に、クラスタ内の各色を、そのクラスタとの組合せが決定したキーイメージ中の色に変換する。この変換を全クラスタについて実行することにより色補正が完了する。
【００２３】
図５（ii）に示すようにキーイメージの色分布が巨視的には連続的な拡がりを持つような場合（キーイメージが写真などの自然画である場合が該当する）、先ず、キーイメージの色分布を求めて、いくつかのクラスタにグループ分けする。次に、検索ヒットした部分画像についても色分布を求めて、図５（i）に示すようにキーイメージのクラスタ数と同数のクラスタにグループ分けする。次に、部分画像の色分布のクラスタとキーイメージの色分布のクラスタとの間で、各クラスタにとって距離が最小となる組合せを、全てのクラスタについて決定する。この場合の距離についても、クラスタ重心を用いたユークリッド距離はマハラノビス距離などを用いることができ、前記制御手段からの命令に基づいて組合せが選択される。最後に検索ヒットした部分画像側のクラスタ内の各色をキーイメージ側の合せ相手のクラスタ内にマッピング（色変換）して色補正を完了する。なお、マッピングには、色変換マトリクス乗算式を用いる。色変換マトリクスの算出は、例えば、クラスタ毎に主成分分析を行い、部分画像側クラスタの主成分ベクトルを、キーイメージ側クラスタの主成分ベクトルに一致させるアフィン変換式を求めることによって行う。
【００２４】
次に、第２の目的について説明する。第２の目的は、検索ヒットした個所が被検索画像内のどこにあるかをユーザにわかりやすく見せることである。そのための配色方法としては、検索結果配色部１８は、検索にヒットした個所に対して、ヒットしなかった個所には登場しない色を用いるのが良い。従って、検索結果配色部１８は、検索にヒットしなかった個所における色の出現頻度を求め、出現頻度が最も少ない色を、検索ヒットした部分画像に対して配色する。言い換えれば、出現頻度が最小で分布のピークが最も遠い明度値を配色する。例えば、検索ヒットしなかった部分画像の領域の明度の出現頻度分布が図６で示すような分布をしているときには、図６中矢印で示す明度値をヒットした部分画像に配色する。色には色相・彩度・明度という３属性があるため、色の出現頻度は３次元のヒストグラムによって表されることになるが、そのためには多大なメモリ容量や処理時間を要する。そのため、簡易的な手法として、例えば、色相と彩度という２つの属性だけを用いた２次元ヒストグラムだけで色の出現頻度を計ることも可能である。すなわち、検索ヒットした部分画像の領域とそれ以外の領域とで、色相と彩度という２次元座標が異なっていれば、たとえ明度が等しくてもユーザの見た目には部分画像が十分目立つからである。また、逆に明度という１つの属性だけを用いた１次元ヒストグラムだけで、色の出現頻度を計ることも可能である。すなわち、検索ヒットした部分画像の領域とそれ以外の領域とで、明度が十分異なっていれば、たとえ、色相及び彩度が等しくてもユーザの見た目には部分画像が十分目立つからである。
【００２５】
検索結果配色部１８は、検索ヒットした部分画像以外の領域における、色の出現頻度を求めた結果、色相、彩度、明度のいずれの属性についても、図７に示すように、ヒットしなかった領域の彩度の出現頻度が均等に分布していることなどにより、図７中矢印で示す彩度の位置の検索ヒットした部分画像に配色するのに適切な色が決定できない場合がある（第１の配色条件を満たす色が決定できないとき）。この場合には、検索結果配色部１８は、検索ヒットした部分画像の色は変更せず、逆に検索にヒットしなかった領域の色を変更する（第２の配色条件を満たす色を決定する）。この色の変更ルールは、部分画像の色が目立つようになれば良い。例えば、検索にヒットしなかった領域に対して、彩度を減少させるか、又は無彩色化するのが有効である。図８に示すように、ヒットしなかった領域の彩度を減少させることにより、図８中矢印で示す彩度の位置に検索にヒットした領域がある場合には、そのヒットした領域が元の彩度のままでも十分目立つようになる。また、検索結果配色部１８は、検索ヒットしなかった領域の色の出現頻度に関わらず、最初から、検索にヒットしなかった領域の低彩度化または無彩色化を行うこともできる。こうした配色ルールの決定手順の選択は、前記制御手段からの命令に基づいて行われる。
【００２６】
検索結果配色部１８は、上記のようにして検索結果に基づいて被検索画像の配色を行い、配色済の被検索画像（配色結果画像）をスキャン／コピー用画像処理部２３またはプリンタコントローラ部２２内の画像処理部２２２に供給する。なお、検索結果配色部１８の出力端から先のデータパス上を流れるデータに対しては、検索結果配色部１８での配色結果が反映されていることになるので、この実施の形態においては、これらの画像データをスキャン／コピー用画像処理部２３の前後に関わらず、「配色結果画像」と呼ぶこととする。
【００２７】
スキャン／コピー用画像処理部２３は、画像入力部１１から入力された被検索画像の配色結果画像に対して、画像のスキャン入力利用に際して必要な所定の画像処理またはプリンタエンジン部２４による出力に際して必要は所定の画像処理を実行して、記憶配色結果画像制御部２０および画像出力制御部２１に供給する。
【００２８】
一方、プリンタコントローラ部２２内の画像処理部２２２は、同じくプリンタコントローラ部２２を経由して入力された被検索画像の配色結果画像に対して、プリンタエンジン部２４による出力に際して必要な所定の画像処理を実行して、記憶配色結果画像制御部２０および画像出力制御部２１に供給する。
【００２９】
プリンタコントローラ部２２は、ネットワークに接続されたコンピュータ装置からインターフェース部５を介して受信するプリント出力データの処理を行う。例えば、画像検索出力装置１がカラーデジタル複合機２に用いられた場合には、インターフェース部５に接続されたネットワークを介してプリント出力データを受信する。このプリンタコントローラ部２２はページ記述言語（ＰＤＬ）インタープリタ部２２１と画像処理部２２２とから構成される。なお、この実施の形態の画像検索出力装置１では、プリント出力データを被検索画像またはキーイメージとして扱うことが可能である。
【００３０】
コンピュータ装置から受信したプリント出力データは、ＰＤＬ形式であり、ＰＤＬインタープリタ部２２１ではこのＰＤＬデータを画像データに変換する。変換して得られた画像データは、画像検索部１４と、テキスト抽出部１５と、検索結果配色部１８とに供給される。なお、キーイメージを受信した場合については、キーイメージ記憶部１２にも供給される。そして、この画像データ及びイメージデータは、被検索画像データまたはイメージデータとして、画像入力部１１から入力される被検索画像データやキーイメージデータと同様に扱われる。その配色結果画像は、プリンタコントローラ部２２内の画像処理部２２２において、前述の通り、プリンタエンジン部２４による出力に際して必要な所定の画像処理が実行され、記憶配色結果画像制御部２０および画像出力制御部２１に供給される。
【００３１】
記憶配色結果画像制御部２０は、前記制御手段からの命令に基づいて、配色結果画像記憶部１９に対する配色結果画像の入出力の制御を行う。配色結果画像記憶部１９は、画像処理部２２２から供給される配色結果画像を保持するための記憶部である。記憶された配色結果画像は、再プリント出力やネットワーク等を介して接続されたコンピュータ上での再利用などに供される。
【００３２】
画像出力制御部２１は、配色結果画像データを、プリント出力するためにプリンタエンジン部２４に出力する。画像出力制御部２１は、配色結果画像データを、外部機器において再利用するために、ネットワーク等を介して画像検索出力装置１の外部に出力できるようになっている。また、画像出力制御部２１は、配色結果画像を基本的には元のページ構成のままで出力するように制御するが、配色結果画像のページ構成を変更して出力するように制御することも可能である。例えば、配色結果画像を縮小して１枚の用紙に複数のページを配置して出力し、又は、検索にヒットした部分画像を含むページだけを出力する。この場合、配色結果画像データには、ページ毎に部分画像の有無を示す情報か、または、画素毎に部分画像に該当するか否かを示す情報が付加されていることが必要である。そのため、前記検索結果配色部１８は、該情報を配色結果画像データに付加できる構成となっている。
【００３３】
プリンタエンジン部２４は、画像出力制御部２１を介して供給される配色結果画像を用紙にプリント出力する。この配色結果画像を用紙にカラー出力する構成は、周知の技術であるのでここでは説明を省略する。
【００３４】
次に、このように構成された画像検索出力装置１の処理の流れについて説明する。先ず、画像検索出力装置１の処理の流れの基本的な事項として動作モードについて図９を参照して説明する。動作モードは大きく分けて２つの動作モードがある。１つは、キーイメージを入力するキーイメージ入力モードであり、もう１つは、被検索画像の入力と被検索画像に対する検索と検索結果に基づく被検索画像の配色とを順次実行する被検索画像処理モードである。これらのモードのうち被検索画像処理モードについては、検索方法と配色方法とによってさらに細かい動作モードに分かれる。検索方法の検索モードについては、キーイメージとの類似画像を検索する類似画像検索モード、キーワードの表す画像属性・内容に該当する部分画像を検索する該当画像検索モード、キーワードに一致するテキストを被検索画像内から検索するテキスト検索モード、の３種類がある。一方、配色方法の配色モードについては、検索ヒットした部分画像をキーイメージの色に近似した色に補正する色補正配色モード、検索ヒットした部分画像を目立たせるための配色を行うマーキング配色モードの２種類がある。この３種類の検索モードと２種類の配色モードとを互いに自由に組み合わせることにより、計６通りの被検索画像処理モードを指定することができる。このモードの指定・切替えは、前記制御手段によって行われる。
【００３５】
続いて、画像検索出力装置１の処理の流れを、第１の処理から第４の処理の４つの例を挙げて具体的に説明する。
【００３６】
先ず、第１の処理について説明する。この第１の処理は被検索画像処理モードが類似画像検索モード及び色補正配色モードで動作するときの処理例である。キーイメージは２つあり、第１のキーイメージは例えば、図１０に示すように１つはロゴ文字であり、もう１つの第２のキーイメージは図１１に示すように自然風景画である。この２つのキーイメージはそれぞれ別の用紙にレイアウトされている。この第１の処理では、被検索画像の中からキーイメージに類似したロゴ文字と自然風景画とを検索し、ヒットした部分画像に対して、キーイメージの色調に近似した色に補正する処理を行う。
【００３７】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、２つのキーイメージを続けて入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの類似画像検索モード・色補正配色モードに切り換え、被検索画像にあたる、図１２に示すような文書画像を入力する。画像検索部１４では、キーイメージ記憶部１２から読み出されたキーイメージを用いて被検索画像内を検索する。検索結果配色部１８では、検索の結果ヒットした部分画像の画素位置情報と、被検索画像データと、キーイメージとが供給され、これらに基づいて被検索画像に対する色補正配色モードでの配色処理が行われる。
【００３８】
ここで、第１の処理における色補正配色の内容について説明する。先ず、第１のキーイメージに基づく色補正について説明する。例えば、第１のキーイメージのロゴ文字「ＡＢＣＤ」の色は、均一で鮮やかな赤であるとする。一方、被検索画像中の同形のロゴ文字「ＡＢＣＤ」の色は濁った赤であり、しかも、不均一な色分布であるとする。検索結果配色部１８は、被検索画像中のキーイメージと同形のロゴ文字に相当する全画素について、図３を参照して説明した処理を行い、不均一で濁った赤を、キーイメージ中の赤色に変更する。これで、ロゴ文字に関する色補正は完了する。次に第２のキーイメージに基づく色補正について説明する。第２のキーイメージは、自然風景画であり、例えば、青空と森のような緑の植物が描かれているものである。このような自然風景画の色分布は、ある広がりをもった青のクラスタと、ある広がりをもった緑のクラスタとを含んでいる。キーイメージ中には、前記青のクラスタと緑のクラスタ以外のクラスタも存在するが、出現頻度は比較的少ない。一方、被検索画像中にはキーイメージと類似した自然風景画がいくつか存在し検索にヒットしたものとする。ヒットした複数の部分画像の色分布は相異なっているが、共通した色分布を有している。その共通した色分布の性質は、キーイメージと同様に、空の色にあたる青のクラスタと森の色にあたる緑のクラスタとを有している点である。なお、その他の色も存在するが出現頻度は比較的すくない。検索結果配色部１８は、部分画像の青のクラスタとキーイメージの青のクラスタとが、最も距離が近い組合せであることを決定する。緑のクラスタ同士についても、それらが最も距離が近い組合せであることを決定する。この決定方法については、検索結果配色部１８の説明で述べた通りである。最後に、図５を参照して説明した処理を行い、検索結果配色部１８は、部分画像の色分布における青のクラスタ内の色を、キーイメージの色分布における青のクラスタ内の色にマッピングする。緑のクラスタについても同様にマッピングする。マッピング方法については、検索結果配色部１８の説明で述べた通りである。先ず、部分画像およびキーイメージ双方における、各クラスタごとの主成分ベクトルを求める。次に、部分画像側の青のクラスタの主成分ベクトルを、キーイメージ側の青のクラスタの主成分ベクトルに一致させるアフィン変換式を求めて、青色についてのマッピング（色補正）を行う。緑のクラスタについても同様に、部分画像側の緑のクラスタの主成分ベクトルを、キーイメージ側の緑のクラスタの主成分ベクトルに一致させるアフィン変換式を求めて、森の緑色についてのマッピングを行う。他の出現頻度の比較的少ない色については補正を行わない。これで、自然風景画に関する色補正は完了する。なお、検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００３９】
次に、第２の処理について説明する。この第２の処理は、被検索画像処理モードが該当検索モード及び色補正配色モードで動作するときの処理例である。この第２の処理では、１つのキーイメージを用いる。このキーイメージは、図１３に示すように、「人物」という文字列と、色補正結果として望ましい色調をもつ人物画像とが、１つの用紙にレイアウトされている。この第２の処理では、被検索画像の中から人物画像を検索し、ヒットした部分画像をキーイメージ中の人物画像の色調に近づけるよう補正する処理を行う。
【００４０】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、キーイメージを入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの該当画像検索モード・色補正配色モードに切り換え、被検索画像にあたる文書画像を入力する。テキスト抽出部１５では、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されていれるキーワードである「人物」という文字列を抽出し、画像検索部１４に転送する。画像検索部１４は、「人物」というキーワードと、現在の動作モードによって指定された検索方法が当該画像検索であることを受けて、被検索画像内の人物画像を検索し、検索の結果ヒットした部分画像の画素位置情報を検索結果配色部１８に供給する。検索結果配色部１８では、検索ヒットした部分画像の画素位置情報と被検索画像データとキーイメージデータが供給され、これらに基づいて被検索画像に対する色補正配色モードでの配色処理が行われる。
【００４１】
ここで、第２の処理における色補正配色の内容について説明する。先ず、検索結果配色部１８は、入力されたキーイメージ中の人物画像部分における色分布を求める。その色分布は、ある広がりをもった肌色のクラスタを形成している。なお、キーイメージ中には肌色のクラスタ以外の色も存在するが出現頻度は比較的少ない。一方、被検索画像中には人物画像がいくつか存在し、検索にヒットしたものとする。ヒットした複数の部分画像の色分布は相異なってはいるが、共通した色分布を有している。その共通した色分布の性質は、キーイメージ中の人物画像と同様に、肌色のクラスタを有している点である。なお、その他の色のクラスタも存在するが出現頻度は比較的少ない。検索結果配色部１８は、部分画像の肌色のクラスタとキーイメージの肌色のクラスタとが、最も距離が短い組合せであることを決定する。決定方法については、検索結果配色部１８の説明で述べた通りである。最後に、検索結果配色部１８は、図１４（i）に示す部分画像の色分布における肌色のクラスタ内の色を、図１４（ii）に示すキーイメージの色分布における肌色のクラスタ内の色にマッピングする。マッピング方法については、検索結果配色部１８の説明で述べた通りである。先ず、部分画像およびキーイメージの双方における、各クラスタごとの主成分ベクトルを求める。次に、部分画像側の肌色のクラスタの主成分ベクトルを、キーイメージ側の肌色のクラスタの主成分のベクトルに一致させるアフィン変換式を求めて、肌色についてのマッピング（色変換）を行う。他の出現頻度の比較的少ない色については補正を行わない。これで、人物画像に関する色補正配色は完了する。なお、検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４２】
次に、第３の処理について説明する。この第３の処理は、被検索画像処理モードが該当画像検索モード及びマーキング配色モードで動作するときの処理例である。また、この第３の処理では、１つのキーイメージを用いる。このキーイメージは、図１５に示すように、「手書き」という文字列と、検索ヒットした個所の配色を指定するサンプル色票３１とがレイアウトされている。第３の処理では、被検索画像の中から手書き文字や図形を検索し、ヒットした部分画像の色をキーイメージ中のサンプル色票３１の色に変更する処理を行う。
【００４３】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、キーイメージを入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードの該当画像検索モード・マーキング配色モードに切り換え、被検索画像にあたる文章画像を入力する。テキスト抽出部１５は、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されているキーワードである「手書き」という文字列を抽出し、画像検索部１４に転送する。画像検索部１４は、「手書き」というキーワードと、現在の動作モードによって指定された検索方法が該当画像検索モードであることを受けて、被検索画像内の手書きと文字・図形を検索し、検索の結果ヒットした部分画像の画素位置情報を検索結果配色部１８に供給する。検索結果配色部１８では、検索ヒットした部分画像の画素位置情報と、被検索画像データと、キーイメージデータとが供給され、これらに基づいて被検索画像に対するマーキング配色モードでの配色処理が行われる。
【００４４】
ここで、第３の処理におけるマーキング配色の内容について説明する。先ず、検索結果配色部１８は、入力されたキーイメージ中のサンプル色票３１の色分布を求める。その色分布は、広がりをほとんどもたない、ほぼ１点の色座標に集中した色分布である。検索結果配色部１８は、サンプル色票３１の色を平均して代表色を決定する。一方、被検索画像中には手書き文字、図形が数箇所に点在し、検索にヒットしたものとする。ヒットした手書き部分の色分布は、黒や青など数箇所に点在しているが、検索結果配色部１８は、図３を参照して説明した処理を行い、ヒットした手書き部分の全ての色を、キーイメージのサンプル色票３１の代表色にマッピングする。これで、手書き文字・図形に関するマーキング配色処理は完了する。検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４５】
次に第４の処理について説明する。この第４の処理は、被検索画像処理モードがテキスト検索モード・マーキング配色モードで動作するときの処理例である。また、キーイメージは２つあり、それぞれ別の用紙に、例えば、第１のキーイメージは、図１６に示すように、「東京」という検索キーワード用文字列と検索ヒットした個所の配色を指定するサンプル色票３２とがレイアウトされているキーイメージであり、もう１つの第２のキーイメージは図１７に示すように、「大阪」という検索キーワード用文字列がレイアウトされているキーイメージである。この第４の処理では、被検索画像の中から、上記２つのキーワードに一致する文字列を検索し、「東京」という文字列に該当する部分画像の色を前記サンプル色票３２の色に変更し、「大阪」という文字列に該当する部分画像の色を自動配色する処理を行う。
【００４６】
先ず、画像検索出力装置１の動作モードをキーイメージ入力モードにし、２つのキーイメージを続けて入力する。入力されたキーイメージはキーイメージ記憶部１２に記憶される。次に、動作モードを被検索画像処理モードのテキスト検索モード・マーキング配色モードに切り換え、被検索画像にあたる文書画像を入力する。テキスト抽出部１５は、先に入力されたキーイメージをキーイメージ記憶部１２から読み出し、キーイメージ中に印刷されているキーワードである「東京」および「大阪」という文字列を抽出し、テキスト検索部１６に転送する。テキスト抽出部１５は、さらに、入力された被検索画像中の文字列を全て抽出し、テキスト検索部１６に転送すると共に、抽出された文字列の被検索画像内における位置情報を、検索テキスト画素特定部１７に供給する。テキスト検索部１６は、被検索画像から抽出された全文字列の中から、「東京」および「大阪」の文字列を検索し、検索の結果ヒットした文字列の全文字列内での位置情報を検索テキスト画素特定部１７に供給する。検索テキスト画素特定部１７は、文字列の被検索画像内位置情報と、テキスト検索部１６から供給される検索ヒット文字列内での位置情報とに基づいて、図１８に示すように、検索ヒット文字列の被検索画像内画素位置情報を取得し、それを検索結果配色部１８に供給する。なお、図１８において破線は、被検索画像内の文字列の画像位置情報を示し、「東京」、「大阪」は全文字列内の検索にヒットした文字列の位置情報を示している。検索結果配色部１８では、前記検索ヒット文字列の被検索画像内画素位置情報と被検索画像データと、第１のキーイメージデータ内のサンプル色票３２とに基づいて、被検索画像に対するマーキング配色モードでの配色処理が行われる。
【００４７】
ここで、第４の処理におけるマーキング配色の内容について説明する。先ず第１のキーイメージデータ中のキーワードである「東京」の文字列の配色について説明する。検索結果配色部１８は、入力された第１のキーイメージデータ中のサンプル色票の色分布を求める。その色分布は、広がりをほとんどもたない、ほぼ１点の色座標に集中した分布である。検索結果配色部１８は、サンプル色票３２の色を平均して代表色を決定する。一方、被検索画像中には、「東京」の文字列が数箇所に存在し、検索にヒットしたものとする。ヒットした「東京」の文字列は散在しているが、検索結果配色部１８は、図３を参照して説明した処理を行い、ヒットした「東京」の文字列の全ての色を、キーイメージのサンプル色票３２から得られた代表色にマッピングする。これで「東京」の文字列に関するマーキング配色は完了する。次に、第２のキーイメージデータ中のキーワードである文字列「大阪」の検索結果の配色について説明する。被検索画像中には「大阪」の文字列が数箇所に存在し、検索にヒットしたものとする。第２のキーイメージ中には、サンプル色票が無いため、検索結果配色部１８は、検索ヒットした個所が目立つように、自動配色を行う。まず、検索結果配色部１８は、検索にヒットしていない個所について、図１９に示すように、明度と度数のヒストグラムを求める。得られたヒストグラムから明度の出現頻度が最小で、かつ、度数分布の多い明度領域から離れた明度を例えば、図１９の矢印の位置で示すように決定し、検索ヒットした部分画像、すなわち、「大阪」の文字列を表す画素の明度とする。次に、検索結果配色部１８は、検索にヒットしていない領域について、図２０に示すように、色相・彩度（以下、色相と彩度をまとめて色度と称する。）と度数の２次元ヒストグラムを求める。そして、得られた２次元ヒストグラムから、色度の出現頻度が最小で、かつ、度数分布の多い色度領域から離れた色度を決定し、これを検索ヒットしなかった部分画像の色度とする。これで、「大阪」の文字列に関するマーキング配色は完了する。
【００４８】
ただし、検索にヒットしなかった領域の明度および色度を配色しても、「大阪」も文字列は目立たなくなる可能性がある。そこで、検索結果配色部１８は、明度および色度の決定を破棄し、検索ヒットした部分画像の色を変更せず、図８を参照して説明した処理のように、ヒットしなかった部分画像の色の彩度を減少させる。検索結果配色部１８以降の処理については、前記各部の機能説明に記したので省略する。
【００４９】
以上説明したように、画像検索出力装置１は、紙文書をスキャン入力した文書画像データの中から、指定した条件を満たす個所を検索することができる。この検索のための条件としてキーイメージを用い、類似画像検索を行うことにより、文書中に存在する所望の部分画像を検索することができる。このキーイメージも被検索画像と同様に、スキャナで入力可能なため、容易に取り扱うこができる。
【００５０】
また、画像検索出力装置１は、キーイメージ中の文字列を認識抽出して検索キーワードを自動作成し、被検索文書中の文字列内をテキスト検索することができるため、従来、ワープロ文書やテキストデータでしか実行できなかった文字列検索が、紙文書に対して実現することができる。また、キーイメージから抽出されたキーワードは、テキスト検索だけでなく、そのキーワードに該当する画像の検索にも用いられるため、特定の内容の画像を検索したり、手書きによる書込み個所を検索するなど、より高度な文書内検索を実現できる。
【００５１】
さらに、画像検索出力装置１は、上記のような文書内検索の結果を、被検索文書の色分布に基づいて自動配色するため、検索にヒットした個所が何処にあるかをわかり易く提示することができる。また、キーイメージ内にサンプル色票をレイアウトすれば、検索にヒットした個所の色をその色票の色で配色するため、希望する色での配色を容易に実行することができる。さらに、色補正配色モードを指定することにより、検索にヒットした部分画像に対して、類似画像検索用キーイメージの色を手本とした色補正や、該当画像検索用キーイメージ内にレイアウトされた色補正用の参照画像の色を手本とした色補正を行うことができ、煩雑な手動による色補正からユーザを開放できる。
【００５２】
また、画像検索出力装置１の画像出力制御部２１の機能により、検索にヒットしたページだけを出力したり、配色結果画像をサムネール出力できるので、自動配色による検索ヒット個所の見易さに加えて、さらにわかり易い検索結果の提示が可能である。
【００５３】
また、配色結果画像を記憶する記憶部を有することにより、検索結果、すなわち、配色結果を繰り返し、プリントアウトする場合に効率的であり、また、画像検索出力装置１がカラーデジタル複合機２に用いられた場合には、ネットワークで接続された外部のコンピュータ装置に配色結果画像を出力し、そのコンピュータ装置で配色結果画像を取り込んで多目的に再利用するこができる。特に、色補正を目的とした検索・配色を行った場合には、多目的再利用が可能であることの意義は大きなものとなる。
【００５４】
また、キーイメージを記憶するキーイメージ記憶部１２を有することにより、キーイメージを内部に保持することができるので、複数の文書画像に対して共通の検索条件を適用する場合に、ユーザがキーイメージを入力し直す手間を省くことができる。
【００５５】
なお、この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を変形できるものである。
【００５６】
【発明の効果】
以上説明したように本発明によれば、イメージデータとして電子化された文書画像データから、特定の文字、図形及び画像を容易に検索しその結果をわかりやすく配色し、又は、検索にヒットした個所に対して精度よく色補正して出力することができる画像検索出力装置及び画像検索出力方法を提供できる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態における画像検索出力装置のシステム構成を示す図。
【図２】 画像検索装置を有するカラーデジタル複合機の制御構成を示す図。
【図３】 キーイメージが１色のときの色補正配色を説明するための図。
【図４】 キーイメージの色数が少なく離散的に分布しているときの色補正配色を説明するための図。
【図５】 キーイメージの色分布が自然画像の特徴を持つときの色補正配色を説明するための図。
【図６】 検索ヒットしなかった領域の色分布に基づいてヒット領域の配色を決定することを１次元ヒストグラムで説明する図。
【図７】 検索ヒットした部分画像に割当てる彩度が無い場合を示す図。
【図８】 検索ヒットしなかった領域の彩度を落とすことでヒット領域の元の色を目立たせることを説明する図。
【図９】 画像検索出力装置の動作モードの構成を示す図。
【図１０】 第１の処理例における第１のキーイメージを示す図。
【図１１】 第１の処理例における第２のキーイメージを示す図。
【図１２】 第１の処理例における被検索画像を示す図。
【図１３】 第２の処理例におけるキーイメージを示す図。
【図１４】 第２の処理例における色補正配色を説明する図。
【図１５】 第３の処理例におけるキーイメージを示す図。
【図１６】 第４の処理例における第１のキーイメージを示す図。
【図１７】 第４の処理例における第２のキーイメージを示す図。
【図１８】 第４の処理例における被検索画像内の検索ヒットした文字列の画素位置を求める手順を説明するための図。
【図１９】 第４の処理例における検索ヒットした文字列の配色方法を説明するための図。
【図２０】 第４の処理例における検索ヒットしなかった領域の配色方法を説明するための図。
【符号の説明】
１…画像検索出力装置、１１…画像入力部、１２…キーイメージ記憶部、１３…記憶キーイメージ制御部、１４…画像検索部、１５…テキスト抽出部、１６…テキスト検索部、１７…検索テキスト画素特定部、１８…検索結果配色部、１９…配色結果画像記憶部、２０…記憶配色結果画像制御部、２１…画像出力制御部、２２…プリンタコントローラ部、２３…スキャン／コピー用画像処理部、２４…プリンタエンジン部
Claims (4)
- 画像検索のキーとして用いるキーイメージを入力するキーイメージ入力手段と、処理すべき被検索画像データを入力する被検索画像データ入力手段と、この被検索画像データ入力手段で入力された前記被検索画像データの中から前記キーイメージに類似した部分画像を検索する画像検索手段と、この画像検索手段による検索の結果と前記被検索画像データの色分布とに基づいて前記部分画像の原画像と異なる第１の配色条件を満たす色が決定できるとき、前記被検索画像データ中の前記部分画像を当該色に配色し、前記第１の配色条件を満たす色が決定できないとき、前記被検索画像データ中の前記部分画像以外のデータを原画像と異なる第２の配色条件を満たす色に配色する検索結果配色手段と、この検索結果配色手段により配色された被検索画像データを出力する画像出力手段とを具備することを特徴とする画像検索出力装置。
- 画像検索のキーとして用いるキーワードが記載された原稿をスキャンしてキーイメージとして入力するキーイメージスキャン入力手段と、このキーイメージスキャン入力手段で入力されたキーイメージの中からキーワードを認識するキーワード認識手段と、処理すべき被検索画像データを入力する被検索画像データ入力手段と、この被検索画像データ入力手段で入力された被検索画像データの中から前記キーワードに該当する部分画像を検索する画像検索手段と、この画像検索手段による検索の結果と前記被検索画像データの色分布とに基づいて前記部分画像の原画像と異なる第１の配色条件を満たす色が決定できるとき、前記被検索画像データ中の前記部分画像を当該色に配色し、前記第１の配色条件を満たす色が決定できないとき、前記被検索画像データ中の前記部分画像以外のデータを原画像と異なる第２の配色条件を満たす色に配色する検索結果配色手段と、この検索結果配色手段により配色された画像データを出力する画像出力手段とを具備することを特徴とする画像検索出力装置。
- 画像検索のキーとして用いるキーワードを入力するキーワード入力手段と、処理すべき被検索画像データを入力する被検索画像データ入力手段と、この被検索画像データ入力手段で入力された被検索画像データの中から文字を認識する文字認識手段と、この文字認識手段によって認識された文字からなる文字列の中から前記キーワードに一致する文字列を検索する文字列検索手段と、この文字列検索手段による検索にヒットした文字列を表す前記被検索画像データの検索文字列画素を特定する検索文字列画素特定手段と、この検索文字列画素特定手段による特定の結果と前記被検索データ入力手段により入力された被検索画像データの色分布とに基づいて前記検索文字列画素の原画像と異なる第１の配色条件を満たす色が決定できるとき、前記被検索画像データ中の前記検索文字列画素を当該色に配色し、前記第１の配色条件を満たす色が決定できないとき、前記被検索画像データ中の前記検索文字列画素以外のデータを原画像と異なる第２の配色条件を満たす色に配色する検索結果配色手段と、この検索結果配色手段により配色された画像データを出力する画像出力手段とを具備することを特徴とする画像検索出力装置。
- 検索結果配色手段が、さらに、キーイメージの色に基づいて前記被検索画像データを原画像と異なる色に配色することを特徴とする請求項１又は２に記載の画像検索出力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176826A JP4271998B2 (ja) | 2003-06-20 | 2003-06-20 | 画像検索出力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176826A JP4271998B2 (ja) | 2003-06-20 | 2003-06-20 | 画像検索出力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005011216A JP2005011216A (ja) | 2005-01-13 |
| JP4271998B2 true JP4271998B2 (ja) | 2009-06-03 |
Family
ID=34099592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003176826A Expired - Fee Related JP4271998B2 (ja) | 2003-06-20 | 2003-06-20 | 画像検索出力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4271998B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4754236B2 (ja) * | 2005-02-21 | 2011-08-24 | 株式会社リコー | 情報処理装置、取得方法、及び取得プログラム |
| JP2007080099A (ja) * | 2005-09-15 | 2007-03-29 | Ricoh Co Ltd | 画像処理装置、画像検索方法および画像検索プログラム |
| JP4605006B2 (ja) * | 2005-12-26 | 2011-01-05 | セイコーエプソン株式会社 | 印刷データ生成装置、印刷データ生成方法及びプログラム |
| JP4899974B2 (ja) * | 2007-03-27 | 2012-03-21 | カシオ計算機株式会社 | 画像処理装置および画像処理方法 |
| JP2023165433A (ja) * | 2022-05-06 | 2023-11-16 | コニカミノルタ株式会社 | 処理システム、処理装置、処理方法及びプログラム |
-
2003
- 2003-06-20 JP JP2003176826A patent/JP4271998B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005011216A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7664321B2 (en) | Image processing method, system, program, program storage medium and information processing apparatus | |
| US8532388B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US8320019B2 (en) | Image processing apparatus, image processing method, and computer program thereof | |
| JP5972578B2 (ja) | 画像処理装置、画像形成装置、プログラム、記録媒体 | |
| US8412705B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| JP4502385B2 (ja) | 画像処理装置およびその制御方法 | |
| US8910038B2 (en) | Apparatus and method for image separation, layout, and templating | |
| EP1347632B1 (en) | Apparatus and method for recording document described in markup language | |
| JP5212352B2 (ja) | 画像処理装置、及びプログラム | |
| JP4271998B2 (ja) | 画像検索出力装置 | |
| JP5098614B2 (ja) | 文章処理装置の制御方法および文章処理装置 | |
| US7983485B2 (en) | System and method for identifying symbols for processing images | |
| EP0756248A2 (en) | Document processor | |
| JP2007012024A (ja) | 画像検索装置、画像検索方法、プログラム及び記憶媒体 | |
| US20100070854A1 (en) | Device for editing metadata of divided object | |
| JP6397183B2 (ja) | 画像処理装置及び方法とプログラム | |
| JP2001307109A (ja) | 画像処理方法、装置および記録媒体 | |
| JP6790384B2 (ja) | 画像処理装置及びプログラム | |
| JP2007004621A (ja) | 文書管理支援装置、文書管理支援方法およびプログラム | |
| US20090290797A1 (en) | Image processing for storing objects separated from an image in a storage device | |
| JP2001061060A (ja) | 縮小画像作成方法及び装置、記憶媒体 | |
| US10956797B1 (en) | Extracting marker-outlined free-form areas of a document | |
| JP5100354B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| JPH07262317A (ja) | 文書処理装置 | |
| JP4956582B2 (ja) | 画像処理装置及び画像処理装置の画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |