JP2816241B2 - 画像情報検索装置 - Google Patents

画像情報検索装置

Info

Publication number
JP2816241B2
JP2816241B2 JP2159727A JP15972790A JP2816241B2 JP 2816241 B2 JP2816241 B2 JP 2816241B2 JP 2159727 A JP2159727 A JP 2159727A JP 15972790 A JP15972790 A JP 15972790A JP 2816241 B2 JP2816241 B2 JP 2816241B2
Authority
JP
Japan
Prior art keywords
image
information
search
area
photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2159727A
Other languages
English (en)
Other versions
JPH0451363A (ja
Inventor
康雄 黒須
州平 和田
佳弘 横山
秀文 増崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2159727A priority Critical patent/JP2816241B2/ja
Priority to US07/717,914 priority patent/US5369742A/en
Publication of JPH0451363A publication Critical patent/JPH0451363A/ja
Application granted granted Critical
Publication of JP2816241B2 publication Critical patent/JP2816241B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/90Fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像の登録および検索方式に係り、特に文
書画像のレイアウト情報を利用して検索する画像情報検
索装置に適用して好適な画像の登録検索方式に関する。
〔従来の技術〕
近年、画像ファイル装置がワードプロセッサ、パーソ
ナルコンピュータ、ファクシミリに続く第4のOA機器と
して登場し、オフィスやデザイン部門のペーパーレス化
を推進する手段として注目を集めている。この画像ファ
イル装置は、光ディスクを利用してイメージ情報を大量
に蓄積し、必要に応じて即座に取り出して印刷できるよ
うになっている。したがって、特に大量の文書が発生す
る部門への浸透には著しいものがあり、大量に蓄積され
た文書の中から所望の文書を取り出す検索の効率化が画
像ファイル装置の大きな課題の一つとなっている。
そこで、効果的な検索を実現するため、キーワードを
利用した方法が広く流布している。すなわち、画像デー
タを登録する際にその画像の内容を指し示す単語をキー
ワードとして付加する。そして、検索に際してこのキー
ワードを用いて所望の画像を探索する。このキーワード
の付け方は、画像の概念を表わす重要語句を割当てる方
法が普通である。しかし、キーワードは所詮語句にすぎ
ないため、画像本来が持つパターン的な特徴を十分表現
できないという欠点があった。
従来これらの不都合を解消する装置として、特開昭60
−83179号公報記載の装置が挙げられる。
この従来技術は、原画像の線図形をキーワードとして
利用することによって、人間の直観に合致する画像検索
を達成している。
すなわち、登録する画像を入力装置で読み取り、読み
取った画像を表示する。この表示画像の輪郭をポインテ
ィングデバイス(マウス、タブレット等)を用いて、人
手でなぞる作業を行なう。そして、なぞって出来た図形
を縮小して、キーワードとする。
このようにして作成した縮小図形は画像の特徴部分だ
けが抽出されているため、所望の画像と別の画像とを容
易に識別できる。また縮小することにより、表示画面上
に作成した多数のキーワードを一括して表示できる。
最後に、表示された縮小図形をポインティングデバイ
ス等により指定すれば、所望の画像を光ディスクから読
み出せるようになっていた。
以上述べたように、従来技術を用いた装置は、図形そ
のものをキーワードとして定義できるようになってい
た。したがって、操作者の直観に合致した概念パターン
をキーワードとして利用できるので、大容量の光ディス
クから目的の画像を容易に検索出来るようになってい
た。
なお、この種の装置として関連するものには例えば、
特開昭60−19275号、62−72067、62−93757号公報等が
挙げられる。
〔発明が解決しようとする課題〕
前述のように、上記従来技術によれば、画像入力時に
線図形を抽出し、これをキーワードとして利用できるた
め、語句にキーワードと異なり、より人間の直観に合っ
た検索が出来るようになった。
しかしながら従来技術は、入力画像一枚一枚に対して
概形キーワードをなぞって作成するため、登録作業に多
大な時間を要するという欠点が残った。
また、検索に際して、登録した概形パターンを一覧表
示し、この中から所望の形状を選択するため、蓄積され
る画像の枚数に比例して検索時間が伸びるという欠点も
残った。
さらに、検索に際して、登録した概形パターンが原画
像と一対一の対応を取っているため、たとえ類似した画
像を所望したとしても、所望した画像に対応する概形パ
ターンを選択しない限り、検索出来ないという欠点も残
った。
本発明の目的は、大量の文書画像を蓄積する画像情報
検索装置において、登録や検索に多大な時間を要するこ
となく、さらにあいまいさを許容した上で人間の直観に
合致した登録検索方式を提供することにある。
〔課題を解決するための手段〕
上記目的を達成するために、本発明は、画像情報検索
装置において、まず写真と他の部分の領域情報を抽出
し、画像と共に登録する。次に検索情報として全体画像
に対する写真の位置情報を指定し、この情報に基づいて
生成したファジーマスクと既登録の領域情報との間でコ
ンボリューションの演算を実行する。最後に、評価値の
大きい順にN枚の画像を検索結果として出力するもので
ある。
ここで、本発明におけるファジーマスクを説明する。
ファジーマスクは、集合の境界を明瞭にしないまま扱う
ファジー集合論を基に考案した。すなわち、ファジー集
合は次のように表現される。問題の対象領域すべてを覆
う全集合をUとする。Uのファジー部分集合Fは、メン
バシップ関数μF(u)で規定する。メンバシップ関数
μF(u)は、Uの要素uをファジー集合Fへの所属度
を表わす[0.1]の数値へ写像する関数である。例えば
0〜100歳の人間の集合を全集合とし、ファジー集合you
ng、middle、oldのメンバシップ関数は次の様に定義で
きる。
young=μyoung(u)=1/0+1/10+0.8/20+0.3/30 middle=μmiddle(u)=0.5/30+1/40+0.5/50 old=μold(u)=0.4/50+0.8/60+1/70+1/80+1/ 90 この例から明らかな様に、30歳の人間は、youngに0.
3、middleに0.5、oldに0.0の所属度を表わす。この考え
方を2次元に拡張して考案したものがファジーマスクで
ある。すなわち、検索時に指定された位置情報に基づい
て、指定位置が最大(I)になるようなメンバシップ関
数を定義し、これをファジーマスクと呼ぶものとする。
このメンバシップ関数の指定条件は、指定位置を1と
し、その距離に反比例した[0.1]の数値である。した
がって具体的な関数としては、線形でも、非線形でも良
く、利用環境に最も合致したものを選択する。
なお、本発明においては、上記N枚の画像を出力する
替わりに、最大の評価値を示した一枚の画像を結果とし
て出力することもできる。
上記領域情報を抽出する手段として画像の濃度勾配を
利用することもできる。
上記写真の位置情報として言語情報やレイアウトパタ
ーンを表示することもできる。
また本発明においては、上記写真の領域情報の他に、
(1)図形、(2)空白または黒べた、(3)文字の領
域情報を利用することもでき、各々の領域情報を抽出す
る手段として、(1)単位面積当たりの零交差回数、
(2)単位面積当たりの平均濃度、(3)前2者と濃度
勾配との組み合わせでも達成できる。
また、本発明においては、4種類の領域情報を単独に
利用できる他に、複合して利用することによっても達成
できる。
さらに、本発明は、他の見地によれば、画像情報を蓄
積する光ディスクにおいて、画像データ部に原画像を格
納し、インデッスク部に原画像に対応する写真の領域情
報を格納することにより達成できる。
〔作用〕
上述した本発明の構成において、画像情報検索装置
は、登録と検索の2種類の処理を実行する。
まず、登録は、画像と属性情報の処理に大別できる。
画像は、現行の画像ファイル装置と同様の手順で登録す
る。すなわち、文書をスキャナから入力し、2値化処理
を経て光ディスクに格納する。
属性情報は、検索時に登録された各画像からレイアウ
ト情報を得るため、写真の領域情報を登録する。
ここで、写真の領域情報の抽出は、入力画像の性質に
着目し、これを利用する。すなわち、画像は、属性毎に
異なる濃度勾配を示し、文字部分に比べ写真部分はゆる
やかな勾配特性を持っている。そこで、入力が像に対し
て微分を施こし、この値が小さい領域を写真部分と判定
する。そして、写真部分と判定された部分をブロックに
統合し、写真を“1"、その他を“0"で表現し、光ディス
クに登録する。
この様に処理される様子を第2図を参照して説明す
る。第2図は、写真混在文書における濃度波形と濃度勾
配(微分値)を示す模式図である。左側に示した原画像
の適切な一ラインを切り出し、右側に対応する濃度波形
と微分値の波形を示している。この図から明らかな様
に、文字部分は濃度が急峻に変化し、この挙動に対応し
て微分値は高い値を示している。また写真部分は、逆
に、濃度がゆるやかに変化し、微分値は小さな値を示し
ている。したがって、微分値の小さな領域を抽出するこ
とにより、自然に写真領域を抽出できる。
以上の説明で明らかな様に、属性情報の登録に当たっ
ては、操作者の介在は不要である。したがって、操作者
が登録に関与しないため、光ディスクへの登録を自動化
できる。
検索処理は、ファジーマスクの生成とこれを用いたス
クリーニング処理に大別できる。ファジーとは、
“真”、“偽”等の理論集合ではなく、中間値を許容し
た集合である。例えば、画像のある領域が写真部分の真
偽はどうかの問いに対して、0.7の真であるという答え
を用意し、あいまいさを許容している。このファジーマ
スクの生成に当たっては、この考え方を利用する。
すなわち、所望する写真の位置情報が判明すると、こ
の位置を中心に1.0から0.0の値を取るファジーマスクを
生成する。
また、スクリーニング処理は、登録時に生成した領域
情報とこのファジーマスクとの間でコンボリューション
を演算する。この評価値は、所望する位置に写真が有れ
ば、その値が高くなり、離れれば離れるほど小さくなる
傾向にある。したがって、評価値の大きな画像から順に
表示装置に出力すれば、所望のレイアウトを持つ順に画
像が表示される。
このように処理されるファジーマスクとスクリーニン
グの様子を第3図を参照して説明する。第3図は、ファ
ジーマスクと3枚の画像に対応する領域情報との間の演
算を示す模式図である。第3図(a)は、写真が左上に
レイアウトされた画像を所望した時に生成されるファジ
ーマスクを示し、(b)は上から順に左上、左中、左下
に写真がレイアウトされた画像に対応する領域情報を示
し、(c)は各々に対応した演算結果の様子を示してい
る。
まず、最上段の領域情報は、所望の位置に写真が有る
ため、評価値が最も大きく、中段は中位の値を取り、最
下段は小さな値を取る。したがって、所望の位置との距
離が近い順に、大きな評価値を出力するため、この順で
画像を出力する。
また、ファジーを用いずに、通常の論理を用いると、
最上段が真となり、他は偽となる。したがって、ファジ
ーマスクを用いることにより、左中も出力できるように
なり、あいまいさを許容した類似検索が可能となる。
なお、この発明では、レイアウトの指定に言語を用い
ているが、表示画面に複数のレイアウトを表示し、選択
させても等価である。
さらに、領域情報として写真を用いているが、図形、
空白または黒べた、文字を用いても等価である。この内
処理の難しい図形が処理される様子を第4図を参照して
説明する。第4図は、図形混在文書における2値化の断
面と単位面積当たりの零交差回数を示す模式図である。
左側に示した原画像の適切な一ラインを切り出し、右
側に対応する2値化断面と零交差回数を示している。こ
の図から明らかなように、文字部分は白黒の変化点が密
集し、この挙動に対応して零交差回数は高い値を示して
いる。また図形部分は逆に、変化点が疎らで、零交差回
数は小さな値を示している。したがって、単位面積当た
りの零交差回数の小さな領域を抽出することにより、自
然に図形領域を抽出することができる。
以上の説明で明らかなように、検索に当っては文書の
持つレイアウト情報で検索でき、しかも指示に要する時
間も短かく、類似した画像を検索することができる。
以上述べた処理手順にしたがって、光ディスクへの登
録および検索を実行する。
かくして本発明によれば、登録や検索に多大な操作時
間を要することなく、人間の直観に結びつく文書のレイ
アウト情報であいまい性を許容した検索ができるので、
従来と比べ飛躍的に使い勝手が向上した画像情報検索装
置を提供することができる。
〔実施例〕
以下、本発明の実施例について図面により説明する。
第1図は本発明による一実施例のブロック図である。
1は入力文書の光学画像からディジタル画像を得るスキ
ャナ、2はディジタル画像を一次蓄える入力バッファメ
モリ、3はデジタル画像から写真の位置を自動的に抽出
する写真領域抽出、4は大量の画像と属性情報を蓄積す
る光ディスク、5は検索条件を入力するキーボード、6
はファジーマスクを設定するファジーマスク生成、7は
画像の領域情報とファジーマスクの間でコンボリューシ
ョンを取るコンボリューション演算、8は評価値の上位
N個を選択する評価値判定、9は評価値判定の結果に従
って光ディスクから該当画像を読み出す出力バッファメ
モリ、10は読み出された画像を順次表示するディスプレ
イである。
次に本実施例の動作を登録と検索に分けて説明する。
まず、登録処理では、スキャナ1に入力された文書は
光学的に走査された後、ディジタル画像に変換され入力
バッファメモリ2に入力される。
入力バッファメモリ2に入力されたディジタル画像
は、ここに一時的に格納された後、タイミングを取って
写真領域抽出3と光ディスク4に出力される。
写真領域抽出3に入力されたディジタル画像は濃度勾
配の差異に着目した判別法を用いて、写真領域が抽出さ
れる。まず、一画素毎に微分が施こされ、濃度勾配を定
量化する。次に、写真領域か否かの判定を行い、写真領
域には“1"を立て、他の領域は“0"を立てる。ここで判
定の基準は、比較的微分値が小さく、かつ零付近を除い
た値とする。なぜなら、零付近の微分値を取る画像は空
白であり、大きな値は文字図形領域を示すからである。
最後に、100×100画素で多数決を行ない、ブロックに統
合すると共に情報圧縮を図る。この統合化により、写真
の領域情報を画像の1万分の1程度に圧縮すると共に、
誤判定によるノイズを除去できる。この様な手順で作成
された写真の領域情報は入力画像の属性情報として光デ
ィスク4に出力される。
光ディスク4に入力された画像と属性情報は、対を成
す情報として、前者が画像データ部に格納され、後者が
インデックス部に格納される。
以上、一連の登録動作を繰り返すことにより、光ディ
スク4に大量の画像が蓄積される。
一方、検索処理では、キーボード5から所望の検索条
件が入力される。例えば右上に写真の入った文書画像を
検索したい場合は、キーボードから、“右上”と入力す
る。無論、ディスプレイ上に各種レイアウトパターンを
表示し、この中から選択しても等価である。入力された
検索条件はファジーマスク生成6に出力される。
ファジーマスク生成6に入力された検索条件は分析さ
れ、ファジーマスクを生成する。ファジーマスクはレイ
アウト情報によるあいまい検索を実行するキーコンポー
ネントで、ファジー理論に基づいて考案した。形状に関
しては第3図に示したが、所望の指定点を1.0として距
離に反比例して0.0に収束する関数が設定される。なお
次元は、登録した領域情報との間でコンボリューション
演算を実行するため、領域情報と同一とする。また、反
比例の関数を設定したが、2次曲線であっても、指数関
数であっても差しつかえない。また柔軟性を犠牲にする
つもりなら、標準的なマスクパターンを用意しておくだ
けでも差しつかえない。以上の手順で作成されたファジ
ーマスクはコンボリューション演算7へ出力される。
コンボリューション演算7では、ファジーマスクの他
に、光ディスク4から領域情報が入力され、以下の式に
従って演算される。
ここで、Eveは画像レイアウトの類似度を表わす評価
値、Fuz(x,y)はファジーマスク、REG(x,y)は写真の
領域情報である。作成したファジーマスクに対して光デ
ィスク4に格納された領域情報が順次読み出され、演算
結果が評価値判定8へ出力される。以降、光ディスクに
格納された全領域情報が読み出されるまで繰り返され
る。
評価値判定8へ入力された登録画像数に相当する評価
値は、値の大きい順にソートされ、上位N個が選択され
る。これらN個の値に相当する画像番号が出力バッファ
メモリ9に出力される。
出力バッファメモリ9に入力された画像番号に従っ
て、該当画像が光ディスク4から読み出され、評価値の
大きな順に出力バッファメモリ9を介して、ディスプレ
イ10に表示される。
ここで、類似画像N枚を表示する替わりに、評価値の
最大値を取る一枚を表示しても差しつかえない。
以上の説明から明らかなように、本実施例によれば、
画像と共に写真の領域情報を自動的に登録し、検索時に
所望のレイアウトのファジーマスクとの間でコンボリュ
ーションを取り、評価値の大きな画像を順次表示できる
ようにした。したがって、登録、検索時間を削減した上
で、人間の直観に合致したあいまい画像検索が実現で
き、画像ファイル装置のマン−マシンインターフェース
を大幅に改善することができる。
上記実施例では、領域情報として写真部分を利用する
構成となっているが、文字/図形/空白部分あるいはこ
れらを複合して利用する構成としても良い。
さらに本発明の他の実施例について図面により説明す
る。第5図は本発明の第2の実施例の構成を示すブロッ
ク図である。
第5図の構成は、基本的には第1図と同じであるが、
プログラム制御の考え方を取り入れ、より柔軟性に富む
構成を可能にしている。51は装置全体をコントロールす
るCPU(中央処理装置、Central Prossesing Unit)、52
はCPU51を制御するプログラムとテーブル類が格納され
ている主メモリ、53は紙面を電気的な画像データに変換
するスキャナ、54は入力した画像データを写真領域とそ
の他の領域に判別する写真領域抽出回路、55はスキャナ
53の駆動信号を生成し画像データと写真の領域情報を転
送するスキャナ制御回路、56は入力した画像データと写
真の領域情報を蓄積するイメージメモリ、57は画像デー
タに対して符号化、復号、切貼り等の画像処理を施こす
イメージプロセッサ、58は画像データを表示するディス
プレイ、59は同期信号を生成し画像データとともにディ
スプレイ58に転送するディスプレイ制御回路、60は操作
者からの指示情報を入力するキーボード、61はキーボー
ド60からの指示情報をサンプリングしCPU51へ転送する
キーボード制御回路、62は画像データを紙面に印刷する
プリンタ、63はプリンタ62の駆動信号を生成し画像デー
タを転送するプリンタ制御回路、64は画像データと写真
の領域情報を対で蓄積する光ディスク、65は光ディスク
64の駆動信号を生成し画像データと写真の領域情報を転
送する光ディスク制御回路である。
つぎに本実施例の動作を登録と検索に分けて説明す
る。
まず、登録処理では、主メモリ52に格納されたプログ
ラムに基づいてCPU51からスキャナ制御回路55に起動が
掛けられる。起動されたスキャナ制御回路55はスキャナ
53を駆動し、画像データを入力する。
入力された画像データは写真領域抽出回路54に送ら
れ、濃度勾配の差異に着目した判別法により写真領域が
抽出される。すなわち、一画素毎に微分が施され、緩や
かな勾配を示す画素を写真と判定し、“1"を立て他の画
素は“0"とする。次に、情報圧縮を図ると共に、ブロッ
クに統合するため、領域情報を100×100程度で多数決を
行ない、このブロックを1bitで表現する。
処理された画像データと写真の領域情報はスキャナ制
御回路55、イメージパス66を介してイメージメモリ56に
格納される。
つぎに、イメージメモリ56に格納された写真の領域情
報を画像データに対する属性情報として光ディスク64の
インデックス部に登録する。すなわち、写真の属性情報
がイメージメモリ56から読み出され、また他の属性情報
が主メモリから読み出され、光ディスク制御回路65を介
して光ディスク64の所定の位置に登録される。ここで、
他の属性情報とは、自動的に計測可能な光ディスクの格
納番地、データ長、画像データの横幅、縦長等の値であ
る。
最後に、画像データの本体である画像データ部を光デ
ィスク64に登録する。すなわち、CPU51がイメージプロ
セッサ57に起動を掛け、イメージメモリ56に格納された
画像データを符号データに変換する。MH(Modified Huf
fman)あるいはM2R(Modified2READ)方式等で符号化さ
れた画像データは、光ディスク64の画像データ部に登録
される。つまり、これらの符号データはイメージメモリ
56から読みだされ、光ディスク制御回路65を介して光デ
ィスク64の所定の位置に登録される。
以上の一連の登録処理を画像データが入力される毎に
繰り返すことにより、光ディスク64に大量の画像が蓄積
される。
一方、検索処理では、主メモリ52に格納されたプログ
ラムに基づいてCPU51からキーボード制御回路61に起動
が掛けられる。起動されたキーボード制御回路61はキー
ボード60から所望の検索条件を入力する。入力される検
索条件は、文書画像における写真のレイアウト情報で、
主メモリ52に格納される。
主メモリ52に格納された検索条件は分析されファジー
マスクが生成される。ファジーマスクはレイアウト情報
によるあいまい検索を実行するキーコンポーネントで、
ファジー理論に基づいて考案した。所望の写真位置を中
心に1.0から0.0に収束する山形の形状を持ち、小数点で
表現することによりあいまいさを許容する。
作成されたファジーマスクは主メモリ52に格納され、
光ディスク64から読み出された写真の領域情報との間で
式(1)の演算が実行される。以後、光ディスク64に蓄
積された全領域情報に対する演算が完了するまで繰り返
される。
演算が終了すると、主メモリ52上に各画像に対する評
価値と光ディスクの格納番地の一覧表が作成される。指
定したレイアウトと類似した画像データを類似度の順に
選択するため、評価値の大きい順にソートされ、上位N
個の格納番地がCPU51を介して光ディスク制御回路65に
通知される。
通知された格納番地に従って圧縮された画像データが
光ディスク64から読み出され、イメージメモリ56に格納
される。格納された符号データはイメージプロセッサ57
により伸張され、画像データに変換される。最後に、伸
張された画像データはディスプレイ制御回路59を介して
ディスプレイ58に表示される。
以上の操作を繰り返し、評価値の高い順に画像データ
をディスプレイ58に表示し、所望の文書画像が表示され
た時点で処理を終了する。
所望の文書画像がディスプレイ58上に得られたら、必
要に応じてプリンタ制御回路63に起動を掛け、プリンタ
62により紙面に印刷する。
〔発明の効果〕
以上説明したように本発明によれば、検索に用いる領
域情報を画像の性質に着目した特徴抽出で自動的に求め
る構成となっている。このため、従来の人手による線図
形の抽出作業を全廃することができる。したがって、登
録時の人手作業が不要となり、ひいては画像データの全
自動登録を可能にできるという効果がある。
また、検索条件の指示に画像属性のレイアウトを利用
する構成となっている。このため、従来の抽象化した多
数の線図形を順次提示する煩雑な処理が不要と成り、検
索条件を瞬時に指定できる。したがって、検索操作にお
けるマン−マシンインターフェースを大幅に改善できる
という効果がある。
さらに、ファージマスクを用いたマッチングにより画
像の類似度を評価する構成となっている。このため、従
来の線図形と画像が一体一対応の場合と異なり、レイア
ウトの類似した画像も検索できる。したがって、操作者
がレイアウトを正確に記憶していなくても、あいまいに
検索できるという効果がある。
【図面の簡単な説明】
第1図、第5図は本発明に係る一実施例を示すブロック
図、第2図は写真の領域情報を抽出する原理を示す模式
図、第3図はファジーマスクによる演算過程を示す模式
図、第4図は図形の領域情報を抽出する原理を示す模式
図である。 1……スキャナ、2……バッファメモリ 3……写真領域抽出、4……光ディスク 5……キーボード、6……ファジーマスク生成 7……コンボリューション演算 8……評価値判定、9……出力バッファメモリ 10……ディスプレイ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 横山 佳弘 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所マイクロエレクトロ ニクス機器開発研究所内 (72)発明者 増崎 秀文 神奈川県小田原市国府津2880 株式会社 日立製作所小田原工場内 (56)参考文献 特開 平2−41566(JP,A) 特開 昭60−160475(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06F 17/30 JICST科学技術文献ファイル

Claims (14)

    (57)【特許請求の範囲】
  1. 【請求項1】文書等の画像を入力する手段と、該画像と
    検索のための情報を対応して蓄積する手段と、検索条件
    を入力して前記画像を検索する手段と、該検索した画像
    を出力する手段よりなる画像情報検索装置において、 前記検索のための情報として写真の領域情報を抽出し、
    画像と共に蓄積し、前記検索条件として全体画像に対す
    るレイアウト情報を指定し、該レイアウト情報に基づい
    て生成したファジーマスクと前記写真の領域情報との間
    でコンボリューションを取り、該評価値か大きな順にN
    枚の画像を結果として出力することを特徴とする画像情
    報検索装置。
  2. 【請求項2】請求項1項記載の画像情報検索装置におい
    て、前記N枚の画像の替わりに、最大の評価値を示した
    一枚の画像を結果として出力することを特徴とする画像
    情報検索装置。
  3. 【請求項3】請求項1項記載の画像情報検索装置におい
    て、前記写真の領域情報を抽出する手段として、前記画
    像の濃度勾配を利用することを特徴とする画像情報検索
    装置。
  4. 【請求項4】請求項1項記載の画像情報検索装置におい
    て、前記レイアウト情報として“左上”、“右下”等の
    言語情報を利用することを特徴とする画像情報検索装
    置。
  5. 【請求項5】請求項4項記載の画像情報検索装置におい
    て、前記言語情報の替わりに、複数のレイアウトパター
    ンを表示し、この中から選択することを特徴とする画像
    情報検索装置。
  6. 【請求項6】請求項1項記載の画像情報検索装置におい
    て、前記写真の領域情報の替わりに、図形の領域情報を
    抽出することを特徴とする画像情報検索装置。
  7. 【請求項7】請求項6項記載の画像情報検索装置におい
    て、前記図形の領域情報を抽出する手段として、前記画
    像における単位面積当たりの零交差回数を利用すること
    を特徴とする画像情報検索装置。
  8. 【請求項8】請求項1項記載の画像情報検索装置におい
    て、前記写真の領域情報の替わりに、空白又は黒べたの
    領域情報を抽出することを特徴とする画像情報検索装
    置。
  9. 【請求項9】請求項8項記載の画像情報検索装置におい
    て、前記空白又は黒べたの領域情報を抽出する手段とし
    て、前記画像における単位面積当たりの平均濃度を利用
    することを特徴とする画像情報検索装置。
  10. 【請求項10】請求項1項記載の画像情報検索装置にお
    いて、前記写真の領域情報の替わりに、文字の領域情報
    を抽出することを特徴とする画像情報検索装置。
  11. 【請求項11】請求項10項記載の画像情報検索装置にお
    いて、前記文字の領域情報を抽出する手段として、前記
    画像における濃度勾配と単位面積当たりの零交差回数お
    よび単位面積当たりの平均濃度を組み合わせて利用する
    ことを特徴とする画像情報検索装置。
  12. 【請求項12】請求項1,6,8,又は10項記載の画像情報検
    索装置において、前記各単一種類の領域情報を利用する
    替わりに、複数種類の領域情報を組み合わせて利用する
    ことを特徴とする画像情報検索装置。
  13. 【請求項13】文書等の画像と検索のための情報を対応
    して蓄積しておき、検索条件を入力して該画像を検索
    し、出力する画像情報検索方法において 前記検索のための情報として前記画像の特定領域の領域
    情報を抽出して蓄積しておき、前記検索条件としてレイ
    アウト情報を指定し、該レイアウト情報に基づいて作成
    したファジーマスクと該領域情報との間でマッチングを
    取り、該マッチングの評価値の大きいものを出力するこ
    とを特徴とする画像情報検索方法。
  14. 【請求項14】請求項13記載の画像情報検索方法におい
    て、 前記特定領域が写真領域であることを特徴とする画像情
    報検索方法。
JP2159727A 1990-06-20 1990-06-20 画像情報検索装置 Expired - Fee Related JP2816241B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2159727A JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置
US07/717,914 US5369742A (en) 1990-06-20 1991-06-20 Image file and retrieving apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2159727A JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置

Publications (2)

Publication Number Publication Date
JPH0451363A JPH0451363A (ja) 1992-02-19
JP2816241B2 true JP2816241B2 (ja) 1998-10-27

Family

ID=15699959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2159727A Expired - Fee Related JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置

Country Status (2)

Country Link
US (1) US5369742A (ja)
JP (1) JP2816241B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0606476B1 (en) * 1991-10-04 1998-01-07 Omron Corporation Fuzzy retrieval unit and method therefor
JP3210102B2 (ja) * 1992-11-17 2001-09-17 松下電器産業株式会社 電子化文書ファイリング装置及びファイリング文書検索方法
US5553277A (en) * 1992-12-29 1996-09-03 Fujitsu Limited Image search method for searching and retrieving desired image from memory device
JP3083676B2 (ja) * 1993-05-21 2000-09-04 株式会社日立製作所 デ−タファイル装置
US5860075A (en) * 1993-06-30 1999-01-12 Matsushita Electric Industrial Co., Ltd. Document data filing apparatus for generating visual attribute values of document data to be filed
JPH07319918A (ja) * 1994-05-24 1995-12-08 Fuji Xerox Co Ltd 文書検索対象指示装置
US5745907A (en) * 1994-10-18 1998-04-28 Canon Kabushiki Kaisha Image registering apparatus, image registering method, and its system
US5926824A (en) * 1994-11-16 1999-07-20 Canon Kabushiki Kaisha System and method for retrieving a document by inputting a desired attribute and the number of areas in which the attribute occurs as a retrieval condition
US5945982A (en) * 1995-05-30 1999-08-31 Minolta Co., Ltd. Data administration apparatus that can search for desired image data using maps
US5887081A (en) * 1995-12-07 1999-03-23 Ncr Corporation Method for fast image identification and categorization of multimedia data
US5893129A (en) * 1996-08-08 1999-04-06 U S West, Inc. Document storage and reproduction method
US6055336A (en) * 1996-11-18 2000-04-25 Canon Kabushiki Kaisha Image processing system which converts multi-value image data into binary image data
JP3173411B2 (ja) * 1997-03-17 2001-06-04 富士ゼロックス株式会社 関連文書検索装置及び関連文書検索プログラムを記録した記録媒体
US6469698B2 (en) * 1997-12-24 2002-10-22 Canon Kabushiki Kaisha Image display apparatus
US6269188B1 (en) 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
US6243501B1 (en) 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
US6445460B1 (en) * 1999-04-13 2002-09-03 Flashpoint Technology, Inc. Method and system for providing and utilizing file attributes with digital images
US7171468B2 (en) * 2001-11-10 2007-01-30 Kabushiki Kaisha Toshiba System and method for accessing a document management repository
US7139097B2 (en) * 2002-03-11 2006-11-21 Kabushiki Kaisha Toshiba Paperless print
JP2005135118A (ja) * 2003-10-30 2005-05-26 Fuji Photo Film Co Ltd 図面管理システム
US20050166156A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation System and method for automatically grouping items
JP4021873B2 (ja) * 2004-06-03 2007-12-12 株式会社東芝 顔画像監視システム
JP4477468B2 (ja) * 2004-10-15 2010-06-09 富士通株式会社 組み立て図面の装置部品イメージ検索装置
JP2006174167A (ja) * 2004-12-16 2006-06-29 Canon Inc 画像処理装置およびその方法
US7392473B2 (en) * 2005-05-26 2008-06-24 Xerox Corporation Method and apparatus for determining logical document structure
US7801392B2 (en) * 2005-07-21 2010-09-21 Fuji Xerox Co., Ltd. Image search system, image search method, and storage medium
US8813021B1 (en) 2006-02-16 2014-08-19 Cypress Semiconductor Corporation Global resource conflict management for an embedded application design
JP4951373B2 (ja) * 2007-03-13 2012-06-13 株式会社リコー 画像検索装置、画像検索方法、及びコンピュータプログラム
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP6868186B2 (ja) * 2017-03-24 2021-05-12 富士フイルムビジネスイノベーション株式会社 検索情報生成装置、画像処理装置、検索情報生成プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62137974A (ja) * 1985-12-12 1987-06-20 Ricoh Co Ltd 画像処理方式
US4899292A (en) * 1988-03-02 1990-02-06 Image Storage/Retrieval Systems, Inc. System for storing and retrieving text and associated graphics
JPH02195480A (ja) * 1989-01-25 1990-08-02 Hitachi Ltd 画像データの検索方式
US5020019A (en) * 1989-05-29 1991-05-28 Ricoh Company, Ltd. Document retrieval system
US5159667A (en) * 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
US5133024A (en) * 1989-10-24 1992-07-21 Horst Froessl Image data bank system with selective conversion
US5121224A (en) * 1990-06-01 1992-06-09 Eastman Kodak Company Reproduction apparatus with selective screening and continuous-tone discrimination
US5193122A (en) * 1990-12-03 1993-03-09 Xerox Corporation High speed halftone detection technique

Also Published As

Publication number Publication date
US5369742A (en) 1994-11-29
JPH0451363A (ja) 1992-02-19

Similar Documents

Publication Publication Date Title
JP2816241B2 (ja) 画像情報検索装置
EP0434930B1 (en) Editing text in an image
JP4859025B2 (ja) 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体
JP4181892B2 (ja) 画像処理方法
JP2973944B2 (ja) 文書処理装置および文書処理方法
JP4236116B2 (ja) 画像特徴抽出方法及び装置
JP2004334334A (ja) 文書検索装置、文書検索方法及び記憶媒体
JP2003298837A (ja) 電子画像を作成し操作するための図形入力及び表示システム、表示装置に入力されたソース電子画像を意味のある画像オブジェクトに編成するための方法、及びコンピュータ読取り可能プログラムコードが組み込まれたコンピュータ使用可能媒体を含む製品
DE19708265A1 (de) Blättern in einer Bilddatenbank und Abfrage der Bilddaten, indem eine Strukturanalyse verwendet wird
US20080244384A1 (en) Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus
JPH0314184A (ja) 文書画像再配置ファイリング装置
JPS6354659A (ja) 木の表示編集方法
JP4261988B2 (ja) 画像処理装置及び方法
JP2008129793A (ja) 文書処理システムおよび装置および方法、およびプログラムを記録した記録媒体
JPH0821057B2 (ja) 文書画像解析方式
JP2000322417A (ja) 画像ファイリング装置及び方法及び記憶媒体
US20050238235A1 (en) Run length based connected components and contour following for enhancing the performance of circled region extraction algorithm
JPH08180068A (ja) 電子ファイリング装置
JP7255585B2 (ja) 情報処理装置、情報処理方法、および、プログラム
JP2005071014A (ja) 文書画像処理装置、方法、プログラムおよび記憶媒体
JP2701350B2 (ja) 文書読取装置
JPH10162024A (ja) 電子ファイリング方法及び電子ファイリング装置
JPS60156172A (ja) 画像フアイルの検索方式
JP2007048057A (ja) 画像処理装置
JPH07107711B2 (ja) 文書画像の処理装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees