JPH04348475A

JPH04348475A - 画像情報検索方法及びその装置

Info

Publication number: JPH04348475A
Application number: JP3120914A
Authority: JP
Inventors: Yasuo Kurosu; 康雄黒須
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1991-05-27
Filing date: 1991-05-27
Publication date: 1992-12-03

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の登録および検索
方式に係り、特に見本画像の書式情報を利用して検索す
る画像情報検索装置に適用して好適な画像の登録および
検索方式及びその装置に関する。

【０００２】

【従来の技術】近年、画像ファイル装置がワードプロセ
ッサ、パーソナルコンピュータ、ファクシミリに続く第
４のＯＡ（オフィス・オートメーション，Ｏｆｆｉｃｅ
　Ａｕｔｏｍａｔｉｏｎ）機器として登場し、オフィス
やデザイン部門のペーパーレス化を推進する手段として
注目を集めている。この画像ファイル装置は、光ディス
クを利用してイメージ情報を大量に蓄積し、必要に応じ
て即座に取り出して印刷出来るようになっている。した
がって、特に大量の文書が発生する部門への浸透には著
しいものがあり、大量に蓄積された文書の中から所望の
文書を取り出す検索の効率化が画像ファイル装置の大き
な課題の一つとなっている。

【０００３】そこで、効果的な検索を実現するため、キ
ーワードを利用した方法が広く流布している。すなわち
、画像データを登録する際にその画像の内容を差し示す
単語をキーワードとして付加する。そして、検索に際し
てこのキーワードを用いて所望の画像を探索する。この
キーワードの付け方は、画像の概念を表わす重要語句を
割り付ける方法が普通である。しかし、登録時にキーボ
ードからキーワードを一々入力せねばならず、この作業
に多大な工数を要するという欠点があった。この作業量
が、画像ファイル装置の普及を妨げる一要因となってい
た。

【０００４】従来これらの不都合を解消する装置として
、特開昭６１−７５４７７号公報記載の装置が挙げられ
る。

【０００５】この従来技術は、登録すべき画像の特徴的
な部分を認識することによって、キーワードの自動登録
を達成している。すなわち、登録する画像を入力装置で
読み取り、読み取った画像の特徴的な部分を抽出する。この入力画像が、予め格納された標準画像のいずれと一
致するかを識別する。そして、識別した結果コードをキ
ーワードとして画像と一緒に記憶装置に格納する。

【０００６】このようにして作成したキーワードは、画
像そのものから自動的に抽出される。したがって、登録
時にキーボードからキーワードを一々入力する必要が無
くなり、作業工数を大幅に削減できる。

【０００７】最後に、検索時には登録した結果コードを
キーボード等により指定すれば、所望の画像を光ディス
クから読み出せるようになっていた。

【０００８】以上述べたように、従来技術を用いた装置
は、画像そのものからキーワードを自動的に抽出して登
録できるようになっていた。したがって、キーワードを
入力する作業が無くなり、記憶装置の中に大量の画像デ
ータを容易に登録できるようになっていた。

【０００９】

【発明が解決しようとする課題】前述のように、上記従
来技術によれば、登録画像そのものから特徴的な部分を
識別し、識別結果をキーワードとして利用できるため、
キーボードから手作業で入力するのとは異なり、大量の
画像データの自動登録ができるようになった。

【００１０】しかしながら従来技術は、入力画像の図形
パターンあるいは文字パターンを認識し、結果コードを
キーワードとして利用する。このため、認識に伴う誤り
が発生する可能性が存在し、認識誤りを発見修正すると
いう新たな作業が発生するという欠点が残った。

【００１１】また検索に際し、画像そのものではなく、
画像から連想したキーワードを利用して検索する。この
キーワードは所詮語句にすぎないため、人間の直感と合
致した画像そのものでの検索が出来ないという欠点が残
った。

【００１２】さらに検索に際し、キーワードをキーボー
ドから入力しなければならないため、その作業が煩雑で
あるという欠点が残った。

【００１３】本発明の目的は、大量の文書画像の蓄積す
る画像情報検索装置において、登録時にキーワードの認
識誤りを発生させることなく、さらに検索時にキーボー
ド入力作業を無くした上で、人間の直感に合致した見本
画像を利用した検索が出来る画像の登録および検索方式
を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像情報検索装置において、まず検索す
べき種類の見本画像を入力し、入力した見本画像から特
徴を抽出する。次に画像記憶装置に蓄積した画像から同
様の特徴を抽出して、見本画像の特徴と照合する。最後
に照合結果にもとずいて、入力した見本画像と同一種類
の画像を出力するものである。

【００１５】また、本発明においては、蓄積した画像か
ら上記特徴を抽出するかわりに、予め抽出して登録して
おくこともできる。

【００１６】上記照合情報に加え、入力した画像の特定
部分の文字あるいはマークを認識し、この認識結果も利
用して検索することもできる。

【００１７】また、本発明は、上記特徴として、（１）
投影分布関数、（２）メッシュ密度特徴、（３）前２者
の組合せでも達成できる。

【００１８】また、本発明は、他の見地によれば、画像
情報を第一のメモリ手段に格納し、属性情報を第二のメ
モリ手段に格納するメモリシステムにおいて、画像情報
から抽出した特徴量を第二のメモリ手段に登録しておき
、入力した見本画像の特徴量と照合することにより、第
一のメモリ手段に格納された画像を検索することによっ
ても達成できる。

【００１９】さらに、本発明は、他の見地によれば、画
像をデータ部に格納し、属性情報をインデックス部に格
納する光ディスクにおいて、入力した見本画像と照合す
る格納画像の特徴量をインデックス部に登録することに
よっても達成できる。

【００２０】最後に、本発明は、帳票管理システムにお
いて、まず、検索すべき種類の見本帳票を入力し、入力
した見本帳票から特徴を抽出する。次に画像記憶装置に
蓄積した帳票から同様の特徴を抽出して、見本帳票の特
徴と照合する。最後に、照合結果にもとずいて、入力し
た見本帳票と同一種類の帳票を出力するものである。

【００２１】

【作用】上述した本発明の構成において、画像情報検索
装置は、登録と検索の２種類の処理を実行する。

【００２２】まず、登録は、現行の画像ファイル装置と
同様の手順で登録する。すなわち、文書をスキャナから
入力し、２値化処理を経て画像記憶装置に格納する。以
降、説明の都合上、一例として文書を帳票、画像記憶装
置を光ディスクとして説明する。

【００２３】属性情報は、従来のキーワードの替わりに
、帳票から特徴量を抽出し、これを光ディスクに格納す
る。

【００２４】ここで、特徴の抽出は、帳票の性質に着目
し、これを利用する。すなわち、帳票の種類は、直線で
構成された図形部分が意味を持ち、文字部分は余り意味
を持たないという性質を持っている。そこで、直線の情
報を１次元へ写像する投影分布関数および直線の情報を
２次元のまま保存するメッシュ密度特徴を抽出し、光デ
ィスクに登録する。

【００２５】図４を参照して、この様に抽出される特徴
を説明する。図４は、帳票に書かれた図形や文字から抽
出した特徴量を示す模式図である。図４（ａ）は、原画
像と投影分布関数を表し、図４（ｂ）は同一の原画像に
対するメッシュ密度特徴を表している。また、図４（ａ
）のθは、不要となる文字成分を除去するための閾値で
あり、θ以下の黒画素成分を削除する。

【００２６】この図から明らかなように、投影分布関数
は枠線の黒画素数を１次元へ写像しており、メッシュ密
度特徴は枠線の２次元構造を表している。したがって、
これらの特徴量を利用すれば、不自然な歪を除去した上
で、帳票の枠構造を表現できる。

【００２７】以上の説明で明らかな様に、属性情報の登
録に当っては、操作者の介在は不要である。したがって
、操作者が登録に関与しないため、光ディスクへの登録
を自動化できる。

【００２８】検索処理は、見本帳票の入力とこれを用い
た類似帳票のスクリーニング処理に大別できる。

【００２９】まず、見本帳票をスキャナから入力し、登
録時と同一の手順を踏んで、特徴量を抽出する。抽出し
た特徴は、次に述べるスクリーニング処理の類似度の算
出に供される。

【００３０】また、スクリーニング処理は、光ディスク
に格納された帳票の特徴量と入力された見本帳票の特徴
量との間で類似度を演算する。この評価値は、帳票の枠
構造が似ていれば、その値が高くなり、違ってくると小
さくなる傾向がある。したがって、評価値の高い帳票か
ら順に表示装置に出力すれば、入力した見本帳票と同一
種類の帳票が順に表示される。

【００３１】以上の説明で明らかなように、検索に当っ
ては、キーワードをキーボードから入力することなく、
見本帳票自身をスキャナから入力するだけで、所望の画
像を検索することができる。したがって、検索したい画
像の見本帳票を利用するため、人間に直感を反映した検
索を実現できる。

【００３２】以上述べた処理手順に従って、光ディスク
への登録および検索を実行する。

【００３３】ここでは、特徴量を登録時に抽出し、予め
光ディスクに登録する方式を説明した。しかし、特徴量
を登録時に抽出せずに、検索時に登録画像から抽出する
方式でも良い。

【００３４】かくして本発明によれば、登録や検索に多
大な操作時間を要することなく、人間の直感に結び付く
見本帳票自体をスキャナから入力することにより類似画
像を検索できるので、従来と比べ飛躍的に使い勝手が向
上した画像情報検索装置を提供することができる。

【００３５】

【実施例】以下本発明の実施例について図面により説明
する。

【００３６】図１は本発明による一実施例の機能ブロッ
ク図である。１１は入力帳票の光学画像からディジタル
画像を得るスキャナ、１２はディジタル画像の大きさや
傾き等を補正する正規化部、１３は正規化ディジタル画
像から特徴量を抽出する特徴抽出部、１４はディジタル
画像と特徴量を対で蓄積する記憶装置、１５は入力した
特徴量と蓄積された特徴量との間で類似度を算出する類
似度算出部、１６は類似度の上位Ｎ個を順に選択する判
定部、１７は判定部１６の結果に従って記憶装置１４か
ら該当画像を読みだし出力する出力装置である。なお、
この出力装置１７は、ディスプレイであってもプリンタ
であっても差し支えない。　　また、図５は入力する帳
票の一例である。これは、銀行等の金融機関において送
金の事務で利用する振替依頼票である。

【００３７】次に、本実施例の動作を登録と検索に分け
て説明する。

【００３８】まず、登録処理では、スキャナ１１に入力
された帳票は光学的に走査された後、ディジタル画像に
変換され正規化部１２に入力される。

【００３９】正規化部１２に入力されたディジタル画像
は、特徴抽出の前処理を施される。すなわち、図形パタ
ーンの大きさを均一化し、さらにノイズ成分を除去する
。これらの処理が施された後、特徴抽出部１３に出力さ
れる。

【００４０】特徴抽出部１３に入力されたディジタル画
像は、帳票の枠構造に着目した抽出法を用いて、その特
徴量を抽出する。すなわち、帳票の種類は、直線で構成
された図形部分が意味を持ち、文字部分は余り意味を持
たないという性質を持っている。そこで、直線の情報を
１次元へ写像する投影分布関数および直線の情報を２次
元のまま保存するメッシュ密度特徴を抽出し、記憶装置
１４に登録する。

【００４１】まず、閾値θを利用して、不要となる文字
成分を除去する。すなわち、Ｘ軸方向とＹ軸方向を別々
に走査し、閾値θより小さな黒画素を文字成分であると
見做し、これを除去する。

【００４２】次に、文字成分を除去した２枚の画像を別
々に走査し、Ｘ軸とＹ軸に黒画素数を投影する。このよ
うにして、ＸとＹ両軸の投影分布関数が抽出できるが、
次の２点の理由から両軸の粗いブロックに分割し、次元
を圧縮する。すなわち、枠構造の位置変動を吸収し、さ
らに類似度の演算量を削減する。

【００４３】このため、Ａ５版の帳票を２００ＤＰＩ（
ドット　パーインチ，Ｄｏｔ　Ｐｅｒ　Ｉｎｃｈ）で走
査し、ＸとＹ両軸を１７０次元および１２０次元とした
投影分布関数を抽出する。すなわち、１７００ドット×
１２００ドット程度のディジタル画像を約１／１０の次
元に圧縮する。ここで、次元数の圧縮量を約１／１０としたが、本発明
はこれに限定されるものではない。また、１７０次元お
よび１２０次元の投影分布関数を順次処理して抽出した
が、一度の走査により抽出しても差し支えない。

【００４４】また、メッシュ密度特徴の抽出にあたって
は、不要な文字成分を除去した２枚の画像を利用する。すなわち、各軸方向に閾値θ以下の黒画素を除去した２
枚の画像から文字成分の除かれた１枚の画像を作成する
。

【００４５】次に、この画像を２次元上で粗いブロック
に分割し、各ブロックの黒画素数を算出する。このよう
にして、２次元状のメッシュ密度特徴が抽出できる。こ
こで、上述の投影分布関数と同様の理由から、粗いブロ
ックに分割して次元を圧縮した。

【００４６】このため、Ａ５版の帳票を２００ＤＰＩで
走査し、ＸとＹ両軸を４０次元×３０次元としたメッシ
ュ密度特徴を抽出する。すなわち、１７００ドット×１
２００ドット程度のディジタル画像を約１／４０の次元
に圧縮する。ここで、次元数の圧縮量を約１／４０とし
たが、本発明はこれに限定されるものではない。また、
４０次元×３０次元のメッシュ密度特徴を順次処理して
抽出したが、一度の走査により抽出しても差し支えない
。

【００４７】以上の説明から明らかなように、投影分布
関数は枠線の黒画素数を１次元へ写像しており、メッシ
ュ密度特徴は枠線の２次元構造を表わしている。したが
って、これらの特徴量を利用すれば、不自然な歪を除去
した上で、帳票の枠構造を表現できる。

【００４８】記憶装置１４に入力されたディジタル画像
と属性情報は、対をなす情報として、前者が画像データ
部に格納され、後者がインデックス部に格納される。

【００４９】以上、一連の登録動作を繰り返すことによ
り、記憶装置１４に大量の画像が蓄積される。

【００５０】一方、検索処理では、スキャナ１１から見
本帳票が入力される。例えば、議事録を検索したい場合
は、見本帳票として同一種類の議事録をスキャナ１１か
ら入力する。入力された見本帳票は、光学的に走査され
た後、ディジタル画像に変換され正規化部１２に入力さ
れる。

【００５１】正規化部１２に入力されたディジタル画像
は、特徴抽出の前処理を施される。すなわち、図形パタ
ーンの大きさを均一化し、さらにノイズ成分を除去する
。これらの処理が施された後、特徴抽出部１３に出力さ
れる。

【００５２】特徴抽出部１３に入力されたディジタル画
像は、登録時と同様の特徴量を抽出する。すなわち、直
線の情報を１次元へ写像する投影分布関数および直線の
情報を２次元のまま保存するメッシュ密度特徴を抽出し
、類似度算出部１５に出力する。

【００５３】類似度算出部１５では、見本帳票の特徴量
の他に、記憶装置１４からも登録画像の特徴量が入力さ
れ、以下の式にしたがって類似度が演算される。

【００５４】

【数１】

【００５５】ここで、Ｘ、Ｙは、見本帳票と登録画像の
Ｎ次元の特徴パターン、Ｓ（Ｘ，Ｙ）は２つの特徴パタ
ーンに対する類似度である。この類似度は、帳票の枠構
造が似ていれば、その値が高くなり、違ってくると小さ
くなる傾向がある。見本帳票の特徴パターンに対して記
憶装置１４に格納された登録画像の特徴パターンが順次
読出され、演算結果が判定部１６へ出力される。以降、
記憶装置１４に格納された全特徴パターンが読みだされ
る間で繰り返される。

【００５６】判定部１６へ入力された登録画像数に相当
する類似度は、値の大きい順にソートされ、上位Ｎ個が
選択される。これらＮ個に相当する画像番号が出力装置
１６出力される。

【００５７】出力装置１７に入力された画像番号にした
がって、該当画像が記憶装置１４から読出され、評価値
の大きな順に出力装置１７に出力される。この出力装置
１７は、ディスプレイが望ましいが、プリンタであって
も差し支えない。

【００５８】また、ここで、類似画像Ｎ枚を順次表示す
る替わりに、Ｎ枚の画像を縮小して一括表示しても等価
である。

【００５９】次に、本発明の他の実施例について図面に
より説明する。図２は本発明の第２の実施例の構成を示
すブロック図である。

【００６０】図２の構成は、概念的には図１と同じであ
るが、画像のみを記憶装置に登録する考え方を採用し、
記憶装置により多くの画像を登録できる構成を可能にし
ている。２１は入力帳票の光学画像からディジタル画像
を得るスキャナ、２２はディジタル画像の大きさや傾き
等を補正する正規化部、２３は正規化ディジタル画像か
ら特徴量を抽出する特徴抽出部、２４はディジタル画像
と特徴量を対で蓄積する記憶装置、２５は記憶装置２４
に蓄積したディジタル画像の大きさや傾き等を補正する
正規化部、２６は正規化部２５で正規化したディジタル
画像から特徴量を抽出する特徴抽出部、２７は入力した
特徴量と蓄積された特徴量との間で類似度を算出する類
似度算出部、２８は類似度の上位Ｎ個を順に選択する判
定部、２９は判定部２８の結果に従って記憶装置２４か
ら該当画像を読みだし出力する出力装置である。なお、
この出力装置２９は、ディスプレイであってもプリンタ
であっても差し支えない。

【００６１】次に、本実施例の動作を登録と検索に分け
て説明する。

【００６２】登録処理では、スキャナ２１に入力された
帳票は光学的に走査された後、ディジタル画像に変換さ
れ記憶装置２４に入力される。記憶装置２４に入力され
たディジタル画像は、そのまま画像データ部に格納され
る。この登録動作を繰り返すことにより、記憶装置２４
に大量の画像が蓄積される。

【００６３】一方、検索処理では、スキャナ２１から見
本帳票が入力される。入力された見本帳票は、光学的に
走査された後、ディジタル画像に変換され正規化部２２
に入力される。正規化部２２に入力されたディジタル画
像は、特徴抽出の前処理を施される。すなわち、図形パ
ターンの大きさを均一化し、さらにノイズ成分を除去す
る。これらの処理が施された後、特徴抽出部２３に出力
される。特徴抽出部２３に入力されたディジタル画像は
、第１の実施例と同一の特徴量を抽出する。すなわち、
直線の情報を１次元へ写像する投影分布関数および直線
の情報を２次元のまま保存するメッシュ密度特徴を抽出
し、類似度算出部２７に出力するまた、入力された見本
帳票との類似度を算出するため、記憶装置２４に蓄積さ
れた登録画像の特徴量を抽出する。記憶装置２４の画像
データ部から登録画像が読みだされる。読みだされた登
録画像は、正規化部２５に入力される。正規化部２５に
入力されたディジタル画像は、特徴抽出の前処理を施さ
れる。すなわち、図形パターンの大きさを均一化し、さ
らにノイズ成分を除去する。これらの処理が施された後
、特徴抽出部２６に出力される。特徴抽出部２６に入力
されたディジタル画像は、見本帳票と同一の特徴量を抽
出する。すなわち、直線の情報を１次元へ写像する投影
分布関数および直線の情報を２次元のまま保存するメッ
シュ密度特徴を抽出し、類似度算出部２７に出力する。類似度算出部２７では、見本帳票と登録画像の特徴量が
入力され、〔数１〕の演算が実行され、演算結果は判定
部２８へ出力される。以降、記憶装置２４に蓄積された
登録画像に対する演算が完了するまで繰り返される。判
定部１８へ入力された登録画像数に相当する類似度は、
値の大きい順にソートされ、上位Ｎ個が選択される。こ
れらＮ個に相当する画像番号が出力装置２９出力される
。

【００６４】さらに、本発明の他の実施例について図面
により説明する。図３は本発明の第３の実施例の構成を
示すブロック図である。

【００６５】図３の構成は、基本的には図１と同じであ
るが、プログラム制御の考え方を取り入れ、より柔軟性
に富む構成を可能にしている。３１は装置全体をコント
ロールするＣＰＵ（中央処理装置、Ｃｅｎｔｒａｌ　Ｐ
ｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、３２はＣＰＵ３１を
制御するプログラムとテーブル類が格納されているメイ
ンメモリ、３３は紙面を電気的な画像データに変換する
スキャナ、３４はスキャナ３３の駆動信号を生成し画像
データを転送するスキャナ制御回路、３５は入力した画
像データを格納するイメージメモリ、３６は、画像デー
タに対して前処理、特徴抽出、類似度演算等の画像処理
を施すイメージプロセッサ、３７は画像データを表示す
るディスプレイ、３８は同期信号を生成し画像データと
ともにディスプレイ３７に転送するディスプレイ制御回
路、３９は操作者からの指示を入力するキーボード、４
０はキーボード３９からの指示情報をサンプリングしＣ
ＰＵ５１へ転送するキーボード制御回路、４１は画像デ
ータを紙面に印刷するプリンタ、４２はプリンタ４１の
駆動信号を生成し画像データを転送するプリンタ制御回
路、４３は画像データと特徴量を対で蓄積する光ディス
ク、４４は光ディスク４３の駆動信号を生成し画像デー
タと特徴量を転送する光ディスク制御回路である。

【００６６】まず、登録処理では、メインメモリ３２に
格納されたプログラムに基づいてＣＰＵ３１からキーボ
ード制御回路４０に起動が掛けられる。起動されたキー
ボード制御回路４０はキーボード３９から画像データの
スキャン命令を入力する。スキャン命令に基づいてスキ
ャナ制御回路３４に起動が掛けられる。起動されたスキ
ャナ制御回路３４はスキャナ３３を駆動し、画像データ
を入力する。入力された画像データはイメージメモリ３
５に蓄積されたまま、イメージプロセッサ３６に出力さ
れる。イメージプロセッサ３６に入力された画像データ
は、特徴抽出の前処理を施される。すなわち、図形パタ
ーンの大きさを均一化し、さらにノイズ成分を除去する
。

【００６７】これらの処理が施された後、画像データは
第１の実施例と同様の図４の特徴量を抽出する。すなわ
ち、直線の情報を１次元へ写像する投影分布関数および
直線の情報を２次元のまま保存するメッシュ密度特徴を
抽出し、イメージメモリ３５に出力する。イメージメモ
リ３５に格納された特徴量は画像データの属性情報とし
て光ディスク４３のインデックス部に登録する。すなわ
ち、画像データの特徴量がイメージメモリ３５から読出
され、光ディスク制御回路４４を介して光ディスク４３
の所定の位置に登録される。

【００６８】最後に、画像データの本体を光ディスク４
３の画像データ部に登録する。すなわち、ＣＰＵ３１が
イメージプロセッサ３６に起動を掛け、イメージメモリ
３５に格納された画像データを符号データに変換する。ＭＨ（Ｍｏｄｉｆｉｅｄ　Ｈｕｆｆｍａｎ）あるいはＭ
２Ｒ（Ｍｏｄｉｆｉｅｄ２　ＲＥＡＤ）方式等で符号化
された画像データは、光ディスク４３の画像データ部に
登録される。つまり、これらの符号データはイメージメ
モリ３５から読出され、光ディスク制御回路４４を介し
て光ディスク４３の所定の位置に登録される。

【００６９】以上、一連の登録動作を画像データが入力
される毎に繰り返すことにより、光ディスク４３に大量
の画像が蓄積される。

【００７０】一方、検索処理では、特徴抽出までは、登
録動作と同一の手順で処理される。

【００７１】まず、メインメモリ３２に格納されたプロ
グラムに基づいてＣＰＵ３１からキーボード制御回路４
０に起動が掛けられる。起動されたキーボード制御回路
４０はキーボード３９から画像データのスキャン命令を
入力する。スキャン命令に基づいてスキャナ制御回路３
４に起動が掛けられる。起動されたスキャナ制御回路３
４はスキャナ３３を駆動し、見本帳票の画像データを入
力する。入力された画像データはイメージメモリ３５に
蓄積されたまま、イメージプロセッサ３６に出力される
。イメージプロセッサ３６に入力された画像データは、
特徴抽出の前処理を施される。すなわち、図形パターン
の大きさを均一化し、さらにノイズ成分を除去する。

【００７２】これらの処理が施された後、画像データは
第１の実施例と同様の図４の特徴量を抽出する。すなわ
ち、直線の情報を１次元へ写像する投影分布関数および
直線の情報を２次元のまま保存するメッシュ密度特徴を
抽出する。抽出した見本帳票の特徴量はイメージメモリ
３５に格納され、光ディスク４３から読出された登録済
み画像データの特徴量との間で式（１）の演算が実行さ
れる。以降、光ディスク４３に蓄積された全特徴量に対
する演算が完了するまで繰り返される。

【００７３】演算が終了すると、メインメモリ５２上に
各登録画像データに対する類似度と光ディスク４３の格
納番地の一覧表が作成される。入力した見本帳票と類似
した画像データの順に選択するため、類似度の大きな順
にソートされ、上位Ｎ個の格納番地がＣＰＵ３１を介し
て光ディスク制御回路４４に通知される。通知された格
納番地に従って圧縮された符号データが光ディスク４３
から読出され、イメージメモリ３５に格納される。格納
された符号データはイメージプロセッサ３６により伸長
され、画像データに変換される。最後に、伸長された画
像データは、ディスプレイ制御回路３８を介してディス
プレイ３７に表示される。

【００７４】以上の操作を繰返し、類似度の高い順に画
像データをディスプレイ３７に表示し、所望の帳票画像
が表示された時点で処理を終了する。そして、所望の帳
票画像がディスプレイ３７上に得られたら、必要に応じ
てプリンタ制御回路４２に起動を掛け、プリンタ４１に
より紙面に印刷する。

【００７５】図６に、本発明による画像の登録方式の一
実施例のフローチャート（プロブレム・アナリシス・ダ
イアグラム、Ｐｒｏｂｌｅｍ−Ａｎａｌｙｓｉｓ−Ｄｉ
ａｇｒａｍ、以下ＰＡＤとする）を示す。また図７に、
本発明による画像の検索方式の一実施例のフローチャー
ト（ＰＡＤ）を示す。

【００７６】まず、登録処理では、画像データを入力す
る（Ｓ６２）。本実施例では、この画像入力は自動給紙
機構付きのスキャナで帳票画像を走査するが、ファクシ
ミリ党による画像データの受信によっても実現できる。次に、入力された画像データは、特徴抽出の前処理を施
される（Ｓ６３）。すなわち、図形パターンの大きさを
均一化し、さらにノイズ成分を除去する。

【００７７】これらの処理が施された後、画像データは
第１の実施例と同様の図４の特徴量を抽出する（Ｓ６４
およびＳ６５）。すなわち、直線の情報を１次元へ写像
する投影分布関数および直線の情報を２次元のまま保存
するメッシュ密度特徴を抽出し、イメージメモリ３５に
出力する。

【００７８】以上の手順で抽出した特徴量は画像データ
の属性情報として光ディスクのインデックス部に登録す
る（Ｓ６６）。最後に、画像データの本体を光ディスク
の画像データ部に登録する。すなわち、入力された画像
データを符号データに変換する（Ｓ６７）。ＭＨ（Ｍｏ
ｄｉｆｉｅｄ　Ｈｕｆｆｍａｎ）あるいはＭ２Ｒ（Ｍｏ
ｄｉｆｉｅｄ２　ＲＥＡＤ）方式等で符号化された画像
データは、光ディスクの画像データ部に登録される（Ｓ
６８）。

【００７９】以上、一連の登録動作を画像データが入力
される毎に繰り返すことにより、光ディスクに大量の画
像が蓄積される（Ｓ６１）。

【００８０】一方、検索処理では、特徴抽出までは、登
録動作と同一の手順で処理される。

【００８１】まず、図７において、見本帳票の画像デー
タを入力する（Ｓ７１）。入力された画像データは、特
徴抽出の前処理を施される（Ｓ７２）。すなわち、図形
パターンの大きさを均一化し、さらにノイズ成分を除去
する。これらの処理が施された後、画像データは第１の
実施例と同様の図４の特徴量を抽出する（Ｓ７３および
Ｓ７４）。すなわち、直線の情報を１次元へ写像する投
影分布関数および直線の情報を２次元のまま保存するメ
ッシュ密度特徴を抽出する。次に、光ディスクのインデ
ックス部に格納されている登録済み画像データの特徴量
を読みだす（Ｓ７６）。光ディスクから読みだされた特
徴量は、抽出した見本帳票の特徴量との間で式（１）の
類似度の演算が実行される（Ｓ７７）。以降、光ディス
クに蓄積された全特徴量に対する演算が完了するまで繰
り返される（Ｓ７５）。

【００８２】演算が終了すると、各登録画像データに対
する類似度と光ディスクの格納番地の一覧表が作成する
。入力した見本帳票と類似した画像データの順に選択す
るため、類似度の大きな順にソートする（Ｓ７８）。ソートの結果、通知された格納番地に従って圧縮された
符号データが光ディスクのデータ部から読みだされる（
Ｓ８０）。読みだされた符号データは、伸長され、画像
データに変換される（Ｓ８１）。最後に、伸長された画
像データは、上位Ｍ枚分、順次類似度の大きな順にディ
スプレイに表示される（Ｓ８２）。

【００８３】以上の操作を繰返し、類似度の高い順に画
像データをディスプレイに表示し、所望の帳票画像が表
示された時点で処理を終了する（Ｓ７９）。

【００８４】また、本発明の他の実施例である光ディス
クのデータ構造について図面により説明する。図８は光
ディスクへの画像データの格納例を示す模式図である。

【００８５】９１は画像データの属性情報を格納するイ
ンデックス部、９２は画像データそのものを格納するデ
ータ部、９３はインデックスデータの先頭を示すヘッダ
、９４は画像データの第一の特徴量である特徴Ｉ、９５
は画像データの第二の特徴量である特徴ＩＩ、９６はデ
ータ部のアドレスを示すポインタ、９７はインデックス
データの終点を示すトレーラ、９８はデータの先頭を示
すヘッダ、９９は画像データの本体である符号データ、
１００はデータの終点を示すトレーラである。

【００８６】次に、本実施例のデータ構造について説明
する。

【００８７】インデックス部９１とデータ部９２は、各
々の集合体として別々の領域に格納されている。これに
よりデータ部９２のデータを光ディスクから読みだすこ
となく、インデックス部９１のみを読みだし、検索処理
の高速化を実現している。

【００８８】また、インデックス部９１とデータ部９２
の各データは、ポインタ９６で結合されている。このた
め、インデックス部９１の検索処理でヒットしたデータ
は、ポインタ９６のアドレスを参照することにより、素
早く光ディスクから読みだすことができる。

【００８９】インデックス部９１は、ヘッダ９３、特徴
Ｉ９４、特徴ＩＩ９５、ポインタ９６およびトレーラ９
７の４部位から構成されており、このうちヘッダ９３と
トレーラ９７はデータの始点終点を示す一般的な識別子
である。また、特徴Ｉ９４と特徴ＩＩ９５の領域には、
１７０次元および１２０次元程度の投影分布関数と４０
次元×３０次元程度のメッシュ密度特徴が格納されてお
り、これが検索処理に利用される本体である。ポインタ
９６には、ヒットした符号データのアドレスが格納され
ている。

【００９０】データ部９２は、ヘッダ９８、符号データ
９９およびトレーラ１００の３部位から構成されており
、このうちヘッダ９８とトレーラ１００はインデックス
部９１と同様に一般的な識別子である。符号データ９９
の領域には、ＭＨ（ＭｏｄｉｆｉｅｄＨｕｆｆｍａｎ）
あるいはＭ２Ｒ（Ｍｏｄｉｆｉｅｄ２　ＲＥＡＤ）方式
等で符号化された画像データが格納されており、この符
号データが伸長され、ディスプレイ等に表示される。上
記実施例では、画像の枠構造のみを利用する構成となっ
ているが、これに加えて、文字やマークを認識して識別
に利用する構成としても良い。例えば、図５の帳票の右上に記された振込依頼票という
文字を認識し、これを利用する構成としても良い。

【００９１】以上の説明から明らかなように、本実施例
によれば、画像と共に枠構造の特徴量を自動的に登録し
、検索時に見本画像をスキャナから入力て類似度の大き
な画像を順次表示できるようにした。したがって、検索
、登録時間を削減した上で、人間の直感に合致した画像
検索が実現でき、画像ファイル装置のマン−マシンイン
ターフェースを大幅に改善することができる。

【００９２】

【発明の効果】以上説明したように本発明によれば、検
索に用いるキーワードを人手の入力や自動認識で得るの
ではなく、特徴量のまま記憶装置に保持する構成となっ
ている。このため、人手によるキーボード入力作業を全
廃し、さらに認識誤りを発見修正する作業も全廃するこ
とができる。したがって、登録時の人手作業が不要とな
り、ひいては画像データの全自動登録を可能にできると
いう効果がある。

【００９３】また、検索条件の指示に検索すべき種類の
見本画像そのものをスキャナから入力する構成となって
いる。このため、従来のキーワードを入力するという煩
雑な作業が不要となり、しかも人間の直感と合致した画
像そのもので検索条件を瞬時に指定できる。したがって
、検索操作におけるマン−マシンインターフェースを大
幅に改善できるという効果がある。

【図面の簡単な説明】

【図１】本発明に係る一実施例を示す機能ブロック図。

【図２】本発明に係る他の一実施例を示す機能ブロック
図。

【図３】本発明に係る他の一実施例を示すブロック図。

【図４】特徴量を示す模式図。

【図５】見本帳票の一例。

【図６】本発明に係る登録の処理フローを示すフローチ
ャート（ＰＡＤ）。

【図７】本発明に係る検索の処理フローを示すフローチ
ャート（ＰＡＤ）。

【図８】本発明に係る光ディスクへの画像データの格納
例。

【符号の説明】

１１…スキャナ、１２…正規化部、１３…特徴抽出部、１４…記憶装置、１５…類似度算出部、１６…判定部、１７…出力装置、２１…スキャナ、２２…正規化部、２３…特徴抽出部、２４…記憶装置、２５…正規化部、２６…特徴抽出部、２７…類似度算出部、２８…判定部、２９…出力装置、３１…ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ
　Ｕｎｉｔ）、３２…メインメモリ、３３…スキャナ、３４…スキャナ制御回路、３５…イメージメモリ、３６…イメージプロセッサ、３７…ディスプレイ、３８…ディスプレイ制御回路、３９…キーボード、４０…キーボード制御回路、４１…プリンタ、４２…プリンタ制御回路、４３…光ディスク、４４…光ディスク制御回路、４４…イメージバス、９１…インデックス部、９２…データ部、９３…ヘッダ、９４…特徴Ｉ、９５…特徴ＩＩ、９６…ポインタ、９７…トレーラ、９８…ヘッダ、９９…符号データ、１００…トレーラ。

Claims

【特許請求の範囲】

【請求項１】画像を蓄積する手段と、該画像を検索する
手段と、検索した画像を出力する手段を備えた画像情報
検索装置において、検索すべき種類の見本画像を入力す
る手段と、該見本画像から特徴を抽出する手段と、前記
蓄積した画像から前記特徴を抽出して照合する手段と、
該照合結果にもとずいて前記見本画像と同一種類の画像
を出力する手段を備えたことを特徴とする画像情報検索
装置。
【請求項２】請求項一項記載の画像情報検索装置におい
て、前記蓄積した画像から前記特徴を抽出するかわりに
、予め抽出して登録しておくことを特徴とする画像情報
検索装置。
【請求項３】請求項一項および二項記載の画像情報検索
装置において、前記照合手段に加え、前記画像の特定部
分の文字あるいはマークを認識する手段と、該認識結果
を利用して検索する手段を備えたことを特徴とする画像
情報検索装置。
【請求項４】請求項一項および二項記載の画像情報検索
装置において、前記特徴として投影分布関数を利用する
ことを特徴とする画像情報検索装置。
【請求項５】請求項一項および二項記載の画像情報検索
装置において、前記特徴としてメッシュ密度特徴を利用
することを特徴とする画像情報検索装置。
【請求項６】請求項一項および二項記載の画像情報検索
装置において、前記特徴として投影分布関数とメッシュ
密度特徴とを併用することを特徴とする画像情報検索装
置。
【請求項７】画像情報を第一のメモリ手段に格納し、属
性情報を第二のメモリ手段に格納するメモリシステムに
おいて、前記画像情報から抽出した特徴量を第二のメモ
リ手段に登録しておき、入力した見本画像の特徴量と照
合することにより、第一のメモリ手段に格納された画像
を検索することを特徴とするメモリシステム。
【請求項８】画像をデータ部に格納し、属性情報をイン
デックス部に格納する光ディスクにおいて、入力した見
本画像と照合する格納画像の特徴量をインデックス部に
登録することを特徴とする光ディスク。
【請求項９】帳票を蓄積する手段と、該帳票を検索する
手段と、検索した帳票を出力する手段を備えた帳票管理
システムにおいて、検索すべき種類の見本帳票を入力す
る手段と、該見本帳票から特徴を抽出する手段と、前記
蓄積した帳票から前記特徴を抽出して照合する手段と、
該照合結果にもとずいて前記見本帳票と同一種類の帳票
を出力する手段を備えたことを特徴とする帳票管理シス
テム。
【請求項１０】画像を入力する手段と、複数の該画像に
対応する画像情報を蓄積する画像記憶手段と、該画像情
報を検索する手段と、該検索手段によって検索した前記
画像情報を出力する手段とを有し、所定の画像情報を検
索して出力する画像情報検索方法において、検索すべき
種類の見本画像を入力し、入力された該見本画像の特徴
量を抽出し、蓄積された前記画像情報に対応する前記画
像の特徴量を順次取得し、これらの該特徴量を照合し、
該照合結果に基づき前記見本画像と同一種類の画像を出
力することを特徴とする画像情報検索方法。
【請求項１１】蓄積された前記画像情報に対応する画像
の前記特徴量は、前記画像情報の蓄積時に、前記画像記
憶手段に蓄積しておくことを特徴とする請求項１０記載
の画像情報検索方法。
【請求項１２】前記特徴量を投影分布関数を用いて算出
することを特徴とする請求項１０記載の画像情報検索方
法。
【請求項１３】前記特徴量をメッシュ密度特徴を用いる
ことを特徴とする請求項１０記載の画像情報検索方法。
【請求項１４】前記画像及び前記見本画像は帳票の画像
であることを特徴とする請求項１０記載の画像情報検索
方法。
【請求項１５】蓄積された前記画像情報は前記画像蓄積
手段のデータ部に蓄積された画像データと、前記画像蓄
積手段のインデックス部に蓄積された前記特徴量とから
なることを特徴とする請求項１１記載の画像情報検索方
法。